Web Scraping İçin Proxy Kullanımı

Kod yazmadan önce sorulacak sorular

• Sitenin resmî bir API'si, veri dışa aktarımı veya ticari veri lisansı var mı?
• robots.txt dosyası hedeflediğiniz yolları ve kullanıcı ajanınızı kapsıyor mu, crawl-delay belirtilmiş mi?
• Kullanım koşulları otomatik erişimi yasaklıyor ya da sınırlıyor mu?
• Toplayacağınız veri kişisel veri içeriyor mu? İçeriyorsa KVKK kapsamında hukuki dayanağınız ne?
• Toplanan veriyi yeniden yayımlayacak mısınız? Telif ve veritabanı hakları açısından değerlendirdiniz mi?
• Hedef sitenin altyapısını zorlamayacak bir istek hızı belirlediniz mi?

Proxy scraping'de gerçekte ne işe yarar?

Rotating ve statik proxy: scraping açısından

Datacenter IP'leri bazı sitelerde daha sık doğrulama ile karşılaşabilir; seçim hedef siteye göre yapılmalıdır.

robots.txt'ye uyan sade bir Python örneği

Bu örnek robots.txt'yi proxy üzerinden okur, izin verilmeyen yolları atlar, belirtilmişse crawl-delay süresine uyar ve kendini açık bir kullanıcı ajanıyla tanıtır.

import time
from urllib.parse import urljoin
from urllib.robotparser import RobotFileParser

import requests

PROXY = "http://kullanici:sifre@proxy.example.com:8000"
AJAN = "OrnekFiyatBotu/1.0 (+https://ornek-sirketiniz.com/bot)"
SITE = "https://www.example.com"

oturum = requests.Session()
oturum.proxies = {"http": PROXY, "https": PROXY}
oturum.headers["User-Agent"] = AJAN

# robots.txt dosyasını da proxy üzerinden okuyup ayrıştırıyoruz
robots = RobotFileParser()
robots.parse(oturum.get(urljoin(SITE, "/robots.txt"), timeout=15).text.splitlines())
bekleme = robots.crawl_delay(AJAN) or 3  # site belirtmediyse 3 sn

for yol in ["/kategori/kulaklik", "/kategori/klavye"]:
    adres = urljoin(SITE, yol)
    if not robots.can_fetch(AJAN, adres):
        print("robots.txt izin vermiyor, atlanıyor:", adres)
        continue
    yanit = oturum.get(adres, timeout=20)
    print(adres, yanit.status_code, len(yanit.text))
    time.sleep(bekleme)

Kullanıcı ajanında iletişim adresi olarak kendi sitenizi gösterin. www.example.com yerine izin aldığınız hedefi yazın.

Scraping sırasında sık görülen yanıtlar

Scraping projeleri için paketler

Hacme göre GB kotalı residential paketler; sürekli ve yüksek hacimli iş yükleri için hız kademeli sınırsız residential; izinli ve sabit IP gerektiren işler için datacenter.

Sipariş, müşteri panelinde (Türkçe arayüz) tamamlanır. Fiyatlara vergiler dahil değildir; tutarlar 3 Kasım 2026 itibarıyla panelle eşleştirilmiştir. Yardım için WhatsApp.