PHP'de Parsing Sırasında IP Değiştirme
Parsing sırasında eklenen gecikmeler nedeniyle, parserın çalışma hızı önemli ölçüde yavaşlar. Ancak, birden fazla IP adresiniz varsa bunu hızlandırabilirsiniz. O zaman siteye yapılan her isteği farklı bir IP'den yapabilirsiniz, bu da daha az bekleme süresi belirlemenize izin verir (sahip olduğunuz IP adresi sayısı kadar kat daha az). Bunun için iki yöntem vardır.
İlk yöntem - hosting üzerinde ek IP adresleri satın almaktır. Bu durumda parsing sırasında IP değiştirme şu CURL seçeneği ile yapılır:
<?php
curl_setopt($curl, CURLOPT_INTERFACE, 'ip adresi');
?>
İkinci yöntem - özel servislerden proxy sunucular satın almaktır (ücretsiz proxyler de kullanılabilir, ancak pratikte gösteriyor ki - pek çalışmıyorlar). Proxy durumunda parsing sırasında ip değiştirme şu CURL seçeneği ile yapılır:
<?php
curl_setopt($curl, CURLOPT_PROXY, 'ip adresi');
?>
IP adreslerini değiştirerek çalışacak bir parser yazın.
Hedef site, parsing sırasında IP adreslerinizin bir veya birkaçını yasaklayabilir. Bir IP'nin çalışıp çalışmadığını kontrol eden ve eğer yasaklanmışsa onu geçici olarak listeden kaldıran bir kontrol ekleyin.
Hedef sitenin yasakladığı IP sayısı arttıkça, kalanlar üzerindeki yük de artar. Bekleme sürelerinin, IP adresi sayısı azaldıkça artacak şekilde ayarlayın.
