IP-adres wijzigen bij het parsen in PHP
Vanwege de vertragingen die worden ingebouwd bij het parsen, wordt de snelheid van de parser aanzienlijk vertraagd. Deze kan echter worden verhoogd, als u meerdere IP-adressen heeft. Dan kan elke aanvraag naar de website worden gedaan vanaf een ander IP, wat het mogelijk maakt om een kortere vertragingstijd in te stellen (met een factor minder, hoeveel IP-adressen u ook heeft). Hiervoor zijn twee manieren.
De eerste manier is het kopen van extra IP adressen bij uw hostingprovider. In dit geval wordt het wisselen van IP bij het parsen uitgevoerd met de volgende CURL-optie:
<?php
curl_setopt($curl, CURLOPT_INTERFACE, 'ip adres');
?>
De tweede manier is het kopen van proxy-servers via speciale diensten (gratis proxies kunnen worden gebruikt, maar zoals de praktijk laat zien - werken ze vooral niet). In het geval van een proxy wordt het wisselen van ip bij het parsen uitgevoerd met de volgende CURL-optie:
<?php
curl_setopt($curl, CURLOPT_PROXY, 'ip adres');
?>
Schrijf een parser die zal werken met het wisselen van IP-adressen.
De doelsite kan een of meer van uw adressen verbannen tijdens het parsen. Voeg een controle toe, die zal controleren of het IP-adres werkt en deze tijdelijk verwijdert uit de lijst als het verbannen is.
Hoe meer de doelsite uw IP-adressen verbant, hoe meer de belasting op de overgebleven adressen toeneemt. Zorg ervoor dat de vertragingstijd toeneemt bij afname van het aantal IP-adressen.
