Caché al analizar con PHP

Cuando se analiza un sitio web grande, pueden ocurrir diversos problemas. Normalmente están relacionados con el hecho de que no has tenido en cuenta algo en tu código y el analizador comenzó a analizar incorrectamente. En este caso, tienes que iniciar el análisis desde el principio.

Esto no es muy bueno. En primer lugar, pueden bloquearte en ese sitio, en segundo lugar, es bastante lento, en tercer lugar, no debes molestar sin necesidad a un sitio web ajeno, muestra respeto.

Para resolver el problema, se debe almacenar en caché todas las páginas descargadas en la base de datos. Por almacenamiento en caché en este caso se entiende la creación de una tabla especial en la base de datos, en la que se almacenarán las URLs y los textos completos de las páginas que visitó nuestro analizador.

En este caso, al solicitar una URL determinada a través de la función getPage, debes primero verificar si esa página está en la caché. Si lo está, la tomamos de la caché, y si no, la descargamos de Internet.