Logi podczas parsowania w PHP
Gdy parser pracuje przez dłuższy czas, często nie wiadomo, co w danej chwili robi, co się dzieje, czy nie zawiesił się. Dlatego zalecałbym prowadzenie logów.
Przez logi rozumie się zapisywanie wszystkich działań parsera. W tym celu zwykle tworzy się osobną tabelę w bazie danych, do której parser będzie zapisywał wszystkie swoje działania: "wszedł na taką a taką stronę", "rozpoczął parsowanie takiej a takiej kategorii". I tak dalej - wszelkie działania parsera.
Zapisujcie również czas dodania wpisu do tabeli, a także typ wpisu: działanie, błąd, ważne działanie itp - łatwiej będzie wtedy oddzielić to, co ważne od tego, co mniej ważne.
Automatycznie czyśćcie tabelę z logami przed nowym parsowaniem:
TRUNCATE TABLE logs
Zaimplementujcie opisane logowanie.