Логи при парсинге на PHP

Когда парсер работает длительное время, часто не понятно, что он в данный момент делает, что происходит, не завис ли он. Поэтому я бы рекомендовал вести логи.

Под логами понимаются записи всех действий парсера. Для этого обычно создается отдельная таблица в базе данных, в которую парсер будет записывать все свои действия: "зашел на такую-то страницу", "начал парсить такую-то категорию". И так далее - любые действия парсера.

Пишите также время добавления записи в таблицу, а также тип записи: действие, ошибка, важное действие и тп - так будет проще отделить важное от не очень важного.

Автоматически очищайте таблицу с логами перед новым парсингом: