Запрет индексации файлов в SEO
Поисковик индексирует не только
HTML, но и PDF, картинки, видео.
Метатег noindex в HTML
для них не работает: в файле
нет head.
Для таких файлов сервер отдает
заголовок X-Robots-Tag:
HTTP/1.1 200 OK
X-Robots-Tag: noindex
Робот читает заголовок до файла и не кладет его в поиск. Так закрывают прайсы, служебные PDF и технические изображения.
Почему noindex в HTML
не закроет PDF?
Как закрыть от индексации файл, у которого нет HTML?
