Что выбрать для запрета в SEO

Чтобы страница не мешала поиску, есть разные инструменты.

• robots.txt запрещает обход: робот не скачивает страницу
• noindex запрещает показ в поиске: робот скачивает страницу и не кладет ее в выдачу

Их нельзя ставить вместе на одну страницу. Если обход закрыт, робот не увидит noindex. Страница уже в индексе может там остаться.

Нужно убрать из поиска - ставят noindex и не закрывают обход. Нужно сэкономить обход служебного раздела - Disallow, понимая, что из выдачи это само не удалит.

Для PDF и картинок метатег в HTML не сработает. Там нужен заголовок ответа сервера.