Введение в индексацию в SEO

Чтобы страница появилась в поиске, робот должен ее найти и положить в индекс. Этим можно управлять.

Два главных файла:

• sitemap.xml - список страниц, которые нужно показать в поиске
• robots.txt - правила, куда роботу можно ходить, а куда нет

Карта сайта подсказывает адреса. Файл robots.txt закрывает служебные разделы: админку, корзину, поиск по сайту.

Одного файла мало: карта не гарантирует индексацию, а запрет обхода не всегда убирает страницу из поиска. В этом разделе разберем оба файла и связанные приемы.