Поисковые роботы и индексация в SEO
Мы уже познакомились с поисковыми системами. Теперь разберемся, откуда они узнают, какие страницы есть в интернете.
Для этого у поисковика есть специальные программы - поисковые роботы. Робот открывает страницу, читает ее содержимое и переходит по найденным на ней ссылкам.
Так поисковик постепенно обходит сайты. Посещение страниц роботом называется обходом.
Поисковый индекс
Одного обхода недостаточно. Найденную страницу нужно сохранить и разобрать: понять ее тему, текст и основные элементы.
База, в которой поисковик хранит сведения о страницах, называется поисковым индексом. Добавление страницы в эту базу называется индексацией.
Если поисковик еще не добавил страницу в индекс, он не сможет показать ее пользователю.
Что происходит после индексации
Когда человек вводит запрос, поисковик обращается к своему индексу и выбирает из него подходящие страницы. Затем он решает, в каком порядке их показать.
Получается простая последовательность:
робот находит страницу
→ поисковик добавляет ее в индекс
→ страница может появиться в поиске
При этом наличие страницы в индексе еще не означает, что она окажется на первом месте. Сначала поисковику нужно понять запрос и сравнить подходящие страницы.
Но прежде чем разбирать этот выбор, посмотрим, что именно пользователь видит на странице результатов поиска.
Практические задачи
Расскажите, что делает поисковый робот и как он находит новые страницы.
Что такое поисковый индекс и зачем странице нужно попасть в него?
Расположите события по порядку: страница появляется в поиске, робот находит страницу, поисковик добавляет страницу в индекс.
