Файл robots в NextJS
Давайте укажем роботам, что индексировать,
а что обходить стороной. В app
создадим файл robots.js, экспортируем
функцию robots и вернем объект
с полем rules и ссылкой на карту сайта.
Ответ будет доступен по /robots.txt:
export default function robots() {
return {
rules: {
userAgent: '*',
allow: '/',
disallow: '/admin/',
},
sitemap: 'https://example.com/sitemap.xml',
};
}
Настройте правила для всех роботов:
разрешите корень сайта, запретите
каталог /private и укажите
полный URL вашей карты.
- /src/
- /app/
- robots.js
- sitemap.js
- /app/
