Файл robots в Nuxt

Краулеры перед обходом часто запрашивают /robots.txt. Там перечисляют, какие пути можно индексировать, а какие нужно пропустить. Формат простой: строки User-agent, Disallow и при необходимости Allow.

Как и карту сайта, robots удобно отдавать из server/routes. Заголовок content-type ставим в text/plain, чтобы ответ читался как обычный текст. Строка User-agent: * относится ко всем роботам. Disallow закрывает каталог для индексации. При необходимости рядом можно добавить Allow для узкого исключения внутри запрета. Обработчик строится на defineEventHandler и возвращает строку без Vue-разметки. После запуска dev-сервера содержимое видно по /robots.txt. Файл server/routes/robots.txt.js может выглядеть так:

export default defineEventHandler((event) => {
	setResponseHeader(event, 'content-type', 'text/plain');
	
	return `User-agent: *
Disallow: /private`;
});

Сделайте файл robots, который закрывает для роботов путь /admin.

Оставьте правило для всех агентов и добавьте явное Allow для корня сайта, если ваш шаблон это поддерживает.