Robots.txt
Файл с инструкциями для поисковых роботов. Указывает, какие страницы можно индексировать, а какие нет.
robots.txt — текстовый файл в корне сайта с инструкциями для поисковых роботов о том, какие страницы можно индексировать.
Синтаксис: User-agent (робот), Disallow (запретить), Allow (разрешить), Sitemap (путь к карте сайта). Пример: Disallow: /admin/ запрещает индексацию папки admin.
Важно: не использовать для скрытия конфиденциальной информации (роботы могут игнорировать), правильно настроить, проверить в Search Console.