Робот
Автоматическая программа поисковых систем, которая сканирует сайты и индексирует страницы.
Поисковый робот (Crawler, Bot) — автоматическая программа поисковых систем, которая сканирует сайты в интернете и индексирует страницы.
Роботы Google (Googlebot), Яндекс (YandexBot) регулярно посещают сайты, читают контент, переходят по ссылкам и добавляют страницы в индекс.
Управление: robots.txt (инструкции для роботов), meta robots (на уровне страницы), sitemap.xml (карта сайта).