Crawler
Поисковый робот — программа поисковой системы, которая сканирует сайты и индексирует страницы.
Crawler (Поисковый робот, паук) — автоматическая программа поисковой системы, которая сканирует сайты в интернете и индексирует страницы.
Роботы Google (Googlebot), Яндекс (YandexBot) регулярно посещают сайты, читают контент, переходят по ссылкам и добавляют страницы в индекс.
Управление: robots.txt (инструкции), meta robots (на уровне страницы), sitemap.xml (карта сайта). Важно: не блокировать важные страницы.