Урок 2
Как работают поисковые системы
20 минТри этапа работы поисковика
Понимание того, как работают поисковики — фундамент SEO. Без этого вы будете действовать вслепую.
Этап 1: Сканирование (Crawling)
Поисковые роботы (краулеры, спайдеры) постоянно обходят интернет по ссылкам:
| Робот | Поисковик | Особенности |
|---|---|---|
| Googlebot | Рендерит JavaScript, быстрый, частый обход | |
| YandexBot | Яндекс | Медленнее, хуже с JS, учитывает регион |
| Googlebot-Image | Только изображения | |
| YandexImages | Яндекс | Только изображения |
Как робот находит страницы:
1. Переходит по ссылкам с уже известных страниц
2. Использует sitemap.xml
3. Получает URL через Search Console/Вебмастер
4. Находит ссылки на внешних ресурсах
1. Переходит по ссылкам с уже известных страниц
2. Использует sitemap.xml
3. Получает URL через Search Console/Вебмастер
4. Находит ссылки на внешних ресурсах
Краулинговый бюджет
Crawl Budget — количество страниц, которое робот готов просканировать за визит. Зависит от:
- Авторитетности сайта
- Скорости ответа сервера
- Частоты обновления контента
- Количества ошибок
Этап 2: Индексация (Indexing)
После сканирования контент анализируется и добавляется в индекс — гигантскую базу данных:
- Парсинг — извлечение текста, ссылок, мета-тегов
- Анализ контента — определение темы, ключевых слов, сущностей
- Дедупликация — выявление дублей
- Оценка качества — E-E-A-T, спамность, уникальность
- Добавление в индекс — сохранение для выдачи
Страница может быть:
- Просканирована, но не проиндексирована (низкое качество, дубль)
- В индексе, но не показываться (проигрывает конкурентам)
- Выпасть из индекса (санкции, технические проблемы)
- Просканирована, но не проиндексирована (низкое качество, дубль)
- В индексе, но не показываться (проигрывает конкурентам)
- Выпасть из индекса (санкции, технические проблемы)
Этап 3: Ранжирование (Ranking)
При каждом запросе алгоритм выбирает из миллиардов страниц в индексе наиболее релевантные и выстраивает их в порядке убывания качества за доли секунды.
Факторы ранжирования: полная картина
Google официально подтверждает около 200 факторов. Реально их больше. Разделим на группы:
1. Контентные факторы (30-40% влияния)
| Фактор | Описание | Как оптимизировать |
|---|---|---|
| Релевантность | Соответствие запросу | Использовать ключи естественно |
| Полнота ответа | Насколько полно раскрыта тема | Отвечать на все вопросы пользователя |
| Уникальность | Отсутствие копипаста | Писать оригинальный контент |
| Актуальность | Свежесть информации | Обновлять старые статьи |
| E-E-A-T | Экспертность, авторитет, доверие | Указывать авторов, источники |
| Структурированность | Заголовки, списки, таблицы | Форматировать текст |
2. Технические факторы (20-25% влияния)
| Фактор | Норма | Инструмент проверки |
|---|---|---|
| Скорость загрузки (LCP) | До 2.5 сек | PageSpeed Insights |
| Интерактивность (FID) | До 100 мс | PageSpeed Insights |
| Стабильность (CLS) | До 0.1 | PageSpeed Insights |
| Mobile-friendly | 100% адаптация | Mobile-Friendly Test |
| HTTPS | Обязательно | Проверка в браузере |
| Без битых ссылок | 0 ошибок 404 | Screaming Frog |
3. Поведенческие факторы (15-25% влияния, особенно Яндекс)
| Фактор | Что измеряет | Как улучшить |
|---|---|---|
| CTR в выдаче | % кликов от показов | Улучшать Title и Description |
| Время на сайте | Вовлечённость | Качественный контент, видео |
| Показатель отказов | Ушли сразу | Релевантный контент, UX |
| Глубина просмотра | Страниц за визит | Перелинковка, "Похожие статьи" |
| Возврат в поиск | Pogo-sticking | Полностью отвечать на запрос |
4. Ссылочные факторы (15-20% влияния, особенно Google)
| Фактор | Хорошо | Плохо |
|---|---|---|
| Количество доменов | Много разных сайтов | Много ссылок с одного сайта |
| Качество доноров | Авторитетные, тематичные | Спамные, каталоги |
| Анкоры | Разнообразные, естественные | 100% точное вхождение |
| Динамика | Плавный рост | Резкие скачки |
Яндекс vs Google: ключевые отличия
| Аспект | Яндекс | |
|---|---|---|
| Доля рынка РФ | ~63% | ~35% |
| Региональность | Критична (разная выдача по городам) | Менее важна |
| Поведенческие | Основной фактор | Один из многих |
| Ссылки | Важны, но могут накрутить ПФ | Критически важны |
| Коммерческие факторы | Отдельная группа факторов | Часть E-E-A-T |
| Скорость индексации | Дни-недели | Часы-дни |
| JavaScript | Хуже рендерит | Рендерит хорошо |
Основные алгоритмы
| Алгоритм | Год | Цель | Что наказывает |
|---|---|---|---|
| Panda | 2011 | Качество контента | Тонкий контент, копипаст |
| Penguin | 2012 | Качество ссылок | Спамные, покупные ссылки |
| Hummingbird | 2013 | Понимание смысла | Keyword stuffing |
| RankBrain | 2015 | ML для ранжирования | Нерелевантный контент |
| BERT | 2019 | Понимание контекста | Тексты "для роботов" |
| Core Updates | Постоянно | Общее качество | Низкокачественные сайты |
| Helpful Content | 2022 | Полезный контент | Контент для SEO, а не людей |
Яндекс
| Алгоритм | Год | Цель | Что наказывает |
|---|---|---|---|
| АГС | 2009 | Фильтр сайтов | Сайты-сателлиты, дорвеи |
| Минусинск | 2015 | Борьба с SEO-ссылками | Покупные ссылки |
| Баден-Баден | 2017 | Качество текстов | Переоптимизация, SEO-тексты |
| Палех | 2016 | Нейросеть | Нерелевантные страницы |
| Королёв | 2017 | Глубокое понимание | Манипуляции с контентом |
| YATI | 2020 | Трансформер | Нерелевантность |
Санкции реальны! Попадание под фильтр может обрушить трафик на 90%+. Восстановление занимает месяцы. Не используйте чёрные методы.
Материалы по теме
- Глоссарий digital-терминов Глоссарий
- Статьи блога по разработке и SEO Блог
- Практические чеклисты по внедрению Чеклисты