Сайт может месяцами не появляться в выдаче при уникальных текстах. Причина — в настройках. Настройки владелец обычно не проверял, и робот тем временем обходит страницы по своему расписанию. Индексация — это когда роботы находят страницы и сохраняют данные о них в базе поисковика; без этого страница не участвует в выдаче. Техническая оптимизация отвечает за доступность страниц и корректность сигналов, а скорость обхода — её следствие.
Что мешает странице попасть в индекс
Робот оценивает, открыта ли страница, как быстро отвечает сервер и что говорят canonical, sitemap.xml и метатеги. Доступность определяется ответом сервера и правилами в robots.txt: директива Disallow закрывает обход, метатег noindex — индексацию; оба — частая причина, по которой страницы нет в поиске. Сигналы — canonical, sitemap.xml, метатеги — подсказывают, какую версию адреса считать основной. Корректная вёрстка тоже влияет: адаптивный дизайн сайта и чистый код робот оценивает наравне с текстом — особенно в мобильной версии.
Как ускорить обход сайта роботом
Робот возвращается на сайт по своему графику, и частота визитов зависит от того, как часто там появляется новое.
- Обновляйте контент: добавляйте новые страницы и переписывайте устаревшие разделы.
- Держите sitemap.xml актуальной — по ней робот находит свежие адреса без ожидания внешних ссылок.
- Ставьте внутренние ссылки на новую страницу с уже проиндексированных разделов.
Новый адрес отправляют на переобход вручную через панель вебмастера.
Четыре типовые причины, почему страниц нет в поиске
Чаще всего страницы не попадают в поиск из-за нескольких типовых сбоев, и каждый лечится конкретным действием. Причины, почему страницы сайта не индексируются, удобно разбирать по виду ошибки:
- дубли с одинаковым содержимым по разным адресам — настроить 301-редиректы и канонические ссылки, а фильтры и параметры сортировки закрыть от индексации;
- медленный ответ сервера — сократить время загрузки;
- ошибки кодов ответа — убрать адреса с 404 и 5xx и проверить циклы редиректов.
Проверку начните со структуры страниц сайта и карты разделов.
Как узнать, проиндексированы ли страницы в Яндексе и Google
Прежде чем что-то править на сайте, имеет смысл выяснить, как обстоят дела с индексацией — иначе останется неясным, в чём именно причина сбоя. Сведения о том, какие страницы включены в индекс, какие из него выпали и по какой причине, содержатся в панелях для вебмастеров — Яндекс Вебмастере и Google Search Console. Если нужно отправить отдельный адрес на повторное сканирование, в Яндекс Вебмастере для этого предусмотрен инструмент «Переобход страниц».
Как robots.txt и sitemap конфликтуют друг с другом
Страницы есть в sitemap.xml, но робот их не обходит — карта и файл правил дают противоположные указания. Агентству, которое делает продающий сайт для бизнеса, настройку файлов закладывают на этапе запуска — с корректно настроенным обходом.
Когда нужен специалист по технической оптимизации сайта
Часть ошибок видна только в панелях вебмастеров, а их исправление требует доступа к серверу и коду — здесь самостоятельная диагностика упирается в ограничения. Заказать технический аудит сайта для индексации имеет смысл, когда правки в robots.txt и метатегах не возвращают страницы в поиск. Специалиста по технической оптимизации сайта нанять стоит и при массовых сбоях: дублях, ошибках сервера, провалах по скорости. Начать проверку стоит с панелей вебмастеров и отчёта о сканировании: страницы не попадают в индекс при верно настроенных robots.txt, sitemap.xml и canonical, и в этом случае пора звать специалиста.
