SEO · диагностика

Почему сайт не индексируется в Яндексе и Google: технические причины

Один из самых неприятных звонков в моей практике звучит примерно так: «сайт есть, работает, а в поиске его просто нет — набираю название компании, и не находится даже по прямому запросу». Причём чаще всего дело не в тексте и не в дизайне, а в одной технической детали, которую без специального инструмента вообще не видно.

С чего начинается диагностика

Первое, что я делаю, — не гадаю, а открываю Google Search Console и Яндекс.Вебмастер и смотрю статус конкретных страниц. Там прямо написано, что произошло: «страница просканирована, но не проиндексирована», «заблокировано правилом robots.txt», «страница помечена как noindex» или «дублирующая страница, canonical указывает на другой URL». Это экономит часы гаданий — причина обычно называется прямым текстом, просто её никто туда не заглядывал.

Причина первая: сайт сам запретил себе индексацию

Самое частое, с чем сталкиваюсь, — сайт технически сам закрыл себя от поиска. Это может быть строка в robots.txt, оставшаяся с этапа разработки, тег noindex, который забыли снять после переноса с тестового домена на боевой, или заголовок X-Robots-Tag, прописанный на уровне сервера и невидимый в обычном просмотре кода страницы.

Разработчик закрывает сайт от индексации на время работ — это нормальная практика. Ненормально — забыть открыть его обратно после запуска.

Технически сайт может выглядеть абсолютно рабочим для посетителя и при этом быть полностью «заперт» для поискового робота одной забытой настройкой.

Сайт технически заблокирован для индексации — иконка закрытого замка поверх макета страницы

Причина третья: сервер отвечает не так, как нужно

Если страница отдаёт код ответа 404, 500 или зацикленный редирект вместо честного 200 — робот вообще не будет пытаться понять, что на ней написано, вопрос содержимого просто не встанет. Частая история после переезда на новый хостинг или смены CMS: старые адреса перестают открываться, а новых редиректов на них никто не настроил.

Причина четвёртая: контент, который робот не видит

Отдельная история — сайты, где основной контент подгружается через JavaScript уже в браузере пользователя. Поисковый робот исполняет скрипты не всегда так же аккуратно, как реальный браузер, и может увидеть пустой каркас страницы вместо готового контента. Проверить просто: открыть страницу через инструмент проверки URL в Google Search Console и посмотреть, что именно увидел робот при рендеринге — если там пусто там, где на экране контент есть, дело в этом.

Само исправление технической причины — вопрос часов или дней, а не недель. А вот новая индексация после исправления занимает время: от нескольких дней до пары недель на конкретную страницу, дольше — если нужно, чтобы робот пересканировал весь сайт заново. Ускорить это можно вручную — через кнопку переобхода в Google Search Console или Яндекс.Вебмастере, не дожидаясь, пока робот дойдёт до страницы сам по расписанию.
Однотипные, плохо различимые карточки товаров — метафора дублирующегося контента

Причина вторая: дубли путают поисковик

Была ситуация с интернет-магазином: несколько тысяч карточек товаров вообще не попадали в поиск Яндекса. Оказалось, все товары генерировались из одного шаблона с одинаковыми мета-тегами — title и description совпадали у сотен позиций.

Для поисковика это выглядело как массовое дублирование контента, и он просто перестал показывать большую часть каталога, оставив в индексе единицы страниц. Написал скрипт, который на лету собирает уникальные мета-теги для каждой карточки на основе характеристик товара.

Свыше 5000 позиций получили уникальные заголовки, и органический трафик магазина вырос в 3,5 раза — не потому что что-то «оптимизировали» в общем смысле, а потому что поисковик наконец смог различать страницы между собой.

Как понять, что дело не в этом

Если Google Search Console и Яндекс.Вебмастер показывают, что страницы просканированы и в индексе, а трафика всё равно нет — проблема, скорее всего, не техническая, а в самой видимости в выдаче: позиции слишком низкие, чтобы кто-то долистал до этой страницы. Это уже другая задача — про ранжирование, а не про индексацию, и путать их не стоит: решения для них разные.

Подозреваете, что сайт технически не индексируется?

Проверю конкретную причину по данным Google Search Console и Яндекс.Вебмастера — без общих догадок, с точным списком того, что мешает именно вам.

Подробнее об услуге Обсудить проект

Частые вопросы

Сколько времени сайт вообще может не индексироваться после запуска?
Для нового сайта без единой технической ошибки — обычно от нескольких дней до пары недель на первые страницы. Если прошёл месяц и в индексе по-прежнему ничего нет, почти наверняка есть техническая причина, которую стоит проверить, а не просто «подождать ещё».

Может ли сайт пропасть из индекса, если раньше всё было нормально?
Да, и это отдельный тревожный сигнал: чаще всего это либо случайная техническая правка (например, обновление CMS сбросило настройки robots.txt), либо ручные санкции поисковика за нарушение правил. Оба случая требуют разбора, а не ожидания «само вернётся».

Обязательно ли для этого вызывать специалиста?
Первичную диагностику можно провести самостоятельно — Google Search Console и Яндекс.Вебмастер бесплатны и прямо называют причину блокировки в интерфейсе. Сложнее с менее очевидными вещами вроде скрытого дублирования контента или проблем с рендерингом JavaScript — здесь без опыта легко упустить деталь.

Технический SEO-аудит сайта: что входит и когда он реально нужен

Core Web Vitals и скорость сайта: как это влияет на позиции

Что такое E-E-A-T и как экспертность сайта влияет на позиции

Что такое поисковый интент и почему без него SEO не работает

Вадим Лукьянцев
Вадим Лукьянцев Об авторе — нажмите, чтобы раскрыть
Вадим Лукьянцев

Веб-разработчик, Краснодар. Делаю сайты под ключ на Vue/Nuxt и React/Next, вёрстку по макетам из Figma и PSD, сайты на WordPress и SEO-продвижение — сам, без субподрядчиков.

Работаю с 2GIS, Яндекс.Бизнесом, самозанятость оформлена официально с 2024 года. С клиентами по всему Краснодарскому краю и удалённо по России.