Коротко. Чаще всего сайта нет в поиске по простой причине: прошло меньше двух недель, Яндекс ещё не знает о сайте или его закрыли от индексации и забыли открыть. Реже мешают ошибки сервера, дубли и пустые страницы. Ниже восемь причин по порядку, от самой частой. Почти всё проверяется в Яндекс Вебмастере за 10 минут.

Сначала проверьте, есть ли сайт в поиске

Самый точный способ — Яндекс Вебмастер, раздел «Индексирование» → «Страницы в поиске». Там видно, какие страницы в поиске, а на вкладке «Исключённые страницы» — какие выпали и почему. Если сайт ещё не добавлен в Вебмастер, начните с этого: как добавить сайт в Яндекс.

Быстрая проверка без Вебмастера: в Яндексе есть оператор url:. Он показывает, есть ли в поиске конкретная страница, например url:example.ru/catalog/.

1. Прошло мало времени

Яндекс пишет, что после обхода сайта роботом страницы могут появиться в поиске в течение двух недель. Если сайт запустили на прошлой неделе, это нормально. Ускорить можно двумя способами: загрузить Sitemap в Вебмастер и отправить главные страницы на переобход.

2. Яндекс не знает о сайте

Без подсказок робот находит сайт только по ссылкам с других сайтов. Яндекс предупреждает, что это может занять время и не гарантирует обход всех страниц. Сообщить о сайте можно так:

  • добавить сайт в Вебмастер и загрузить файл Sitemap;
  • отправить страницы на «Переобход страниц»;
  • поставить счётчик Метрики: Яндекс обходит страницы и по нему;
  • подключить IndexNow, чтобы сайт сам сообщал о новых страницах.

3. Сайт закрыт метатегом noindex

Это самая обидная причина. Метатег в коде страницы прямо просит поисковики её не показывать:

<meta name="robots" content="noindex, nofollow">

Часто его ставят на время разработки и забывают убрать. В WordPress за это отвечает галочка «Попросить поисковые системы не индексировать сайт» в настройках чтения. Проверить просто: откройте страницу, нажмите Ctrl+U и поищите noindex. Тот же запрет можно передать заголовком сервера X-Robots-Tag, его видно в «Проверке ответа сервера» в Вебмастере.

4. Запрет в robots.txt

Файл robots.txt лежит в корне сайта и говорит роботам, куда не ходить. Строки

User-agent: *
Disallow: /

запрещают обход всего сайта. Проверьте файл по адресу ваш-сайт.ru/robots.txt или в Вебмастере: «Инструменты» → «Анализ robots.txt», там можно проверить конкретный адрес.

Тонкость, о которой мало кто знает: Яндекс пишет, что страницы, закрытые в robots.txt, всё равно могут попасть в поиск. А метатег noindex на такой странице робот не прочитает, потому что не зайдёт на неё. Поэтому, чтобы убрать страницу из поиска, используют noindex и не закрывают её в robots.txt.

Ещё два требования Яндекса к файлу: размер до 500 КБ, сервер отдаёт его с кодом 200. Если файл им не соответствует, Яндекс считает сайт открытым для индексирования.

5. Сайт недоступен для робота

Сайт открывается у вас, но робот может получать ошибку: сервер не отвечает, отдаёт код 404 или 500, уводит на другой адрес. Проверьте главную и пару важных страниц в Вебмастере: «Инструменты» → «Проверка ответа сервера». Нужен код 200.

Частая история после переезда: сайт перенесли на новый хостинг или на https, а переадресацию настроили не до конца.

6. Дубли и неканонические страницы

Если одна и та же страница открывается по нескольким адресам, например со слэшем и без, с параметрами в адресе или без, Яндекс оставит в поиске одну, а остальные исключит со статусом «Дубль». После исправления дубль уходит из поиска в течение трёх недель.

Похожая ситуация с атрибутом rel="canonical". Он указывает главный адрес страницы, и страница со ссылкой на другой адрес считается неканонической и в поиск не попадает. Яндекс воспринимает canonical как рекомендацию и может её проигнорировать, например если содержимое страниц сильно отличается. Для переезда с http на https canonical уже не подходит, нужна переадресация 301.

7. Страница «малоценная или маловостребованная»

Так Яндекс помечает страницы, у которых мало шансов оказаться нужными людям. По справке, это бывает, когда страница дублирует другие, не содержит видимого роботу текста или её текст не совпадает с тем, что ищут. Что проверить:

  • у страницы есть понятные заголовки: title, h1, h2;
  • главный текст написан текстом, а не картинкой;
  • текст не подгружается скриптом и не выводится через iframe.

Яндекс отдельно пишет, что такие страницы не означают нарушений, и квот на число страниц в индексе нет.

8. Нарушения и проблемы безопасности

Если сайт взломали, на нём нашли вирус или Яндекс считает, что сайт нарушает его правила, он может пропасть из поиска или опуститься. Смотрите Вебмастер: «Диагностика сайта» и «Безопасность и нарушения». Диагностика проверяет сайт каждый день и делит находки на ошибки и рекомендации. После исправления нажмите «Я всё исправил».

Наш пример: сайт закрыт специально

HostAtlas сейчас закрыт от поисковиков: мы наполняем его и проверяем. Закрыли двумя способами сразу, на каждой странице стоит метатег, а robots.txt запрещает обход:

<meta name="robots" content="noindex, nofollow">
User-agent: *
Disallow: /

Для сайта, который ещё не готов, этого достаточно: робот не зайдёт, а если зайдёт, увидит запрет. Но из пункта 4 следует, что для удаления уже проиндексированных страниц такая связка не годится. Когда откроем сайт, уберём оба запрета одним изменением в настройках и опишем здесь, как быстро Яндекс его проиндексировал.

Чек-лист

  1. Прошло больше двух недель с запуска.
  2. Сайт добавлен в Вебмастер, права подтверждены, Sitemap загружен.
  3. В коде страниц нет noindex.
  4. robots.txt не закрывает нужные разделы.
  5. Главные страницы отвечают кодом 200.
  6. У каждой страницы один адрес, остальные варианты переадресуются.
  7. На страницах есть заголовки и текст, а не только картинки.
  8. В «Диагностике» и «Безопасности и нарушениях» пусто.

Читайте также

Источники

Частые вопросы

Сколько ждать, пока новый сайт появится в Яндексе?

По справке Яндекса, после того как робот обойдёт сайт, страницы могут появиться в поиске в течение двух недель. Чтобы робот пришёл быстрее, добавьте сайт в Вебмастер и загрузите файл Sitemap.

Достаточно ли запретить страницу в robots.txt, чтобы её не было в поиске?

Нет. Яндекс пишет, что страницы, ограниченные в robots.txt, могут участвовать в поиске. Чтобы убрать страницу из поиска, нужен метатег noindex, а сама страница при этом не должна быть закрыта в robots.txt.

Что значит «малоценная или маловостребованная страница»?

Так Яндекс помечает страницы, у которых мало шансов оказаться нужными людям: дубли, страницы без видимого роботу текста или с текстом не по запросам. Яндекс подчёркивает, что это не нарушение и не ограничение сайта.