robots.txt и Sitemap простыми словами

Коротко. robots.txt говорит поисковым роботам, куда на сайте не ходить. Sitemap — список страниц, которые вы хотите видеть в поиске. Оба файла лежат в корне сайта. Большинство CMS и конструкторов создают их сами, вам остаётся проверить, что в них нет ошибок.

robots.txt

Зачем он нужен

Файл управляет тем, какие разделы роботы обходят. Обычно закрывают служебные страницы: админку, корзину, результаты поиска по сайту, страницы с параметрами сортировки.

Важно: robots.txt не прячет страницы из поиска. И Яндекс, и Google пишут, что закрытая в нём страница всё равно может попасть в поиск, например по ссылкам с других сайтов. Для этого есть метатег noindex. Подробнее: почему сайт не появляется в Яндексе.

Где лежит и как называется

• Имя строго robots.txt, один файл на сайт.
• Только в корне: https://example.ru/robots.txt. В подпапке его не прочитают.
• Действует только на тот адрес, где лежит. Для https:// и для поддомена m.example.ru нужны свои файлы.
• Кодировка UTF-8.
• Яндекс: размер до 500 КБ, сервер отдаёт файл с кодом 200. Если файл не соответствует требованиям, Яндекс считает сайт открытым для индексирования.

Из чего состоит

Строка	Что делает
User-agent:	для какого робота правила; * — для всех
Disallow:	что не обходить: путь от корня, начинается с /
Allow:	что можно обходить внутри закрытого раздела
Sitemap:	полный адрес карты сайта, можно несколько
Clean-param:	только Яндекс: параметры адреса, которые можно не учитывать, например метки рекламы

Правила чувствительны к регистру: /Admin/ и /admin/ — разные пути. Знак * заменяет любые символы. Строки с незнакомыми командами роботы пропускают.

Пример для обычного сайта

User-agent: *
Disallow: /admin/
Disallow: /search/

Sitemap: https://example.ru/sitemap.xml

Для WordPress обычно закрывают /wp-admin/, но не закрывают папки с картинками, стилями и скриптами: без них робот не сможет нормально отрисовать страницу.

Частые ошибки

• Disallow: / осталось после разработки. Это запрет на весь сайт.
• Кириллица в путях. Яндекс просит переводить кириллические адреса в закодированный вид, а домены в Punycode.
• Попытка убрать страницу из поиска через robots.txt вместо noindex.

Как проверить

Откройте файл в браузере в режиме инкогнито. В Яндекс Вебмастере: «Инструменты» → «Анализ robots.txt», там можно проверить любой адрес. В Google Search Console есть отчёт о файлах robots.txt. Отправлять файл никуда не нужно: роботы находят его сами.

Sitemap — карта сайта

Зачем нужна

Это список адресов страниц, которые вы хотите видеть в поиске. Поисковики узнают о новых страницах быстрее и не пропускают те, до которых трудно дойти по ссылкам. Google при этом пишет, что для небольшого сайта, до 500 страниц, с хорошими внутренними ссылками карта не обязательна. Но она ничего не стоит и ускоряет знакомство нового сайта с поиском.

Формат и ограничения

• Чаще всего это XML-файл sitemap.xml. Google принимает ещё RSS, Atom и простой текстовый файл с адресом на каждой строке.
• В одном файле не больше 50 000 адресов и не больше 50 МБ без сжатия. Больше — делят на несколько файлов и собирают их в файл-индекс.
• Кодировка UTF-8, адреса полные: https://example.ru/page/, а не /page/.
• Google игнорирует priority и changefreq. Дату lastmod использует, если она точная: ставьте дату последнего заметного изменения, а не сегодняшнюю на всех страницах.
• В карту включают только страницы, которые должны быть в поиске: без дублей, служебных страниц и адресов, закрытых в robots.txt или noindex.

Пример минимальной карты:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url><loc>https://example.ru/</loc></url>
  <url><loc>https://example.ru/about/</loc><lastmod>2026-10-19</lastmod></url>
</urlset>

Как сообщить поисковикам

• строкой Sitemap: в robots.txt;
• в Яндекс Вебмастере: «Индексирование» → «Файлы Sitemap»;
• в Google Search Console: «Файлы Sitemap».

Яндекс загружает новую карту в течение двух недель, Google повторяет попытки несколько дней, если файл не открылся. Пошагово: Вебмастер и Метрика и Search Console.

Наши файлы

Наш сайт собирается генератором Astro, и оба файла создаются автоматически при каждой публикации. Пока сайт закрыт, robots.txt такой:

User-agent: *
Disallow: /

Когда откроем сайт, он станет таким, и поменяется это одной настройкой:

User-agent: *
Allow: /

Sitemap: https://hostatlas.ru/sitemap-index.xml

Карта сайта у нас разделена на файл-индекс sitemap-index.xml и сам список sitemap-0.xml. Так делает плагин Astro, чтобы при росте сайта не упереться в 50 000 адресов.

Читайте также

• Почему сайт не появляется в Яндексе
• SEO на старте: чек-лист для первого сайта
• Словарь: DNS, редирект и другие термины

Источники

• Яндекс: использование robots.txt, использование файла Sitemap, файлы Sitemap в Вебмастере
• Google: введение в robots.txt, как создать robots.txt, как создать Sitemap, отчёт о Sitemap
• Проверено 19.10.2026