Коротко. Отдельной «оптимизации под нейросети» почти нет. ИИ-ответы Google, Copilot и поиск ChatGPT опираются на обычные поисковые индексы. Сайт должен быть открыт для поиска, проиндексирован и давать чёткие ответы текстом. Плюс одна настройка в robots.txt: не закрывать роботов, от которых зависит поиск, включая OAI-SearchBot от OpenAI.

Откуда нейросеть берёт источники

ИИ-ответ в поиске — это пересказ найденных страниц со ссылками на них. Что пишут сами компании:

  • Google: чтобы страница попала в ИИ-обзоры и режим ИИ, она должна быть проиндексирована и иметь возможность показываться в поиске с фрагментом. Дополнительных требований нет.
  • Bing и Copilot используют ту же основу сканирования, индексации и ранжирования, что и обычный поиск Bing.
  • ChatGPT ищет с помощью своего робота OAI-SearchBot. Сайты, закрытые для него, не показываются в ответах поиска ChatGPT.
  • Яндекс отдельных правил для Нейро и Алисы мы не нашли: страница справки не открылась. Разумно исходить из того же, что у остальных: сайт должен быть в обычном поиске Яндекса. Это наше предположение, а не позиция Яндекса.

Вывод простой: если сайта нет в обычном поиске, его не будет и в ИИ-ответах. Начинать нужно с базы: как добавить сайт в Яндекс и в Google.

Что советуют Google и Bing

Google для ИИ-функций советует то же, что для обычного поиска:

  • разрешить сканирование в robots.txt;
  • связывать страницы внутренними ссылками;
  • делать важный контент доступным в виде текста, а не картинкой;
  • держать информацию актуальной;
  • писать полезный и достоверный контент для людей.

Bing в своих правилах формулирует конкретнее, что помогает попасть в ответы Copilot:

  • текст полностью отвечает на вопрос;
  • факты и определения сформулированы явно;
  • главное стоит в начале страницы;
  • текст понятен без внешнего контекста;
  • у страницы одна основная тема.

Там же Bing перечисляет, что делать нельзя: попытки манипулировать ИИ скрытыми командами в тексте, массово сгенерированный контент, переспам ключевыми словами и партнёрские сайты без собственной ценности.

Роботы, которых нельзя закрывать

Если в robots.txt стоит запрет для всех или для конкретных роботов, сайт выпадет из ответов. Проверьте, что не закрыты:

РоботЧейЗачем нужен
GooglebotGoogleобычный поиск и ИИ-ответы Google
BingbotMicrosoftпоиск Bing и Copilot
OAI-SearchBotOpenAIответы поиска в ChatGPT
YandexBotЯндекспоиск Яндекса

Можно разрешить поиск, но запретить обучение моделей на ваших текстах. Для этого есть отдельные роботы:

  • GPTBot у OpenAI собирает тексты для обучения моделей. Запрет GPTBot не мешает OAI-SearchBot показывать сайт в ответах.
  • Google-Extended у Google управляет использованием сайта для обучения Gemini. Google пишет, что этот запрет никак не влияет на показ сайта в Google Поиске.
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

OpenAI предупреждает, что изменения в robots.txt его системы учитывают примерно через сутки.

Как ограничить цитирование

Если не хотите, чтобы нейросеть пересказывала страницу:

  • nosnippet и max-snippet в метатеге robots ограничивают фрагменты у Google, а значит и использование в ИИ-ответах;
  • у Bing noarchive запрещает использовать страницу в ответах Copilot, а nocache разрешает брать только адрес, заголовок и описание;
  • noindex убирает страницу из поиска совсем.

Что такое llms.txt и нужен ли он

llms.txt — файл в корне сайта, где в формате Markdown кратко описан сайт и перечислены главные страницы. Его предложил Джереми Говард в 2024 году. Это предложение, открытое для обсуждения, а не официальный стандарт. Автор пишет, что файл чаще всего используют для документации программ, а сами ИИ-компании публикуют llms.txt для своих справочников.

Ни Google, ни Bing не пишут, что используют llms.txt в поиске или ИИ-ответах. Google прямо говорит, что специальные файлы не нужны. Мы сделали такой файл для HostAtlas, потому что это пять минут работы и он может пригодиться ИИ-агентам, которые читают сайт по просьбе пользователя. Но рассчитывать на него как на способ попасть в ответы не стоит.

Как пишем мы

Формат наших статей подходит для цитирования, хотя делали мы его для людей:

  • в начале каждой статьи блок «Коротко» с главным ответом;
  • частые вопросы с ответами в два-три предложения;
  • словарь, где каждое определение — одно-два предложения;
  • цифры с датой проверки и ссылками на источники;
  • одна статья отвечает на один вопрос.

Сайт пока закрыт от поисковиков, поэтому ни в одном ИИ-ответе нас нет. Когда откроем, будем раз в месяц спрашивать Алису, ChatGPT и Google о темах наших статей и допишем сюда, что получилось.

Читайте также

Источники

Частые вопросы

Нужна ли особая оптимизация, чтобы попасть в ИИ-ответы Google?

Нет. Google пишет, что для ИИ-функций Поиска не нужны дополнительные требования, специальные файлы и отдельная разметка. Достаточно, чтобы страница была в индексе и могла показываться в поиске с фрагментом текста.

Какого робота разрешить, чтобы сайт цитировал ChatGPT?

OAI-SearchBot. OpenAI пишет, что сайты, закрытые для этого робота, не показываются в ответах поиска ChatGPT. Робот GPTBot отвечает за обучение моделей, его можно запретить отдельно, на поиск это не влияет.

Поможет ли файл llms.txt попасть в ответы нейросетей?

Подтверждений нет. llms.txt — предложение, а не стандарт, и ни Google, ни Bing не пишут, что используют его в поиске. Google прямо говорит, что специальные файлы не нужны. Файл может пригодиться ИИ-агентам, которые читают сайт по просьбе пользователя.