Сайт может быть красивым, быстрым и занимать хорошие позиции в обычном поиске, но для ИИ-ассистента оставаться набором картинок и скриптов, из которого невозможно понять, чем компания занимается и сколько стоят её услуги. Три небольших файла и один слой разметки решают большую часть этой проблемы: robots.txt определяет, кого пускать, schema.org объясняет, что именно написано на странице, а llms.txt даёт ассистенту короткую карту сайта на понятном ему языке. Эта статья — практическое руководство для владельца бизнеса, который хочет поставить задачу разработчику и понимать, что получит.
Три инструмента, три разные задачи
Их часто путают, поэтому начнём с разграничения.
- robots.txt — файл в корне сайта, который говорит ботам, какие разделы можно читать. Существует больше двадцати лет, но в последние годы в нём появились новые «гости»: боты ИИ-компаний.
- schema.org — стандарт разметки, который размечает содержимое страницы: вот это название организации, это адрес, это цена, это вопрос и ответ. Обычному посетителю разметка не видна, боту она даёт структуру вместо сплошного текста.
- llms.txt — относительно новая договорённость: текстовый файл, в котором сайт кратко описывает себя и перечисляет ключевые страницы для языковых моделей. Стандарт пока не универсален, но стоит дёшево и не вредит.
Ни один из них не гарантирует попадание в ответы ассистентов. Они убирают технические препятствия, а дальше работает содержание. Как ассистенты выбирают, кого назвать, разобрано в статье про AI Visibility.
robots.txt: кого пускать, а кого нет
У большинства ИИ-компаний есть собственные боты с узнаваемыми именами, например GPTBot у OpenAI, ClaudeBot у Anthropic, PerplexityBot, Google-Extended для обучения моделей Google. Некоторые из них читают сайт для обучения моделей, другие — для ответов с поиском в реальном времени. Это разные вещи, и к ним можно относиться по-разному.
Типичные ситуации:
- Сайт открыт для всех. Умолчание для большинства коммерческих сайтов: вы хотите, чтобы ассистенты знали о вас. Проверять нужно обратное — не закрыл ли разработчик или хостинг этих ботов случайно, такое встречается чаще, чем кажется, особенно у сайтов на конструкторах с включённой «защитой от ботов».
- Открыто для поиска, закрыто для обучения. Компромисс для тех, кто не хочет, чтобы контент использовался при обучении моделей, но хочет появляться в ответах. Технически это разные боты, и правила для них можно задать отдельно. Оговорка: не все компании соблюдают такое разделение одинаково строго.
- Закрыто всё. Осознанный выбор для сайтов с уникальным платным контентом. Для локального бизнеса, которому нужны клиенты, такой выбор редко оправдан.
Практический совет: попросите разработчика показать текущий robots.txt и проверить, нет ли там общего запрета, который заодно блокирует ботов ассистентов. На это уходит десять минут, а эффект иногда больше, чем от месяца работы над контентом.
schema.org: объяснить странице, что на ней
Разметка добавляется в код страницы в формате JSON-LD — небольшой блок с описанием сущностей. Для бизнес-сайта важны несколько типов.
Organization или LocalBusiness
Название, адрес, телефон, часы работы, география обслуживания, ссылки на профили в соцсетях и картах. Для локального бизнеса подходят уточняющие типы: Dentist, Restaurant, RealEstateAgent и подобные. Эта разметка помогает ассистенту связать упоминания о вас на разных площадках в одну сущность.
Service и Product
Что вы продаёте, с описанием и, где возможно, с ценой или диапазоном. Разметка цены особенно важна: ассистенты охотно отвечают на вопросы «сколько стоит», и структурированная цена вызывает больше доверия, чем цифра где-то в тексте.
FAQPage
Пары «вопрос — ответ». Если на сайте есть реальные вопросы клиентов с развёрнутыми ответами, разметка позволяет ассистенту взять ответ целиком. Условие: вопросы должны быть реальными, а ответы содержательными. Разметить три рекламных фразы под видом FAQ — бесполезно.
Article и BlogPosting
Для статей блога: заголовок, дата, автор, описание. Дата особенно важна: ассистенты с поиском учитывают свежесть, и статья без даты проигрывает статье с датой.
Разметка должна соответствовать тому, что видно на странице. Если в разметке цена одна, а в тексте другая, доверие падает к обеим.
llms.txt: карта сайта для языковых моделей
Идея проста: в корне сайта лежит файл llms.txt, в котором обычным текстом в формате Markdown написано, что это за сайт, и перечислены главные страницы со ссылками и короткими аннотациями. Языковая модель, попавшая на сайт, может прочитать его первым и сразу понять, где искать ответ, вместо того чтобы разбирать меню и скрипты.
Структура файла для небольшой компании выглядит примерно так:
- Заголовок с названием компании.
- Один-два абзаца: кто вы, где работаете, что делаете и для кого, чем не занимаетесь.
- Раздел «Услуги» со ссылками на страницы услуг и одной строкой описания к каждой.
- Раздел «Цены и условия», если есть отдельные страницы.
- Раздел «Частые вопросы» или «Полезные статьи» с ключевыми материалами.
- Контакты.
Рядом часто размещают расширенную версию, llms-full.txt, где содержимое ключевых страниц приведено целиком в текстовом виде. Это полезно для сайтов, у которых основной текст загружается скриптами и плохо читается ботами.
Честная оговорка: поддержка llms.txt у ассистентов неравномерна, и нет гарантии, что конкретный бот его прочитает. Но написание такого файла заставляет сформулировать, чем вы занимаетесь, в одном месте и без воды — это само по себе полезно, а стоимость внедрения близка к нулю.
Что ещё мешает ассистентам читать сайт
Файлы и разметка не помогут, если сам сайт устроен так, что текст из него не извлечь.
- Текст рисуется скриптами. Сайты на некоторых фреймворках отдают пустую страницу, а содержимое дорисовывают в браузере. Многие боты скрипты не выполняют и видят пустоту. Решение — серверный рендеринг или статическая генерация страниц.
- Цены и условия только в PDF и картинках. Прайс в виде изображения ассистент не прочитает. Нужна текстовая версия на странице.
- Один длинный лендинг на всё. Ассистенту проще цитировать страницу, посвящённую одному вопросу, чем искать нужный абзац среди двадцати блоков.
- Нет страницы «О компании» с фактами. Город, год основания, специализация, команда. Это первое, что ассистент ищет, чтобы понять, кто вы.
- Заголовки без смысла. «Почему мы» и «Наши преимущества» не несут информации. «Сроки и стоимость разработки Telegram-бота» — несут.
Как проверить результат
После внедрения стоит убедиться, что всё работает, а не просто лежит на сервере.
- Открыть robots.txt и llms.txt в браузере по прямым адресам и убедиться, что они доступны.
- Проверить разметку валидатором структурированных данных: он покажет ошибки и предупреждения.
- Посмотреть страницу «глазами бота»: отключить в браузере выполнение скриптов и проверить, виден ли текст.
- Через несколько недель задать ассистентам вопросы о компании и сравнить с результатом до изменений. Если на сайте стоит собственный ИИ-ассистент, тот же порядок в контенте улучшит и его ответы — он читает те же страницы.
Чеклист для постановки задачи разработчику
Если коротко сформулировать, что должно быть сделано:
- robots.txt проверен, боты ИИ-ассистентов не заблокированы случайно; принято осознанное решение по ботам для обучения.
- Добавлена разметка организации или локального бизнеса с полными контактами.
- Размечены услуги и товары, по возможности с ценами.
- Размечены реальные вопросы и ответы, статьи блога с датами.
- Создан llms.txt с описанием компании и ссылками на ключевые страницы.
- Текст страниц доступен без выполнения скриптов; цены и условия вынесены из PDF в HTML.
- Через месяц проведена повторная проверка ответов ассистентов.
Весь объём работ для сайта из десяти-двадцати страниц занимает ориентировочно от одного до нескольких дней в зависимости от платформы. Мы в AiKrok включаем эти пункты в стандартную проверку сайта, потому что в 2026 году они стали такой же базовой гигиеной, как адаптивная вёрстка под телефон.