Клиент спрашивает в чате: «Сколько стоит доставка в Кутаиси?» Агент уверенно отвечает: «Доставка в Кутаиси — 15 лари, 2 рабочих дня». Проблема в том, что компания никогда не доставляла в Кутаиси и прайса на это направление не существует. Модель не солгала намеренно — она достроила правдоподобный ответ, потому что так устроена. Через неделю клиент требует выполнить обещанное, и спор идёт уже не о доставке, а о репутации.
Это и есть галлюцинация: уверенный, грамотный, правдоподобный и неверный ответ. Для бизнеса самые опасные галлюцинации — про цены, сроки, условия и наличие, потому что именно их клиент воспринимает как обязательство. Ниже — почему это происходит, и главное, как спроектировать агента так, чтобы он физически не мог выдумать цену.
Почему модель выдумывает
Языковая модель не хранит факты как база данных. Она предсказывает наиболее вероятное продолжение текста. Если в запросе есть вопрос о цене, самое вероятное продолжение — ответ с ценой. Модель не «знает», что у неё нет этой информации, если её специально не научили это проверять и не дали ей, куда посмотреть.
Из этого следует практический вывод: бороться с галлюцинациями просьбой «не выдумывай» в промпте — слабая мера. Она помогает, но не гарантирует. Надёжная защита строится на архитектуре: модель не должна быть источником фактов. Она должна быть интерфейсом к источникам.
Где галлюцинации бьют по бизнесу сильнее всего
- Цены и скидки. «Да, на этот товар действует скидка 20%» — и клиент приходит с скриншотом.
- Сроки. «Доставим завтра», «ремонт займёт 2 дня» — обещания, под которыми нет данных.
- Наличие. «Есть в наличии в размере M» — при пустом складе.
- Условия возврата и гарантии. Модель может «вспомнить» общепринятые условия, которые у вас другие.
- Юридические и медицинские формулировки. Уверенный неверный совет здесь — риск уже не репутационный.
- Технические характеристики. Мощность, совместимость, состав — модель охотно додумывает цифры.
Общее у этих категорий: ответ выглядит как факт, клиент принимает решение на его основе, а проверить его в момент разговора клиент не может.
Пять уровней защиты
Защита от галлюцинаций — не один приём, а несколько слоёв. Чем ближе к деньгам, тем больше слоёв нужно.
Уровень 1. Факты только из источников
Агент получает цены, остатки и сроки через инструменты — запрос к прайсу, учётной системе, календарю доставки — а не из собственной памяти. В инструкции прямо прописано: если инструмент не вернул данные, сообщить, что информации нет, и предложить уточнить у менеджера. Технически это означает: у агента должна быть функция «получить цену по артикулу», и он обязан её вызвать перед тем, как назвать сумму. Для ответов по условиям и регламентам то же самое делает RAG — поиск по документам компании с указанием источника, о котором подробно в статье про RAG на практике.
Уровень 2. Запрет на свободную генерацию чисел
Более жёсткий вариант: модель вообще не формулирует цену текстом. Она возвращает структурированный ответ — артикул, намерение клиента, — а числа подставляет код из базы. Клиент видит «Доставка в Батуми: 10 лари, 1–2 дня», но эту строку собрал не ИИ, а программа по данным. Модель здесь отвечает за понимание вопроса и формулировку вокруг, но не за факт. Этот подход мы в AiKrok применяем по умолчанию везде, где агент называет деньги.
Уровень 3. Проверка ответа перед отправкой
Между моделью и клиентом стоит проверяющий слой. Он может быть простым — правила: если в ответе есть число с валютой, а инструмент цены не вызывался, ответ блокируется. Или сложнее — вторая модель с инструкцией «найди в ответе утверждения о ценах, сроках и условиях и проверь каждое по предоставленным данным». Второй вариант дороже и медленнее, но для B2B-продаж с крупными чеками оправдан.
Уровень 4. Ограничение полномочий формулировками
Агент не даёт обещаний от имени компании, а описывает условия. Разница между «доставим к пятнице» и «по графику доставка занимает 2–3 рабочих дня; точную дату подтвердит менеджер при оформлении» принципиальна и юридически, и с точки зрения ожиданий клиента. Это настраивается инструкцией и проверяется на тестах. Хорошая практика — список формулировок, которые агенту запрещены: «гарантирую», «точно будет», «обещаю».
Уровень 5. Человек в контуре для критичных ответов
Для некоторых категорий ответ агента уходит не клиенту, а менеджеру на подтверждение. Индивидуальная скидка, нестандартный срок, спорная ситуация — агент готовит черновик, человек нажимает «отправить» или правит. Клиент получает ответ чуть позже, но без риска. По мере накопления статистики часть категорий можно переводить в автоматический режим.
Как проверить агента до запуска
Галлюцинации нужно искать специально — сами по себе на демонстрации они не проявятся. Набор провокационных тестов:
- Вопросы о том, чего нет. Цена на несуществующий товар, доставка в город, куда вы не возите, услуга, которую вы не оказываете. Правильный ответ — «такого нет» или «уточню», а не цифра.
- Давление. «Мне срочно, просто скажите примерно сколько». Агент должен держать позицию и не называть число без данных.
- Ложные предпосылки. «Мне вчера ваш менеджер обещал скидку 30%, подтвердите». Агент не должен подтверждать то, чего не видит в системе.
- Пограничные случаи. Товар есть, но в другом размере; доставка есть, но не в выходные.
- Проверка источников. Для каждого ответа с фактом — откуда он взят. Если источник не прослеживается, это дефект.
Ориентир: 50–100 таких вопросов, прогон перед запуском и после каждого изменения промптов или базы знаний. Это занимает часы, а не дни, и окупается первым же предотвращённым спором.
Что делать после запуска
Полностью исключить галлюцинации нельзя — можно сделать их редкими и безвредными. Поэтому нужен процесс:
- Выборочный просмотр диалогов раз в неделю с фокусом на ответы, содержащие числа, даты и слова «да, можно».
- Кнопка «ответ неверный» для сотрудников, которые видят диалоги агента, — каждое срабатывание разбирается.
- Логирование вызовов инструментов: по каждому ответу с ценой должен быть след запроса к прайсу. Отсутствие следа — сигнал.
- Пересмотр списка запрещённых формулировок и критичных категорий по мере роста данных.
Эти показатели стоит включать в общий контроль агента, о котором речь в статье про метрики эффективности AI-агента.
Честные ограничения
Если у компании нет актуального прайса в структурированном виде — цены в голове у владельца или в чате менеджеров, — защита первого уровня невозможна: агенту просто нечего запрашивать. Сначала прайс в таблице, потом агент. Если условия меняются ежедневно и не фиксируются, та же проблема. И если бизнес сам по себе построен на индивидуальных договорённостях — каждая цена обсуждается, — агенту лучше вообще не касаться денег и работать только на сборе информации и передаче менеджеру.
Итог
Галлюцинации — не дефект конкретной модели, а свойство технологии, которое учитывается в архитектуре. Рабочее правило: модель понимает вопрос и формулирует ответ, а факты — цены, сроки, наличие, условия — приходят из систем компании и подставляются кодом. Добавьте проверку перед отправкой, запрет на обещания и человека в контуре для критичных случаев, протестируйте провокационными вопросами — и агент перестанет быть источником риска. Если хотите проверить, насколько ваш текущий или планируемый агент защищён от выдумок, это можно разобрать на бесплатной консультации.