Как внедрить в свой сервис LLM и «приручить» галлюцинации модели: гайд от продуктовой IT&#8209компании

ИИ переживает бум: компании в разных отраслях пытаются внедрить его всюду – от клиентской поддержки и продаж до аналитики. Один из популярных сценариев – автоматизация коммуникаций. Здесь ИИ может отвечать на звонки и сообщения, помогать операторам во время разговора или анализировать качество диалогов. Но есть у ИИ особенность, которая иногда становится серьёзной «головной болью» для сервиса – склонность к галлюцинациям.

Вместо точных ответов на вопрос клиенты получают вымышленные факты. Например, робот сообщает: «Вы сегодня говорили с нашим менеджером Олегом…», тогда как в компании нет ни одного Олега. Хорошая новость: галлюцинации можно минимизировать.

Компания IPTel, которая разрабатывает системы для автоматизации коммуникаций, использует в своих продуктах разные ИИ-модели: от локальных – для простых задач голосовых роботов до более гибких LLM – таких как Gemini, DeepSeek, ChatGPT и Llama – в сложных диалогах, ИИ-помощниках и сервисах речевой аналитики.

В партнёрском проекте CEO IPTel Иван Виноградов рассказал, как можно применить ИИ в бизнес-коммуникациях, почему возникают галлюцинации и как их минимизировать.

Содержание

• 1 С чего начать внедрение ИИ-модели
• 2 Как выбрать модель: опыт IPTel
• 3 Причины галлюцинаций
• 4 Как бороться с проблемой

С чего начать внедрение ИИ-модели

Итак, вы прочитали статью про «успешный успех» конкурента, который внедрил ИИ, и подумали: «Хочу так же!». Но первый и самый важный вопрос – не какую модель выбрать, а какую задачу бизнеса должен решить ИИ.

Практика показывает: на старте лучше выбрать 1-2 процесса, где ИИ даст заметный результат. Это могут быть операции с предсказуемым сценарием и ограниченным количеством возможных ответов.

Другой критерий, который