Проверка информации от ИИ

Природа галлюцинаций: почему ИИ выдумывает факты

Генеративные языковые модели — ChatGPT, GigaChat, Claude, Gemini — создают грамматически и стилистически безупречные тексты. Однако за внешней убедительностью часто скрываются фактические ошибки — галлюцинации. Этот термин обозначает феномен: модель порождает утверждения, не соответствующие действительности, но оформленные так, будто они являются достоверной информацией. Механизм галлюцинаций коренится в самой архитектуре: модель не обращается к базе фактов и не проверяет утверждения — она предсказывает наиболее вероятную последовательность слов, основываясь исключительно на статистических закономерностях обучающего корпуса. Галлюцинация возникает, когда статистически правдоподобное продолжение текста расходится с фактической реальностью.

Типология галлюцинаций и конкретные примеры

Галлюцинации делятся на несколько категорий. Фактографические ошибки: модель указывает неверную дату события, приписывает цитату не тому автору, путает столицы государств. Вымышленные источники: модель «цитирует» несуществующую научную статью с убедительным названием, фамилиями реальных учёных и правдоподобным годом публикации — такие случаи многократно документированы при тестировании ChatGPT и GigaChat. Вымышленные личности: на запрос о малоизвестном историческом периоде модель может сгенерировать биографию деятеля, которого никогда не существовало. Противоречия: в рамках одного длинного ответа модель сначала утверждает одно, а через несколько абзацев — противоположное, не замечая противоречия.

Масштаб проблемы: статистика ошибок

Исследования 2023–2024 годов выявили тревожную картину. По данным различных научных работ, от 25 до 30% ответов ChatGPT на запросы из специализированных областей содержат хотя бы одну фактическую ошибку. В общем диапазоне — от 3 до 15% утверждений лучших моделей являются галлюцинациями, причём частота ошибок максимальна в узкоспециальных и слабо освещённых в интернете темах. Иначе говоря, как минимум в одном из 30 запросов ИИ уверенно сообщает ложную информацию, и пользователь может этого не заметить.

Алгоритм фактчекинга: системная проверка

Эффективная проверка информации от ИИ требует системного подхода. Первый шаг — вычленение проверяемых утверждений: в ответе модели нужно выделить все конкретные фактографические элементы — даты, имена, числа, ссылки на источники, научные положения. Второй шаг — триангуляция источников: каждое значимое утверждение проверяется минимум по двум независимым авторитетным источникам. Авторитетный источник характеризуется прозрачностью происхождения информации, наличием экспертизы и репутацией достоверности: научные журналы, академические энциклопедии, официальные публикации государственных органов. Википедия может служить отправной точкой, но не финальным авторитетом — её статьи следует проверять по указанным первоисточникам.

Особая проверка уверенных утверждений

Экспериментально установлено: чем увереннее модель формулирует утверждение, тем критичнее оно нуждается в проверке. Модели не различают высокую статистическую вероятность и фактическую достоверность — фраза из авторитетного научного журнала и фраза из случайного комментария на форуме для неё статистически равноправны, если обе встречались в обучающих данных. Поэтому уверенный, безапелляционный тон ответа ChatGPT или GigaChat не является свидетельством достоверности — напротив, такие утверждения требуют первоочередной проверки.

Требование источников: проверка через запрос

Один из сильнейших инструментов верификации — прямое требование источника. На запрос «укажи, откуда эта информация, дай конкретную ссылку» модель должна предоставить проверяемую ссылку. Если ChatGPT или GigaChat не даёт конкретной ссылки или ссылается на несуществующую публикацию, это один из надёжнейших сигналов галлюцинации. Практика показывает: модели особенно склонны фабриковать библиографические данные — названия журналов, DOI, фамилии авторов.

Фундаментальное ограничение: отсутствие доступа к истине

Корень проблемы — в архитектуре. Языковые модели не имеют механизма верификации: они не подключены к базам данных, не проверяют факты в реальном времени (за исключением систем с поисковыми плагинами), не оценивают достоверность источников обучающего корпуса. Модель — статистический двигатель генерации текста, а не база знаний. Она с равной уверенностью воспроизведёт и твёрдо установленный научный факт, и городскую легенду, многократно повторённую в интернете. Осознание этого архитектурного ограничения — не повод отказываться от ИИ, а основание для выработки привычки к систематической проверке: доверяй, но перепроверяй.