Почему ИИ ошибается

Природа ошибок машинного обучения

Искусственный интеллект ошибается — это не исключение, а фундаментальное свойство вероятностных систем. В отличие от детерминированных программ, где ошибка означает дефект кода и должна быть исправлена, ИИ-системы по своей природе оперируют вероятностями и оценками, которые по определению не могут быть абсолютно точными во всех случаях. Понимание причин, по которым ИИ допускает ошибки, так же важно для грамотного использования технологии, как и понимание её возможностей.

Первая и наиболее очевидная причина — неполнота обучающих данных. Никакая обучающая выборка, сколь бы большой она ни была, не может охватить всё многообразие ситуаций реального мира. Модель, обученная распознавать дорожные знаки на фотографиях из Европы и Северной Америки, может не узнать знак из Японии — просто потому, что никогда не видела таких примеров. Модель диагностики заболеваний, обученная на данных из одной больницы, может давать сбои на пациентах из другого региона с иной демографической структурой. Проблема в том, что модель не понимает, что она столкнулась с незнакомой ситуацией — она применяет те же выученные закономерности и может выдать уверенный, но неверный ответ.

Состязательные атаки: один пиксель меняет всё

Одно из самых поразительных свойств нейронных сетей — их уязвимость к состязательным примерам. Добавив к изображению специально рассчитанный шум, невидимый человеческому глазу, можно заставить нейросеть кардинально изменить своё решение. В 2017 году исследователи показали, что изменения всего одного пикселя на изображении достаточно, чтобы нейросеть, обученная на наборе CIFAR-10, перестала узнавать объект: самолёт превращался в собаку, корабль — в автомобиль. Механизм атаки основан на том, что нейросеть оперирует признаками, не совпадающими с человеческим восприятием: крошечное возмущение входного сигнала, неразличимое для глаза, может радикально изменить карту активаций нейронов и увести модель к неверному решению.

Стикер на знаке «стоп»: как обмануть автопилот

В 2018 году группа исследователей из США продемонстрировала практическую уязвимость систем компьютерного зрения для беспилотных автомобилей. Небольшой стикер, наклеенный на дорожный знак «стоп», заставлял систему автопилота Tesla Model S принять его за знак ограничения скорости. Для человека знак со стикером оставался недвусмысленным знаком «стоп», для нейросети он превращался в нечто иное. Эффективность таких физических состязательных атак в отдельных экспериментах достигала 80 процентов: в четырёх случаях из пяти наклейка успешно вводила нейросеть в заблуждение. Эта уязвимость принципиальна: она показывает, что ИИ видит мир иначе, чем человек, и это различие невозможно устранить простым увеличением объёма обучающих данных.

Deep Dream и призраки в нейросети

Яркой иллюстрацией того, как нейросети воспринимают изображения не так, как люди, стал проект Google Deep Dream, выпущенный в 2015 году. Инженеры Google запустили процесс распознавания изображений в обратную сторону: вместо того чтобы спрашивать сеть, что она видит на картинке, они попросили её усилить те признаки, которые она уже обнаружила. Результат оказался сюрреалистическим: нейросеть, обученная на ImageNet и содержащая множество изображений собак, начинала видеть собачьи морды в облаках, деревьях, зданиях и даже в текстуре пустой стены — потому что при обучении она усвоила, что определённые сочетания кривых и текстур с высокой вероятностью соответствуют собакам, и проецировала этот шаблон на всё подряд. Deep Dream наглядно демонстрирует, что внутреннее представление мира у нейросети не имеет ничего общего с человеческим пониманием объектов.

Галлюцинации языковых моделей: уверенность без знаний

Генеративные языковые модели, такие как ChatGPT от OpenAI и GigaChat от Сбера, демонстрируют особый тип ошибок — галлюцинации. Модель выдаёт грамматически безупречный, стилистически выверенный, логически связный текст, который при этом содержит фактические ошибки. Она может указать неверную дату исторического события, придумать несуществующую научную статью, сослаться на вымышленный закон. Корень проблемы — в архитектуре языковых моделей: они оптимизированы для порождения правдоподобного текста, а не для обеспечения фактической точности. Модель не имеет доступа к некоей базе истины и не отделяет достоверную информацию от недостоверной в своих обучающих данных — она воспроизводит статистические закономерности языка, включая и те, что соответствуют ошибочным или вымышленным утверждениям.

Фундаментальное ограничение: ИИ не знает, чего он не знает

Ключевая уязвимость современных ИИ-систем — отсутствие осознания границ собственной компетентности. Человек, столкнувшись с вопросом вне своей области знаний, обычно осознаёт это и отвечает: «Я в этом не разбираюсь». ИИ-модель, напротив, всегда выдаёт ответ — и делает это с одинаковой степенью уверенности, независимо от того, опирается ли она на твёрдые закономерности в данных или экстраполирует в область, где никаких данных не было. Модель не имеет механизма для оценки надёжности собственных предсказаний в терминах, понятных пользователю. Разработка методов количественной оценки неопределённости и калибровки уверенности моделей — один из важнейших фронтов современных исследований ИИ.

Урок для пользователя: доверяй, но проверяй

Практический вывод из анализа ошибок ИИ состоит в том, что критическое мышление при работе с искусственным интеллектом — не паранойя, а обязательный навык. Любой ответ ИИ-системы, будь то диагноз от медицинской модели, прогноз от финансового алгоритма или факт от языковой модели, требует перепроверки независимыми источниками в тех случаях, когда ошибка может иметь последствия. Состязательные атаки, галлюцинации, ошибки на незнакомых данных — всё это не ошибки конкретной модели, а системные свойства технологии, которые невозможно устранить полностью. Понимание этих ограничений и грамотная интерпретация результатов — то, что отличает эффективного пользователя ИИ от того, кто слепо доверяет алгоритму.