Данные: почему качество информации важно

Принцип GIGO: мусор на входе — мусор на выходе

В инженерии машинного обучения существует фундаментальное правило, сокращённо обозначаемое аббревиатурой GIGO — Garbage In, Garbage Out. Смысл его предельно прост: качество работы любой ИИ-системы не может превышать качество данных, на которых она обучалась. Можно использовать самую передовую архитектуру нейросети, самые мощные GPU-ускорители и самые изощрённые техники оптимизации — но если обучающая выборка содержит ошибки, пропуски или систематические искажения, модель неизбежно воспроизведёт и, вероятно, усилит эти дефекты. По данным опросов специалистов по данным, подготовка и очистка данных занимает от 60 до 80 процентов общего времени работы над проектами машинного обучения, а сам процесс обучения модели часто оказывается наиболее коротким этапом.

Типы дефектов данных и их последствия

Дефекты обучающих данных делятся на несколько категорий. Ошибки разметки — самая прямая угроза: если в наборе из 100 000 медицинских снимков 500 изображений здоровых тканей ошибочно помечены как патология, модель выучит ложные признаки болезни и будет выдавать ложноположительные диагнозы. Пропущенные значения — другая распространённая проблема: если для части пациентов не указан возраст, модель не сможет корректно учесть возрастной фактор, и её предсказания для этих случаев станут ненадёжными. Дубликаты записей приводят к тому, что модель придаёт непропорционально большой вес одним и тем же примерам, искажая распределение данных. Выбросы — экстремальные значения, возникшие из-за ошибок измерений или сбоев оборудования — могут существенно сместить параметры модели в неверном направлении.

Системная предвзятость: проблема не алгоритма, а выборки

Наиболее коварный тип дефекта — систематическая предвзятость, заложенная в самой структуре данных. Если обучающая выборка неравномерно представляет разные группы объектов или людей, модель унаследует эту неравномерность и будет систематически хуже работать на недопредставленных группах. Классический пример: системы распознавания лиц, обученные на наборах данных, где доминируют фотографии людей со светлой кожей, демонстрируют значительно более высокий уровень ошибок при распознавании лиц людей с тёмной кожей. Исследование Национального института стандартов и технологий США в 2019 году показало, что многие коммерческие системы распознавания лиц ошибаются в 10–100 раз чаще при работе с лицами определённых демографических групп. Важно понимать: это не результат злого умысла алгоритма, а прямое следствие несбалансированности данных — модель просто не видела достаточного количества примеров.

ImageNet: 14 миллионов изображений и скрытые перекосы

ImageNet — крупнейший общедоступный набор размеченных изображений, содержащий более 14 миллионов снимков из более чем 20 000 категорий — стал фундаментом революции компьютерного зрения 2010-х годов. Однако при всём своём масштабе ImageNet не является идеально репрезентативным: в нём перепредставлены определённые породы собак и кошек, западные культурные артефакты, стоковые фотографии и недостаточно представлены объекты и сцены из других культур. Модель, обученная исключительно на ImageNet, будет систематически лучше работать с изображениями, похожими на те, что доминируют в наборе, и хуже — с остальными. Масштаб данных не гарантирует их сбалансированности: 14 миллионов примеров могут содержать миллион фотографий одной породы собак и лишь десяток снимков редкого животного.

COMPAS: когда предвзятые данные ломают судьбы

Одним из самых громких примеров последствий предвзятости данных стала система COMPAS — алгоритм оценки риска повторного преступления, используемый в судебной системе США. Журналистское расследование ProPublica в 2016 году показало, что COMPAS систематически завышал риск рецидива для афроамериканцев и занижал его для белых подсудимых. Алгоритм в два раза чаще ошибочно помечал чернокожих обвиняемых как лиц с высоким риском, тогда как белых обвиняемых, которые впоследствии совершали новые преступления, в два раза чаще относил к категории низкого риска. Причина — не в конструкции алгоритма, а в исторических данных, на которых он обучался: полицейская статистика арестов сама по себе содержит расовые перекосы, отражающие не только преступность, но и практику правоохранительных органов. Модель добросовестно выучила закономерности, заложенные в несправедливых данных.

Исследование Буоламвини: 20-процентный порог точности

Исследовательница Джой Буоламвини из MIT Media Lab провела в 2018 году систематическое исследование точности коммерческих систем распознавания лиц от Microsoft, IBM и Face++ в зависимости от пола и оттенка кожи. Результаты оказались шокирующими: если для светлокожих мужчин точность достигала 99 процентов, то для темнокожих женщин она падала до 65 процентов у лучшей из систем и опускалась ниже 20 процентов у худшей. Иными словами, для темнокожих женщин каждая пятая попытка распознавания была ошибочной. Системы, проданные как готовый продукт корпорациями мирового уровня, фактически не работали для значительной части населения планеты. Исследование Буоламвини стало катализатором общественного обсуждения этики ИИ и привело к тому, что IBM и Microsoft объявили о пересмотре подходов к обучению систем распознавания лиц.

Фундаментальное ограничение: предвзятость трудно обнаружить

Ключевое ограничение проблемы качества данных состоит в том, что предвзятость обучающей выборки чрезвычайно трудно обнаружить до того, как модель начнёт работать в реальных условиях и причинит вред. Стандартные метрики качества — точность на тестовой выборке, полнота, F1-мера — вычисляются на тех же данных, которые содержат ту же предвзятость, и потому не сигнализируют о проблеме. Модель может показывать 95 процентов точности на тестовом наборе и при этом систематически ошибаться на конкретной группе пользователей. Универсальной методологии аудита данных на предмет скрытых перекосов не существует: каждый тип предвзятости требует отдельного анализа и привлечения экспертов из соответствующей предметной области. Без целенаправленного, дорогостоящего и трудоёмкого аудита предвзятые данные выглядят как качественные — и предвзятая модель выглядит как точная, пока не столкнётся с реальностью.