Как обучается ИИ

От данных к модели: три обязательных этапа

Обучение машинного интеллекта — строгий трёхэтапный процесс: подготовка размеченных данных, итеративная подгонка параметров модели и независимая проверка качества. На первом этапе формируют обучающую выборку — тысячи или миллионы примеров, каждому из которых сопоставлен правильный ответ. Для задачи классификации изображений это означает, что каждую картинку вручную подписали: «собака», «кошка», «автомобиль». Именно так создавался легендарный датасет ImageNet — 14 миллионов изображений, которые тысячи людей размечали несколько лет. Если на этом этапе перепутать хотя бы один процент меток, модель выучит ложные ассоциации, которые уже невозможно будет исправить без переразметки всего набора.

Нейронная сеть изнутри: нейроны, слои и веса

Нейронная сеть представляет собой направленный граф, узлы которого — искусственные нейроны, а рёбра — числовые коэффициенты, называемые весами. Информация движется от входного слоя через скрытые слои к выходному, и в каждом нейроне происходит простая операция: взвешенная сумма входных сигналов пропускается через нелинейную функцию активации. Всё знание модели хранится в весах — у современной языковой модели GPT-3 их 175 миллиардов, у российской GigaChat от Сбера — несколько десятков миллиардов, у простой модели для распознавания цифр на конвертах — несколько тысяч. Обучение сводится к поиску такого набора весов, при котором модель выдаёт правильные ответы на максимальной доле примеров.

Градиентный спуск: математика спуска с горы

Представьте, что вы стоите с завязанными глазами на склоне горного массива. Высота в каждой точке — это величина ошибки модели при заданных значениях весов. Ваша цель — найти самую низкую точку ландшафта, то есть комбинацию весов, дающую минимальную ошибку. В этой аналогии градиентный спуск — алгоритм, который на каждом шаге ощупывает склон вокруг себя, определяет направление самого крутого спуска и делает небольшой шаг именно туда. Ключевой параметр — скорость обучения: слишком большой шаг, и вы перепрыгнете через долину-минимум; слишком маленький, и спуск займёт вечность. На практике используют адаптивные варианты градиентного спуска — Adam, RMSProp, — которые автоматически подстраивают размер шага для каждого веса.

Обратное распространение: цепочка вины

Механизм обратного распространения ошибки — математический двигатель всего глубокого обучения. Когда прямое прохождение сигнала через сеть завершается предсказанием, алгоритм сравнивает его с правильным ответом и вычисляет ошибку. Затем, используя правило дифференцирования сложной функции, ошибка раскладывается на доли каждого нейрона в обратном порядке — от выходного слоя к входному. Каждый вес получает свою «долю вины» и корректируется пропорционально ей. Одна итерация — одно прямое прохождение и одно обратное. Для обучения GPT-3 потребовались сотни миллиардов итераций на тысячах GPU-ускорителей, непрерывно работавших несколько месяцев и потребивших электроэнергию, сопоставимую с месячным потреблением посёлка из нескольких сотен домов.

Переобучение: когда модель зазубривает вместо понимания

Главный враг машинного обучения — переобучение. Это ситуация, в которой модель идеально предсказывает ответы на тренировочных примерах, но полностью проваливается на новых данных. Причина: модель «запомнила» случайные шумы, уникальные особенности тренировочной выборки, приняв их за универсальные закономерности. Классический пример: нейросеть, обученная различать волков и хаски по фотографиям, достигает 95% точности на тесте, но на практике ориентируется исключительно на снег в кадре — потому что в обучающей выборке все волки были сфотографированы на снегу. Защита от переобучения включает разделение данных на обучающую, проверочную и тестовую выборки (модель оценивают на данных, которых она не видела никогда), регуляризацию (искусственный штраф за слишком большие веса) и dropout (принудительное отключение случайной доли нейронов на каждой итерации обучения).

Фундаментальное ограничение: почему данные решают всё

Производительность любой модели машинного обучения ограничена качеством и объёмом обучающих данных сильнее, чем архитектурой алгоритма. Разметка данных — трудоёмкий ручной процесс. ImageNet с 14 миллионами изображений размечали годами усилиями тысяч людей. Common Crawl — текстовый корпус, на котором обучалась GPT-3, — содержит миллиарды веб-страниц, но их фильтрация и очистка потребовали месяцев вычислений. Для многих практических задач — диагностики редких заболеваний, прогнозирования стихийных бедствий, анализа древних рукописей — получить достаточный объём размеченных данных невозможно физически. Это стимулирует развитие полуавтоматического обучения, где модель учится на небольшом количестве размеченных примеров и огромном массиве неразмеченных, а также методов синтетической генерации данных, где новые обучающие примеры создаются алгоритмически.