Исследователи из Оксфорда предложили принципиально новый способ обучения нейросетей

Абсолютно все нейросети, которые нас окружают, обучены с помощью одного и того же алгоритма – алгоритма обратного распространения ошибки (англ. back-propagation). Его изобрели еще в 80-х годах прошлого века ученые Дэвид Румельхарт, Джеффри Хинтон (ныне нобелевский лауреат) и Рональд Уильямс.

Идея back-propagation в том, что мы сначала «прогоняем» входные данные вперёд по сети (forward pass), получаем предсказания и вычисляем их ошибку, а затем прогоняем сигнал ошибки назад по сети (backward pass), чтобы вычислить градиенты и обновить веса. Это работает хорошо и надежно, но есть нюансы, из-за которых ученые уже много лет пытаются найти этому подходу альтернативу.

Во-первых, высокое потребление памяти. Чтобы посчитать, как изменять веса, алгоритму нужно сохранить все промежуточные результаты. Получается довольно прожорливо. Во-вторых, последовательная природа вычислений. Обновления происходят поэтапно – сначала последний слой, затем предыдущий и так далее. Это значит, что нельзя обновлять все части сети одновременно, то есть обучение сложно распараллелить. Это снижает скорость работы.

Если хотите больше знать о том, как работают современные нейросети, то приходите к нам в тг-канал Data Secrets. Вот здесь мы как раз выпускали большое иллюстрированное объяснение алгоритма back-propagation, здесь разбирали его на примере, а вот тут делали подборку качественных бесплатных ресурсов для базового понимания LLM.

А еще мы (а мы – это команда действующих ML-инженеров) каждый день делимся вот такими понятными разборами ключевых свежих статей и отборными новостями. Так что заглядывайте: нас уже 56 тысяч и наше сообщество всегда радо новым специалистам и энтузиастам :)

За 40 лет, конечно, появилось уже много исследований с изучением