ИИ не то, чем кажется: ученые сделали умопомрачительное открытие о работе нейросетей

Исследователи пытаются понять, почему системы искусственного интеллекта так хорошо учатся, используя так мало данных. Ученые хотят раскрыть одну из самых больших тайн языковых моделей ИИ, которые используются в таких инструментах генерации текста и изображений, как DALL-E и ChatGPT. Эксперты в области машинного обучения (МО) на протяжение некоторого времени замечают нечто странное в больших языковых моделях (LLM), таких как GPT-3 от OpenAI и LaMDA от Google, а именно — обе хорошо справляются с задачами, для выполнения которых их не обучали.

Необъяснимо, но это факт. Это пример того, что в большинстве случаев невозможно объяснить, как нейросеть достигает высоких результатов, используя минимальное количество данных, говорится в материале vice.com. В исследовании, опубликованном на сервере препринтов arXiv, ученые из Массачусетского технологического института (МТИ), Стэнфордского университета и компании Google пытаются дать оценку этому загадочному феномену, который называется "обучение в контексте".

Обычно для выполнения новой задачи большинство моделей МО необходимо переобучить на новых данных. Этот процесс требует от исследователей ввода тысяч "точечных" данных, чтобы получить желаемый результат. Занятие утомительное и трудоемкое.

Но метод обучения в контексте дает ИИ-системе возможность научиться быстро и корректно выполнять новые задачи, просмотрев предварительно несколько примеров. По сути, нейросеть осваивает новые навыки "на лету". Получив подсказку, языковая модель может взять список входных и выходных данных и создать новые, часто правильные прогнозы для задачи, для которой она не была специально обучена.