Илья Суцкевер заявил об изменениях в обучении ИИ

Соучредитель OpenAI и бывший главный научный сотрудник Илья Суцкевер, который теперь возглавляет собственную компанию Safe Superintelligence Inc., заявил на конференции по нейронным системам обработки информации (NeurIPS) в Ванкувере, что существующие методы обучения искусственного интеллекта останутся в прошлом.

«Предварительное обучение, каким мы его знаем, несомненно, закончится», — сказал Суцкевер. Он имел в виду первую фазу разработки модели ИИ, когда большая языковая модель изучает закономерности в огромных массивах немаркированных данных — обычно это тексты из Интернета, книг и других источников. 

По словам исследователя, хотя он считает, что существующие данные всё ещё могут продвинуть разработку ИИ дальше, но отрасль использует новые данные для обучения. Суцкевер уверен, что эта динамика в конечном итоге придётся менять процесс обучения. Он сравнил ситуацию с ископаемым топливом: так же, как нефть является конечным ресурсом, Интернет содержит конечное количество контента, созданного человеком.

«Мы достигли пиковых объёмов данных, и больше их не будет. Нам придётся иметь дело с данными, которые у нас есть. Интернет только один», — подчеркнул Суцкевер. 

Исследователь предсказал, что модели следующего поколения «будут агентными в реальном смысле». Хотя Суцкевер не дал им определения во время своего выступления, но обычно агенты понимают как автономную систему ИИ, которая выполняет задачи, принимает решения и взаимодействует с программным обеспечением самостоятельно. Исследователь сказал, что будущие системы будут не только «агентными», но и научатся рассуждать. В отличие от сегодняшнего ИИ, который в основном сопоставляет шаблоны на основе того, что модель видела раньше, будущие системы ИИ смогут решать проблемы шаг за