Данные кончились, что дальше? Как Илья Суцкевер хочет создать супер-интеллект

Илья Суцкевер, сооснователь OpenAI и глава новой лаборатории SSI, в интервью Дваркешу Пателю заявил о завершении "эпохи масштабирования" (Age of Scaling). По его мнению, период с 2020 по 2025 год, когда прогресс достигался преимущественно наращиванием вычислительных мощностей и объемов данных, сменяется новой "эпохой исследований" (Age of Research). Следующие годы будут во многом похожи на ранний период глубокого обучения, когда ключевыми были архитектурные прорывы и новые идеи, а не просто размер кластера. Стратегия экстенсивного роста уперлась в естественный потолок — конечность данных для предварительного обучения (pre-training).

Главная проблема, которую предстоит решить, — колоссальная неэффективность обучения нейросетей по сравнению с человеком. Суцкевер приводит в качестве примера вождение: подростку достаточно 10–20 часов практики без четкой функции вознаграждения, чтобы поехать в потоке. Современным же RL-системам для аналогичного результата требуются огромные ресурсы и долгое время в симуляциях.

Суцкевер отмечает, что люди много раз успешно осваивали навыки, которых не было в их эволюционной истории — например, программирование, высшая математика. Это доказывает существование в нашем мозге универсального и мощного алгоритма адаптации, который превосходит используемую в нейросетях связку Backpropagation и Reinforcement Learning. Пока мы не найдем этот "секретный ингредиент", современные модели будут оставаться парадоксально хрупкими: способными решать олимпиадные задачи по математике, но "сыпаться" на простых логических тестах или зацикливаться при исправлении элементарных багов.

Именно поэтому стратегия новой компании Суцкевера, SSI (Safe Superintelligence), строится не на участии в коммерческой гонке, а на