Google запускает PaLM 2 — следующее поколение своей большой языковой модели, на которой будет работать чат-бот Bard

На конференции разработчиков Google I/O компания объявила о запуске следующего поколения собственной большой языковой модели PaLM, которая ляжет в основу обновленного чат-бота Bard и будет функционировать как базовая технология для большинства новых функций искусственного интеллекта, которые также анонсированы сегодня.

Технические детали об обучении новой LLM Google не предоставила, как и данных о количестве параметров (PaLM, к примеру, это модель с 540 миллиардами параметров), хотя отметила, что технология была создана на основе последней инфраструктуры Google JAX и TPU v4.

«Мы обнаружили во время работы, что больше не всегда значит лучше. Считаем, что подсчет параметров — действительно не очень полезный путь для анализа возможностей модели. Возможности должны оценивать люди, которые их используют и выясняют, полезны ли они в тестах», — сказал вице-президент Google DeepMind Зубин Гахрамани.

В Google утверждают, что PaLM 2 лучше подходит для математики и логики, поскольку училась на большом количестве математических и научных текстов. Ни для кого не секрет, что большие языковые модели — с их подавляющим вниманием к текстам — имеют проблемы с обработкой математических запросов без использования сторонних плагинов. В компании говорят, что PaLM 2 с легкостью решает математические головоломки, размышляет над проблемами и создает диаграммы.

Также PaLM 2 получила улучшенные возможности для написания и настройки кода. Модель училась на 20 языках программирования, включая популярные JavaScript и Python, а также Prolog, Verilog и Fortran. PaLM 2 также легла в основу Codey – специализированной модели Google для кодировки и настройки, которую тоже запустили сегодня как часть службы дополнения и генерации кода.

PaLM 2 также училась