ИИ, наконец, станет полезен и научит гаджеты разговаривать с людьми

Трансформеры — модели данных, основанные на нейронных сетях, — радикально изменят то, как машины взаимодействуют с нами. В последнее время появляется все больше и больше языковых моделей на основе архитектур-трансформеров. Ученые уверены, что с их помощью они смогут совершить прорыв в области искусственного интеллекта, которого никто не наблюдал в течение последних 20 лет, пишет wired.com.

Специалисты в области искусственного интеллекта активно разрабатывают нейронные сети, моделирующих последовательные данные и прогнозирующих, какие данные должны следовать далее в цепочке. Такие сети называют преобразователями, или трансформерами. В их основу заложена так называемая идея "внимания", которая позволяет преобразователям "уделять внимание" наиболее характерным особенностям входных данных, а не пытаться обработать всю информацию без разбора.

Когда чат-боты, использующие естественный язык, подключили к таким нейронным сетям, то значительно улучшилось качество перевода с одного языка на другой, поиск информации, генерирование текстов на заданные темы. Хотя Google стала пионером в области архитектур-трансформеров, компания OpenAI первой продемонстрировала возможности этой технологии, презентовав в 2020 году GPT-3 (Generative Pre-Trained Transformer 3). В то время это была самая большая языковая модель из когда-либо созданных, подчеркивает СМИ.

Способность GPT-3 создавать "человекоподобный" текст была встречена очень радушно. с тех самых пор языковые ИИ-модели совершенствуются с поистине впечатляющей скоростью, несмотря на то, что работа над ними стоит немалых средств. В течение 2022 года разработчикам удалось сделать нейросети более "компактными" (какими, которые опираются на небольшое количество заданных параметров) и в то же