DeepMind протестировала возможности больших языковых систем ИИ на модели с 280 млрд параметров

Генерация текста — актуальная тема в машинном обучении, поскольку класс систем, известный как «большие языковые модели» (LLM), используется во многом: от улучшения поисковой системы Google до создания текстовых приключенческих игр. Но у LLM есть серьезные проблемы, включая сексистские и расистские высказывания, проблемы с логикой повествования. Поэтому исследовательская лаборатория искусственного интеллекта DeepMind компании Alphabet проверила, можно ли устранить эти недостатки, дав LLM больше данных и вычислительных мощностей.

Для этого DeepMind протестировала большие языковые системы на моделях разного размера, от 44 млн до 280 млрд параметров. Крупнейшая получила название Gopher. Она больше, чем GPT-3 OpenAI (175 миллиардов параметров),