Способен ли ИИ помочь нам в дипломатии?

Исследования по применению больших языковых моделей (LLM) в политике начинают набирать обороты. Несмотря на впечатляющие успехи в понимании естественного языка, до сих пор не существовало бенчмарка, который бы охватывал все этапы принятия политических решений. Исследователи восполнили этот пробел, разработав UNBench — комплексный бенчмарк для оценки LLM на основе данных Совета Безопасности ООН (СБ ООН).

Резолюции СБ ООН часто ведут к санкциям, военным действиям или установлению миротворческих операций. Ошибка или неточность в моделировании подобных решений может обернуться катастрофой для всего мира.

В отличие от классических NLP-задач (чат-боты, перевод, и тд.), политический анализ требует учитывать коалиции, интересы государств, “двусмысленные” формулировки дипломатического языка и потенциальные вето постоянных членов СБ.

Существующие бенчмарки (MMLU, BIGBench и др.) не ориентированы на политическую науку и они не покрывают весь цикл политических задач: от создания проекта резолюции до итоговых выступлений.

Авторы собрали и систематизировали более 1900 проектных документов, результаты свыше 17 тысяч голосований и несколько тысяч стенограмм заседаний для оценки языковых моделей. 

Данные включают проекты резолюций с информацией о текстовых формулировках, авторах и инициаторах, записи о голосованиях (кто, когда и как голосовал: “за”, “против” или “воздержался”) и дипломатические выступления, где государственные представители объясняют свои позиции уже после голосования.

Датасет позволяет объединить все этапы принятия решения в одном бенчмарке: подготовка (Drafting), голосование (Voting) и обсуждение (Discussing)

Оценка выбора соавторов
Модель получает текст проекта резолюции и список потенциальных стран-соавторов. Нужно выбрать