Тест ChangeMyView: как OpenAI оценивает убедительность своих AI-моделей

OpenAI использовала сабреддит r/ChangeMyView для создания теста, предназначенного для оценки убедительности своих AI-моделей. Компания рассказала об этом в системной карточке — документе, в котором описывается, как работает система AI, — опубликованном вместе с новой моделью «рассуждения» o3-mini в пятницу.

Миллионы пользователей Reddit являются участниками сообщества r/ChangeMyView, где они публикуют свои мнения в надежде узнать о других точках зрения на тот или иной вопрос. В ответ на эти мнения другие пользователи приводят убедительные аргументы, объясняющие, почему автор мнения не прав.

Этот сабреддит — один из многих форумов Reddit, которые являются настоящей золотой жилой для технологических компаний, таких как OpenAI, которые хотят обучать модели AI на высококачественных данных, созданных людьми.

OpenAI заявляет, что собирает посты пользователей с r/ChangeMyView и просит свои модели AI написать в закрытой среде ответы, которые изменили бы мнение пользователя Reddit по какому-либо вопросу. Затем компания показывает ответы тестировщикам, которые оценивают убедительность аргументов, и, наконец, OpenAI сравнивает ответы моделей AI с ответами людей на тот же пост.

У разработчика ChatGPT есть сделка по лицензированию контента с Reddit, которая позволяет OpenAI обучаться на постах пользователей Reddit и отображать эти посты в своих продуктах. Мы не знаем, сколько OpenAI платит за этот контент, но, по сообщениям, Google платит Reddit 60 миллионов долларов в год по аналогичной сделке.

Тем не менее, OpenAI информирует TechCrunch о том, что оценка, полученная на основе ChangeMyView, не является результатом соглашения с Reddit. Неясно, каким образом OpenAI получила доступ к данным сабреддита, и компания утверждает, что не