OpenAI открыла код Transformer Debugger — отладчика для моделей машинного обучения

OpenAI опубликовала код отладчика Transformer Debugger, предназначенного для работы с моделями машинного обучения. С его помощью проще понимать, почему языковые модели выводят определённые токены в ответ на запрос.

Transformer Debugger, как и любой отладчик для моделей машинного обучения поддерживает функции пошагового вывода, перехвата активностей и их трассировки. Разработчики компании отмечают, что утилита помогает понять, почему языковая модель уделяет внимание определённым токенам и почему выводит их в качестве ответа на запрос.

Выпуск включает в себя следующие компоненты:

Neuron viewer — React-приложение для вывода информации об отдельных компонентах модели, включая фокусы внимания и нейроны MLP.

Activation server — сервер, который взаимодействует с моделью и извлекает данные для вывода. Он же нужен для работы с общедоступными контейнерами Azure.

Models — простая библиотека выводов для моделей GPT-2.

Примеры наборов данных для нейронов MLP и фокусов внимания.

Код Transformer Debugger написан на Python и доступен на GitHub. Вместе с этим разработчики OpenAI поделились подробными инструкциями и документацией.