Исследователи представили LegoGPT — нейросеть, которая генерирует схемы сборки моделей из деталей Lego

Исследователи Университета Карнеги — Меллона представили нейросеть LegoGPT, которая генерирует схемы сборки моделей из деталей Lego. Код проекта открыт, а на Hugging Face есть бесплатное демо.

На вход нейросеть получает текстовое описание модели из деталей конструктора Lego. По этим данным система генерирует три файла:

output.png — изображение модели в сборе.

output.txt — пошаговую схему сборки в текстовом формате.

output.ldr — схему в формате LDraw, который используют в программах Lego CAD.

Исследователи отмечают, что нейросеть генерирует устойчивые модели, в которых детали прикреплены друг к другу. Также в репозитории есть код для системы текстурирования моделей. Авторы проекта подчёркивают, что LegoGPT — дообученнная версия Llama-3.2-1B-Instruct.

В качестве датасета использовали данные из набора ShapeNetCore. На основе каждой трёхмерной модели исследователи создали фигурки из деталей Lego в разных стилях, сохраняя общую форму. После этого модели проверили на целостность с помощью Gurobi, чтобы не было блоков, которые ни за что не держатся. На основе каждой модели создали кадры с 24 ракурсов и сгенерировали подробные описания с помощью GPT-4o от OpenAI.

Всего в датасете 47 тыс. фигур из деталей Lego, созданных на основе 28 тыс. 3D-моделей. Все модели вписываются в область 20 × 20 × 20 единичных кирпичиков конструктора. Также исследователи отмечают, что обучали нейросеть на объектах из 21 категории, включая мебель, автомобили, музыкальные инструменты, корабли и предметы интерьера. Поэтому нейросеть не может генерировать предметы других типов.

Код LegoGPT опубликован в открытом GitHub-репозитории. На портале Hugging Face доступно бесплатное демо. В нём нет функции текстурирования фигур и экспорта в формате LDraw. Также