Блогер PewDiePie собрал ПК за $20 тысяч и запускает на нем «совет» ИИ-агентов

Блогер PewDiePie в новом ролике "STOP. Using AI Right now" показал, как собрал у себя дома систему для локального ИИ примерно за $20 тыс и запускает на ней "совет" ИИ-агентов. В нем несколько моделей отвечают на вопрос, а затем голосуют за лучший ответ.

Судя по разбору тех-СМИ, у него десять видеокарт: восемь модифицированных RTX 4090 с 48 ГБ памяти и ещё две RTX 4000 Ada. Такая конфигурация позволяет тянуть крупные открытые модели на собственном железе.

Интересно, что блогер экспериментировал с "выбыванием" из совета — по правилу, если какой-то ИИ постоянно давал ответы, которые не побеждали, то его заменяли на новый. Но как только блогер сообщил об этом правиле моделям, они ответили кооперацией, начав голосовать таким образом, чтобы все оставались в совете. PewDiePie назвал это предательством.

Помимо "совета" PewDiePie экспериментировал с "роем" из десятков малых моделей (до 64), запуская их параллельно для сбора и структурирования данных. Пока для максимальной эффективности не хватает возможностей системы, но блогер считает, что в некоторых сценариях такая конфигурация полезна.

PewDiePie мотивирует свой подход тем, что система локальных моделей дает ему приватность, контроль над данными и избавляет от зависимости от облачных сервисов. Блогер призывает отказываться от ИИ-подписок, вместо этого разобравшись в настройке и запуске моделей самостоятельно. Сам он далее планирует дообучить одну из моделей "под себя".

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.