
Deepseek: как превратить языковые модели в прибыльный бизнес, несмотря на снижение цен на рынке
В недавно опубликованных данных Deepseek говорится о том, что языковые модели могут приносить ощутимую выгоду, даже если их стоимость будет ниже, чем у OpenAI.
Компания Deepseek предоставила редкую возможность взглянуть на операционные расходы и потенциальную прибыльность своих ИИ-сервисов. Цифры показывают, что компания могла бы получить теоретическую прибыль в размере 545 процентов, если бы полностью монетизировала свои сервисы, сохраняя стратегию открытого исходного кода и взимая меньшую плату, чем конкуренты, такие как OpenAI.
В течение 24-часового тестового периода модели Deepseek обработали 608 миллиардов входных токенов и 168 миллиардов выходных токенов. Компании удалось обработать более половины входных данных (56,3 процента) из кэша, что значительно снизило затраты.
Для максимальной эффективности Deepseek использует систему динамического распределения ресурсов. В часы пиковой нагрузки все узлы обрабатывают запросы на вывод данных. Ночью, когда спрос падает, компания перенаправляет ресурсы на исследовательские и обучающие задачи.
Аппаратная инфраструктура для этой операции обходится в 87 072 доллара в день при использовании в среднем 226,75 серверных узлов. Каждый узел содержит восемь графических процессоров Nvidia H800, при этом расчётная стоимость аренды составляет два доллара за час работы каждого графического процессора.
Один узел H800 обрабатывает около 73 700 входных токенов в секунду во время предварительного заполнения или 14 800 выходных токенов во время декодирования. Средняя скорость вывода достигает 20–22 токенов в секунду.
Если бы Deepseek взимала полную стоимость за каждый обработанный токен, используя свою премиальную модель R1 (0,14 доллара за миллион входных токенов при попадании в кэш, 0,55 доллара
Читать на habr.com