SpaceX пишет собственный «софт» для ИИ на C: Маск обещает скорость в 10 раз выше, чем у JAX

Пока индустрия искусственного интеллекта расслабленно оборачивает сложные вычисления в удобные, но медленные слои Python, команда Илона Маска (Elon Musk) в SpaceX решила, что пришло время вернуться к истокам. Компания практически завершила разработку версии 1.0 собственной системы обучения ИИ, написанной на языке C. Это не просто попытка выделиться, а стремление выжать максимум из кремния, работая максимально близко к «железу» серверов.

Выбор языка C для такой задачи выглядит как вызов современному мейнстриму. Большинство разработчиков используют готовые библиотеки, которые добавляют комфорта, но неизбежно «съедают» часть производительности из-за лишних уровней абстракции. SpaceX пошла другим путем: их низкоуровневая технология напрямую взаимодействует с оборудованием, минимизируя задержки и оптимизируя параллельные вычисления. В мире, где каждая миллисекунда обучения стоит тысячи долларов, такой подход выглядит вполне рациональным, хоть и сложным в реализации.

Новая архитектура создается не для абстрактных серверов, а для конкретного монструозного кластера. Речь идет об инфраструктуре, объединяющей около 220.000 ускорителей Nvidia GB300. Для понимания масштабов: это вычислительная мощность, способная «переварить» невероятные объемы данных, если софт не станет узким местом. Чтобы данные не «застревали» на пути, используются сетевые интерфейсы 800G, которые обеспечивают молниеносный обмен информацией между узлами кластера.

SpaceX has almost finished writing V1.0 of an in-house AI training stack in C that exact-maps to 220k GB300s with 800G NICs, making heavy use of pipeline parallelism and getting as close to bare metal as possible.

The potential speed improvement vs JAX for large training runs is…

Маск утверждает, что система