VK Tech запускает универсальную платформу для работы с данными

VK Data Platform — универсальная платформа для end-to-end работы с большими объемами данных и машинным обучением. Платформа позволит российским компаниям повысить зрелость работы с данными и выйти на новый уровень принятия решений и управления бизнесом. 

Платформа поможет: 

сократить расходы на хранение и обработку информации, 

повысить качество и достоверность данных, 

упростить интеграцию моделей ML и AI в бизнес-процессы, 

сократить время вывода на рынок новых продуктов на основе данных. 

VK Data Platform разработана на основе лучших практик VK Tech по извлечению бизнес-ценности из больших объемов информации, которые применяются на масштабных проектах с многомиллионной аудиторией. 

Из чего состоит VK Data Platform

В основе VK Data Platform — собственные разработки, такие как Tarantool и S3-совместимое хранилище Cloud Storage, и доработанные VK технологии, среди которых Trino, PostgreSQL, Airflow и многие другие. 

Компоненты платформы позволяют закрыть полный цикл работы с данными — от хранения и обработки данных до решения аналитических задач и процесса разработки моделей машинного обучения.

Основные компоненты, которые легли в основу платформы, также  доступны в облаке VK Cloud как готовые сервисы и опробованы на реальных проектах российских компаний. Среди них Cloud Storage (S3-хранилище), Cloud Kafka, Cloud Spark, Cloud Flink и Cloud ML Platform.

Смотреть полный набор компонентов

Компоненты VK Data Platform разворачиваются на основе Kubernetes. Это позволяет динамически распределять вычислительные мощности, эффективно утилизировать аппаратное обеспечение и обеспечивать высокий уровень отказоустойчивости. 

В платформе предусмотрены типовые архитектуры на основе современных подходов, такие как Data WareHouse, Data Lake,