Manticore Search в 3 раза быстрее Elasticsearch рендерит дашборды Kibana

Наши тесты показали, что Manticore Search значительно превосходит Elasticsearch при в запросах типичных для анализа больших объемов логов Nginx. Визуализация дашбордов Kibana происходит до 3 раз быстрее. В этой статье мы сравним производительность двух поисковых систем, объясним, как провести тест самостоятельно, и разберем ключевые преимущества Manticore Search для анализа логов.

Эффективный анализ и визуализация больших объемов данных имеют критическое значение для многих компаний. В этой статье мы сравним производительность двух популярных поисковых движков — Manticore Search и Elasticsearch — используя одни и те же данные из логов Nginx.

Цель — показать, что Manticore Search является эффективным инструментом для обработки и визуализации больших данных. Для этого мы создали Manticore Search Kibana Demo — открытый проект, с помощью которого можно протестировать сделать аналогичный тест самостоятельно, а также узнать, как использовать Manticore с Кибаной. Результаты независимых тестов на db-benchmarks.com также подтверждают, что Manticore Search работает быстрее Elasticsearch в большинстве сценариев.

В демо-проекте используется Kibana как инструмент визуализации, подключенный к Elasticsearch и Manticore Search. Данные для тестов создаются на основе логов Nginx с помощью утилиты kscarlett-generator.

Основой для дашбордов послужил популярный блог-пост "Настройка дашбордов Kibana для логов Nginx". Это позволяет объективно сравнить производительность поисковых движков.

Чтобы развернуть и запустить демо-проект, выполните следующие шаги:

Убедитесь, что у вас установлены Git и Docker Compose.

Склонируйте репозиторий и перейдите в папку проекта:

Выберите, использовать ли готовые индексы для быстрого старта или сгенерировать новые