Производительность Apache Ignite vs Apache Drill для SQL

Question

Мне нужно получить данные из некоторых больших таблиц MySQL, чтобы они могли отображаться на панели инструментов/веб-портале. В основном, я сосредоточен на улучшении производительности SQL, учитывая размер наборов данных.

Кроме того, Apache Ignite менее масштабируема, чем Apache Drill, учитывая, что Ignite использует RAM в качестве первичного источника данных?

Пожалуйста, дайте мне знать на случай, требуется более подробная информация.

Я через эти ссылки: http://drcos.boudnik.org/2015/04/apache-ignite-vs-apache-spark.html https://mpouttuclarke.wordpress.com/2016/01/04/why-i-tried-apache-spark-and-moved-on/

ли с помощью дополнительного слоя HDFS под ИФР замедляет производительность системы до уровня SparkSQL? https://ignite.apache.org/features/igfs.html

Answer 1

Кроме того, является Apache Воспламенение менее масштабируемым, чем Apache Drill рассматривает Воспламенение использует ОЗУ в качестве основного источника данных?

Имея данные в памяти, фактически позволяет лучше масштабировать. Я не знаю много о Drill и не могу сравнивать, но Ignite очень хорошо масштабируется и масштабируется.

Использование дополнительного слоя HDFS под IGFS замедляет производительность системы до уровня SparkSQL? https://ignite.apache.org/features/igfs.html

Если HDFS используется как дополнительная файловая система, к нему обращаются, только если запрошенные данные еще не сохранены. Поэтому при правильном использовании он не замедлит вас.

Обратите внимание, что Ignite обеспечивает очень богатые возможности SQL [1]. Вы можете просто загружать свои данные в память и выполнять запросы, совместимые с ANSI-99, с быстрым индексированным поиском. Например, SparkSQL не поддерживает индексацию вообще, что во многих случаях делает ее намного медленнее (по крайней мере, для моих знаний).

[1] https://apacheignite.readme.io/docs/sql-queries

Answer 2

Drill просто двигатель запрос SQL в основном для баз данных NoSQL. Это хорошая производительность по сравнению с улей и многими базами данных NOSQL из-за обработки памяти.

Проверьте, как выполняется выполнение запроса в бурении - here.

Масштабируемость

Apache Сверло масштабируемые и не нужно беспокоиться об этом.

Вы не можете сравнить два накладываемых инструмента в теориях. Я предлагаю вам сделать POC, взяв некоторые образцы данных MySQL на обоих инструментах. Производительность зависит от вашего варианта использования.

Дрель лучше всего подходит для сложных запросов JSON файлов (из-за его расположения столбчатого) и решения Полиглот usecases (выполнения присоединиться по нескольким датасторов).