Datameer for Real Time Querying

Question

Мы в настоящее время заинтересованы в оценке datameer и зададим несколько вопросов. Существуют ли какие-либо пользователи datameer, которые могут ответить на эти вопросы:

1. С datameer отрабатывает HDFS, которые опрашивающая скорость вращения похожи на улей? Как скорость запросов сравнивается с столбчатыми базами данных?

2. Поскольку Hadoop известен высокой задержкой, целесообразно ли использовать datameer для запроса в реальном времени?

спасибо.

Рави

Answer 1

1. В отношении 1:
   • скоростей запроса сопоставимы с улья.
   • Но Datameer намного быстрее на этапе проектирования вашего «запроса». Datameer предоставляет в реальном времени предварительный просмотр того, как будут выглядеть результаты вашего «запроса», что происходит в памяти, а не в кластере. Предварительный просмотр основан на репрезентативной выборке ваших данных. Это только предварительный просмотр не окончательные результаты, но он дает вам постоянную обратную связь, если ваши аналитики имеют смысл при проектировании. Чтобы проверить запрос на куст, вы должны его выполнить, что делает процесс разработки очень медленным.
   • Большое преимущество Datameer над улей:
     1. Загрузка данных в Hadoop намного проще. Нет создания статической схемы, нет ETL и т. Д. Просто используйте мастер для загрузки данных из вашей базы данных, файлов журналов, социальных сетей и т. Д.
     2. Разработка аналитики или внесение изменений происходит намного быстрее и может выполняться нетехническими пользователями ,
     3. Нет необходимости устанавливать что-либо еще, поскольку Datameer включает в себя все, что нужно для импортера, аналитика, планирование, безопасность, визуализация и т.д. в одном продукте
2. Если у вас есть реальные требования времени вы не должны тянуть данные непосредственно из Datameer, Hive, Impala и т. д. Столбчатые хранилища быстрее обрабатывают некоторую скорость, но все равно не будут низкой латентностью. Но вы можете использовать эти инструменты вместе с базой данных с низкой задержкой. Используйте Datameer/Hive/Impala для тяжелого подъема для фильтрации и предварительного объединения больших данных в более мелкие данные, а затем экспортируйте их в базу данных. В Datameer вы можете легко установить это с помощью одного из мастеров Datameer.

Надеется, что это помогает,

Питер Фосс (Datameer)