У меня есть данные, которые находятся в Apache Cassandra, я хочу выполнять работу по карте/сокращению с использованием инструментов экосистемы Hasoop.Как загрузить данные из Cassandra в HDFS?
Как загрузить данные из Cassandra в HDFS?
Есть ли какой-либо обработчик хранения, отличный от обработчика хранения Cassandra?
Вы можете сделать это несколькими способами. Напишите задание MapReduce для чтения данных из Cassandra и записи в HDFS или для написания сценария PigLatin. См. this для получения дополнительной информации.
Рассмотрите этот проект pygmalion. Это позволит вам экспортировать данные из Cassandra в HDFS, а затем использовать Pig latin для запросов.
Существует новый инструмент от Netflix под названием Aegisthus, который пытается решить эту проблему.
A Bulk Data Pipeline из Кассандры. Aegisthus реализует читателя для формата SSTable и предоставляет программу map/reduce для создания сжатого моментального снимка данных, содержащихся в семействе столбцов, .
спасибо за ваш ответ, – kannadhasan
Infact мы хотим, чтобы загрузить данные Cassandra для Hadoop использования экосистемных инструментов, как улей/pig.Actually есть проблема, которую мы столкнулись в доступ к данным благодаря Cassandra Storage Handler. С Pig он работает только в локальном режиме, мы не смогли запустить его в режиме mapreduce. Также мы не смогли сохранить полученное значение обратно в cassnadra через piglatin. – kannadhasan
В чем проблема? – Tariq