Миграция из РСУБД в Кассандру

Question

Мне нужно перенести 5 ТБ данных изображения из РСУБД в кассандру. Я пробовал sqoop, но он слишком медленный. Кто-нибудь может предложить любой инструмент для миграции.

Thanks

Answer 1

Использовать искру для больших перемещений данных между системами. Он распределен и устойчив.

val jdbcDF = sqlContext.load("jdbc", Map(
    "url" -> "jdbc:postgresql:dbserver", 
    "dbtable" -> "schema.tablename")) 

http://spark.apache.org/docs/1.6.2/sql-programming-guide.html#jdbc-to-other-databases

jdbcDF.write.format("org.apache.spark.sql.cassandra").\ 
      options(keyspace="ks", table="tablename").\ 
      save(mode="append") 

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/14_data_frames.md

Вы можете использовать с открытым исходным кодом Apache Спарк или DataStax Enterprise. Datastax Enterprise предоставляет Apache Cassandra + Apache Spark + множество других компонентов, установленных на каждом узле для идеальной распределенной обработки и локализации данных между Spark и Cassandra. Я сотрудник DataStax.