Как перенести данные с помощью Apache SPark?

Question

Можем ли мы выполнить миграцию данных быстрее для большого количества данных с использованием искры apache? Необходимо перенести данные из mySQL в cassandra. Если бы мы могли это сделать, как это сделать?

Answer 1

Преимущество использования Apache Спарк для переноса данных является возможность распараллелить операцию (по крайней мере, распараллеливание запись в Кассандру).

Однако, в вашем случае, поскольку вы читаете от MySQL, я думаю, что это будет узким местом для чтения для миграции. Является ли ваш MySQL sharded или это один экземпляр?