Использует ли Spark данные?

Question

Я пытаюсь понять внутренности Apache Spark. Интересно, использует ли Spark некоторые механизмы для обеспечения локальности данных при чтении из InputFormat или записи в OutputFormat (или других форматах, поддерживаемых Spark и не полученных из MapReduce).

В первом случае (чтение), я понимаю, что при использовании InputFormat разделители связаны с хостом (или хостами), которые содержат данные, поэтому Spark пытается назначить задачи исполнителям, чтобы уменьшить сетевой передачи как можно больше.

В случае написания, как будет работать такой механизм? Я знаю, что технически файл в HDFS можно сохранить в любом узле локально и реплицировать на другие два (так что вы используете сеть для двух из 3-х реплик), но если вы планируете писать в другие системы, такие как база данных NoSQL (Cassandra, HBase, другие ..), такие системы имеют свой собственный способ распространения данных. Есть ли способ сказать искру разбивать RDD таким образом, чтобы оптимизировать местоположение данных на основе распределения данных, ожидаемых выходным приемником (целевая база данных NoSQL, видимая изначально или через OutputFormat)?

Я имею в виду среду, в которой узлы Spark и узлы NoSQL живут на одних и тех же физических машинах.

Answer 1

Если вы используете Spark и Cassandra на одной и той же физической машине, вы должны зарегистрироваться spark-cassandra-connector Это обеспечит локальность данных как для чтения, так и для записи.

Например, если вы загружаете таблицу Cassandra в RDD, соединитель всегда будет пытаться выполнять операции на этом RDD локально на каждом узле. И когда вы сохраняете RDD в Cassandra, соединитель также попытается сохранить результаты локально.

Это предполагает, что ваши данные уже сбалансированы в вашем кластере Cassandra. Если ваш PartitionKey не выполнен правильно, в любом случае вы получите неуравновешенный кластер.

Также имейте в виду перетасовку работ на Spark. Например, если вы выполняете ReduceByKey на RDD, вы все равно будете передавать потоковые данные по сети. Поэтому всегда тщательно планируйте эти задания.