Apache Spark: чтение файла в режиме автономного кластера

Question

В настоящее время я использую график, который загружается из файла, когда я запускаю приложение Graphx локально.

Я хотел бы запустить приложение в автономном режиме кластера.

Должен ли я внести изменения, например, поместить файл в каждый узел кластера? Могу ли я оставить мое приложение без изменений и просто сохранить файл в драйвере?

спасибо.

Answer 1

Для того, чтобы исполнители на узле имели доступ к входному файлу, файл должен иметь доступ узлами.

Предпочтительный способ - прочитать файл из местоположения, поддерживающего несколько узлов, например. HDFS, cassandra

Вполне возможно, что размещение копию файла на каждом узле может работать как хорошо, но это не рекомендуется делать.