Спарка файл зависимости банки пакет

Question

Я хочу сделать некоторый IP для вычисления местоположения на искре, после осмотра сети, найти IPLocator https://github.com/miraclesu/IPLocator,

IP-местоположению нужно использовать файл, который содержит информацию отображения.

После упаковки фляги я могу запустить ее с помощью локальной java, пакет просто запускается с IPLocator.jar и qqwry.dat в том же каталоге.

Но я хочу использовать эту банку с помощью искры, я попытался использовать --jars IPLocator.jar qqwry.dat при запуске искровой оболочки, но при запуске функции все еще не могут прочитать получение файла.

код чтения файла, как

QQWryFile.class.getClassLoader().getResource("qqwry.dat") 

Я также попытался упаковать qqwry.dat файл в банке, и это не сработало.

Answer 1

Вы должны использовать --files, а затем SparkFiles.get внутри вашей программы

Answer 2

Try использовать запятую delimitor и проверить, если IPLocator.jar и qqwry.dat распределены, чтобы зажечь постановочный папку (.sparkStaging/application_xxx).

--jars IPLocator.jar,qqwry.dat