исключая hadoop из искрообразования

Question

Я изменяю модуль hdfs внутри hadoop, и мне тоже хотелось бы увидеть отражение, пока я запускаю искру поверх него, но я все еще вижу поведение нативного хаопа. Я проверил и увидел, что Spark создает действительно толстый файл jar, который содержит все классы adoop (используя профиль hadoop, определенный в maven), и развертывайте его над всеми рабочими. Я также пробовал bigtop-dist, чтобы исключить классы хауапов, но не вижу никакого эффекта.

Можно ли легко сделать это, например, небольшими изменениями внутри файла maven?

Answer 1

Я считаю, что вы ищете область provided на артефактах maven. Он позволяет исключать определенные классы в упаковке, позволяя вам скомпилировать их (с ожиданием, что среда выполнения предоставит их в соответствующих версиях). См. here и here для дальнейшего обсуждения.