Редактирование Spark Module в Spark-kernel

Question

В настоящее время мы редактируем конкретный модуль в Spark. Мы используем искровое ядро ​​https://github.com/ibm-et/spark-kernel для запуска всех наших искровых заданий. Итак, что мы сделали, снова скомпилируем код, который мы редактировали. Это создает файл jar. Однако мы не знаем, как указать код в файл jar.

Похоже, что он снова ссылается на старый сценарий, а не на недавно отредактированный и вновь скомпилированный. У вас есть идея о том, как модифицировать некоторые искровые пакеты/модули и отражать изменения с помощью искрового ядра? Если мы не будем использовать искровое ядро, можно ли, например, отредактировать конкретный модуль в искровом случае, модуль ALS в искровом режиме: https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/ml/recommendation/ALS.scala. Благодаря!

Answer 1

Возможно, вы редактировали файл scala или java и перекомпилировали (даже если вы называете их сценариями, они не являются сценариями в строгом смысле, потому что они не связаны). Предположим, что вы это сделали.

Возможно, у вас, вероятно, нет чистой замены полученного JAR-файла в тестируемом развертывании. Коэффициенты - это ваш недавно скомпилированный JAR-файл где-то, просто не в том месте, где вы наблюдаете. Чтобы получить его там должным образом, вам нужно будет создать больше, чем файл JAR, вам придется переупаковать свою установку и переустановить.

Существуют другие методы, если вы можете идентифицировать неупакованный элемент в установке, иногда вы можете скопировать его на место; однако такая методика по своей сути не поддается контролю, поэтому я рекомендую ее только для того, чтобы отбросить проверку изменения, а не на любую систему, которая будет использоваться.

Имейте в виду, что с помощью Spark иногда рабочие узлы динамически развертываются. Если это так, вам может потребоваться найти установку динамической системы развертывания и заверить, что у вас есть правильная упаковка.