обычное поведение pyspark или нет?

Question

Мне действительно нужна ваша помощь, и я надеюсь, что я не выгляжу слишком суровым, когда говорю, что я не хочу входить в отладку своего кода. Я надеюсь и/или думаю, что это что-то еще, кроме моего кода, возможно, я не ожидаю, что это случится с искрами.

Во-первых, позвольте мне рассказать вам историю и временную шкалу, чтобы я мог поместить ее в перспективе (или вы можете перейти к следующему вопросу;)).

Я разработал фрагмент кода на python, который использует mllib еще в октябре 2015 года, используя искровое 1.5.1, и он сработал. Оставался с этим пакетом некоторое время, до августа 2016 года. По какой-то причине мой код больше не работал, хотя я использовал те же входные файлы, что и с октября 2015 года по август 2016 года. Моим исправлением было обновление до версии 2.0. 0. Ran же код с теми же входными файлами, и он начал работать снова. [Сейчас] Два месяца спустя мне нужно сделать обновление и угадать, что, он не работает снова. Я вернулся к тем же входным файлам, которые я использовал для искры 1.5.1, и когда он успешно работал в версии 2.0.0, он все равно не работает.

Итак, мой вопрос ... Является ли искра произведением какого-то обновления или что-то в фоновом режиме, о котором я не знаю и должен знать? Если это так, как отключить его или отключить? Если это поведение не ожидается (что я не думаю, что это так), почему это может произойти?

Спасибо за вашу помощь заранее.

Answer 1

После дальнейших испытаний этот пост решил проблему ->Spark gives a StackOverflowError when training using ALS. Надеюсь, это долгосрочное решение, а не патч.