2
Я использую Jython для написания своего UDF Python в свинье, но я сталкиваюсь с проблемами памяти, когда вход в мой UDF массивный (т. Е. Превышает память, выделенную моей JVM). В документации Pig такие функции, как COUNT, MAX и т. Д., Преодолевают это, используя Алгебраический и, что более важно, интерфейс Accumulator. Интерфейс Accumulator позволяет передавать данные из Pig в куски в UDF, и это подходит для моей проблемы. Есть ли у кого-нибудь примеры этого с Jython? (или любые идеи потоковой передачи ввода на Python) Любая помощь будет принята с благодарностью! :)Apache Pig - ошибка памяти UDF в Jython