интеграция внешней программы

Question

Так что мне поручено интегрировать программу «lightSIDE» в работу hadoop, и у меня возникли проблемы с выяснением, как это сделать.

Так что, по существу, вместо одного JAR, lightSIDE поставляется как полный каталог, включая файлы xml, которые имеют решающее значение для его работы.

До сих пор, как ученые данных в моей команде использовали эту программу, запустив скрипт python, который на самом деле запускает исполняемый файл, но это кажется крайне неэффективным, поскольку он будет разворачивать новую JVM каждый раз вызывается. При этом я понятия не имею, как еще справиться с этим.

Answer 1

Если вы пишете свои собственные задания MapReduce, тогда можно включить все файлы jar в виде библиотек и xml-файлов в качестве ресурсов.

Answer 2

Я один из тех, кто обслуживает Workbench LightSide Researcher's Workbench. LightSide также включает в себя крошечный класс PredictionServer для обработки прогнозов по новым экземплярам через HTTP - вы можете увидеть его here on BitBucket.

Если вы хотите обучать новые модели, вы можете изменить этот сервер, чтобы делать то, что хотите, рисовать подсказки из класса side.recipe.Chef.