Модель моделирования обучения Spark Machine из веб-приложения

Question

Я разработал веб-приложение, в котором пользователь может выбрать рамки для машинного обучения/количество итераций/какой-либо другой параметр настройки. Как я могу вызвать работу Spark из пользовательского интерфейса, передав все входы и отвечая на экран пользователю. В зависимости от структуры (dl4j/spark mllib/H2o) пользователь может либо загружать входные данные csv, либо данные могут быть прочитаны из Cassandra.

1. Как я могу вызвать работу SPARK из пользовательского интерфейса?
2. Как я могу вернуть результат пользователю?

Пожалуйста, помогите.

Answer 1

Вы можете посмотреть на этот github repository.

В этом, что делается это, как только запрос GET приезжан, она вынимает данные из Cassandra, а затем собирать данные и бросает его обратно в ответ.

Так что в вашем случае:

Что вы можете сделать, это, как только вы получаете запрос POST, вы можете получить параметры из запроса и выполнения операций в соответствии с использованием этих параметров и соберите Результат на хозяине, а затем вернуть его пользователю в качестве ответа.

P.S: Сбор на Мастере немного сложнее, и много данных может вызвать OOM. Что вы можете сделать, это сохранить результаты в hadoop и отправить URL-адрес в результаты или что-то в этом роде.

Для получения дополнительной информации смотрите в этом блоге, связанные с этим GitHub: https://blog.knoldus.com/2016/10/12/cassandra-with-spark/