Как заставить Weka API работать с MongoDB?

Question

Я ищу использовать WEKA для обучения и прогнозирования данных в MongoDB. В частности, я намерен использовать Weka API для анализа данных (например, создание механизма рекомендаций). Но я понятия не имею, как действовать, поскольку данные в MongoDB хранятся в формате BSON, а WEKA использует формат ARFF. Я хотел бы использовать WEKA API для чтения данных из MongoDB, анализа его и предоставления рекомендаций пользователю в режиме реального времени. Я не могу найти мост через WEKA и MongoDB.

Возможно ли это, или я должен попробовать другой подход?

Answer 1

Прежде чем начать, я должен сказать, что WEKA - не лучший инструмент для работы с большими данными. Если у вас действительно есть большие данные, вы, скорее всего, захотите использовать Spark и семейство Hadoop, поскольку они больше подходят для анализа.

Чтобы ответить на ваш вопрос в письменном виде, я бы посоветовал сделать обучение вручную (т. Е. Создать учебный файл с использованием любых доступных для вас программных инструментов) и предварительно подготовить модель. Эти модели затем могут быть сохранены и интегрированы в программу соответственно.

Для тестирования вы можете следить за official instructions, но я обычно беру немного ярлыка: я обычно предварительно обрабатываю свои данные в формате CSV (как если бы он собирался в файл ARFF) и просто добавлял действительный Заголовок ARFF (тот же, что используется в вашем учебном файле). Оттуда, очень легко проверить экземпляры. По моему опыту, это значительно упрощает процесс написания кода, который действительно создает новые прогнозы.