Каков наилучший способ сделать обработку естественного языка в приложении Rails?

Question

У меня есть приложение Rails. Мне нужно реализовать автоматические алгоритмы категоризации текста и, возможно, больше возможностей NLP в приложении. Я считаю, что Ruby не имеет хороших инструментов NLP, доступных как Python. Я использую отдельный сервер resque для выполнения фоновых заданий. Я считаю, что я следующий

1. Run питона сценариев с использованием Resque заданий
2. Запуск приложения опоки на отдельном сервере, который может либо поговорить с Resque работу или может автоматически обновлять базу данных приложения с обработанными результатами.
3. Использование Ruby-инструменты, упомянутые в this thread
4. Любые другие предложения приветствуются

Пожалуйста, дайте мне знать, что это лучший способ сделать это. Есть ли подобные рабочие примеры?

Answer 1

У меня была такая же проблема несколько месяцев назад. После небольшого исследования и тестирования это решение было реализовано мной

Выполнение нескольких процессов на основе python Столько, сколько может быть одна машина. И используйте столько машин, сколько вам нужно.

Использование ZeroMQ общаться между веб-серверами и машин работает питона процессов

Не использовать HTTP для связи, потому что накладные расходы значительно и это будет очень медленно по сравнению с ZeroMQ. Вы также не нужен, как сложный обработчик с ZeroMQ, как вы бы с HTTP

позаботьтесь, чтобы разоблачить ZeroMQ розетки к внутренним сетям только, или вам нужно будет настроить проверку подлинности на каждом сервере питона

другой вариант состоит в том, чтобы просто использовать один из многих доступных API NLP, если не нужны какие-либо алгоритмы на основе процессора (такие как маркировка POS, анализ настроений и т. д.).