Моего проекта занимает очень много времени на беге, я сделал темы и распределенные данные и обработку моих процессорных ядер, Но, по-прежнему занимает много времени, я пытался оптимизировать код, как я могу, Как я могу распределить вычисления на нескольких ноутбуках?Распределить вычисления на нескольких устройствах
на основе ваших четырех ключевых слов: java, machine-learning, bigdata и distributed-computing я дошедших к выводу, что вы хотите что-то вроде hadoop.
его идеальный выбор для natural processing тоже.
then again У меня нет подробностей о вашей проблеме, но вы будете удивлены, что может предпринять хауп.
alternatviely для простоты использования вы можете захотеть взглянуть на облачные вычисления, такие как WatsonAnalytics
Вы можете посмотреть Java MPI, который поддерживает API MPICH2. Также я слышал о распределенной поддержке JVM от Terracotta.
Не зная, что представление низкого уровня вашего требования/приложения трудно предложить метод работы.
Я думаю, что это зависит от ваших требований к обработке. Если некоторые математические вычисления, которые необходимо выполнить на каком-то наборе данных, ваша машина не может быстро обрабатывать, вы можете делать партии и отправлять их на разные машины одновременно и опросить результаты каждого из них. Существуют асинхронные операции, доступные на нескольких языках, которые вы можете использовать для отправки (либо размещения партий, либо пакетов их самостоятельно) на несколько машин.
Насколько велики данные ур? – nafas
50 Мбайт и им обработка естественного языка –