Настройка распределенной вычислительной сети

Мне нужно много вычислительной мощности для нового научного приложения, которое я построил.Настройка распределенной вычислительной сети

Поскольку я нахожусь в бюджете, и поскольку для приложения требуется много процессора, но мало памяти (400 МБ), друг рекомендовал, чтобы я купил много «старых» компьютеров (Pentium 4, 3Ghz, 1 ГБ памяти) и использовал их для запускать экземпляры моего приложения (каждый экземпляр приложения не зависит друг от друга и выполняет множество вычислений и I \ O).

Есть несколько магазинов, которые, кажется, предлагают такие машины для дешевых ($ 100 за штуку).

Мой вопрос в том, как трудно было бы установить ubuntu linux на эти машины, настроить все в сети и установить на нем такие вещи, как python/cython?

как трудно было бы установить кондор, чтобы я мог просто «отправить задания» на центральный узел, и вычисления будут выполняться в разных узлах/единицах?

источник

2010-09-16 Shalom Rav

Вы знакомы с концепцией Беовульфа, да? –

Нет, я не знаком. Вы можете объяснить? –

Я думаю, что вы можете установить одну из таких машин и взять образ диска. Затем вы можете использовать этот образ диска на остальной части вашего кластера.

Хотя, интересно, как хорошо это будет работать, если ваши машины имеют другую конфигурацию.

источник

2010-09-16 19:07:57 defoo

derek, что вы подразумеваете под разными настройками? давайте предположим, что все машины одного типа (тот же производитель/спецификация и т. д.) –

Я имел в виду разные настройки hw. Например, видеокарты ati против nvidia. Если вся машина в вашем кластере точно такая же, я считаю, что вы можете попытаться использовать призрачный Norton или аналогичное программное обеспечение для создания образа одного уже настроенного компьютера. – defoo

спасибо Дерек за разъяснение –

Condor - это именно тот инструмент, который подходит для этой работы, и относительно легко настроить Condor в таких простых конфигурациях. Вы можете посмотреть на что-то вроде rockclusters.org для настройки ОС и кластера самих машин.

Теперь я бы, конечно, поставил эти машины в первую очередь. Вы можете быть удивлены тем, насколько медленны старые машины и как ваша производительность приложения напрямую не связана с тактовой частотой. Разумеется, самые быстрые, новейшие, самые высокопроизводительные машины для подсчета очков не будут наиболее экономически эффективными, но также являются самыми старыми, самыми медленными односторонними машинами.

источник

2010-09-17 00:56:15 Greg

Грег, спасибо за вашу помощь. Можете ли вы объяснить, что такое rockclusters.org и как это помогает? –

Настройка распределенной вычислительной сети

ответ

Смежные вопросы