Должен ли я отдать предпочтение hadoop против кондора при работе с R?

Question

Я ищу способы отправить работы для нескольких компьютеров на моей компьютерной сетке университета.

В настоящее время он эксплуатирует Condor, а также предлагает Hadoop.

Мой вопрос заключается в том, следует ли мне попробовать взаимодействовать с R в Hadoop или с Conder для моих проектов?

Для обсуждения предположим, что мы говорим о смущающих параллельных задачах.

p.s: Я видел ресурсы, описанные в CRAN task views.

Answer 1

Вы можете сделать то и другое.

Вы можете использовать HDFS для своих наборов данных и Condor для планирования ваших заданий. Использование Condor для размещения исполнителей на машинах и HDFS + Hadoops Map-Уменьшение возможностей обработки ваших данных (при условии, что ваша проблема сводится к отображению карты). Затем вы используете наиболее подходящий инструмент для задания: Condor - планировщик заданий, и, как таковой, это работает лучше, чем Hadoop. И HDFS и M-R Hadoop - это вещи, которые Condor не имеет (но они действительно полезны для работы, выполняемой на Condor).

Я лично посмотрю, имеет ли HDFS общий доступ к данным среди заданий, которые выполняются дискретно как задания Кондора. Особенно в университетской среде, где совместные вычислительные ресурсы не на 100% надежны и могут приходить и уходить по желанию, устойчивость Condor в этом типе настройки сделает работу намного проще.