Я настраиваю R на существующий кластер Hadoop. Я до сих пор устанавливал R rpms и связанные с ними библиотечные пакеты на одном из узлов узла EDGE (кластера) и работает как ожидалось. Устанавливать R rpms на всех серверах в кластере или только в библиотечном каталоге (в моем случае /usr/lib64/R/library) синхронизируется на всех серверах?R установка на кластере Hadoop
Для rmr вам нужно установить повсюду, для rhdfs вы этого не сделаете, и для rhive я не знаю. Установка означает R rpms или эквивалентные и необходимые зависимости. Что касается синхронизации lib dirs, я пробовал что-то подобное, чтобы упростить развертывание rmr2, но мы (клиент и я, в согласии) вытащили плагин, потому что это выглядело очень хрупкой стратегией (в зависимости от того, что все библиотеки были абсолютно идентичными) , Он работал в очень контролируемой среде, но мы синхронизировали все это, а не только библиотеку.
Спасибо Piccolbo. В соответствии с вашим заявлением «_but мы собрали все это, а не только библиотеку.» - вы имеете в виду .. Все R-rpms были установлены на всех узлах, а библиотеки были синхронизированы и по всем узлам ... это правильно ? –
Не уверен, что вы подразумеваете под «ядром». Мы просто отправили все поддерева под R_HOME. Вы все еще можете найти этот прототип в ветке 0-установки rmr2 (теперь устаревшей). – piccolbo
Я просто столкнулся с статьей, в которой объясняется, как создавать переносные двоичные файлы: https://pmelsted.wordpress.com/2015/10/14/building-binaries-for-bioinformatics/ И вы также можете рассмотреть этот http://fumodibit.blogspot.com/2013/04/modifying-r-to-obtain-relocatable.html, чтобы получить гибкость R_HOME, которая может потребоваться для развертывания в кластере – piccolbo
Какую цель? – piccolbo
Цель состоит в том, чтобы выполнить задания MR с помощью R shell _ (rmr, rhive, rhdfs должно быть доступно) _. Пользователи будут регистрироваться только на узле EDGE. –