Проблемы с разрешениями MCR с установкой multinode hadoop на linux

Question

Я пытаюсь запустить программу под названием Phenoripper (программное обеспечение для анализа изображений), которая использует MCR внутри многоузловой установки Hadoop (версия 1.1.2) на Ubuntu (13.04). Настройка hadoop отлично работает с родовыми заданиями python/java mapreduce; Однако, когда я пытаюсь использовать phenoripper в настройках я получаю эту ошибку:

повышение :: файловая система :: create_directory: Permission Denied

Я спросил УБС из Phenoripper об этом, и они заверили меня, что их программа не создает или не записывает временные каталоги, и поскольку она отлично работает на одном компьютере, я считаю, что MCR отвечает за эту ошибку. Если я правильно понимаю, он пытается создать временный каталог где-нибудь, где у него нет разрешения, вероятно, на одном из подчиненных узлов. Кто-нибудь знает, где находится этот каталог или как его найти? Если я смогу найти этот каталог, моим решением будет постоянно создавать его с соответствующими разрешениями. Это похоже на жизнеспособное решение? Любые идеи относительно того, что на самом деле происходит/как исправить, были бы очень признательны!

Answer 1

Исправлена ​​проблема ... самая последняя версия MCR в этой должности имеет большую ошибку, в которой некоторые процесс ищет каталог/homes/с каталогом .matlab в нем ... Некоторый программист, должно быть, просто добавил лишние с, равные дни боли. Создание этого каталога под 777 разрешениями и установка в него папки .matlab исправили проблему.

Answer 2

У меня очень мало опыта работы с MCR, но вот моя попытка помочь вам в правильном направлении с точки зрения Hadoop tmp.

Можно предположить, что разрешения при запуске Phenoripper различаются, когда они сталкиваются с созданием tmp-каталогов в Hadoop. Если вы хотите, чтобы понять, где временные каталоги в Hadoop взглянуть на ваш Hadoop-сайт или колонкового сайт и найти:

<property> 
<name>hadoop.tmp.dir</name> 
<value>/tmp/hadoop-${user.name}</value> 
</property> 

Это является основой для всех TMP каталогов, найденных в Hadoop. Затем рассмотрите следующие параметры конфигурации в hdfs-сайте:

dfs.datanode.data.dir(new name) or dfs.data.dir (old name) 

Это содержит данные, которые блокируют запись вашей работы.

user.name Hadoop использует для создания этих разрешений является тот же пользователь вы столкнулись, когда вы спросите whoami