Hadoop 2.5.2 медленная отзывчивость

Question

Я установил Hadoop 2.5.2 - это псевдораспределенный режим согласно документации на MacBook pro w/16GB RAM, работающем в данный момент OS X 10.9.5.

Все, кажется, работает, но вопрос является то, что это очень медленно.

• start-dfs.sh занимает 3-5 минут, чтобы начать namenodes
• hdfs dfs -ls / занимает около минуты или два, чтобы бежать.

Я не принимал никаких данных и ничего не делал вне документации. Я пробовал export HADOOP_ROOT_LOGGER=DEBUG, но я не получаю никакого дополнительного вывода или вижу что-то необычное в журналах. Возможно, я не смотрю в нужное место.

Единственная ошибка, я когда-либо видеть, что я всегда видел с более старыми версиями Hadoop является:

"Unable to load realm info from SCDynamicStore" 

Любые идеи о том, почему все может быть так медленно? Кроме того, согласно моему монитору активности, я почти не использую никаких ресурсов.

я только что заметил это в моем журнале NameNode, когда я бегу dfs -ls

2014-11-25 11:47:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s). 
2014-11-25 11:47:54,063 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30000 milliseconds 
2014-11-25 11:47:54,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s). 
2014-11-25 11:48:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds 
2014-11-25 11:48:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 0 millisecond(s). 
2014-11-25 11:48:54,065 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds 

Конфигурации

ядро-сайт:

<configuration> 
    <property> 
     <name>fs.defaultFS</name> 
     <value>hdfs://localhost:9000</value> 
    </property> 
</configuration> 

HDFS-сайт:

<configuration> 
    <property> 
     <name>dfs.replication</name> 
     <value>1</value> 
    </property> 
</configuration> 

NameNode

Answer 1

С ничего, чтобы попробовать, я решил попробовать удаления "Невозможно загрузить области действия информации от SCDynamicStore" предупреждение. Решением было установить HADOOP_OPTS.

Несмотря на то, что нижеследующее НЕ удаляло предупреждение, оно по какой-то причине исправлено с моей скоростью.

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK 
-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk" 

Если кто-нибудь может объяснить, почему, я обязательно приму этот ответ.