1. дома
  2. Вопрос и ответ
  3. Hbase MasterNotRunningException, хотя Hmaster, regionserver и Zookeeper подняты

Hbase MasterNotRunningException, хотя Hmaster, regionserver и Zookeeper подняты

2013-05-18 1 views
1

Я начал работу с hbase и все демоны запущены.Hbase MasterNotRunningException, хотя Hmaster, regionserver и Zookeeper подняты

$ jps 
8482 HQuorumPeer 
25105 RemoteMavenServer 
9133 SecondaryNameNode 
11883 HRegionServer 
13793 Jps 
8545 NameNode 
8572 HMaster 
11519 Main 
25029 Main 
8851 DataNode 
9435 RunJar

Теперь давайте попробуем перечислить таблицы:

hbase(main):004:0* list 
     TABLE                                     

ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times 

Here is some help for this command: 
List all tables in hbase. Optional regular expression parameter could 
be used to filter the output. Examples:

Хвост главного журнала:

2013-05-17 22:48:35,609 INFO org.apache.hadoop.hbase.master.ServerManager: Registering server=localhost,60020,1368856115352

хвост журнала Zookeeper:

$ tail *zoo*.log 
2013-05-18 00:14:27,651 INFO org.apache.zookeeper.server.NIOServerCnxnFactory: Accepted socket connection from /127.0.0.1:49826 
2013-05-18 00:14:27,652 INFO org.apache.zookeeper.server.ZooKeeperServer: Client attempting to establish new session at /127.0.0.1:49826 
2013-05-18 00:14:27,666 INFO org.apache.zookeeper.server.ZooKeeperServer: Established session 0x13eb59ceb22001e with negotiated timeout 180000 for client /127.0.0.1:49826

Хвост regionserver log:

2013-05-18 00:08:35,416 DEBUG org.apache.hadoop.hbase.io.hfile.LruBlockCache: LRU Stats: total=2.03 MB, free=244.85 MB, max=246.88 MB, blocks=0, accesses=0, hits=0, hitRatio=0cachingAccesses=0, cachingHits=0, cachingHitsRatio=0evictions=0, evicted=0, evictedPerRun=NaN 
2013-05-18 00:13:35,416 DEBUG org.apache.hadoop.hbase.io.hfile.LruBlockCache: LRU Stats: total=2.03 MB, free=244.85 MB, max=246.88 MB, blocks=0, accesses=0, hits=0, hitRatio=0cachingAccesses=0, cachingHits=0, cachingHitsRatio=0evictions=0, evicted=0, evictedPerRun=NaN 
2013-05-18 00:18:35,416 DEBUG org.apache.hadoop.hbase.io.hfile.LruBlockCache: LRU Stats: total=2.03 MB, free=244.85 MB, max=246.88 MB, blocks=0, accesses=0, hits=0, hitRatio=0cachingAccesses=0, cachingHits=0, cachingHitsRatio=0evictions=0, evicted=0, evictedPerRun=NaN

Подробнее (в ответ на @roman ниже). Safemode уже отключен.

Fsck дает:

hadoop fsck/

.Status: HEALTHY 
Total size: 321466989 B 
Total dirs: 412 
Total files: 446 
Total blocks (validated): 355 (avg. block size 905540 B) 
Minimally replicated blocks: 355 (100.0 %) 
Over-replicated blocks: 0 (0.0 %) 
Under-replicated blocks: 334 (94.08451 %) 
Mis-replicated blocks:  0 (0.0 %) 
Default replication factor: 3 
Average block replication: 1.0 
Corrupt blocks:  0 
Missing replicas:  1109 (312.39438 %) 
Number of data-nodes:  1 
Number of racks:  1 
FSCK ended at Sun May 19 13:09:14 PDT 2013 in 147 milliseconds

Но, как вы подозревали, HBase графический интерфейс не работает на 60030. Я не вижу ошибок в журнале Hbase объяснить, почему.

Подробнее @roman: HBase hbck просто таймаут с MasterNotRunningException

[email protected]:/shared$ hbase hbck 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.4.3-1240972, built on 02/06/2012 10:48 GMT 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:host.name=gondolin 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:java.version=1.6.0_37 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:java.vendor=Sun Microsystems Inc. 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:java.home=/shared/jdk1.6.0_37/jre 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/shared/hadoop-1.0.3/libexec/../lib/native/Linux-amd64-64:/shared/hbase/lib/native/Linux-amd64-64 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:java.io.tmpdir=/tmp 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:java.compiler=<NA> 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:os.name=Linux 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:os.arch=amd64 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:os.version=3.2.0-39-generic 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:user.name=stephenb 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:user.home=/home/stephenb 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Client environment:user.dir=/shared 
    13/05/19 13:16:16 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=180000 watcher=hconnection 
    13/05/19 13:16:16 INFO zookeeper.ClientCnxn: Opening socket connection to server /127.0.0.1:2181 
    13/05/19 13:16:16 INFO zookeeper.RecoverableZooKeeper: The identifier of this process is [email protected] 
    13/05/19 13:16:16 WARN client.ZooKeeperSaslClient: SecurityException: java.lang.SecurityException: Unable to locate a login configuration occurred when trying to find JAAS configuration. 
    13/05/19 13:16:16 INFO client.ZooKeeperSaslClient: Client will not SASL-authenticate because the default JAAS configuration section 'Client' could not be found. If you are not using SASL, you may ignore this. On the other hand, if you expected SASL to work, please fix your JAAS configuration. 
    13/05/19 13:16:16 INFO zookeeper.ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session 
    13/05/19 13:16:16 INFO zookeeper.ClientCnxn: Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x13eb59ceb22002f, negotiated timeout = 180000 
    13/05/19 13:17:27 INFO client.HConnectionManager$HConnectionImplementation: Closed zookeeper sessionid=0x13eb59ceb22002f 
    13/05/19 13:17:27 INFO zookeeper.ZooKeeper: Session: 0x13eb59ceb22002f closed 
    13/05/19 13:17:27 INFO zookeeper.ClientCnxn: EventThread shut down 
    13/05/19 13:17:27 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=180000 watcher=hconnection 
    13/05/19 13:17:27 INFO zookeeper.ClientCnxn: Opening socket connection to server /127.0.0.1:2181 
    13/05/19 13:17:27 INFO zookeeper.RecoverableZooKeeper: The identifier of this process is [email protected] 
    13/05/19 13:17:27 WARN client.ZooKeeperSaslClient: SecurityException: java.lang.SecurityException: Unable to locate a login configuration occurred when trying to find JAAS configuration. 
    13/05/19 13:17:27 INFO client.ZooKeeperSaslClient: Client will not SASL-authenticate because the default JAAS configuration section 'Client' could not be found. If you are not using SASL, you may ignore this. On the other hand, if you expected SASL to work, please fix your JAAS configuration. 
    13/05/19 13:17:27 INFO zookeeper.ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session 
    13/05/19 13:17:27 INFO zookeeper.ClientCnxn: Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x13eb59ceb220030, negotiated timeout = 180000 
    13/05/19 13:18:39 INFO client.HConnectionManager$HConnectionImplementation: Closed zookeeper sessionid=0x13eb59ceb220030 
    13/05/19 13:18:39 INFO zookeeper.ZooKeeper: Session: 0x13eb59ceb220030 closed 
    13/05/19 13:18:39 INFO zookeeper.ClientCnxn: EventThread shut down 
    13/05/19 13:18:39 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=180000 watcher=hconnection 
    13/05/19 13:18:39 INFO zookeeper.ClientCnxn: Opening socket connection to server /127.0.0.1:2181 
    13/05/19 13:18:39 INFO zookeeper.RecoverableZooKeeper: The identifier of this process is [email protected] 
    13/05/19 13:18:39 WARN client.ZooKeeperSaslClient: SecurityException: java.lang.SecurityException: Unable to locate a login configuration occurred when trying to find JAAS configuration. 
    13/05/19 13:18:39 INFO client.ZooKeeperSaslClient: Client will not SASL-authenticate because the default JAAS configuration section 'Client' could not be found. If you are not using SASL, you may ignore this. On the other hand, if you expected SASL to work, please fix your JAAS configuration. 
    13/05/19 13:18:39 INFO zookeeper.ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session 
    13/05/19 13:18:39 INFO zookeeper.ClientCnxn: Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x13eb59ceb220031, negotiated timeout = 180000 
    13/05/19 13:18:51 DEBUG client.HConnectionManager$HConnectionImplementation: The connection to null was closed by the finalize method. 
    13/05/19 13:18:51 DEBUG client.HConnectionManager$HConnectionImplementation: 
    13/05/19 13:29:18 INFO client.HConnectionManager$HConnectionImplementation: Closed zookeeper sessionid=0x13eb59ceb220039 
    13/05/19 13:29:18 INFO zookeeper.ZooKeeper: Session: 0x13eb59ceb220039 closed 
    13/05/19 13:29:18 INFO zookeeper.ClientCnxn: EventThread shut down 
    Exception in thread "main" org.apache.hadoop.hbase.MasterNotRunningException: Retried 10 times 
     at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:130) 
     at org.apache.hadoop.hbase.util.HBaseFsck.connect(HBaseFsck.java:264) 
     at org.apache.hadoop.hbase.util.HBaseFsck.exec(HBaseFsck.java:3331) 
     at org.apache.hadoop.hbase.util.HBaseFsck.main(HBaseFsck.java:3192)

источник

2013-05-18 javadba

ответ

1

И HBase веб-интерфейс не работает, да? У меня было что-то подобное после полного сбоя псевдораспределенного кластера с одним узлом. HDFS не смог выйти из безопасного режима.

  1. Проверка HDFS не в безопасном режиме с hadoop dfsadmin -safemode get.
  2. Если это так, вручную принудительно безопасный режим для выхода hadoop dfsadmin -safemode leave.
  3. Вы должны увидеть прогресс - по крайней мере, веб-интерфейс HBase должен быть видимым.
  4. Выполнение HDFS fsck: hadoop fsck/-move.
  5. OK, если все идет правильно, лучше выполнить команду hbase hbck.

Другие советы вам может понадобиться:

  • Проверить, где сервер регион связан с netstat -n -a (проверьте порт в конфигурации). Бывает, что это связано с неправильным интерфейсом . Также, пожалуйста, ищите форумы - появилась проблема с Hadoop привязкой и IPv6 (check this for example).
  • Проверьте, действительно ли hadoop вышел из безопасного режима с hadoop dfsadmin -safemode get. HBase не запускается полностью, пока это не будет выполнено.

источник

2013-05-19 19:07:23

+0

спасибо, что ответили, у меня был отказ от любой деятельности здесь. я добавлю детали в op выше – javadba

+0

Трудно найти помощь по HBase здесь. Я пытаюсь улучшить это, задав вопрос/добавив ответы, как только найду решение - надеюсь, что это изменит ситуацию - слишком много трудностей - слишком новые технологии. –

+0

спасибо за это. Кстати, я пытаюсь hbase hbck сейчас .. кажется, это время. Я добавил сообщения stderr/stdout из hbase hbck в OP. – javadba

Смежные вопросы

 Смежные вопросы