я пишу Scala код, как показано ниже:подключения Hbase Scala мастер неудачи
44 val config: Configuration = HBaseConfiguration.create()
45 config.set("hbase.zookeeper.property.clientPort", zooKeeperClientPort)
46 config.set("hbase.zookeeper.quorum", zooKeeperQuorum)
47 config.set("zookeeper.znode.parent", zooKeeperZNodeParent)
48 config.set("hbase.master", hbaseMaster)
49 config.addResource("hbase-site.xml")
50 config.addResource("hdfs-site.xml")
51 HBaseAdmin.checkHBaseAvailable(config);
52 val admin: HBaseAdmin = new HBaseAdmin(config)
53 // descriptor.addColumn(new HColumnDescriptor(Bytes.toBytes("cfbfeature")))
54 val conn = ConnectionFactory.createConnection(config)
55 table = conn.getTable(TableName.valueOf(outputTable))
вот мой полный журнал ошибок:
zooKeeperClientPort: 2181, zooKeeperQuorum: zk1.hbase.busdev.usw2.cmcm .com, zk2.hbase.busdev.usw2.cmcm.com, zk3.hbase.busdev.usw2.cmcm.com, zooKeeperZNodeParent:/hbase, outputTable: RequestFeature, hbaseMaster: 10.2.2.62: 60000 16/12/13 08 : 25: 56 WARN util.HeapMemorySizeUtil: hbase.regionserver.global.memstore.upperLimit устарел hbase.regionserver.global.memstore.size 16/12/13 08:25:56 WARN util.HeapMemorySizeUtil: hbase.regionserver.global.memstore.upperLimit устарел от hbase.regionserver.global.memstore.size 16/12/13 08:25:56 WARN util .HeapMemorySizeUtil: hbase.regionserver.global.memstore.upperLimit устарел hbase.regionserver.global.memstore.size 16/12/13 08:25:57 INFO zookeeper.RecoverableZooKeeper: Идентификатор процесса = hconnection-0x6ae9e162, соединяющийся с ансамблем ZooKeeper = zk2.hbase.busdev.usw2.cmcm.com: 2181, zk1.hbase.busdev.usw2.cmcm.com: 2181, zk3.hbase.busdev.usw2.cmcm.com: 2181 16/12/13 08: 25:57 WARN util.HeapMemorySizeUtil: hbase.regionserver.global.memstore.upperLimit устарел hbase.regionserver.global.memstore.size 16/12/13 08:25:57 WARN util.DynamicClassLoader: Не удалось определить fs dir hdfs: // mycluster/hbase/lib, игнорируется java.net.UnknownHostE xception: неизвестно host: mycluster at org.apache.hadoop.ipc.Client $ Connection. (Client.java:214) at org.apache.hadoop.ipc.Client.getConnection (Client.java:1196) at org .apache.hadoop.ipc.Client.call (Client.java:1050) на org.apache.hadoop.ipc.RPC $ Invoker.invoke (RPC.java:225) на com.sun.proxy. $ Proxy3. getProtocolVersion (неизвестный источник) на org.apache.hadoop.ipc.RPC.getProxy (RPC.java:396) на org.apache.hadoop.ipc.RPC.getProxy (RPC.java:379) на org.apache .hadoop.hdfs.DFSClient.createRPCNamenode (DFSClient.java:119) at org.apache.hadoop.hdfs.DFSClient. (DFSClient.java:238) at org.apache.hadoop.hdfs.DFSClient. (DFSClient.java : 203) по адресу: org.apache.hadoop.hdfs.DistributedFileSystem.initialize (DistributedFileSystem.java:89) at org.apache.hadoop.fs.FileSystem.createFileSystem (FileSystem.java:1386) at org.apache.hadoop.fs.FileSystem. доступ $ 200 (FileSystem.java:66) на org.apache.hadoop.fs.FileSystem $ Cache.get (FileSystem.java:1404) на org.apache.hadoop.fs.FileSystem.get (FileSystem.java:254) at org.apache.hadoop.fs.Path.getFileSystem (Path.java:187) at org.apache.hadoop.hbase.util.DynamicClassLoader. (DynamicClassLoader.java:104) at org.apache.hadoop. hbase.protobuf.ProtobufUtil. (ProtobufUtil.java:229) at org.apache.hadoop.hbase.ClusterId.parseFrom (ClusterId.java:64) at org.apache.hadoop.hbase.zookeeper.ZKClusterId.readClusterI dZNode (ZKClusterId.java:75) at org.apache.hadoop.hbase.client.ZooKeeperRegistry.getClusterId (ZooKeeperRegistry.java:86) at org.apache.hadoop.hbase.client.ConnectionManager $ HConnectionImplementation.retrieveClusterId (ConnectionManager. Java: 833) в org.apache.hadoop.hbase.client.ConnectionManager $ HConnectionImplementation (ConnectionManager.java:623) на sun.reflect.NativeConstructorAccessorImpl.newInstance0 (Native Method) на sun.reflect.NativeConstructorAccessorImpl.newInstance (. NativeConstructorAccessorImpl.java:57) на sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45) на java.lang.reflect.Constructor.newInstance (Constructor.java:526) в org.apache.hadoop.hbase. клиент.ConnectionFactory.createConnection (ConnectionFactory.java:238) at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection (ConnectionFactory.java:218) at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection (ConnectionFactory. Java: 119) на org.apache.hadoop.hbase.client.HBaseAdmin.checkHBaseAvailable (HBaseAdmin.java:2508) на com.cmcm.datahero.streaming.actor.ToHBaseActor.preStart (ToHBaseActor.scala: 51) на akka.actor.Actor $ class.aroundPreStart (Actor.scala: 472) at com.cmcm.datahero.streaming.actor.ToHBaseActor.aroundPreStart (ToHBaseActor.scala: 16) at akka.actor.ActorCell.create (ActorCell. scala: 580) at akka.actor.ActorCell.invokeAll $ 1 (ActorCell.scala: 456) at akka.actor .ActorCell.systemInvoke (ActorCell.scala: 478) at akka.dispatch.Mailbox.processAllSystemMessages (Mailbox.scala: 263) at akka.dispatch.Mailbox.run (Mailbox.scala: 219) at java.util.concurrent .ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1145) на java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:615) на java.lang.Thread.run (Thread.java:745) 16/12/13 8:25:57 INFO client.ConnectionManager $ HConnectionImplementation: Закрытие зоопарка SessionID = 0x356c1ee7cac04c8
, но «mycluster» здесь не является хозяином. Я очень смущен тем, что такое ошибка. Кто-нибудь может мне помочь? –
Вы подключаете свой кластер из окон или внутри кластера? hmaster ip правильно? –
также проверите в клиентской программе, как это, чтобы проверить правильные банки в classpath 'val cl = ClassLoader.getSystemClassLoader cl.asInstanceOf [java.net.URLClassLoader] .getURLs.foreach (println)' –