образец весны hbase с автономным hbase

На моем локальном ящике Ubuntu 14 я не могу получить hadoop и hbase, чтобы работать автономно.образец весны hbase с автономным hbase

BUt может заставить hbase работать непосредственно с файловой системой (подтверждается созданием таблицы и помещением значений в оболочку hbase).

Теперь я хочу прочитать эту таблицу с весны. Я начал код с https://github.com/spring-projects/spring-hadoop-samples/tree/master/hbase

Если я изменяю IP-адрес и порт на сервер qa, он работает. Но если я хочу подключиться к моей локальной базе, не могу.

HBase-сайт

<property> 
     <name>hbase.rootdir</name> 
     <!-- value>hdfs://localhost:50070/hbase</value --> <!-- 8030--> 
    <value>file:///usr/local/hbase/HFiles3</value> 
    </property> 

    <property> 
    <name>hbase.zookeeper.property.dataDir</name> 
    <value>/usr/local/hbase/zookeeper3</value> 
    </property>  

    <property> 
    <name>hbase.master.info.port</name> 
    <value>8095</value> 
    </property> 

    <property> 
    <name>hbase.regionserver.info.port</name> 
    <value>8096</value> <!-- changed as i dont know where it was connecting other wise none of the usual ports --> 
    </property>

приложений context.xml

<context:property-placeholder location="hbase.properties"/> 

    <context:component-scan base-package="org.springframework.samples.hadoop.hbase"/> 

    <hdp:configuration id="hadoopConfiguration"> 
     fs.defaultFS=file:///usr/local/hbase/HFiles3 
    </hdp:configuration> 

<!-- configuration-ref="hadoopConfiguration" --> 
    <hdp:hbase-configuration configuration-ref="hadoopConfiguration" zk-quorum="${hbase.zk.host}" zk-port="${hbase.zk.port}"/> 

    <bean id="hbaseTemplate" class="org.springframework.data.hadoop.hbase.HbaseTemplate"> 
     <property name="configuration" ref="hbaseConfiguration"/> 
    </bean>

hbase.properties

hbase.zk.host=localhost 
hbase.zk.port=8095

Log (часть): ...

12:20:21,763 INFO   org.apache.zookeeper.ZooKeeper: 100 - Client environment:user.home=/home/t 
12:20:21,763 INFO   org.apache.zookeeper.ZooKeeper: 100 - Client environment:user.dir=/home/t/prog/r/github/spring-hadoop-samples/hbase 
12:20:21,765 INFO   org.apache.zookeeper.ZooKeeper: 438 - Initiating client connection, connectString=localhost:8095 sessionTimeout=90000 watcher=hconnection-0x5a7fd55c, quorum=localhost:8095, baseZNode=/hbase 
12:20:21,802 INFO oop.hbase.zookeeper.RecoverableZooKeeper: 120 - Process identifier=hconnection-0x5a7fd55c connecting to ZooKeeper ensemble=localhost:8095 
12:20:21,805 INFO   org.apache.zookeeper.ClientCnxn: 975 - Opening socket connection to server t/127.0.0.1:8095. Will not attempt to authenticate using SASL (unknown error) 
12:20:21,828 INFO   org.apache.zookeeper.ClientCnxn: 852 - Socket connection established to t/127.0.0.1:8095, initiating session 
12:20:21,834 WARN   org.apache.zookeeper.ClientCnxn:1102 - Session 0x0 for server t/127.0.0.1:8095, unexpected error, closing socket connection and attempting reconnect 
java.io.IOException: Packet len1213486160 is out of range! 
    at org.apache.zookeeper.ClientCnxnSocket.readLength(ClientCnxnSocket.java:112) 
    at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:79) 
    at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:366) 
    at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081) 
12:20:21,947 WARN oop.hbase.zookeeper.RecoverableZooKeeper: 253 - Possibly transient ZooKeeper, quorum=localhost:8095, exception=org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/hbaseid 
12:20:21,947 INFO rg.apache.hadoop.hbase.util.RetryCounter: 155 - Sleeping 1000ms before retry #0... 
12:20:23,325 INFO   org.apache.zookeeper.ClientCnxn: 975 - Opening socket connection to server t/127.0.0.1:8095. Will not attempt to authenticate using SASL (unknown error) 
12:20:23,326 INFO   org.apache.zookeeper.ClientCnxn: 852 - Socket connection established to t/127.0.0.1:8095, initiating session 
12:20:23,327 WARN   org.apache.zookeeper.ClientCnxn:1102 - Session 0x0 for server t/127.0.0.1:8095, unexpected error, closing socket connection and attempting reconnect 
java.io.IOException: Packet len1213486160 is out of range! 

...

Могу ли я запустить весеннюю базу без хаоса для локального разработчика? Мне нужно запустить автономный zookeeper и предоставить этот порт как hbase.zk.port? что такое hbase.zk.port?

источник

2015-08-01 tgkprog

В автономном режиме он также подключается к 2181. Из бревен HBase:

2015-08-01 12: 30: 36489 INFO [Основная] server.ZooKeeperServer: Созданный сервер с TickTime 2000 minSessionTimeout 4000 maxSessionTimeout 40000 каталогу_данных/USR/местные/HBase/zookeeper3/zookeeper_0/version-2 snapdir/usr/local/hbase/zookeeper3/zookeeper_0/version-2 2015-08-01 12: 30: 36,504 INFO [main] server.NIOServerCnxnFactory: привязка к порту 0.0.0.0/0.0 .0.0: 2181 2015-08-01 12: 30: 36,638 INFO [NIOServerCxn.Factory: 0.0.0.0/0.0.0.0: 2181] server.NIOServerCnxnFactory: Принимаемое гнездовое соединение от /127.0.0.1:60489

образец работал - 'Hadoop' локальный URL файла и гк с 2181 по умолчанию порт

<hdp:configuration id="hadoopConfiguration"> 
     fs.defaultFS=file:///usr/local/hbase/HFiles3 
    </hdp:configuration> 

hbase.zk.port=2181

источник

2015-08-01 07:07:53 tgkprog

образец весны hbase с автономным hbase

ответ

Смежные вопросы