2015-03-01 2 views
0

Я не уверен, могу ли я получить помощь для этого здесь, но я подумал, что стоит попробовать.Divolte-collector with MAPR, Storm, Kafka и Cassandra

У меня 3 узла кластера на AWS, я запускаю MAPR M3, я установил Storm, Kafka и Divolte-collector и Cassandra. Я хотел бы попробовать некоторые примеры clickstream, и я столкнулся с проблемой с tcp-consumer example. Также, будучи совершенно новым для java и распределенной обработки, у меня есть некоторые разъясняющие вопросы. Опять же, я не совсем уверен, где разместить это, потому что я чувствую, что это особый подход к divolte-collector, и у меня также есть некоторые пробелы в моем понимании концепции javadoc и создания и работы файлов jar; но я решил, что кто-то может указать мне на некоторые ресурсы или помочь с некоторыми разъяснениями. Я не могу получить строку JSON, чтобы появиться в гнезде консоли работает NetCat прослушивания кликов:

Divolte пример ТСР-Кафка-потребитель

Все работает до части этапа NetCat 7 и мой разрыв знания с шагом 6.

Step 1: install and configure Divolte Collector 

Установка работ и приветствие коллекций мира кликов не обещает :-)

Step 2: download, unpack and run Kafka 

# In one terminal session 
cd kafka_2.10-0.8.1.1/bin 
./zookeeper-server-start.sh ../config/zookeeper.properties 

# Leave Zookeeper running and in another terminal session, do: 
cd kafka_2.10-0.8.1.1/bin 
./kafka-server-start.sh ../config/server.properties 

нет erros плюс испытанные образцы Кафки так, кажется, s работать, а

Step 3: start Divolte Collector 

Go into the bin directory of your installation and run: 

    cd divolte-collector-0.2/bin 
    ./divolte-collector 

Шаг 3 не устройство, можно проверить по умолчанию тестовую страницу divole-коллектор

Step 4: host your Javadoc files 

Setup a HTTP server that serves the Javadoc files that you generated or downloaded for the examples. If you have Python installed, you can use this: 

    cd <your-javadoc-directory> 
    python -m SimpleHTTPServer 

Ok, так что я могу достичь JavaDoc страницы

Step 5: listen on TCP port 1234 
nc -kl 1234 
Note: when using netcat (nc) as TCP server, make sure that you configure the Kafka consumer to use only 1 thread, because nc won't handle multiple incoming connections. 

Испытано Netcat по открывая порт и отправляя сообщения, поэтому я решил, что у меня нет проблем с портами на AWS.

Step 6: run the example 

    cd divolte-examples/tcp-kafka-consumer 
    mvn clean package 
    java -jar target/tcp-kafka-consumer-*-jar-with-dependencies.jar 

Note: for this to work, you need to have the avro-schema project installed into your local Maven repository. 

Я установил Avro-схему с mvn clean install в проекте avro, который поставляется с примерами. в соответствии с инструкциями here

Step 7: click around and check that you see events being flushed to the console where you run netcat 

When you click around the Javadoc pages, you console should show events in JSON format similar to this: 

Я не вижу щелчки в моем NetCat окне :( Исследуя этот вопрос я рассматривал вкладки консоли и сети с помощью инструментов разработчика Chrome это кажется divolte работает, но я не уверен, . как копать дальше Это вид консоли Любые идеи или указатели

Спасибо в любом случае

Initializing Divolte. 
divolte.js:140 Divolte base URL detected http://ec2-x-x-x-x.us-west-x.compute.amazonaws.com:8290/ 
divolte.js:280 Divolte party/session/pageview identifiers ["0:i6i3g0jy:nxGMDVdU9~f1wF3RGqwmCKKICn4d1Sb9", "0:i6qx4rmi:IXc1i6Qcr17pespL5lIlQZql956XOqzk", "0:6ZIHf9BHzVt_vVNj76KFjKmknXJixquh"] 
divolte.js:307 Module initialized. Object {partyId: "0:i6i3g0jy:nxGMDVdU9~f1wF3RGqwmCKKICn4d1Sb9", sessionId: "0:i6qx4rmi:IXc1i6Qcr17pespL5lIlQZql956XOqzk", pageViewId: "0:6ZIHf9BHzVt_vVNj76KFjKmknXJixquh", isNewPartyId: false, isFirstInSession: false…} 
divolte.js:21 Signalling event: pageView 0:6ZIHf9BHzVt_vVNj76KFjKmknXJixquh0 
allclasses-frame.html:9 GET http://ec2-x-x-x-x.us-west-x.compute.amazonaws.com:8000/resources/fonts/dejavu.css 
overview-summary.html:200 GET http://localhost:8290/divolte.js net::ERR_CONNECTION_REFUSED 

ответ

0

(интро: Я работаю на Divolte Collector).?

Кажется, что вы используете пример в экземпляре AWS. Если вы используете предварительно упакованные файлы JavaDoc, которые поставляются с примерами, они имеют жестко закодированное местоположение для рассылки как http://localhost:8290/divolte.js. Поэтому, если вы работаете где-то, кроме локального, вы, вероятно, должны создать свой собственный JavaDoc для примера, используя правильное имя хоста для сервера Divolte Collector.

Вы можете сделать это, используя эту команду. Обязательно запустите его из каталога, в котором корнем исходного дерева. И, конечно, измените localhost на имя хоста, где вы используете коллекционер.

javadoc -d YOUR_OUTPUT_DIRECTORY \ 
    -bottom '<script src="//localhost:8290/divolte.js" defer async></script>' \ 
    -subpackages . 

В качестве альтернативы, вы также можете просто попытаться запустить примеры локально первой (возможно, в виртуальной машине, если вы на машине Windows).

Кажется, что нет какой-либо специфики MapR с проблемой, которую вы видите до сих пор. Примеры и конвейер на основе Kafka должны работать в любой среде, в которой установлены необходимые компоненты. Это не касается MapR-FS или чего-то еще определенного для MapR. Запись в распределенную файловую систему - это еще одна история.

В настоящее время мы не собираем Divolte Collector против MapR Hadoop, но, кстати, я дал ему прогон на VMware Sandbox. При установке из дистрибутива RPM, создать /etc/divolte/divolte-env.sh со следующими настройками окр вар:

HADOOP_CONF_DIR=/usr/share/divolte/lib/guava-18.0.jar:/usr/share/divolte/lib/avro-1.7.7.jar:$(hadoop classpath) 

Очевидно, что это немного рубить, чтобы обойти особенности и пути к классам мы надеемся предоставить дистрибутив, составленный против MapR, который будет работать в будущем.

Также вам нужна Java 8 для запуска Divolte. Если установить это с Oracle RPM, добавьте надлежащее JAVA_HOME к divolte-env.sh, а также, например:

JAVA_HOME=/usr/java/jdk1.8.0_31 

С этими настройками я могу запустить сервер и собирать Avro файлы MapR FS, создать внешнюю таблицу Hive для этих файлов и запуск запроса.

Смежные вопросы