Twitter API поиска и Hadoop

Question

Мне нужно использовать API поиска в Twitter и получать данные Twitter в мою HDFS. API поиска использует вызовы REST, и я пытаюсь понять, как я буду использовать это с Apache Flume. У меня есть ключи для авторизации для использования API-интерфейсов Twitter, но я просто не понимаю, как я мог реализовать API поиска, используя flume. Нужна помощь! Спасибо!

Answer 1

1. Создайте учетную запись разработчика в twitter и создайте свои секретные ключи.
2. Добавить файл flume-source-1.0-SNAPSHOT.jar в папку lib.
3. используя секретные ключи, создайте конфигурационный файл flume, чтобы получать твиты из твиттера и хранить его в hdf.
4. начать вы Flume с помощью следующей команды

Команда: bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent

Для получения более подробной информации см ниже ссылке:

http://www.thecloudavenue.com/2013/03/analyse-tweets-using-flume-hadoop-and.html

Answer 2

Прежде всего, необходимо создать приложение в твиттере. Перейдите на страницу https://apps.twitter.com/ и создайте приложение, затем запомните сгенерированные четыре ключа - потребительский ключ, секретный ключ потребителя, токен доступа и секретный токен доступа.

Скачать apache-flume-1.x.0-bin.tar.gz .Йтесь й означает последний version.After разархивировать файл добавить следующую команду в файл ~/.bashrc:

export FLUME_HOME=location of untar flume file 
export PATH=$PATH:$FLUME_HOME/bin 

после сохранения выше запустить файл source ~/.bashrc в terminal.After это следовать ниже команд сайта:

https://acadgild.com/blog/streaming-twitter-data-using-flume/