автоматизация загрузки данных facebook insight

Question

Я ищу инструмент или процесс для экспорта данных facebook для страниц facebook и приложения facebook. В настоящее время я просто загружаю файлы csv вручную из интерфейса Insights, но в идеале я хочу автоматизировать этот процесс и загрузить данные в Pentaho Kettle, чтобы я мог выполнять некоторые операции с данными.

Есть ли способ автоматизировать загрузку и ввод файлов csv? Или мне придется использовать графический api-браузер facebook? В настоящее время я смотрю настройку, где я использую NetBeans и RestFB, чтобы вытащить нужные данные, а затем получить доступ к этим данным с помощью Pentaho Kettle. Я не уверен, что это сработает, или если это лучший подход.

Answer 1

Как говорит Codek, плагин Kettle - очень хорошая идея, и он будет очень полезен для проекта Kettle. Однако это также серьезные усилия.

Если вы не хотите прилагать такого усилия, вы можете, конечно, загружать файлы с помощью Kettle Job, если файлы доступны через стандартный способ передачи (FTP, SFTP, SSH и т. Д.). Я никогда не использовал RestFB, поэтому я не знаю, что доступно. Вы можете напрямую получить доступ к веб-сервису с помощью шага преобразования REST Client.

После загрузки файлов вы можете отправить их в преобразование, подлежащее загрузке. Вы можете сделать это либо с помощью команды Execute для каждой строки ввода? на этапе задания трансформации, или вы можете получить имена файлов из набора результатов задания в преобразовании с помощью Получить файлы из результата.

Затем вы можете архивировать файлы после загрузки Копировать или переместить имена файлов результатов. В одном задании я нахожу только файлы, которые не находятся в моем архиве, используя . Получить имена файлов и Merge Join, а затем Установить файлы в результате шаг в преобразовании, чтобы это можно было сделать и в случае необходимости.

Чтобы автоматизировать его, вы можете запустить свою работу из планировщика, используя Kitchen.bat/Kitchen.sh. Поскольку я часто использую PostgreSQL, я использую PGAgent в качестве своего планировщика, но планировщик Windows или cron работают тоже.

Надеюсь, что это поможет.