Как загрузить информацию с веб-сайта

Question

Я пытаюсь автоматически загружать информацию с веб-сайта на основе нескольких параметров. По сути, я хочу указать параметры поиска, и функция автоматически переместится на соответствующий веб-сайт и загрузит файл. Обратите внимание, что все файлы являются файлами excel, обычно .csv.

Вот вебсайт: //comtrade.un.org/db/

ПРИМЕЧАНИЕ: Этот адрес веб-сайтов будет обновляться в зависимости от поиска, так, например, если вы ищете торговли из Соединенных Штатов в иран (остальные параметры не определены), результат:

http://comtrade.un.org/db/dqBasicQueryResults.aspx?px=HS&cc=TOTAL&r=364&p=842&rg=1&y=2010,2009,2008,2007,2006&so=8

Подробнее об этом здесь:

http://unstats.un.org/unsd/tradekb/Knowledgebase/Data-Extraction-Using-Comtrade-Web-Service Посмотрите под методами веб-службы и paramete RS

Два Вопрос:

1) Как я могу это сделать?

2) Какой язык лучше всего подходит для этого?

Answer 1

В PHP, используйте file_get_contents("http://............");

Подключите любой URL и GET параметры, которые вы хотите, и вы мгновенно получить данные, в этом случае CSV, который можно затем обработать.

Answer 2

Просто нет «лучшего языка». Вы можете сделать это на любом языке с доступностью HTTP-доступа, это могут быть либо PHP, Java, RoR, Perl, Python ...

На странице the link you posted вы можете прочитать, что они предлагают услугу REST для доступа к данным в XML.

В PHP, вы должны сначала загрузить файл, используя соответствующий URL:

$xml = file_get_contents("http://comtrade.un.org/ws/..."); 

Than использовать функции XML в PHP для разбора файла.

Я не уверен насчет их лицензии на использование данных - вам может быть не разрешено автоматически загружать данные здесь.

UPDATE Вы не можете напрямую загрузить файлы, найденные в результатах поиска (с помощью PHP, например) - так что вы должны использовать доступ REST, но некоторые его части, очевидно, доступны только при ООН позволяют сделать , Если вы попытаетесь загрузить непосредственно файлы «excel» (на самом деле CSV), вы получите ошибку следующим образом: http://comtrade.un.org/db/dqBasicQueryResultsd.aspx?action=csv&px=HS&cc=TOTAL&r=364&p=842&rg=1&y=2010,2009,2008,2007,2006&so=8. Вы можете обмануть значение HTTP_REFERER, но вы нарушите условия службы.