Scripting HTTP более эффективно

Question

Часто я хочу автоматизировать HTTP-запросы. В настоящее время я использую Java (и commons http client), но, вероятно, предпочту использовать подход, основанный на сценариях. Что-то действительно быстрое и простое. Где я могу установить заголовок, перейдите на страницу и не беспокойтесь о настройке всего жизненного цикла OO, установив каждый заголовок, вызывая html-парсер ... Я ищу решение на ЛЮБОЙ язык, предпочтительные сценарии

Answer 1

Как насчет использования PHP + Curl, или просто bash?

Answer 2

Python urllib может быть тем, что вы ищете.

Альтернативно powershell предоставляет полную библиотеку .NET http в среде сценариев.

Answer 3

Mechanize для Python, кажется, прост в использовании: http://wwwsearch.sourceforge.net/mechanize/

Answer 4

Посмотрите Selenium. Он генерирует код для C#, Java, Perl, PHP, Python и Ruby, если вам нужно настроить скрипт.

Answer 5

Watir звучит близко к тому, что вы хотите, хотя он (как и Selenium, связанный с другим ответом) фактически открывает браузер для работы. Вы можете увидеть некоторые примеры here. Другая система захода на посадку на основе браузера + воспроизведения - sahi.

Если ваше приложение использует WSGI, то paste - отличный вариант.

Механизм, связанный в другом ответе, является «браузером в библиотеке», и есть клоны в perl, Ruby и Python. Перл один из них является оригинальным, и это, кажется, путь, если вы не хотите браузер. Проблема с этим подходом заключается в том, что весь код интерфейса (который может полагаться на JavaScript) не будет реализован.

Answer 6

Некоторые рубин библиотеки:

• httparty: действительно интересно, философия интересна.
• mechanize: классическая библиотека качественной веб-автоматизации.
• scrubYt: puzzling на первый взгляд, но интересно использовать.

Answer 7

Моя очередь: wget или perl с lwp. Вы найдете пример на связанной странице.

Answer 8

В зависимости от того, что вы делаете, самым простым решением является bash + curl.

Человек страница последний доступен здесь:

http://curl.haxx.se/docs/manpage.html

Вы можете сделать сообщения, а также получает, HTTPS, показать заголовки, работа с печеньем, основной и дайджест-проверки подлинности HTTP, туннель через все виды прокси, в том числе NTLM на * nix среди прочего.

curl также доступен как общая библиотека с поддержкой C и PHP.

НТН

C.

Answer 9

Я тестирую REST API, на данный момент и нашел ReST Client очень приятно. Это GUI-программа, но тем не менее вы можете сохранять и восстанавливать запросы в виде файлов XML (или создавать их), вставлять, писать тестовые скрипты и т. Д. И это основанная на Java (что не является специальным преимуществом, но вы упомянули об этом).

Минус-очки для записи сессий. Клиент ReST хорош для апатридов «one-shot».

Если это не подходит для ваших нужд, я бы пошел на уже упомянутый Mechanize (или WWW-Mechanize, так как он называется CPAN).

Answer 10

Twill довольно хорошо и сделано для тестирования. Его можно использовать как скрипт, в интерактивном сеансе или в программе Python.

Answer 11

Если у вас есть простые потребности (выберите страницу, а затем проанализируйте ее), трудно избить LWP::Simple и HTML::TreeBuilder.

use strict; 
use warnings; 

use LWP::Simple; 
use HTML::TreeBuilder; 

my $url = 'http://www.example.com'; 
my $content = get($url) or die "Couldn't get $url"; 

my $t = HTML::TreeBuilder->new_from_content($content); 
$t->eof; 
$t->elementify; 

# Get first match: 
my $thing = $t->look_down(_tag => 'p', id => qr/match_this_regex/); 

print $thing ? $thing->as_text : "No match found\n"; 

# Get all matches: 
my @things = $t->look_down(_tag => 'p', id => qr/match_this_regex/); 

print $_ ? $_->as_text : "No match found" for @things; 

Answer 12

Perl и WWW::Mechanize может сделать веб-соскоб и т.д. простой и легкий, в том числе легкой обработки форм (скажем, вы хотите, чтобы перейти на страницу входа в систему, введите имя пользователя и пароль и отправить форму, обработку куки/скрытые идентификаторы сеанса точно так же, как браузер ...)

Аналогичным образом поиск или извлечение ссылок с выбранной страницы тривиально.

Если вам нужно разобрать материал из результирующих страниц, с которыми WWW :: Mechanize не может легко помочь, затем подайте результат на HTML::TreeBuilder, чтобы упростить синтаксический анализ.