Истинный тайм-аут в LWP :: Метод запроса UserAgent

Question

Я пытаюсь выполнить запрос на ненадежный сервер. Запрос хороший, но не 100%, необходимый для успешного завершения моего скрипта perl. Проблема в том, что сервер будет иногда тупиком (мы пытаемся выяснить, почему), и запрос никогда не будет успешным. Поскольку сервер думает, что он в прямом эфире, он держит соединение сокета открытым, поэтому значение тайм-аута LWP :: UserAgent не делает нам ничего хорошего. Каков наилучший способ обеспечения абсолютного таймаута в запросе?

FYI, это не проблема DNS. Тупик имеет какое-то отношение к огромному количеству обновлений, попадающих в базу данных Postgres одновременно. В целях тестирования мы существенно поместили некоторое время (1) {} в обработчик ответов серверов.

В настоящее время код выглядит так:

my $ua = LWP::UserAgent->new; 
ua->timeout(5); $ua->cookie_jar({}); 

my $req = HTTP::Request->new(POST => "http://$host:$port/auth/login"); 
$req->content_type('application/x-www-form-urlencoded'); 
$req->content("login[user]=$username&login[password]=$password"); 

# This line never returns 
$res = $ua->request($req); 

Я попытался с помощью сигналов, чтобы вызвать тайм-аут, но это не похоже на работу.

eval { 
    local $SIG{ALRM} = sub { die "alarm\n" }; 
    alarm(1); 
    $res = $ua->request($req); 
    alarm(0); 
}; 
# This never runs 
print "here\n"; 

Окончательный ответ, который я собираюсь использовать, был предложен кем-то в автономном режиме, но я расскажу об этом здесь. По какой-то причине SigAction работает, а $ SIG (ALRM) этого не делает. Все еще не уверен, почему, но это было проверено на работу. Вот две рабочие версии:

# Takes a LWP::UserAgent, and a HTTP::Request, returns a HTTP::Request 
sub ua_request_with_timeout { 
    my $ua = $_[0]; 
    my $req = $_[1]; 
    # Get whatever timeout is set for LWP and use that to 
    # enforce a maximum timeout per request in case of server 
    # deadlock. (This has happened.) 
    use Sys::SigAction qw(timeout_call); 
    our $res = undef; 
    if(timeout_call(5, sub {$res = $ua->request($req);})) { 
     return HTTP::Response->new(408); #408 is the HTTP timeout 
    } else { 
     return $res; 
    } 
} 
sub ua_request_with_timeout2 { 
    print "ua_request_with_timeout\n"; 
    my $ua = $_[0]; 
    my $req = $_[1]; 
    # Get whatever timeout is set for LWP and use that to 
    # enforce a maximum timeout per request in case of server 
    # deadlock. (This has happened.) 
    my $timeout_for_client = $ua->timeout() - 2; 
    our $socket_has_timedout = 0; 

    use POSIX; 
    sigaction SIGALRM, new POSIX::SigAction(
              sub { 
               $socket_has_timedout = 1; 
               die "alarm timeout"; 
              } 
              ) or die "Error setting SIGALRM handler: $!\n"; 
    my $res = undef; 
    eval { 
     alarm ($timeout_for_client); 
     $res = $ua->request($req); 
     alarm(0); 
    }; 
    if ($socket_has_timedout) { 
     return HTTP::Response->new(408); #408 is the HTTP timeout 
    } else { 
     return $res; 
    } 
} 

Answer 1

Вы можете попробовать LWPx::ParanoidAgent, подкласс LWP :: UserAgent, который более осторожен о том, как он взаимодействует с удаленными веб-серверами.

Помимо прочего, он позволяет указать глобальный тайм-аут. Он был разработан Брэдом Фицпатриком в рамках проекта LiveJournal.

Answer 2

Из того, что я понимаю, свойство timeout не учитывает таймауты DNS. Возможно, вы можете выполнить поиск DNS отдельно, а затем сделать запрос на сервер, если это работает, с правильным значением таймаута, установленным для useragent.

Это проблема DNS с сервером или что-то еще?

EDIT: Это также может быть проблемой с IO :: Socket. Попробуйте обновить модуль IO :: Socket и посмотрите, поможет ли это. Я уверен, что там была ошибка, которая препятствовала работе LWP :: UserAgent.

Alex

Answer 3

Вы можете сделать свой собственный тайм-аут, как это:

use LWP::UserAgent; 
use IO::Pipe; 

my $agent = new LWP::UserAgent; 

my $finished = 0; 
my $timeout = 5; 

$SIG{CHLD} = sub { wait, $finished = 1 }; 

my $pipe = new IO::Pipe; 
my $pid = fork; 

if($pid == 0) { 
    $pipe->writer; 
    my $response = $agent->get("http://stackoverflow.com/"); 
    $pipe->print($response->content); 
    exit; 
} 

$pipe->reader; 

sleep($timeout); 

if($finished) { 
    print "Finished!\n"; 
    my $content = join('', $pipe->getlines); 
} 
else { 
    kill(9, $pid); 
    print "Timed out.\n"; 
} 

Answer 4

следующее обобщение одного из первоначальных ответов также восстанавливает обработчик сигнала тревоги к предыдущему обработчику и добавляет второй вызов тревоги (0) в случай, когда вызов в часы eval вызывает исключение без тревоги, и мы хотим отменить будильник. Далее $ @ осмотр и обработка могут быть добавлены:

sub ua_request_with_timeout { 
    my $ua = $_[0]; 
    my $request = $_[1]; 

    # Get whatever timeout is set for LWP and use that to 
    # enforce a maximum timeout per request in case of server 
    # deadlock. (This has happened.)`enter code here` 
    my $timeout_for_client_sec = $ua->timeout(); 
    our $res_has_timedout = 0; 

    use POSIX ':signal_h'; 

    my $newaction = POSIX::SigAction->new(
     sub { $res_has_timedout = 1; die "web request timeout"; },# the handler code ref 
     POSIX::SigSet->new(SIGALRM), 
     # not using (perl 5.8.2 and later) 'safe' switch or sa_flags 
    ); 

    my $oldaction = POSIX::SigAction->new(); 
    if(!sigaction(SIGALRM, $newaction, $oldaction)) { 
     log('warn',"Error setting SIGALRM handler: $!"); 
     return $ua->request($request); 
    } 

    my $response = undef; 
    eval { 
     alarm ($timeout_for_client_sec); 
     $response = $ua->request($request); 
     alarm(0); 
    }; 

    alarm(0);# cancel alarm (if eval failed because of non alarm cause) 
    if(!sigaction(SIGALRM, $oldaction)) { 
     log('warn', "Error resetting SIGALRM handler: $!"); 
    }; 

    if ($res_has_timedout) { 
     log('warn', "Timeout($timeout_for_client_sec sec) while waiting for a response from cred central"); 
     return HTTP::Response->new(408); #408 is the HTTP timeout 
    } else { 
     return $response; 
    } 
}