Почему я не могу получить страницы Википедии с LWP :: Simple?

Question

Я пытаюсь извлечь страницы Википедии, используя LWP::Simple, но они не возвращаются. Этот код:

#!/usr/bin/perl 
use strict; 
use LWP::Simple; 

print get("http://en.wikipedia.org/wiki/Stack_overflow"); 

не печатает ничего. Но если я использую какую-либо другую веб-страницу, скажем http://www.google.com, она отлично работает.

Есть ли другое имя, которое я должен использовать, чтобы ссылаться на страницы Википедии?

Что может быть здесь?

Answer 1

Видимо Википедия блоки LWP :: Simple запросы: http://www.perlmonks.org/?node_id=695886

следующие работы: вместо

#!/usr/bin/perl 
use strict; 
use LWP::UserAgent; 

my $url = "http://en.wikipedia.org/wiki/Stack_overflow"; 

my $ua = LWP::UserAgent->new(); 
my $res = $ua->get($url); 

print $res->content; 

Answer 2

Поскольку Wikipedia блокирует строку агента пользователя HTTP, используемый LWP :: Simple.

Вы получите сообщение «403 Forbidden», если вы попытаетесь его использовать.

Попробуйте модуль LWP :: UserAgent, чтобы обойти это, установив атрибут агента.

Answer 3

Также см. Модули CPAN, связанные с Mediawiki, - они предназначены для попадания на сайты Mediawiki (из которых википедия одна) и могут дать вам больше колоколов и свистов, чем простой LWP.

http://cpan.uwinnipeg.ca/search?query=Mediawiki&mode=dist

Answer 4

Вы также можете просто установить UA на LWP :: Simple модуль - просто импортировать переменную $ иа, и это позволит вам изменить базовый UserAgent:

use LWP::Simple qw/get $ua/; 
$ua->agent("WikiBot/0.1"); 
print get("http://en.wikipedia.org/wiki/Stack_overflow"); 

Answer 5

Я решил эту проблему, используя LWP:RobotUA вместо LWP::UserAgent. Вы можете прочитать документ ниже. Не так много различий, которые вы должны изменить.

http://lwp.interglacial.com/ch12_02.htm