Perl Script, Web Scraper

Question

Я новичок в языке Perl и имею этот скрипт, который сбрасывает веб-сайт amazon для обзоров. Каждый раз, когда я запускаю его, я получаю сообщение об ошибке компиляции. Интересно, может ли кто-нибудь пролить свет на то, что с ним не так.

#!/usr/bin/perl 
# get_reviews.pl 
# 
# A script to scrape Amazon, retrieve reviews, and write to a file 
# Usage: perl get_reviews.pl <asin> 
use strict; 
use warnings; 
use LWP::Simple; 

# Take the asin from the command-line 
my $asin = shift @ARGV or die "Usage: perl get_reviews.pl <asin>\n"; 

# Assemble the URL from the passed asin. 
my $url = "http://amazon.com/o/tg/detail/-/$asin/?vi=customer-reviews"; 

# Set up unescape-HTML rules. Quicker than URI::Escape. 
my %unescape = ('&quot;'=>'"', '&amp;'=>'&', '&nbsp;'=>' '); 
my $unescape_re = join '|' => keys %unescape; 

# Request the URL. 
my $content = get($url); 
die "Could not retrieve $url" unless $content; 

#Remove everything before the reviews 
$content =~ s!.*?Number of Reviews:!!ms; 

# Loop through the HTML looking for matches 
while ($content =~ m!<img.*?stars-(\d)-0.gif.*?>.*?<b>(.*?)</b>, (.*?)[RETURN] 
\n.*?Reviewer:\n<b>\n(.*?)</b>.*?</table>\n(.*?)<br>\n<br>!mgis) { 

my($rating,$title,$date,$reviewer,$review) = [RETURN] 
($1||'',$2||'',$3||'',$4||'',$5||''); 
$reviewer =~ s!<.+?>!!g; # drop all HTML tags 
$reviewer =~ s!\(.+?\)!!g; # remove anything in parenthesis 
$reviewer =~ s!\n!!g;  # remove newlines 
$review =~ s!<.+?>!!g;  # drop all HTML tags 
$review =~ s/($unescape_re)/$unescape{$1}/migs; # unescape. 

# Print the results 
print "$title\n" . "$date\n" . "by $reviewer\n" . 
     "$rating stars.\n\n" . "$review\n\n"; 

}

Answer 1

Может быть, вы должны попробовать Web :: Скребок (http://metacpan.org/pod/Web::Scraper). Он будет выполнять работу намного более чистым способом.

[EDIT] Во всяком случае, я проверил код HTML случайного обзора и выяснилось, что ваш шаблон устарел. Имя рецензента, например, вводится «By», а не «Reviewer».

Answer 2

Ошибки синтаксиса, по-видимому, вызваны «[RETURN]», который дважды появляется в вашем коде. Когда я удалил их, код был скомпилирован без проблем.

Amazon не очень нравится, как люди соскабливают свой веб-сайт. Именно поэтому они предоставляют API, который дает вам доступ к их контенту. И есть модуль Perl, который для использования этого API - Net::Amazon. Вы должны использовать это вместо хрупких методов веб-скрепок.