2016-12-25 1 views
0

Я пытаюсь запустить scraw crawler с помощью scrapyrt. Я получаю следующий ответ в браузереscrapyrt не получил ответ от сканирующего гусеничного устройства

{"status": "error", "message": "", "code": 500} response: 1 

и этот в окне scrapyrt

enter image description here

Я попытался изменить путь файла журнала, но он выдает ошибку Разрешение отказано.

Сканер работает успешно (поскольку он создает файл html), но не получает ответ json в curl.

$curl = curl_init(); 
    curl_setopt_array($curl, array(
    CURLOPT_PORT=>'9080', 
    CURLOPT_URL => "http://localhost/crawl.json?spider_name=dmoz&url=http://www.dmoz.org/Computers/Programming/Languages/Ada/", 
    CURLOPT_FOLLOWLOCATION => true, 
    CURLOPT_MAXREDIRS  => 10,  
    CURLOPT_USERAGENT  => $_SERVER['HTTP_USER_AGENT'], 
    CURLOPT_AUTOREFERER => true, 
    CURLOPT_CONNECTTIMEOUT => 120,  
    CURLOPT_TIMEOUT  => 120, 
    CURLOPT_POST   => false 
     )); 
    $response = curl_exec($curl); 
    $err = curl_error($curl); 

    curl_close($curl); 

    if ($err) { echo "cURL Error #:" . $err; } 
    else { echo "response: ".$response; } 

Если же гусеничный выполнен из scapy CMDscrapy crawl dmoz -a url="http://www.dmoz.org/Computers/Programming/Languages/Ada/"

выход является

{'description': u'ACM Special Interest Group on Ada: information on SIGAda organization and pointers to current information and resources for the Ada programming language.', 'name': u'SIGAda', 'url': u'http://www.sigada.org/'}

ответ

1

решается вопрос:

Обновлено «C: \ python27 \ Lib \ сайт-пакеты \ scrapyrt \ log.py» файл со следующим.

Заменено

filename = settings.get('LOG_FILE') 

с этим

filename = "C:\\wamp64\\www\\dirbot-master\\logs\\dmoz\\log.log" 

dirbot-мастера является SCRAPY проект. Теперь я получаю ответ в браузере.

+0

благодарит Pradip Shenolkar –

Смежные вопросы