Я пытаюсь запустить scraw crawler с помощью scrapyrt. Я получаю следующий ответ в браузереscrapyrt не получил ответ от сканирующего гусеничного устройства
{"status": "error", "message": "", "code": 500} response: 1
и этот в окне scrapyrt
Я попытался изменить путь файла журнала, но он выдает ошибку Разрешение отказано.
Сканер работает успешно (поскольку он создает файл html), но не получает ответ json в curl.
$curl = curl_init();
curl_setopt_array($curl, array(
CURLOPT_PORT=>'9080',
CURLOPT_URL => "http://localhost/crawl.json?spider_name=dmoz&url=http://www.dmoz.org/Computers/Programming/Languages/Ada/",
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_MAXREDIRS => 10,
CURLOPT_USERAGENT => $_SERVER['HTTP_USER_AGENT'],
CURLOPT_AUTOREFERER => true,
CURLOPT_CONNECTTIMEOUT => 120,
CURLOPT_TIMEOUT => 120,
CURLOPT_POST => false
));
$response = curl_exec($curl);
$err = curl_error($curl);
curl_close($curl);
if ($err) { echo "cURL Error #:" . $err; }
else { echo "response: ".$response; }
Если же гусеничный выполнен из scapy CMDscrapy crawl dmoz -a url="http://www.dmoz.org/Computers/Programming/Languages/Ada/"
выход является
{'description': u'ACM Special Interest Group on Ada: information on SIGAda organization and pointers to current information and resources for the Ada programming language.', 'name': u'SIGAda', 'url': u'http://www.sigada.org/'}
благодарит Pradip Shenolkar –