Curl scraping Google не работает в производстве

Я работаю над небольшим проектом с Curl и PHP, чтобы очистить результаты Google Scholar. Он отлично работает в моем режиме разработки, но когда я пытаюсь в режиме производства что-то не работает, и нет никакого результата ...Curl scraping Google не работает в производстве

Вот мой код:

// SCRAPING GOOGLE SCHOLAR 
    if (isset($_POST['google'])){ 
     $googleURL = 'http://scholar.google.com/scholar?hl=fr&q=' . $url_subject; 

     $ch = curl_init(); 
     curl_setopt($ch, CURLOPT_URL, $googleURL); 
     curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
     curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); 
     curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0); 
     curl_setopt($ch, CURLOPT_USERAGENT, $random->random_user_agent()); 
     $result = curl_exec ($ch); 
     curl_close($ch); 

     $html = $this->container->get('simple_html_dom'); 
     $html->load($result);

Спасибо за вашу помощь

источник

2015-02-01 AlphaNico

проверять файлы лотов на наличие ошибок. завиток не может быть установлен –

Не то, что в файле журнала нет ничего относительно Curl – AlphaNico

Возможно, эта проблема вызвана включением опции 'safe_mode' или' open_basedir'. См. [Здесь] (http://stackoverflow.com/questions/2511410/curl-follow-location-error) для получения более подробной информации. – hindmost

Google Scholar хмурится, соскребая их содержимое. Это противоречит их условиям обслуживания. Коррекция командной строки полезна для устранения неполадок такого рода вещей:

$ curl -vv https://scholar.google.com/scholar?hl=en&q=neurotransmitters 
> GET /scholar?hl=en HTTP/1.1 
> User-Agent: curl/7.35.0 
> Host: scholar.google.com 
> Accept: */* 
> 
< HTTP/1.1 403 Forbidden 
... 
<html>...<title>Sorry...</title></head><body> 
<h1>We're sorry...</h1> 
<p>... but your computer or network may be sending automated queries. 
To protect our users, we can't process your request right now.</p> 
<div style="margin-left: 4em;">See 
<a href="https://support.google.com/websearch/answer/86640">Google Help</a> 
for more information.</div> 
</body></html>

источник

2016-10-06 18:56:00 Steve

Curl scraping Google не работает в производстве

ответ

Смежные вопросы