Effiecint способ обхода сайта

Question

Предположим, что есть сайт для объявлений, а уникальный URL-адрес для каждого продукта - это всего лишь номер: example.com/product/12345/ Теперь предположим, что каждое число дает результат другому продукту на странице, и сказать, что я хочу, чтобы сканировать все URL, и получить все данные от со страницы путем извлечения информации из бывших: <div id='info'>someinfo</div> Теперь я пытался сделать это с чем-то вроде

$URL = 1000; 

for($i=1; $i < $URL; $i++){ 
    $content = file_get_contents("http://example.com/products/$i"); 
    $info = //get the exact info from div and 
    file_put_contents('file.txt', $info); 
} 

Даже если этот скрипт работает так или иначе, он не чтобы написать больше, чем первые 5 результатов, перед сбоем моей системы из-за ограничений памяти. Итак, я хотел бы знать, как это делается.

Я мог бы использовать объект DOM для получения содержимого divs, но реальная проблема заключается в том, как не иметь скрипта freez на странице.

Есть ли какие-либо решения?

Answer 1

Я бы рекомендовал создать сценарий оболочки для такого искателя. Тогда вам не нужно заботиться о таймауте:

#!/usr/bin/env php 
<?php 
$url = 1000; 
for ($i = 1; $i < $url; ++$i) { 
    $content = getContent("http://example.com/products/$i"); 
    $info = getInfo($content); 
    file_put_contents('file.txt', implode("\n", $info), FILE_APPEND); 
} 

function getContent($url) { 
    $ch = curl_init($url); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
    $data = curl_exec($ch); 
    $curl_errno = curl_errno($ch); 
    $curl_error = curl_error($ch); 
    curl_close($ch); 
    $curl_errno === 0 or die("cURL Error ($curl_errno): $curl_error\n"); 
    //sleep(2); // Pause 2 sec to avoid ban :) 
    return $data; 
} 

function getInfo($content) { 
    $doc = new DOMDocument(); 
    $doc->loadHTML($content); 
    $xpath = new DOMXPath($doc); 
    $result = array(); 
    // Adopt this block for your needs. This is just example 
    $elements = $xpath->query("//*[@id='info']"); 
    foreach ($elements as $element) { 
     $result[] = $element->nodeValue; 
    } 
    return $result; 
} 

Answer 2

Я не смог проверить это, потому что редактор онлайнового кода, использующий im, не позволяет мне давать значения $_GET, но я бы предположил, что это самый простой способ обмануть PHP для запуска вашего кода без ограничения по времени , (или что-то в этом роде)

$url = intval($_GET['url']); 
if ($url >= 1) { 
    $content = file_get_contents("http://example.com/products/$url"); 
    $info = //get the exact info from div and 
    file_put_contents('file.txt', $info); 
    ob_end_flush(); 
    $url--; 
    header("Location: ./thisfile.php?url=$url"); 
}