Сканирование сайта .net с субдоменом

Question

Я пытаюсь просканировать сайт .net с php curl. Сайт, который я пытаюсь выполнить, -

http://waltham.patriotproperties.com 

Я могу зайти на сайт.

Но когда я пытаюсь сканировать внутренние страницы, как

http://waltham.patriotproperties.com/about.asp 

или любую другую страницу внутри этой подобласти он дает мне ошибку следующим образом

The page cannot be displayed because an internal server error has occurred.1 

код, который я использую как ниже

$ch = curl_init(); 
$urlLogin = "http://www.waltham.patriotproperties.com"; 
curl_setopt($ch, CURLOPT_URL, $urlLogin); 
curl_setopt($ch, CURLOPT_COOKIEFILE, "cookie.txt"); 
curl_setopt($ch, CURLOPT_COOKIEJAR, "cookie.txt"); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE); 

//curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 

$data = curl_exec($ch); 
echo $data; 

код работает для

http://waltham.patriotproperties.com/ 

, но не работает для

http://waltham.patriotproperties.com/search.asp 
http://waltham.patriotproperties.com/summary.asp 

т.е. любой URL в пределах этого подвида домена. ошибка, что я получаю с URL внутри поддомена является

HTTP/1.1 500 Internal Server Error 
Content-Type: text/html 
Server: Microsoft-IIS/7.5 
Date: Wed, 05 Jun 2013 16:33:57 GMT 
Content-Length: 75 

Answer 1

Вы начинаете по адресу:

$urlLogin = "http://www.waltham.patriotproperties.com"; 

Но ссылка на страницу поиска по адресу:

http://waltham.patriotproperties.com/search.asp 

Если вы просматриваете этот URL-адрес, вы увидите контент; если вы добавите www. в начало URL-адреса, он будет работать.

Отредактировано для добавления - это становится намного проще, если у них есть API, который вы можете использовать.