Facebook не сканирует мой сайт

Question

Когда я публикую ссылку своего сайта на facebook, теперь она показывает эскизы, и она показывает названия моего старого сайта. Я просто добавил код opengraph на свой сайт, но это не помогает. Когда я проверяю свой сайт на отладке facebook, он показывает код ответа: 403. Я предполагаю, что это означает, что мой сайт блокирует боты facebook, но я не понимаю, как это возможно. С тех пор все отлично работало. Если это так, то вы можете сказать мне, как разблокировать ...

http://developers.facebook.com/tools/debug/og/object?q=http%3A%2F%2Fracunovodstvo.com.ba

Answer 1

я сделал некоторое рытье и и швы, как Facebook на самом деле получить 403 ответа. Вот что я сделал:

$ nc -l -p 8000 > fbbot-request 
listening on [any] 8000 ... 

Запустите отладчик http://mydebughost:8000 и я получаю:

connect to [78.108.54.9] from out-fc245.tfbnw.net [66.220.153.245] 48731 
$ cat fbbot-request 
GET/HTTP/1.1 
User-Agent: facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php) 
Host: mydebughost:8000 
Accept: */* 
Accept-Encoding: deflate, gzip 
Range: bytes=0-40960 
Connection: close 

Теперь измените заголовок Host на racunovodstvo.com.ba и сделать запрос:

$ cat fbbot-request | nc racunovodstvo.com.ba 80 | head 
HTTP/1.1 403 Forbidden 
Date: Sat, 31 Dec 2011 14:29:48 GMT 
Server: Apache 
Last-Modified: Mon, 02 May 2011 07:52:14 GMT 
ETag: "444007-1094-4dbe62ae" 
Accept-Ranges: bytes 
Content-Length: 4244 
Connection: close 
Content-Type: text/html 

И после некоторые более копают его швы, так как веб-сервер путается заголовком Range: bytes=0-40960.