Скребок приложения для Facebook

Question

Я использую приложение Facebook, которое имеет богатый набор информации, которую я хотел бы получить в автономном режиме. Для этого мне, по сути, нужно прочитать информацию с веб-страниц в моей собственной базе данных. Очевидно, что я бы предпочел не сохранять страницы вручную и позволить моему приложению читать страницы и извлекать из них соответствующие данные. К сожалению, меня заблокировали на дороге требование сначала пройти аутентификацию в Facebook. Поэтому, когда я запускаю этот код:

private static string getPage(string pageAddress) 
{ 
    HttpWebRequest req = (HttpWebRequest)WebRequest.Create(new Uri(baseUri, pageAddress)); 
    HttpWebResponse response = (HttpWebResponse)req.GetResponse(); 
    StreamReader readStream = new StreamReader(response.GetResponseStream()); 
    string page = readStream.ReadToEnd(); 
    readStream.Close(); 
    response.Close(); // I know, I'm paranoid and this is likely redundant... 
    return page; 
} 

Я получаю ответ:

<script type="text/javascript"> 
if (parent != self) 
top.location.href = "http://www.facebook.com/login.php?api_key=<obscured>&canvas&v=1.0"; 
else self.location.href = "http://www.facebook.com/login.php?api_key=<obscured>&canvas&v=1.0"; 
</script> 

Любые идеи, как сказать приложение, которое я действительно утра аутентичный меня?

Answer 1

Насколько я понял, вам просто нужно войти в приложение для facebook, не так ли? Для этого используйте любую веб-скребок/обходную структуру (они поддерживают JS, файлы cookie и т. Д.). Они просто эмулируют использование веб-браузера. Например, попробуйте эти:

http://scrapy.org/

http://wwwsearch.sourceforge.net/mechanize/

http://watin.sourceforge.net/

Также см

.Net Screen scraping and session

Answer 2

Вам необходимо использовать API facebook для получения данных из facebook. Они блокируют экранирование

Answer 3

Facebook использует REST, чтобы вы могли запрашивать данные с сервера; он также имеет возможность доступа к данным из клиентского JavaScript API. Вы можете проверить вики для получения дополнительной информации; он использует метод rest_server.php? = для получения данных из соответствующих методов.

Отъезд http://www.facebook.com/developers, чтобы получить дополнительную информацию об этих объектах/методах/создании приложения, чтобы вы могли запрашивать данные в facebook.

Answer 4

Сначала вам нужно написать сценарий для программного входа в facebook. Затем вам нужно будет сохранить файлы cookie, которые вы получаете.

Я сделал что-то подобное с curl и php. (curl имеет встроенную обработку печенья)

Answer 5

Я думаю, что они используют файлы cookie для аутентификации, поэтому сначала вам понадобится ваше приложение для входа в facebook и сохраните файл cookie в CookieContainer, а затем назначьте это для req .CookieContainer, и только тогда req.GetResponse();