скребковые кэшированные страницы

Question

Я использую scrapy для того, чтобы принести некоторые веб-контента, таким образом:

class PitchforkTracks(scrapy.Spider): 
    name = "pitchfork_tracks" 
    allowed_domains = ["pitchfork.com"] 
    start_urls = [ 
        "http://pitchfork.com/reviews/best/tracks/?page=1", 
        "http://pitchfork.com/reviews/best/tracks/?page=2", 
        "http://pitchfork.com/reviews/best/tracks/?page=3", 
    ] 

все работает нормально.

сейчас, вместо того, чтобы ударять по страницам напрямую, я хотел бы очистить googlecaches из этих же страниц.

Что такое надлежащее syntax для достижения этого?

PS: Я пробовал "cache:http://pitchfork.com/reviews/best/tracks/?page=1",, безрезультатно.

Answer 1

вы можете использовать следующий URL Google для соскабливания кэш страницы

http://webcache.googleusercontent.com/search?q=cache:http://pitchfork.com/reviews/best/tracks/?page=1