Как я могу загрузить содержимое динамической страницы?

Question

Я использую Scrapy для загрузки содержимого этой страницы:

http://www.bbb.org/atlanta/business-reviews/fence-contractors/summit-fence-in-acworth-ga-27501223/customer-reviews?cacheit=y

, но когда я смотрю в

response.body 

Содержание мнения нет, я имею в виду на содержание «Отрицательного опыта (1 отзыв)» говорит: «Удачи вам в использовании этой компании. Брайан был угрюмым и грубым со мной и моим мужем. После долгих дискуссий о том, что мы хотели для ...»

scrapy shell 'http://www.bbb.org/central-texas/business-reviews/concrete-stamped-and-decorative/artistic-impressions-concrete-staining-in-new-braunfels-tx-90080290/Customer-Reviews' -s USER_AGENT='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36' 

content = response.body 

content.find('Good luck using this company') 

Он возвращает: -1

Как я могу получить эти данные?

Answer 1

. Обратите внимание, что отзывы о загрузке могут быть загружены с помощью запроса /ReadReviews, а также информацию о том, что вы ищете. Например, в указанном примере, это будет:

http://www.bbb.org/central-texas/business-reviews/concrete-stamped-and-decorative/artistic-impressions-concrete-staining-in-new-braunfels-tx-90080290/ReadReviews?page=1&exp=-1 

Что вы должны делать в пауке, чтобы получить/вернуть scrapy.Request к этой конечной точке и анализировать отзывы в функции обратного вызова.

Пример, как вы можете получить детали обзор:

for review in response.css("tr"): 
    review_detail = review.css("td.complaint-detail::text").extract_first() 
    print(review_detail)