Использование scrapy для получения данных «Следующая страница»

Question

Мне нужно получить данные обзора веб-сайта, но данные пользователя выгружены. Комментарии на странице - 10 полосок, а их около 100. Как я могу сканировать все из них?

My intention is to use the yield and Request method to crawl the "Next Page" link, and then using the Xpath to extract data. But I can't jump to the next page to extract the data. 

Вот Html код о "Следующая страница" ссылка:

<div class="xs-pagebar clearfix"> 
    <div class="Pagecon"> 
      <div class="Pagenum"> 
       <a class="pre-page pre-disable"> 
       <a class="pre-page pre-disable"> 
       <span class="curpage">1</span> 
       <a href="#" onclick="tosubmits(2):return false;">2</a> 
       <a href="#" onclick="tosubmits(3);return false;">3</a> 
       <span class="elli">...</span> 
       <a href="#" class="next-page" onclick="tosubmits('2');return false;">Next Page</a> 
       <a href="#" onclick="tosubmits('94');return false;">Final Page</a> 
      </div> 
    </div> 
</div> 

Что href="#" точно означает?

Answer 1

К сожалению, вы не сможете сделать это с помощью scrapy. href="#" - это привязка, которая просто связывает нигде (чтобы это выглядело как ссылка). На самом деле происходит обработчик javascript onclick. Вам понадобится метод выполнения javascript, чтобы сделать это для вашего случая использования. Вы можете посмотреть на Splinter, чтобы сделать это.