данные скоблить с Духом

Question

Я хочу лом некоторых данных по следующей ссылке:

http://www.six-structured-products.com/en/search-find/new-search#search_type=profi&class_category=svsp

Моя цель просто получить таблицу всех инструментов (отображается в разделе «Результаты поиска» на стр 1,2 , 3 и т. Д.) В data.frame. Я не могу просто использовать urllib и urllib2 для извлечения статических данных, так как мне нужно подражать человеку, нажимая на кнопки: Ghost или Selenium - это путь.

Однако, я действительно не понимаю, как перевести код в «нажмите на страницу 2», «щелкните на странице 3» ..., а также получите общее количество страниц.

Мой код:

from ghost import Ghost 

url = "http://www.six-structured-products.com/en/search-find/new-search#search_type=profi&class_category=svsp" 

gh = Ghost() 
page, resources = gh.open(url) 

Я застрял там и не знаю, какой идентификатор поставить вместо XXX:

page, resources = ghost.evaluate(
"document.getElementById(XXX).click();", expect_loading=True) 

(я бы также принять решение, используя Selenium)

Answer 1

Вы также можете использовать следующие кнопки таким образом:

import logging 
import sys 

from ghost import Ghost, TimeoutError 


logging.basicConfig(level=logging.INFO) 

url = "http://www.six-structured-products.com/en/search-find/new-search#search_type=profi&class_category=svsp" 

ghost = Ghost(wait_timeout=20, log_level=logging.CRITICAL) 
data = dict() 


def extract_value(line, ntd): 
    return line.findFirst('td.DataItem:nth-child(%d)' % ntd).toPlainText() 


def extract(ghost): 
    lines = ghost.main_frame.findAllElements(
     '.derivativeSearchResult > tbody:nth-child(2) tr' 
    ) 

    for line in lines: 
     symbol = extract_value(line, 2) 
     name = extract_value(line, 5) 
     logging.info("Found %s: %s" % (symbol, name)) 
     # Persist data here 

    ghost.sleep(1) 

    try: 
     ghost.click('.pagination_next a', expect_loading=True) 
    except TimeoutError: 
     sys.exit(0) 

    extract(ghost) 


ghost.open(url) 
extract(ghost) 

Answer 2

Сделайте бесконечный цикл, увеличивая индекс страницы. Выход из цикла, когда вы не можете найти кнопку с текущим индексом:

from selenium import webdriver 
from selenium.common.exceptions import NoSuchElementException 
import time 

driver = webdriver.Firefox() 
driver.get('http://www.six-structured-products.com/en/search-find/new-search#search_type=profi&class_category=svsp') 

page = 2 # starting page 
while True: 
    try: 
     button = driver.find_element_by_xpath('//ul[@id="pagination_pages"]/li[@class="pagination_page" and . = "%d"]' % page) 
    except NoSuchElementException: 
     break 

    time.sleep(1) 
    button.click() 

    page += 1 

print page # total number of pages 

driver.close() 

Обратите внимание, что вместо time.sleep(), более надежный подход будет использовать Waits.