Я написал сценарий, который получает данные со страницы, но иногда на страницу требуется время для загрузки, и поэтому, когда он тянет html в объект супа, иногда он ничего не тянет, поскольку страница все еще необходимо закончить.python selenium ждать загрузки страницы
Я написал следующий код для ожидания завершения страницы.
def scrape_page(url):
browser.get(url)
try:
WebDriverWait(browser, 10).until(EC.presence_of_element_located(browser.find_element_by_id ("selection-box")))
#Extract Source Code
html = browser.page_source;
soup = BeautifulSoup(html)
Он работает
Но я получаю следующее сообщение об ошибке, когда я вызываю функцию;
TypeError: find_element() argument after * must be a sequence, not WebElement
Я пробовал это оригинал совершенно, но получить глобальное имя ошибки By не определено. Единственное, что отличается от того, что я использую Chrome Driver вместо firefox –
http://selenium-python.readthedocs.org/en/latest/api.html?highlight=#module-selenium.webdriver.common.by – sobolevn
@GrantMcKinnonG Импорт 'By' перед использованием:' from selenium.webdriver.common.by import By' – WKPlus