Запуск цикла синхронно в python

Question

У меня есть блок кода, который сканирует веб-сайт бесконечной высоты (Like FACEBOOK).

Сценарий Selenium Python запрашивает у страницы javascript страницу в нижней части страницы, чтобы загрузить страницу ниже. Но в итоге бывает, что цикл работает асинхронно, а ограничитель скорости веб-сайта блокирует скрипт.

Мне нужна страница, чтобы дождаться загрузки первой страницы, а затем продолжить, но я не смог этого сделать.

Следующее, что я пробовал до сих пор.

Код выглядит следующим образом:

while int(number_of_news) != int(len(news)) : 
    driver.execute_script("window.scrollTo(document.body.scrollHeight/2, document.body.scrollHeight);") 
    news = driver.find_elements_by_class_name("news-text") 
    print(len(news)) 

Выход нечто вроде

Что я интерпретировано как цикл выполняется несколько раз, когда значение 43, 63... and so on.

Я также попытался сделать его рекурсивным, но результат все тот же. Рекурсивный код выглядит следующим образом:

def call_news(_driver, _news, _number_of_news): 
    _driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 
    _news = driver.find_elements_by_class_name("news-text") 
    print(len(_news)) 
    if int(len(_news)) != int(number_of_news) : 
     call_news(_driver, _news, _number_of_news) 
    else : 
     return _news 

Рассматривается любой вид наконечника.

Answer 1

Вы можете установить page_load_timeout сделать ожидание драйвера для страницы, чтобы загрузить

driver.set_page_load_timeout(10) 

Другой вариант заключается в ждать числа элементов для изменения

current_number_of_news = 0 
news = [] 
while int(number_of_news) != int(len(news)) : 
    driver.execute_script("window.scrollTo(document.body.scrollHeight/2, document.body.scrollHeight);") 
    while (current_number_of_news == len(news)) : 
     news = driver.find_elements_by_class_name("news-text") 
    current_number_of_news = len(news) 
    print(len(news))