Извлечение результатов поиска Google Перенаправления

Question

Я прочитал несколько сообщений stackoverflow о том, как extract the URLs of Google search results, и написал аналогичную реализацию, используя python, curl и beautifulsoup.

Мой вопрос в том, как я могу извлечь ссылки перенаправления Google (например, когда вы щелкаете правой кнопкой мыши по результату и выбираете «местоположение ссылки для копирования»)?

спасибо, Чад

Answer 1

Дорогой Чад, Google сделал страницу результатов интерактивного через AJAX. Таким образом, BeautifulSoup не сможет напрямую извлекать ссылки. Я предлагаю сначала прочитать страницу в строке, чтобы она имела весь HTML, чем вы можете использовать BeautifulSoup для извлечения ссылок. Надеюсь, это сработает, вы можете написать!