Веб-скребок Javascript Использование Python

Question

Я использую BeautifulSoup для очистки сайта, однако этот сайт отличается. На soup.prettify() я возвращаю код Javascript, много материала. Я хочу очистить этот веб-сайт от данных фактического веб-сайта (название компании, номер телефона и т. Д.). Есть ли способ очистить эти сценарии, такие как Main.js, чтобы получить данные, которые отображаются на веб-сайте для меня?

Clear версия:

Кодекс:

<script src="/docs/Main.js" type="text/javascript" language="javascript"></script> 

Это содержит текст, который находится на сайте. Я хотел бы очистить этот текст, однако он заполнен с использованием JS not HTML (который я использовал для использования BeautifulSoup для).

Answer 1

Вы спрашиваете, можете ли вы очистить текст, сгенерированный во время выполнения Javascript. Ответ прост.

Вам нужно запустить какой-то headless browser, например PhantomJS, чтобы Javascript выполнил и заполнил страницу. Затем вам нужно будет подать HTML-код, который безгласному браузеру генерирует в BeautifulSoup для его анализа.

Последний вопрос

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.

 Смежные вопросы

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.