Скребок с JQuery или Python?

Question

Так что скажем, я соскабливаю несколько страниц (скажем, 1000) на веб-сайте. Я хочу знать, какой язык лучше всего использовать для очистки этих страниц с помощью javascript или python.

Кроме того, я слышал, что скребки javascript быстрее (из-за нескольких запросов на получение), но я не уверен, как это реализовать - может кто-нибудь просветить меня?

Спасибо!

Answer 1

Это только мое мнение, но я бы ранжировать их, как этот

• JavaScript может быть лучшим выбором, но только если у вас есть среда узел уже создана. Преимущество скребок javascript - , они могут интерпретировать js на страницах, которые вы очищаете.
• следующая трехсторонняя связь между perl python и ruby. Все они имеют библиотеку механизации и разумно используют xpath и regex.
• Внизу внизу находится php. Отсутствует библиотека обработки файлов cookie, такая как механизация (завиток невелик), и неуклюжие функции dom и регулярного выражения делают его плохим выбором для очистки.

Answer 2

Если я правильно читаю ваш вопрос, вы не пытаетесь создать веб-приложение (клиентскую или серверную), а отдельное приложение, которое просто запрашивает и загружает страницы из Интернета.

You может написать автономное приложение в JavaScript, но это не распространено. Основное использование JavaScript - это код, который будет запущен в пользовательском веб-браузере. Для автономных приложений Python - лучший выбор. И он имеет очень хорошую поддержку (в виде urllib2 и связанных с ним библиотек) для таких задач, как веб-скребок.

Конечно, если ваша задача скремблирования относительно проста, вам может быть лучше, просто используя wget.