Мне нужно соскрести (с одобрением) веб-сайты, прежде чем я начну писать свой собственный . Каков наилучший инструмент/способ соскабливания веб-сайтов, который является быстрым (многопоточным) и простым в освоении?Каков наилучший метод или инструмент для очистки веб-сайтов?
Посмотрите на this recent blog post by Lee Holmes. Он написал довольно крутой скребок экрана, используя Powershell и HTML Agility Pack.
им больше в linux C++/java world – user63898
Рассмотрите возможность использования TestPlan. Он имеет режим браузера без дисплея для быстрого считывания. Сценарий очень простой и быстрый, чтобы изучить основы.
TagSoup, SAX-совместимый синтаксический анализатор, написанный на Java, анализирует HTML так, как он встречается в дикой природе: бедный, скверный и жестокий, хотя и нередко далекий от короткого.
Подробности здесь: http://mercury.ccil.org/~cowan/XML/tagsoup/
Принимали ли вы посмотрите на это - https://scraperwiki.com/
рискнули, что «лом» должен был быть «скрести» :-) – Pointy
если с утверждением, я» m конечно он имел в виду лом ;-) – Anurag