2013-11-22 2 views
-2

С учетом URL-адреса веб-сайта. Есть ли способ пройти через все ссылки на веб-сайте и отслеживать все страницы в текстовом файле или что-то еще. Я хочу использовать Selenium для этого. Однако некоторые из них представляют собой всплывающие диалоги, которые будут отображаться на каждом верхнем и нижнем колонтитуле каждой страницы. Поэтому, очевидно, отслеживайте посещаемые ссылки и не возвращайтесь к ним снова.C# просмотреть весь сайт

Спасибо.

+0

Да, это возможно. У вас есть более конкретный вопрос? – DGibbs

+0

Это вопрос о задаче высокого уровня, и такие вопросы не очень ценятся, потому что они показывают, что вы делали минимальные усилия, прежде чем спрашивать. – Andrey

+0

Это называется веб-соскабливание –

ответ

0

Попробуйте Scrapy: http://scrapy.org/

Scrapy является быстрым высокого уровня выскабливание экран и веб-ползать рамки, используемые для обхода веб-сайтов и извлечения структурированных данных из их страниц. Он может использоваться для самых разных целей: от интеллектуального анализа данных до мониторинга и автоматического тестирования.

Смежные вопросы