Iam, строящий скребок, которому необходимо отказаться от веб-контента. Iam, столкнувшись с проблемой, на странице, которую мне нужно просканировать, загружено несколько java-скриптов, и кажется, что вызовы java-скрипта настраивают некоторые файлы cookie и некоторые параметры строки запроса для следующих запросов.Есть ли способ скомпилировать Javascript, используя мой код на C#?
Iam, способный установить файлы cookie, отправив запросы в файлы js, но кажется, что параметры строки запроса генерируются некоторыми закодированными вызовами javascript.
Я не могу их расшифровать, я пробовал искать инструменты для компиляции JS на C#, но напрасно. Если кто-то решил подобные проблемы раньше, прошу пролить свет на то, как я могу скомпилировать файл javascript, например браузер, и сгенерировать html из моего кода C# напрямую.
Любая помощь будет глубоко оценена.
Это будет работать только для статических печеньем. Если набор сценариев использует причудливую логику с идентификатором сеанса для генерации файлов cookie, вы должны дублировать логику. Это тяжело, и соскабливание часто бывает трудным. –
@ Микаэль Свенсон - правда. Будут добавлены другие варианты. – Oded
+1 @Oded: Хорошая связь с WatiN, и это хороший выбор для «проблемных» сайтов. Но я бы не использовал это для массового сканирования, поскольку он использует IE/FF для фактического сканирования, и может потребоваться добавить ваши сайты в «надежные сайты» и т. Д. –