2016-11-07 3 views
1

Я пытаюсь очистить сайт с помощью C#. В какой-то момент процесса веб-сайт возвращает страницу JavaScript, которую мне нужно выполнить, чтобы она генерировала некоторые аргументы, а затем отправляла запрос с использованием сгенерированных аргументов в качестве переменных запроса.Выполнение страницы с использованием C#

Это файл JavaScript https://jsfiddle.net/7aw5vr59/

браузер генерироваться результат файл будет выглядеть следующим образом:

<imimxxxyyy id="ActiveX"></imimxxxyyy><form action="/home/" method="post"><input name="TS013a5875_id" value="3" type="hidden"><input name="TS013a5875_cr" value="085d52524cab2800109920a8877032c63ff20a076afde32d3949a9c0cc832e2a409e921dbd0f04b390bc9a36f79f4d080873a7f6848948001fe9d70f9af2fa1f81ba0cb687810509e2df6f37950961d59dba504d18b2e08237af58ac5683f65a8b9a4c978624319575ee9b400ae2307cbb314a0f32ecca4464cdc6b2082f7352" type="hidden"><input name="TS013a5875_76" value="085d52524cab2800109920a8877032c63ff20a076afde32d3949a9c0cc832e2a409e921dbd0f04b390bc9a36f79f4d080873a7f68488b000c2ff7c505061da44dff5459af7ebe2f604b8d36bdeeeca3eead0e146af07190233b9414ca790443d2453827dc161e073eb63ed4d10c070e405848b2ccb2dc1c4412b93dff97f978c6f1caecff07f6d4c23e1ade1bfb2f715409cf4d5f1f91a826e092193a1407539ec35c80a0d82032163abc93f6876c7c1cecded7400c11873a90a0ad58c3d18b0a55b0a0430c50575d7f535fd9b414c06b1c3b11ab326b07356737269137f2610cf26df27c7e0bcd5" type="hidden"><input name="TS013a5875_86" value="085d52524cab2800109920a8877032c63ff20a076afde32d3949a9c0cc832e2a409e921dbd0f04b390bc9a36f79f4d080873a7f68486600098382373b7447eebb69eb2b508714f7fb748b827881d272fff290b8bcf8bef6184c2a8c9f1236e71539573e709a14a158df0bb128ca0ba6e196a5b4a979b28a93e07d7089584e53a1ae51612c25ee3012964be00bc312836a58d7543f2cd825f" type="hidden"><input name="TS013a5875_md" value="1" type="hidden"><input name="TS013a5875_rf" value="0" type="hidden"><input name="TS013a5875_ct" value="0" type="hidden"><input name="TS013a5875_pd" value="0" type="hidden"></form> 

Как вы видите, в конце есть переменные в виде начинается с TS013a5875. Я должен сделать то же самое в своем коде. Может ли кто-нибудь помочь мне, как я могу это сделать.

Я пробовал ниже, но не повезло. Кроме того, приложение очень тесно связано с добавлением внешних зависимостей.

  1. Использование юрского Двигатель
  2. ScrapySharp
  3. WebBrowser Класс
+0

Я бы предпочел использовать фактический веб-браузер, то есть Chrome или Firefox, чтобы это сделать. И для утилизации я использовал бы Selenium Web Driver. –

+1

Как насчет того, чтобы использовать что-то вроде selenium webdriver + phantomjs? – Hackerman

+0

@AdnanUmer Можете ли вы дать более подробную информацию о Selenium Web Driver или каких-либо ссылках, где я могу понять это более четко? –

ответ

0

На сайте вы выскабливание, вероятно, использует анти-выскабливание технологию под названием BIG IP, разработанный F5.com.

Вы должны использовать браузер, который может выполнять javascript и иметь некоторые реальные возможности, такие как рендеринг холста. Вы можете попробовать безглавой браузер, такой как PhantomJS, но он, вероятно, не сработает.

Смежные вопросы