Захват ответа от .jsp

Question

Я наивный пользователь.

Этот сайт является действительно важным источником информации для моего бизнеса.

Чтобы отслеживать сайты, я конвертирую их в RSS-каналы, используя службу page2rss, а затем отслеживаю каналы в IFTTT.

Однако, данный сайт не использует статические веб-страницы и генерирует данные ответа на API вызовов:

Вот пример API вызовов:

https://www.mpeproc.gov.in/ROOTAPP/GetTenderFreeView.jsp?Department=Urban%20Administration%20and%20Development%20Department&company=MPSEDC

Есть ли способ, с помощью которого я может записать ответ от этого вызова на html-страницу моего сервера? или есть ли другой способ отслеживать такие динамические страницы.

Answer 1

Есть решения, но не простые. На первой странице JavaScript используется для создания FORM, который он затем представляет. Вы можете имитировать это с помощью инструмента командной строки curl; см. https://superuser.com/questions/149329/what-is-the-curl-command-line-syntax-to-do-a-post-request

Но обратите внимание, что многие сайты не любят царапины; если они заметят, что вы делаете, вы можете оказаться в черном списке. Поэтому лучше спросить владельца сайта о разрешении, прежде чем вы начнете автоматизировать инструменты по их драгоценным данным.