Я бы рекомендовал вам использовать PhantomJS или CasperJS и проанализировать DOM с помощью селекторов JavaScript, чтобы получить части страниц, которые вы хотите вернуть. Не используйте phpQuery, поскольку он основан на PHP и потребует отдельного шага в вашей обработке вместо использования только разбора JavaScript DOM. Кроме того, вы не сможете выполнять события click с помощью PHP. Любая клиентская сторона должна быть запущена в PhantomJS или CasperJS.
Возможно, даже можно написать полный очищающий движок, используя только PHP, если это ваш серверный язык выбора. Вам нужно будет перестроить процесс входа в систему и поддерживать куки-файлы cookie с вашими запросами cURL, чтобы ваш логин был действительным с каждым запросом. После того, как вы установили сеанс с веб-сайтом, вы можете настроить свой путь навигации с помощью массива ссылок, которые вы хотите просканировать. Идея веб-сканирования заключается в том, что вы загружаете страницу с некоторой ссылки и обрабатываете страницу, а затем переходите к следующей ссылке. Вы продолжаете этот процесс до тех пор, пока все страницы не будут обработаны, а затем ваш обход будет завершен.
Такого рода "* A или B *?" вопрос действительно не по теме для переполнения стека. Для phpQuery может потребоваться дополнительный плагин, но он должен быть способен. При этом выясните, есть ли на сайте общедоступный API, который вы можете использовать или обратитесь к владельцам, чтобы узнать, готовы ли они его создать. Хороший API почти наверняка будет проще использовать. –
Его правительственный сайт, и он не имеет api. :( –
Было бы намного проще посоветовать вам, если бы мы знали, какие данные вы хотели и откуда ... – shennan