Веб-браузер командной строки, который выводит DOM

Question

Я ищу способ обработки веб-страницы и связанного с ней Javascript из командной строки, чтобы можно было отобразить полученную модель DOM.

Целью этого является идентификация форм внутри страницы без каких-либо неприятных анализов HTML (и Javascript) с регулярными выражениями.

Есть ли инструменты командной строки, которые сделают это? Так гипотетически говоря, веб-браузер командной строки, который загружает контент и выводит DOM как текст, а не создает красивую страницу.

Answer 1

Я не знаю ни одного, но я хотел бы подчеркнуть одну трудность с тем, что вы предложили:

процесс веб-страницы и связанный Javascript

Когда будет выходной ? На многих веб-страницах есть зависящие от времени javascripts или скрипты onclick/onhover, которые влияют на DOM. Вы хотите, чтобы они были выполнены? Все они, или только некоторые? Нетрудно решить, когда страница «закончена» и готова для вывода DOM после обработки javascript. (Прежде чем манипулировать javascript, это более простая проблема, просто подождите, пока событие document.DOMReady ...)

Редактировать: Я не говорю, что вам вообще не нужно выполнение javascript: вы можете обрабатывать любые document.write разделы во время загрузки, так как они могут написать форму ... Я говорю, что трудно знать, когда вы сделали «достаточно» javascript ...

Answer 2

PyKHTML «обрабатывает JavaScript» и позволяет вам проходить DOM.

Answer 3

Для java у меня были неплохие впечатления с htmlunit.

Я также использовал библиотеку python для анализа форм и formdata. Не нужно указывать регулярные выражения, так как это позволит вам без проблем работать с деревом DOM.