Скребок для «предварительного просмотра» веб-страницы - Python

Question

Я индексирую список ссылок, эти ссылки обновляются довольно часто, поэтому я автоматизирую миниатюры для сайтов.

Для большинства сайтов это просто, так как я просто захватываю самое большое изображение на странице, надеясь, что он описывает контент.

Но в других случаях в качестве основного содержимого страницы есть видео.

---

Есть ли у кого-нибудь советы с этим? Это было бы прекрасно!

---

Что касается использования Webkit для создания скриншотов я found this

Answer 1

wkhtmltopdf использует встроенную копию WebKit делают двигатель (используется в Safari, Chrome и т.д.), чтобы сохранить веб-страницу в PDF, включая все изображения (без Flash-видео, хотя я думаю). Это может быть отправной точкой для гораздо более точного эскиза.

Answer 2

Существуют (бесплатные и платные) услуги, которые делают именно то, что вам нужно. Я использую shrink the web: