Python Scrape Images From CSS Class

Question

Я рассмотрел пару решений для этого в Python, включая lxml, BeautifulSoup и Scrapy.

URL-адрес является: https://uk.eurosport.yahoo.com/football/players/hugo-lloris/

<div class="player-image soccer-jersey" id="yui_3_16_0_1_1418920336731_663"> 
 
      
 
    <img src="https://s1.yimg.com/bt/api/res/1.2/tJcByeD1uUzpRu9blmsOZA-- /YXBwaWQ9eW5ld3M7Zmk9ZmlsbDtoPTE3MDtxPTc1O3c9MTgw/http://l.yimg.com/j/assets/i/us/sp/v/soccer/worldcup/players/374980.1.jpg" width="180" height="170" alt="H. Lloris" title="" class="photo" id="yui_3_16_0_1_1418920336731_664"> 
 

 
</div>

У нас есть Div класс "игрок-изображения футбольного-Джерси", затем IMG внутри, что, класс "фото".

Я хотел бы загрузить это изображение (NB: я продолжу и скачаю несколько). Я просмотрел как csselector, так и xpath (не всегда поддерживается, например, последний с BeautifulSoup) - но я просто не могу его загрузить, и в примерах я обнаружил, что люди обращаются к тегу img, чтобы получить URL href, что здесь не так.

Answer 1

Я предполагаю, что у вас уже есть работающий питон среда со всеми необходимыми зависимостями, установленными для этого кода.

На интерфейсе командной строки, создать проект Scrapy:

scrapy startproject yuiImage 

Это создаст папку проекта yuiImage внутри текущего каталога.

Затем создайте файл yuiimage_spider.py внутри yuiImage/пауков папку, которая находится в папке проекта:

import re, scrapy 
from urllib import urlretrieve 

class YuiimageSpider(scrapy.Spider): 
    name = "yuiimage" 
    allowed_domains = ["yahoo.com"] 
    start_urls = [ 
     "https://uk.eurosport.yahoo.com/football/players/hugo-lloris/" 
    ] 

    def parse(self, response): 
     imageSrcs = response.xpath("//div[contains(@class, 'player-image') and contains(@class, 'soccer-jersey')]/img[@style and contains(@style, 'yimg.com') and contains(@class, 'photo')]/@style").extract() 
     for src in imageSrcs: 
      imgUrl = re.search('http\:.*', re.search('[^(].*\(\'(.*)\'\);', src).group(1)).group(0) 
      urlretrieve(imgUrl, imgUrl.split("/").pop()) 

Затем выполните следующую команду внутри папки проекта:

scrapy crawl yuiimage 

Для этого необходимо загрузить каждое изображение ng с указанными вами правилами внутри папки проекта.

Cheers.

Answer 2

Самый простой способ загрузить изображение - это метод urlretrieve от urllib. он принимает необязательный параметр имени файла, в котором вы можете указать путь и имя для загруженного файла (по умолчанию я считаю, что он автогенерирует имя и помещает его в текущий каталог).

для фрагмента кода HTML, вы можете сделать что-то вроде этого:

from bs4 import BeautifulSoup as BS 
from urllib import urlretrieve 

soup = BS(**the html you scraped**) 
imgTag = soup.find('img',id='yui_3_16_0_1_1418920336731_664') 
imgSrc = imgTag['src'] # in this case, the source is the full url 
# but in other cases it may be relative path, in which case you would append it 
# to the base url 
urlretrieve(imgSrc,filename=**path that you want to save the image to**)