Как использовать селектор scrapy re()?

Question

Это мое регулярное выражение:

".*\/(.*)\?ref" 

Это моя тестовая строка:

/product/sam/go-with-me?ref=popular 

я могу получить: go-with-me
я примерить https://regex101.com/#python

Но я не знаю, как писать со скрипом, ничего не получается

Вот мой код:

for site in sites: 
    title = sel.css("a::text").re(r".*\/(.*)\?ref") 
    print title 
    break 

Answer 1

Трудно сказать, не видя реального HTML входных данных, но вы, возможно, просто нужно смотреть в href значение атрибута вместо текста:

for site in sites: 
    title = site.xpath(".//a/@href").re(r".*\/(.*)\?ref") 
    print title 
    break