Scrapy следующие ссылки, которые соответствуют регулярному выражению

Question

Я новичок в использовании scrapy и регулярных выражений, но после исследования они, похоже, являются моим лучшим решением для извлечения ссылок. Я пытаюсь следить за ссылками из моего стартового URL, которые содержат только конкретную аббревиатуру состояния, но проблема, с которой я сталкиваюсь, - это URL, содержащий аббревиатуру, неравномерную, у них разная длина, разные числа ведущих и завершающих символов и на всю жизнь не может определить правильное регулярное выражение, чтобы подать пробку, чтобы следовать ссылкам, которые я хочу. Любая помощь с этим будет принята с благодарностью.

Извините за не давая каких-либо примеров ссылки выглядят как этот

/813rents-Inc_Tampa_FL__148254837 
/A-Amp-M-Realty_Riverview_FL_92361_037984837 
/A-Altieri_Tampa_FL_1257391_877954837 

Answer 1

Вы можете унаследовать от CrawlSpider и использовать allow вариант из SgmlLinkExtractor, который принимает регулярное выражение:

rules = (
    Rule(SgmlLinkExtractor(allow=(r'_FL_'), follow=True), 
    Rule(SgmlLinkExtractor(allow=(r'...'), callback='parse_item'). 
) 

def parse_item(self, response): 
    ...