Невозможно преобразовать юникод в JSON в Scrapy

Question

import scrapy 
import json 
class GettingtonDSpider(scrapy.Spider): 
    name = "gettington_d" 
    allowed_domains = ["gettington.com"] 
    start_urls = ['https://api.gettington.com/v1/products?showMPP=false&rows=24&q=Keyword:south%20shore%20furniture&productfilter=null&callback=searchCallback'] 
    def parse(self, response): 
    jsonresp = json.dumps(response.body) 
    jsonresp= json.loads(jsonresp) 

Я пробовал много методов, но мне не удалось:

• response.text
• закодировать ('UTF-8')
• response_body_as_unicode

Ничего из этого не было сделано. Как можно решить проблему?

Answer 1

вы должны удалить ненужную информацию из первых response.body, который не является JSON сериализации:

import re 

    ... 
    json_string = re.search(r'searchCallback\((.*)\)', response.body).group(1); 
    jsonresp = json.loads(json_string) 

Теперь у вас есть dict в jsonresp