В процедуре, если я делаю запрос с большим мета. . Request(url=url, meta=some_meta) Предположим, что some_meta - это большой dict. Итак, как это влияет на время запроса/ответа, также если оно сопоставляется с памятью для ссылки, чем отправка его в конечную точку URL-адреса, как это делается ?. Я новичок в scrapy, и я искал эту информацию, но не смог найти ее.Как выполнить метаобработку в python
Мета-параметр предназначен для передачи параметров конфигурации на компоненты для очистки по запросу, но необязательно непосредственно отображает на HTTP-запрос.
Там список из мета-параметров, принятых расширений по умолчанию: http://doc.scrapy.org/en/1.0/topics/request-response.html#topics-request-meta
Например, если вы передаете meta={'dont_retry': True} запрос не будет повторен, если он выходит из строя. Различные варианты имеют различное влияние на время запроса/ответа. Не повторять попытку, конечно, сделать ошибочные URL-адреса быстрее откликаться.
Что делать, если мне нужно получить доступ к элементу dict, например. Запрос (url = url, meta = item_dict). И этот дикт - очень большой объект. Это влияет на время запроса/ответа? – pnv
@pnv Практически не совсем. Вам нужно будет сделать что-то весьма эффектное, чтобы повлиять на современный компьютер. Ваши настройки и скорость света - это то, что ограничит время запроса/ответа больше, чем что-либо еще, когда вы отправляете запросы через Интернет. –