Есть ли urllib.urlopen() скачать данные лениво?

Question

Глядя на коде питона Reddit для выбора изображения из HTML URL-адреса в: https://github.com/reddit/reddit/blob/master/r2/r2/lib/media.py#L178

В _fetch_image_size, они используют urllib2 как будто изображение байт загружается только после вызова response.read (1024). Я немного искал, чтобы подтвердить, что urllib2 оптимизирован для ленивой загрузки байтов только при вызове read(), но я не смог найти много документации по типу возвращаемого значения (httplib.HTTPResponse). Только это файл-подобный объект (поэтому вы можете вызвать read() на нем).

Я тестировал urllib2.urlopen(), и у меня есть небольшая задержка для меня, но, возможно, это просто задержка в открытии сокета. Вызов read() для результата очень быстрый для несколько большого изображения.

Answer 1

Когда вызывается urllib2.urlopen(), он создает сокет и данные отправляются с сервера клиенту. В этот момент гнездо находится на CLOSE-WAIT (figure 6). Это означает, что клиент ждет вызова close() в сокете, что происходит, когда вы используете read().

Чтобы ответить на ваш вопрос, все данные отправляются вам независимо от того, сколько вы читаете, и это происходит до чтения.

Cheers!