Отправка больших файлов в Twisted

Question

У меня действительно простой код, который позволяет мне отправлять изображение с клиента на сервер. И это работает.

Как просто:

На стороне клиента ...

def sendFile(self): 
     image = open(picname) 
     data = image.read() 
     self.transport.write(data) 

На стороне сервера ...

def dataReceived(self, data): 
     print 'Received' 
     f = open("image.png",'wb') 
     f.write(data) 
     f.close() 

Проблема с этим состоит в том, что работает только если изображение до 4.somethingkB, так как оно перестает работать, когда изображение больше (по крайней мере, не работает, когда доходит до 6kB). Тогда, когда я вижу, что «Получено» печатается более одного раза. Это заставляет меня думать, что данные разделяются на меньшие куски. Однако, даже если эти фрагменты данных попадают на сервер (поскольку я вижу повторяющуюся печать, вызванную из dataReceived), изображение повреждено и не может быть открыто.

Я не так много знаю о протоколах, но я полагал, что TCP должен быть надежным, поэтому факт, что пакеты попали туда в другом порядке или около того, не должен ... произойти? Поэтому я думал, что, возможно, Twisted делает что-то там, что я игнорирую, и, возможно, мне нужно использовать другой протокол.

Итак, вот мой вопрос. Есть ли что-то, что я мог бы сделать сейчас, чтобы заставить его работать, или я обязательно должен перейти к другому протоколу? Если да ... любая идея? Моя цель - отправить более крупное изображение, возможно, порядка сотен kB.

Answer 1

Это вариант записи в рассеченной FAQ:

• Why is protocol.dataReceived called with only part of the data I called transport.write with?

TCP является потока на основе протокола. Он доставляет поток из байтов, которые могут быть разбиты на произвольное число фрагментов. Если вы пишете один большой блок байтов, он может быть разбит на произвольное количество меньших фрагментов, в зависимости от характеристик вашего физического сетевого подключения. Когда вы говорите, что TCP должен быть «надежным» и что куски должны поступать по порядку, вы грубо верны: однако, что приходит в порядок, это байтов, а не куски.

Что вы делаете в вашем методе dataReceived есть, при получении каждого фрагмента, открытие файла и записи содержимого только тот кусок к "image.png", а затем закрыть его. Если вы измените его, чтобы открыть файл в connectionMade и закройте файл в connectionLost, вы должны увидеть хотя бы неопределенное правильное поведение, хотя это все равно приведет к повреждению/усечению изображений, если соединение будет неожиданно потеряно, без предупреждения. Вы действительно должны использовать протокол кадрирования, такой как AMP; хотя, если вы просто отправляете большие капли данных, HTTP, вероятно, лучший выбор.