Как использовать ctypes для recv_into в буфере C несколько раз?

Question

У меня есть библиотека Python, которая использует ctypes для регистрации обратного вызова с помощью библиотеки C. Подпись обратного вызова:

CFUNCTYPE(c_int_32, c_uint_32, POINTER(c_byte), POINTER(c_size_t)) 

В этом случае третий аргумент является указателем на массив байт, выделенный библиотекой C, и четвертый аргумент его длина.

Я хотел бы заполнить массив байтов данными из сети, позвонив по телефону socket.recv_into. Что еще более важно, я хотел бы, чтобы полностью заполнил этот массив байтов: то есть, если recv_into возвращает меньше байтов, чем четвертый аргумент этой функции, то я бы снова позвонил recv_into.

Предположим, что моя функция выглядит следующим образом:

def callback(first, second, buffer, size): 
    total_read = 0 
    while total_read < size[0]: 
     total_read += some_socket.recv_into(buffer, size[0] - total_read) 
     # XXX: What happens here??? 

Мой вопрос: как я могу манипулировать значение buffer, чтобы гарантировать, что каждый вызов recv_into дописывает в буфер, а не перезаписывать ранее записанные данные?

Answer 1

Опираясь на комментарии, без промежуточного литья:

# assuming we know OFFSET (where to start copying in the buffer) 
# and AMOUNT (how many bytes we will read) 
tmp_buf = (ctypes.c_char * size).from_address(ctypes.addressof(buffer.contents)) 
mview = memoryview(tmp_buf)[OFFSET:AMOUNT] 
_ = sock.recv_into(mview, AMOUNT) 

buffer.contents возвращает указатель на буфер, поэтому его адрес могут быть извлечены с использованием ctypes

Это сработало для меня в простом C-коде, который передает предварительно выделенный буфер в обратный вызов, что i зарегистрированных в коде python.

Answer 2

Я считаю, что хитрость заключается в том, чтобы обернуть его в memoryview:

>>> buf = ctypes.create_string_buffer(b"fooxxx") 
>>> sock.recv_into(memoryview(buf)[3:],3) # receiving b"bar" 
3 
>>> buf.value 
b'foobar' 

Answer 3

Вот пример кода, который показывает, как добавить recv_into «добавить» в буфер. Множество шаблонов вокруг настройки сокета, но это позволяет сразу же запустить его и увидеть в действии.

import socket 
import ctypes 


_BUFFER_SIZE = 20 
BufferType = ctypes.c_byte * _BUFFER_SIZE 


if __name__ == '__main__': 

    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
    s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 
    s.bind(('127.0.0.1', 10000)) 
    s.listen(1) 
    c, _ = s.accept() 

    buffer = BufferType() 
    offset = 0 
    available = _BUFFER_SIZE 
    memview = memoryview(buffer) 

    while offset < _BUFFER_SIZE: 
     print('recv_into: offset=%r, available=%r' % (offset, available)) 
     count = c.recv_into(memview[offset:], available) 
     offset += count 
     available -= count 

    print('done: buffer=%r' % (memview.tobytes(),)) 

    c.close() 
    s.close() 

Это решение проблемы?