Изменение размера последовательности питона во время итерации

Question

Реализация bytes.join метод, реализованный here включает в себя код, который защищает от изменения размера во время итерации:

if (seqlen != PySequence_Fast_GET_SIZE(seq)) { 
     PyErr_SetString(PyExc_RuntimeError, 
         "sequence changed size during iteration"); 
     goto error; 
    } 

Как можно изменить итератор последовательность внутри bytes.join вызова и почему выше код необходимо? Или, может быть, это не нужно и лишнее?

Answer 1

Если вы передадите объект списка bytes.join(), вы можете добавить элементы в список в другом потоке, а вызов bytes.join() - итерация.

Метод bytes.join() должен сделать два прохода над последовательностью; один раз, чтобы вычислить общую длину объектов, содержащихся, второй раз, чтобы затем построить фактический результат bytes. Изменение количества элементов во время итерации над ним поместило бы гаечный ключ в этот расчет.

Вы обычно не могли бы сделать это в список как GIL не освобожден, но если какой-либо из объектов в списке неbytes объекты, с которыми buffer protocol используется вместо этого. Как a comment on the original patch states:

Проблема с подхода заключается в том, что последовательность может быть мутировал, а другой поток работает (_getbuffer() может освободить GIL). Тогда предварительно вычисленный размер становится неправильным.