Расширение размера списка в python

Question

У меня есть функция, которая добавляет подстроки строки в список. Когда входная строка большая а

MemoryError exception

отбрасываются. Есть ли ограничение длины для 1-мерного списка? Если да, то как я могу его расширить?

Answer 1

Помимо создания дополнительной памяти у вас есть еще несколько вариантов.

1. Попробуйте изменить алгоритм так, чтобы он был менее интенсивным в памяти. Например, если вам не нужны все эти подстроки сразу, вы можете создавать и использовать их последовательно с использованием функции генератора или выражения генератора.
2. Если вам это необходимо, попробуйте просто удерживать «большую строку» в памяти и работать с buffer().
3. Если большая строка поступает из файла, вы можете указать mmap() этот файл (или его часть) в адресное пространство.

Answer 2

Да. Доступная память. Сделайте больше памяти доступной для процесса, либо добавив больше swap, добавив больше оперативной памяти, либо перейдя в архитектуру с большим объемом памяти.

Answer 3

Вы можете записать данные в файл, а не добавлять его в список.

Answer 4

Вы случайно используете 32-битную сборку python? При использовании 64-разрядного адресного пространства ваш процесс должен доходить до , измельчая, задолго до того, как он исчерпает всю память, на которую он теоретически может получить доступ, предполагая, что у вас имеется достаточное пространство подкачки. В 32-битном режиме вы можете получить доступ только к 3 гигабайтам памяти; не так уж и по сегодняшним меркам.