Чтение одного файла из нескольких потоков в python

Question

Я пишу многопоточный декомпрессор в python. Каждый поток должен получить доступ к другому фрагменту входного файла.

Примечание 1: невозможно загрузить весь файл, поскольку он колеблется от 15 ГБ до 200 ГБ; Я не использую многопоточность для ускорения чтения данных, но декомпрессии данных, я просто хочу убедиться, что чтение данных не замедляет декомпрессию.

Примечание 2: GIL не является проблемой, поскольку главная функция декомпрессора является расширением C и вызывает Py_ALLOW_THREADS, так что GIL освобождается при распаковке. Декомпрессия второй ступени использует numpy, который также не является GIL-бесплатным.

1) Я предполагал, что это не будет работать, чтобы просто поделиться объект декомпрессор (который в основном оборачивает объект файла), так как если поток А вызывает следующее:

decompressor.seek(x) 
decompressor.read(1024) 

и нити B делает то же самое, нить A может закончиться чтением из коррекции потока B. Это верно?

2) Прямо сейчас я просто создаю каждый поток, создавая свой собственный экземпляр Decompressor, и, похоже, он работает, но я не уверен, что это лучший подход. Я рассмотрел эти возможности:

• Добавить что-то вроде

  seekandread(from_where, length) 
  

  к классу декомпрессор, который приобретает замок, ищет, читает и освобождает замок;

• Создайте поток, который ждет запросов на чтение и выполняет их в правильном порядке.

Итак, у меня отсутствует очевидное решение? Существует ли существенная разница в производительности между этими методами?

Благодаря

Answer 1

Вы можете использовать mmap. mmap() vs. reading blocks

Как отмечает Тим ​​Купер, mmap - это хорошая идея, когда у вас есть случайный доступ (несколько потоков могут показаться вам похожими), и они смогут делиться одними и теми же физическими страницами.

Answer 2

Вы можете захотеть использовать Leader/Follower шаблон, если вы не делаете, что уже.
Лидерский поток будет знать, какие сегменты уже обрабатываются, а какие нет, и назначит себе следующий необработанный сегмент, а затем станет последователем, оставив лидерство в следующем доступном потоке в пуле.

Answer 3

CPython имеет GIL, поэтому несколько потоков не увеличивают производительность для задач, связанных с процессором.

Если проблема не связана с IO (диск обеспечивает/сохраняет данные быстрее, чем процессор распаковывает их), вы можете использовать multiprocessing module: каждый процесс открывает файл и распаковывает заданный диапазон байтов.