копия файла слишком медленно, когда PyQt участвует

Question

Я использую этот код (очень упрощенная версия оригинальной, но проблема остается), чтобы скопировать файл:

def copyfileobj_example(source, dest, buffer_size=1024*1024): 
    while 1: 
     copy_buffer = source.read(buffer_size) 
     if not copy_buffer: 
      break 
     dest.write(copy_buffer) 

Если я вызываю функцию без PyQt файлы копируются НАСТОЯЩЕМУ быстро, но когда я вызываю его внутри простого окна pyqt, копия в три раза медленнее.

Скопировать быстро огромное количество файлов является основной точкой приложения, я предполагаю, что включение gui немного замедлит работу, но не сделает его в три раза медленнее! и выполнение функции копирования с использованием потоков или многопроцессорности не вызывает удовлетворительных улучшений.

Это как есть? не могли бы вы рекомендовать что-то решить эту проблему?

EDIT: There является сутью с моим фактическим кодом копирования, работает и без PyQT

Answer 1

Это, вероятно, является эффект GIL. Когда PyQt работает в потоке пользовательского интерфейса, он «крадет» GIL каждый раз, когда ему приходится обрабатывать события. Это означает, что ваш цикл выше останавливается каждый раз. Это также происходит, когда вы работаете в другом потоке; замок глобальный.

Обходные:

1. Используйте больший буфер. C-слой Python не влияет на GIL, поэтому, если вы копируете большие объемы данных, команды в цикле выполняются реже.
2. Выполнение внешней команды для копирования (возможно, другого процесса Python).
3. Используйте классы ввода-вывода Qt, чтобы скопировать файл, так как они не подвержены воздействию GIL (Kudos to ekhumoro для этой идеи).
4. Напишите фрагмент кода в C, который передает данные.
5. Используйте версию Python, которая не имеет GIL, такого как IronPython или Jython.

Answer 2

Поскольку я не могу получить связанный код в вопросе, чтобы работать (он просто зависает и использует 100% -ный процессор), я отправлю более простой пример для целей тестирования.

Используя тестовый пример ниже, я получаю следующий результат при копировании файла размером 400 мегабайт (три трассы):

$ python copy_test.py 
2.9546546936035156 
2.9658050537109375 
$ python copy_test.py 
3.226983070373535 
3.192814826965332 
$ python copy_test.py 
2.935734748840332 
2.8552770614624023 

Как вы можете видеть, что нет существенной разницы. Для ясности, это с помощью следующей установки на Linux:

Python 3.5.0, Qt 5.5.0, PyQt 5.5 

и я получить аналогичные результаты со всеми комбинациями Python 2.7/3.5, 4/5 PyQt.

Вот тестовый пример:

import sys 
import time 
import os 

SRC_FILE = '/home/tmp/source/test/test.zip' 
DEST_FILE = '/home/tmp/source/test/test-copy.zip' 

def copy_file(src, dst=[], progress=None, only_new_file=True): 
    size = 1024 * 1024 
    with open(src, 'rb') as s, open(dst[0], 'wb') as d: 
     while 1: 
      copy_buffer = s.read(size) 
      if not copy_buffer: 
       break 
      d.write(copy_buffer) 

if __name__ == '__main__': 

    initTime = time.time() 
    copy_file(SRC_FILE, [DST_FILE], only_new_file=False) 
    print (time.time() - initTime) 

    time.sleep(5) 

    from PyQt5.QtWidgets import QApplication, QWidget 
#  from PyQt4.QtGui import QApplication, QWidget 

    app = QApplication(sys.argv) 

    w = QWidget() 
    w.resize(250, 150) 
    w.move(300, 300) 
    w.setWindowTitle('Simple') 
    w.show() 

    initTime = time.time() 
    copy_file(SRC_FILE, [DST_FILE], only_new_file=False) 
    print (time.time() - initTime) 

    sys.exit(app.exec_())