Python Pandas global vs pass variable

Question

Я создаю процесс «в реальном времени», который берет данные из файла форматированного OHLCVTBA, отформатированного SierraChart. Код, который считывает данные и создает фрейм данных с использованием генератора, размещен on pastebin

Я понял, что моя структура (новые данные управляются) ошибочна, и я собираюсь ее реорганизовать. PhE's question and Wes's response взяли меня в направлении заполнения предварительно заполненного DataFrame, который работает хорошо. Мои вопросы здесь:

Быстрее ли держать мои данные и указатели в качестве глобальных переменных или передавать их из различных функций, которые ими пользуются? Кроме того, существуют ли другие соображения, которые должны стимулировать этот выбор?

Спасибо.

Answer 1

Local variables are faster to access than global variables in python.

В контексте панд это означает, что должен передавать переменные в функции, где это имеет смысл (это означает, что их можно быстрее найти внутри функции). И наоборот, вызовы функций в python являются дорогостоящими (если вы вызываете их много), поэтому numpy/pandas, где это возможно, используют векторизованные функции. Очевидно, что вы должны быть осторожны, чтобы все ваши вычисления выполнялись на месте, если вы делаете что-то внутри функции.

Обычно я обычно начинаю работать в «pythonic»/«pandastic», прежде чем беспокоиться о скорости. Затем используйте %timeit и посмотрите, достаточно ли он уже достаточно (обычно это так). Добавьте unittest (s). Tweak для скорости, %timeit,% prun и %timeit еще. Если это большой проект vbench.

Answer 2

Вам нужно будет профайл, но я предполагаю, что если есть какая-либо существенная разница, это в пользу глобалов. Ссылка все еще находится в памяти, и подсчет ссылок не происходит.

(EDIT: в любом случае см. Ссылку @Andy Hayden об их относительном времени доступа и ссылку here, в которой говорится, что локальные переменные намного быстрее).

Основное соображение заключается в том, что «разработка программного обеспечения» - использование глобальных данных - это bad idea, так как трудно следовать, когда и где оно изменяется. Конечно, если вы не можете выполнить требования (runtime) в противном случае, тогда это нужно сделать; но для того, чтобы это знать - мер первый.

В любом случае, я бы порекомендовал другое решение - сохраните эти данные внутри класса. Это будет стоить еще одного словарного поиска (первый поиск - это имя переменной, и это происходит в любом случае, второе - поиск в классе dict), но он может быть более эффективным, чем прохождение вокруг многих объектов, и поможет организовать вашей программы.