Производительность для xarg против многопроцессорности python + подпроцесс

Question

У меня вопрос о масштабируемости производительности с помощью xargs. В настоящее время у меня есть пакетная программа, написанная на питоне с многопроцессорностью и подпроцессом. Каждый процесс создает независимый subprocess.popen() для выполнения внешней команды. Недавно я понял, что весь процесс можно переделать с помощью xargs. Тем не менее, я задаюсь вопросом, стоит ли использовать xargs для обработки файлов 10k +, поскольку я никогда раньше не делал этого масштаба только с инструментами командной строки. Учитывая мой тест с небольшими наборами данных, на самом деле это не плохая идея, если все, что я делаю, это пакетный запуск множества команд, поскольку он избегает многих циклов накладных расходов, налагаемых модулями python, но я хотел бы узнать больше от тех, кто может иметь больше опыта работы с xargs и python. Более конкретно, существует ли какой-либо буферный лимит, который мне нужно настроить для xargs для потребления большого количества входов? Благодарю.

Answer 1

Программа xargs будет собирать несколько аргументов со стандартного ввода и склеить их вместе, чтобы сделать одну длинную командную строку. Если для одной командной строки слишком много аргументов, слишком много, то она будет создавать и выполнять несколько команд, сколько угодно.

Это означает, что для запуска процессов и их закрытия требуется меньше накладных расходов. Насколько хорошо это будет для вас, зависит от продолжительности ваших процессов. Если вы запускаете какую-то программу с интенсивным процессором, которая будет работать в течение получаса, время запуска для процесса будет несущественным. Если вы запускаете программу, которая выполняется быстро, но вы используете только небольшое количество экземпляров, снова экономия будет несущественной. Однако, если ваша программа действительно тривиальна и требует минимального времени исполнения, возможно, вы заметите разницу.

Из вашего описания проблемы, похоже, это хороший кандидат на это. 10K с относительно короткой обработкой для каждого. xargs может ускорить процесс для вас.

Однако, по моему опыту, выполнение любой нетривиальной работы в сценариях оболочки приносит боль. Если у вас есть имена каталогов или имена файлов, в которых может быть пробел, малейшая ошибка при цитировании ваших переменных приводит к сбою вашего сценария, поэтому вам необходимо навязчиво протестировать ваш скрипт, чтобы убедиться, что он будет работать на все возможные входы. По этой причине я делаю свои нетривиальные системные сценарии в Python.

Поэтому, если у вас уже есть ваша программа, работающая на Python, IMHO вы бы с ума сошли, чтобы попытаться переписать ее как скрипт оболочки.

Теперь вы можете использовать xargs, если хотите. Просто используйте subprocess для запуска xargs и передайте все аргументы с помощью стандартного ввода. Это приносит пользу и ничто из боли. Вы можете использовать Python для вставки NUL-байта chr(0) в конце каждого аргумента, а затем использовать xargs --null, и он будет надежным с именами файлов, в которых есть пробелы.

В качестве альтернативы вы можете использовать ' '.join() для создания собственных очень длинных командных строк, но я не вижу причин для этого, когда вы можете просто запустить xargs, как описано выше.