Azure Batch Apps устанавливает пакеты python при запуске

Question

Мы используем Azure Batch Apps, которые создадут несколько виртуальных машин, которые могут использоваться для параллельного выполнения наших задач. Мы используем python для задач сбора данных.

Мы упомянули в пакетных приложениях, чтобы установить anaconda на виртуальных машинах, когда они запускаются. Anaconda установлен правильно. Мы перечислили пакеты (требования.txt), которые нам нужно установить для выполнения задач.

pip install -r requirements.txt 

Некоторые пакеты получить установлен correclty, но некоторые пакеты приводят к следующей ошибке,

Error [Error 6] The handle is invalid while executing command python setup.py egg_info 
Exception: 
Traceback (most recent call last): 
    File "C:\user\tasks\shared\anaconda2\lib\site-packages\pip\basecommand.py", line 209, in main 
    status = self.run(options, args) 
    File "C:\user\tasks\shared\anaconda2\lib\site-packages\pip\commands\install.py", line 310, in run 
    wb.build(autobuilding=True) 
    File "C:\user\tasks\shared\anaconda2\lib\site-packages\pip\wheel.py", line 748, in build 
    self.requirement_set.prepare_files(self.finder) 
    File "C:\user\tasks\shared\anaconda2\lib\site-packages\pip\req\req_set.py", line 360, in prepare_files 
    ignore_dependencies=self.ignore_dependencies)) 
    File "C:\user\tasks\shared\anaconda2\lib\site-packages\pip\req\req_set.py", line 591, in _prepare_file 
    abstract_dist.prep_for_dist() 
    File "C:\user\tasks\shared\anaconda2\lib\site-packages\pip\req\req_set.py", line 127, in prep_for_dist 
    self.req_to_install.run_egg_info() 
    File "C:\user\tasks\shared\anaconda2\lib\site-packages\pip\req\req_install.py", line 430, in run_egg_info 
    command_desc='python setup.py egg_info') 
    File "C:\user\tasks\shared\anaconda2\lib\site-packages\pip\utils\__init__.py", line 678, in call_subprocess 
    cwd=cwd, env=env) 
    File "C:\user\tasks\shared\anaconda2\lib\subprocess.py", line 702, in __init__ 
    errread, errwrite), to_close = self._get_handles(stdin, stdout, stderr) 
    File "C:\user\tasks\shared\anaconda2\lib\subprocess.py", line 823, in _get_handles 
    p2cread = _subprocess.GetStdHandle(_subprocess.STD_INPUT_HANDLE) 
WindowsError: [Error 6] The handle is invalid 

Когда мы открываем виртуальную машину и дать ту же команду, все пакеты получить установлены правильно.

Мне просто интересно, где проблема.

Answer 1

Похоже, что проблема была вызвана некоторыми ограничениями для службы Azure Batch, вы можете видеть эти ограничения here.

Согласно информации об ошибке, кажется, что для процесса установки необходимо разветвить подпроцесс, но максимальное количество задач на компьютерный узел - 4, см. Ниже.