IPython.параллельно не использовать многоядерные?

Question

Я экспериментирую с IPython.parallel и просто хочу запустить несколько команд оболочки на разных машинах.

У меня есть следующий ноутбук:

Cell 0:

from IPython.parallel import Client 
client = Client() 
print len(client) 
5 

И запуск команды:

Cell 1:

%%px --targets 0 --noblock 
!python server.py 

Cell 2:

%%px --targets 1 --noblock 
!python mincemeat.py 127.0.0.1 

Cell 3:

%%px --targets 2 --noblock 
!python mincemeat.py 127.0.0.1 

Что она делает это использует mincemeat реализации MapReduce. Когда я запускаю первый !python mincemeat.py 127.0.0.1, он использует примерно 100% одного ядра, а затем, когда я запускаю второй, он падает до 50%. У меня есть 4 ядра (+ виртуальные ядра) на машине и их можно использовать при запуске непосредственно с терминала, но не в ноутбуке.

Есть что-то, что мне не хватает? Я хотел бы использовать одно ядро ​​для команды !python mincemeat.py 127.0.0.1.

EDIT:
Для ясности, вот еще одна вещь, которая не использует несколько ядер:

Cell 1:

%%px --targets 0 --noblock 

a = 0 
for i in xrange(100000): 
    for j in xrange(10000): 
     a += 1 

Cell 2:

%%px --targets 0 --noblock 

a = 0 
for i in xrange(100000): 
    for j in xrange(10000): 
     a += 1 

Полагаю, что я что-то упускаю. Я считаю, что эти две ячейки должны запускать один другой сердечник, если он доступен. Однако, похоже, это не так. Опять же, использование ЦП показывает, что они используют одно и то же ядро ​​и используют 50% его. Что я сделал не так?

Answer 1

Резюме обсуждения чата:

CPU affinity является механизмом для закрепления процесса для конкретного ядра процессора, и проблемы здесь в том, что иногда импортировании NumPy может в конечном итоге прижав процессы Python на CPU 0, в результат связывания с конкретными библиотеками BLAS. Вы можете открепить все ваши двигатели, запустив эту ячейку:

%%px 
import os 
import psutil 
from multiprocessing import cpu_count 

p = psutil.Process(os.getpid()) 
p.set_cpu_affinity(range(cpu_count())) 
print p.get_cpu_affinity() 

который использует multiprocessing.cpu_count, чтобы получить число процессоров, а затем связывает каждый двигатель со всеми процессорами.

Ноутбук IPython exploring the issue.