Измерение времени выполнения программы статистически обосновано

Question

Предположим, у меня есть два варианта моей скомпилированной программы: ./foo и ./bar, и я хочу узнать, действительно ли bar работает быстрее.

Я могу сравнить время автономной работы, запустив time ./foo и time ./bar, но цифры меняются слишком сильно, чтобы получить здесь значимый результат.

Каков самый быстрый способ получить статистически достоверное сравнение двух команд выполнения программы командной строки? Например. который также говорит мне о дисперсии измерений?

Answer 1

модуль питона timeit также предоставляет простой интерфейс командной строки, которая уже гораздо удобнее, чем выдавать time команды несколько раз:

$ python -m timeit -s 'import os' 'os.system("./IsSpace-before")' 
10 loops, best of 3: 4.9 sec per loop 
$ python -m timeit -s 'import os' 'os.system("./IsSpace-after")' 
10 loops, best of 3: 4.9 sec per loop 

Модуль timeit не вычисляет средние значения и дисперсии, а просто берет минимум, на основании того, что все погрешности измерения увеличить измерение.