Как сравнить программу C с скриптом python?

Question

В настоящее время я выполняю работу в uni, которая требует создания нескольких тестов для нескольких коротких программ на C. Я написал сценарий python для автоматизации этого процесса. До сих пор я использовал time модуль и, по существу вычисления тест как таковой:

start = time.time() 
successful = run_program(path) 
end = time.time() 

runtime = end - start 

где функция run_program просто использует subprocess модуль для запуска программы C:

def run_program(path): 
    p = subprocess.Popen(path, shell=True, stdout=subprocess.PIPE) 
    p.communicate()[0] 

    if (p.returncode > 1): 
     return False 
    return True 

Однако я Недавно было обнаружено, что эти меры истекли, а не процессорное время, т. е. такое измерение чувствительно к шуму от ОС. Аналогичные вопросы на SO предположить, что timeit модуль лучше для измерения времени центрального процессора, так что я адаптировал метод запуска, как например:

def run_program(path): 
    command = 'p = subprocess.Popen(\'time ' + path + '\', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE); out, err = p.communicate()' 

    result = timeit.Timer(command, setup='import subprocess').repeat(1, 10) 
    return numpy.median(result) 

Но глядя на документацию timeit, кажется, что timeit модуль только предназначенный для небольших фрагментов кода python, переданных в виде строки. Поэтому я не уверен, что timeit дает мне точные результаты для этого вычисления. Поэтому мой вопрос: будет ли timeit измерять процессор для каждого шага процесса, который он запускает, или будет только измерять время процессора для фактического кода python (то есть модуля subprocess) для запуска? Является ли это точным способом тестирования набора программ на C?

Answer 1

timeit будет измерять время процессора, используемое процессом Python, в котором он выполняется. Время выполнения внешних процессов не будет «зачислено» к тем временам.

Answer 2

Более точным способом было бы сделать это на C, где вы можете получить истинную скорость и пропускную способность.