python for-loop становится все медленнее, когда данные немного большие

Question

Я хочу провести сравнение между собой в наборе данных. Набор данных представляет собой список, имеет 20000 членов, то мой код просто следующим образом:

>>index = 0 
>>for i in all: 
     index += 1 
     begin_time = time.time() 
     for j in all[index:]: 
      ... 
      here are some data processing,then make comparison, 
      ... 
      print time.time()-begin_time 

тогда становится медленнее со временем, он будет принимать 0.1s каждый петлю в начале, и через полчаса, это займет около 1 с каждой петли. кто-то сказал, что это связано с сборкой мусора, но когда я добавляю gc.disable() перед операцией, он все равно не улучшается. Кто может мне сказать, что мне делать?

Answer 1

Ваш алгоритм O(n^2), что довольно плохо. Если возможно, подумайте об изменении алгоритма.

Кроме того, рассмотрите возможность использования itertools вместо ручной комбинированной обработки. Это будет значительно более удобным для чтения, и это, вероятно, будет более ЭФФЕКТИВНАЯ, чем ваш подход:

import itertools 
for i,j in itertools.product(all, all): 
    print i,j