Работа с большим csv в python

Question

У меня есть большая таблица в файле csv, которая содержит 5 миллионов строк и 4 столбца. Моя цель - взять каждую строку из первых 500 тыс. И сравнить ее со всеми следующими строками (т. Е. 5kk-n) на основе определенного условия. Условие - это что-то вроде

строка (n) .column1 == строка (n + 1) .column1 AND строка (n) .column2 == строка (n + 1) .column2 AND row (n) .column3 = = строка (п + 1) .column3

ИЛИ

ряд (п) == .column1 ряд (п + 1) .column1 и строки (п) == .column2 ряд (п + 1). столбец2 И ряд (п + 1) .column4.split() [0] в строке (п) .column4

Теперь я с помощью простого цикла над списками:

for idx,i in enumerate(big[:500000]): 
    for jdx,j in enumerate(big): 
     if (jdx>idx and i[0]==j[0] and i[1]==j[1] and i[2]==j[2]) or (i[0]==j[0] and i[1]==j[1] and j[3].split()[0] if j[3].split() else '' in i[3]): 
      matches.append([idx,jdx]) 

Это, очевидно, занимает очень много времени (около недели с использованием одного процесса). Pandas и numpy полезны для операций по всему массиву за раз, но я не знаю, смогу ли я каким-либо образом преобразовать эту задачу в них.

Итак, вопрос в том, как я могу ускорить процесс?

Answer 1

В результате я использовал следующие функции для повышения производительности.

1. Отдельно петля в функции (около 20% прироста)
2. Улучшенных логических операций.
3. Б PyPy интерпретатор (300 +% увеличение)