Почему я получаю разный размер в dataframe pandas после добавления или concat?

Question

Мой код выглядит следующим образом:

import pandas as pd 

candle_data = pd.DataFrame() 

for fileName in files: 
    csv_data = pd.read_csv(fileName, header=None) 
    candle_data = pd.concat([candle_data, csv_data]) 
    #candle_data = candle_data.append(csv_data) 

print(candle_data) 
print(candle_data.tail(3)) 

результат:

   0  1  2  3  4  5 6 
0  2000.05.30 17:27 0.93020 0.93020 0.93020 0.93020 0 
1  2000.05.30 17:35 0.93040 0.93050 0.93040 0.93050 0 
2  2000.05.30 17:38 0.93040 0.93040 0.93030 0.93030 0 
... 
29781 2016.04.29 16:55 1.14512 1.14524 1.14503 1.14515 0 
29782 2016.04.29 16:56 1.14515 1.14517 1.14491 1.14495 0 
29783 2016.04.29 16:57 1.14494 1.14505 1.14482 1.14482 0 
29784 2016.04.29 16:58 1.14477 1.14511 1.14457 1.14457 0 

[5171932 rows x 7 columns] 
       0  1  2  3  4  5 6 
29782 2016.04.29 16:56 1.14515 1.14517 1.14491 1.14495 0 
29783 2016.04.29 16:57 1.14494 1.14505 1.14482 1.14482 0 
29784 2016.04.29 16:58 1.14477 1.14511 1.14457 1.14457 0 

Почему я получаю 5171932x7 как измерение во время печати весь dataframe, но 29784 как последний индекс строки? Каков правильный способ слияния всех строк из двух фреймов данных?

Answer 1

Я думаю, что есть duplicates в index:

Вы можете добавить параметр ignore_index=True в concat, если не имеет значимого индекса:

pd.concat([candle_data, csv_data], ignore_index=True) 

Docs