объединить два больших CSV-файлов

Question

У меня есть два того типа CSV-файлов, содержимое первого файла выглядит следующим образом:

1 13733776062 
2 13535581615 
3 13987993374 
4 13866603331 

Содержание второго файла заключается в следующем:

13535581615|1 
13733776062|0 
13866603331|0 
13987993374|1 

Первый файла формат каждой строки: id number, второй формат файла каждой строки: number flag. У них есть поле отношений: number.

Каждый файл имеет 10 миллионов строк. Теперь я хочу объединить два файла по номерному полю в новый файл, который содержит 3 поля из id,number,flag каждой строки. Я использую Java для этого.

Может ли кто-нибудь сказать мне лучший метод для этой работы, который потребляет более низкое время?

Answer 1

Это задача, более подходящая для SQLite, а не для Java. Вы можете сделать это следующим образом:

$ sqlite3 database.db 
sqlite> CREATE TABLE table1 (id int, number int); 
sqlite> .separator " " 
sqlite> .import t1.csv table1 
sqlite> CREATE TABLE table2 (number int, flag int); 
sqlite> .separator "|" 
sqlite> .import t2.csv table2 
sqlite> CREATE TABLE mytable AS 
     SELECT t1.id, t1.number, t2.flag 
     FROM table1 t1, table2 t2 
     WHERE t1.number=t2.number; 
sqlite> SELECT * FROM mytable; 
1|13733776062|0 
2|13535581615|1 
3|13987993374|1 
4|13866603331|0 

Я ожидаю, что он должен работать на 10 миллионов линий очень быстро.

И, конечно же, вы можете использовать SQLite JDBC для создания и доступа к новой базе данных с Java.

Чтобы сделать доступ быстрее, рекомендуется создавать соответствующие индексы.