Как удалить каждую строку X из очень большого файла данных?

Question

У меня очень большой CSV-файл, содержащий 10 миллионов строк данных. Размер файла составляет около 250 МБ. Каждая строка содержит три значения и выглядит следующим образом:

-9.8199980e-03183, -4,32

Я хочу удалить каждую 2-ю линию или, например, скопируйте каждую 10-ю строку прямо в новый файл. Какую программу я должен использовать, и вы также можете опубликовать код?

Я пробовал его с помощью Scilab и Excel; они не могли открыть файл или его небольшую часть. Я могу открыть файл в Notepad ++, но когда я попытался записать и запустить макрос, который удаляет каждую вторую строку, он разбился.

Answer 1

Я бы порекомендовал вас установить gawk/awk от here и использовать силу этого блестящего инструмента.

Если вы хотите любой другой линии:

gawk "NR%2" original.csv > new.csv 

Если вы хотите каждый 10-й линии:

gawk 'NR%10==0" original.csv > new.csv