извлечь каждую строку, за которой следует строка с другим значением в колонке два

Question

Учитывая следующую структура файла,

9.975 1.49000000  0.295 0  0.4880 0.4929 0.5113 0.5245 2.016726  1.0472 -30.7449  1 
9.975 1.49000000  0.295 1  0.4870 0.5056 0.5188 0.5045 2.015859  1.0442 -30.7653  1 
9.975 1.50000000  0.295 0  0.5145 0.4984 0.4873 0.5019 2.002143  1.0854 -30.3044  2 

есть способ, чтобы извлечь каждую строку, в которой значение в колонке два не равно значение в столбце два в следующей строке? I.e. из этих трех строк я хотел бы извлечь второй, так как 1.49 не равен 1.50. Может быть, с sed или awk?

Это, как я это сделать в MATLAB:

myline = 1; 
mynewline = 1; 
while myline < length(myfile) 
    if myfile(myline,2) ~= myfile(myline+1,2) 
     mynewfile(mynewline,:) = myfile(myline,:); 
     mynewline = mynewline+1; 
     myline = myline+1; 
    else 
     myline = myline+1; 
    end 
end 

Однако мои файлы настолько велики, теперь, когда я предпочел бы, чтобы осуществить эту добычу в терминале перед передачей их на моем ноутбуке.

Answer 1

Awk должен делать.

<data awk '($2 != prev) {print line} {line = $0; prev = $2}' 

Краткое введение в AWK: программы AWK состоит из набора condition {code} блоков. Он работает по строкам. Когда условие не задано, блок выполняется для каждой строки. BEGIN Условие выполняется перед первой строкой. Каждая строка разделяется на поля, доступные с помощью $_number_. Полная строка находится в $0.

Здесь я сравниваю второе поле с предыдущим значением, если оно не соответствует I print всей предыдущей строке. Во всех случаях я сохраняю текущую строку в line, а второе поле - prev.

И если вы действительно этого хотите, внимательно следите за поплавковыми сравнениями - что-то вроде abs($2 - prev) < eps (в awk нет abs), вам нужно определить его самостоятельно, а eps - достаточно малое число). Я на самом деле не уверен, что awk преобразуется в число для тестирования равенства, если вы не в безопасности со строковыми сравнениями.

Answer 2

Попробуйте следующую команду:

awk '$2 != field && field { print line } { field = $2; line = $0 }' infile 

Он сохраняет предыдущую строку и второе поле, сравнивая в следующем цикле с текущими значениями строки. Проверка && field полезна, чтобы избежать пустой строки в начале файла, когда $2 != field будет соответствовать, потому что переменная пуста.

Это дает:

9.975 1.49000000  0.295 1  0.4870 0.5056 0.5188 0.5045 2.015859  1.0442 -30.7653  1 

Answer 3

Это может работать для вас (GNU СЭД):

sed -r 'N;/^((\S+)\s+){2}.*\n\S+\s+\2/!P;D' file 

прочитанной две строки в то время. Согласование шаблона в первых двух столбцах и печать только первой строки, когда второй столбец не совпадает.