python codec readline fail при объединении unicode с двоичным кодом

Question

[python 3.4] Файл UTF-8, смешанный с японским и двоичным. Я пытался читать строки с кодом следующим образом:

line = None 
linecount = 0 
with codecs.open(destfile, 'r', 'utf-8') as fd: 
    while True: 
     try: 
      line = fd.readline() 
      linecount += 1 
     except UnicodeDecodeError: 
      continue 

     if not line: 
      break; 

    print(linecount) 

Попытки игнорировать линии с двоичным кодом, но он останавливается на строке с двоичным кодом.

Как я могу прочитать файл правильно игнорируя строку с двоичным кодом

Answer 1

readline читает большие куски, декодирует и буферы. Если вы нажмете недействительный символ utf-8, вы потеряете несколько строк внутри этого недопустимого фрагмента. Чтобы усложнить ситуацию, даже если вы считаете, что некоторые данные являются двоичными, он может выглядеть как действительный utf-8 и декодировать без ошибок. Кроме того, действительно нет такой вещи, как «двоичные линии», потому что строки - это просто последовательности байтов, ограниченные байтом 0A или, возможно, 0D0A. Но они оба являются двоичными числами, поэтому, чтобы сказать, что они предназначены для прекращения линии, а не просто для того, чтобы быть частью двоичных данных.

Имея это в виду, вы можете получить в дальнейшем путем декодирования после того, как вы ломаете вещи на новой строкой:

line = None 
linecount = 0 

for line in open(destfile, 'rb'): 
    try: 
     line = line.decode('utf-8') 
     linecount += 1 
    except UnicodeDecodeError: 
     pass 
print(linecount)