вырезать двоичные данные из текстового файла в python

Question

У меня есть текстовый файл, содержащий некоторые двоичные данные. Когда я прочитал файл, используя Python 3, в текстовом режиме я получаю UnicodeDecodeError (кодек не может декодировать байт ...) со следующими строками кода:

fo = open('myfile.txt, 'r') 
for line in inFile: 

Как я могу удалить двоичные данные мой файл. У меня есть заголовок, который печатается непосредственно перед каждым двоичным данным (в этом случае он отображается как Блок данных). Например, мой файл выглядит, например, где я хочу, чтобы удалить çºí ¼È × «NDI:

myfile.txt:

ABCDEFGH 
123456 
Data Block 11 
çºí?¼Èדñdí 
XYZ123 

Результат я хочу для myfile.txt, чтобы выглядеть следующим образом:

ABCDEFGH 
123456 
Data Block 11 
XYZ123 

Answer 1

Это сложно, поскольку «двоичные» blobs могут содержать допустимые символы или последовательности символов. И если вы используете файл с текстом с использованием многобайтовой кодировки, забудьте об этом.

Если вы знаете «текст» в файле содержит только однобайтовые символы, один подход должен был бы прочитать файл в качестве байт, а затем использовать что-то вроде

encode('ascii', error='ignore') 

Это эффективно удаляет не -ASCII символы из вывода, но если вы должны были сделать это на файл, вы получите:

 
ABCDEFGH 
123456 
Data Block 
?d 
XYZ123 

Обратите внимание на втором в последнюю строку - допустимые символы ASCII были найдены в сгустке и рассматриваются как "текст".

Вы можете начать с такого решения и точно настроить его (если возможно), чтобы удовлетворить ваши потребности. Возможно, капли происходят сами по себе на линиях, так что если в строке есть любых символов не-ascii, выкиньте всю строку полностью. Возможно, вы можете посмотреть на капли и попытаться найти какую-то структуру. Может быть, вы просто согласитесь на случайные линии частичных персонажей и обработайте их каким-то образом позже. На данный момент это своего рода приложение.

Вот код, который я использовал для производства этой продукции из вашего ввода пробы:

def strip_nonascii(b): 
    return b.decode('ascii', errors='ignore') 

with open('garbled.txt', 'rb') as f: 
    for line in f: 
     print(strip_nonascii(line), end='') 

Answer 2

Если вы также колонтитул после двоичных данных (например, у вас есть заголовок), попробуйте заменить все между верхним/нижним колонтитулом с ничего с регулярным выражением?