time.strptime() - аргумент 0 должен быть str, а не байтами

Question

Очевидно, что я уже знаю, что strftime и strptime не любят байтовые строки в качестве параметров, однако я в рассоле здесь, потому что мне нужно прочитайте содержимое файла, в котором сохранены различные кодировки символов, и мне нужно обработать их все, и отправьте временную часть каждой строки в этом текстовом файле на strptime().

Быстрое исправление будет состоять в том, чтобы разбить строку, убедившись, что время просто содержит числа и тире, но возможно ли каким-то образом передать объект байта, не пытаясь определить кодировку до strptime()?

with open('file.txt', 'rb') as fh: 
    for line in fh: 
     time.strptime(line, '%Y-%m-%d ...') 

Это, очевидно, не получится. Я думал, что делать repr(line) но что заставляет строку выглядеть b'2014-01-07 ...', который я мог бы раздеть ..

Answer 1

line является байтовой строкой, потому что вы открыли файл в двоичном режиме. Вам нужно будет декодировать строку; если строка даты, соответствующую шаблон, вы можете просто использовать ASCII:

time.strptime(line.decode('ascii'), '%Y-%m-%d ...') 

Вы можете добавить 'ignore' аргумент игнорировать все не-ASCII, но скорее всего, линия не будет соответствовать вашему формату дата, то в любом случае ,

Обратите внимание, что вы не можете передать значение, которое содержит , более, чем в этом разобранном формате; строка с другим текстом на ней, явно не покрытая шаблоном strptime(), не будет работать, какой бы кодек вы ни использовали.

И если ваш вход действительно сильно меняется в кодеках, вам все равно придется ловить исключения так или иначе.

Помимо UTF-16 или UTF-32, я не ожидал, что вы столкнетесь с любыми кодеками, которые используют разные байты для арабских цифр. Если ваш вход действительно смешивает многобайтовые и однобайтовые кодеки в одном файле, у вас есть большая проблема с вашей стороны, ни в коем случае, потому что обработка новой строки будет сильно испорчена.

Answer 2

Вы должны декодировать данные, когда вы читаете файл:

import codecs 
with codecs.open('file.txt', encoding='utf8') as fh: 
    for line in fh: 
     time.strptime(line, '%Y-%m-%d ...') 

Это всегда лучше, чтобы декодировать контент как можно скорее.

Также проверьте http://docs.python.org/2/library/codecs.html#codecs.open