У меня есть текстовый файл в UTF-8, который мне нужно перемещаться по C. Мне нужно разбить этот файл на отдельные файлы меньшего размера (т. Е. Разрезать пополам). Когда это происходит, он иногда разбивает многобайтовые символы на два разных файла. Когда немой текстовый редактор переходит к чтению файла, содержащего вторую половину текста, он считывает вторую половину символа разреза и путается, поэтому не отображает остальную часть текста правильно. Если я читаю побайтовые байты, как я могу узнать, есть ли я в начале персонажа или посередине? Совместимые с не-ascii символы UTF-8 начинаются с того, что старший бит установлен в 1, но некоторые из них являются двумя байтами, а некоторые - тремя байтами.Как перемещаться по текстовому файлу UTF-8
Редактировать: Nevermind, я только что узнал, что первый байт содержит число ведущих 1s, что символ длинный. IE трехбайтовый символ - 1110xxxx xxxxxxxx xxxxxxxx.
Итак ... продвигайтесь, пока не нажмете ведущую байт ?! –
Разделение его на терминаторе линии было бы разумным, '' \ n''. –
Кстати, просто расщепление на границах кода не будет работать. Если раскол происходит между сочетанием символов (например, буквы и диакритики, или в середине последовательности Хангюла, вы также получите проблемы с рендерингом. – rici