Изменение кодировки файла с UTF16 на UTF8 в партии

Question

У меня есть файлы CSV, которые находятся в формате UTF16 Big Endian. Мне нужно написать пакетный скрипт, чтобы преобразовать его в UTF8.

Возможно ли это сделать без внешних программ или с внешними программами, поставляемыми с ОС (и, следовательно, всегда можно ожидать, что они будут там)?

Answer 1

Несомненно. Просто замените спецификацию UTF-16 BE спецификацией UTF-8.

@echo off 
setlocal 

set "csvfile=test.csv" 

:: store current console codepage to var 
for /f "tokens=2 delims=:" %%I in ('chcp') do set "_codepage=%%I" 
:: temporarily change console codepage to UTF-8 
>NUL chcp 1252 

<"%csvfile%" set /p "firstLine=" 

setlocal enabledelayedexpansion 
>fixed.csv echo(!firstLine:*ÿ=! 
endlocal 

for /f "usebackq skip=1 delims=" %%I in ("%csvfile%") do (
    >>fixed.csv echo(%%I 
) 

:: restore console to original codepage 
>NUL chcp %_codepage% 

>NUL move /y fixed.csv "%csvfile%" 

echo Fixed. 

I'll leave it as an exercise for the O.P. to make this loop through multiple CSV files.