объемная вставка с китайским символом

Question

Я хочу, чтобы вставлять файл данных csv, содержащий китайские символы, в sql-сервер 2012. Исходная кодировка файла данных csv - utf8, а файл fmt создается с помощью инструмента bcp. вопрос заключается в том, что если я конвертирую кодировку файла данных csv из utf8 в unicode через блокнот (откройте файл данных с помощью блокнота, затем выберите «сохранить как» и выберите формат «Юникод»), я могу навалом вставить данные в базу данных , И если я сохраню исходную кодировку, в базу данных ничего не будет добавлено.

Любой знает, существует ли какой-либо скрипт, такой как python или powershell, можно автоматизировать преобразование файла данных из кодировки utf-8 в unicode и сохранить китайские символы без изменения. спасибо.

Answer 1

Чтобы преобразовать документ UTF-8, возможно, с UTF-8 BOM, чтобы UTF-16-LE с помощью Python:

import io 
with io.open("my_input_file.txt", "r", encoding="utf-8-sig") as my_input: 
    with io.open("my_output_file.txt", "w", encoding="UTF-16-LE") as my_output: 
     my_ouput.write(u"\uFEFF") # write a UTF BOM 
     my_ouput.write(my_input.read())