Несогласованные концы строк в SSIS Плоский импорт файлов

Question

У меня есть большой текстовый файл с разделителями строк без текстовых спецификаторов, и похоже, что все, что выплевывает этот файл, случайно выплевывает ложные метки «LF» в последнем столбце каждые несколько сотен строк , Последний столбец - описательный столбец, и он не является текстовым, каким бы он ни был. файл выглядит примерно так:

id|data|data|data|data|Description[LF] 
id|data|data|data|data|Description[LF] 
id|data|data|data|data|Description[LF] 
id|data|data|data|data|Descr[LF] 
iption[LF] 
id|data|data|data|data|Description[LF] 
Id|data|data|data|data|Description[LF] 
id|data|data|data|data|Descripti[LF] 
on[LF] 
id|data|data|data|data|Description[LF] 
id|data|data|data|data|Description[LF] 
id|data|data|data|data|Description[LF] 
id|data|data|data|data|Description[LF] 
id|data|data|data|data|D[LF] 
escription[LF] 

Я довольно новыми для SSIS и SQL в целом, Кто-нибудь есть какие-либо советы о том, как это исправить?

Answer 1

Если бы мне пришлось угадать, я бы сказал, что это происходит из-за того, как создается файл ... у вас, вероятно, есть данные, которые просто включают определенные специальные символы, которые неправильно интерпретируются как строка Корм.

Проверьте это site, чтобы узнать, соответствуют ли данные в ваших проблемных строках любым из этих кодировок. Если это так, то в конечном итоге у вас есть два варианта:

1) Создайте сложный и сложный ETL process, чтобы обнаружить и исправить данные файла перед его обработкой. Это нецелесообразно, так как это будет серьезной болью для создания и поддержания.

2) Попробуйте изменить способ создания этого файла. Большинство мастеров экспорта текста позволят вам размещать кавычки («) вокруг текстовых элементов, чтобы ваш процесс импорта мог быстро обнаружить что-то как текстовый блок, а не последовательность кодированных символов для интерпретации.

Answer 2

Я действительно нашел способ исправить его в Notepad ++, потому что я не знаю C#, и я не знаю SSIS достаточно хорошо.

Идентификатор был 8 цифр, а затем 7 пробелов. Это было абсолютно уникально для этого файла.

в Notepad ++ я использовал (Find Extended) для поиска и замены "\ п" (LF) ничего

тогда я использовал е место это выражение для находки:

(\d\d\d\d\d\d\d\d[[:blank:]][[:blank:]][[:blank:]][[:blank:]][[:blank:]][[:blank:]][[:blank:]]) 

, чтобы найти все 8 цифр номера с 7 конечными пробелами, так и для замены, используется следующим образом:

\r\n\1 

поставить [CR] [LF] перед теми, 8 цифр.

Вот и все! Но в любом случае. Мой босс связался с клиентом и просит лучшего файла. Теперь я получаю признание, и мы получаем правильные данные. Спасибо за совет!