AWS Data Pipeline RedShift Ошибка «разделитель не найден»

Question

Я работаю над конвейером данных. На одном из этапов CSV из S3 потребляется RedShift DataNode. Моя таблица RedShift имеет 78 столбцов. Проверено с:

SELECT COUNT(*) FROM information_schema.columns WHERE table_name = 'my_table'; 

После таблицы отказавшего RedshiftCopyActivity 'stl_load_errors' показывает "Разделитель не найден" (1214) ошибки для линии номер 1, для пространства имен столбца (это второй столбец, VARCHAR (255)) на позиции 0. Потребляемый CSV строка выглядит следующим образом:

0,my.namespace.string,2119652,458031,S,60,2015-05-02,2015-05-02 14:51:02,2015-05-02 14:51:14.0,1,Counter,1,Counter 01,91,Chaymae,0,,,,227817,1,Dine In,5788,2015-05-02 14:51:02,2015-05-02 14:51:27,17.45,0.00,0.00,17.45,,91,Chaymae,0,0.00,12,M,A,-1,13,F,0,0,2,2.50,F,1094055,Coleslaw Md Upt,8,Sonstige,900,Sides,901,Sides,0.00,0.00,0,,,0.0000,0,0,,,0.00,0.0000,0.0000,0,,,0.00,0.0000,,1,Woche Counter,127,Coleslaw Md Upt,2,2.50 

После простой замены («» к „\ п“) у меня есть 78 строк, так что похоже, что данные должны быть согласованы ... Я застрял на этом. Может быть, кто-то знает, как я могу найти дополнительную информацию об ошибке или увидеть решение?

РЕДАКТИРОВАТЬ

Запрос:

select d.query, substring(d.filename,14,20), 
d.line_number as line, 
substring(d.value,1,16) as value, 
substring(le.err_reason,1,48) as err_reason 
from stl_loaderror_detail d, stl_load_errors le 
where d.query = le.query 
and d.query = pg_last_copy_id(); 

результаты с 0 строк.

Answer 1

я понял это и, возможно, это будет полезно для кого-то еще:

Были фактически две проблемы.

1. Мое первое поле в таблице красного смещения было типа INT IDENTITY(1,1) и в CSV я имел 0 значение там. После удаления первого столбца из CSV, даже без указанных столбцов отображающие все было скопировано без проблем, если ...
2. DELIMITER ','commandOption был добавлен в S3ToRedshiftCopyActivity заставить с помощью запятой. Без него RedShift распознает точку из пространства имен (my.namespace.string) в качестве разделителя.