Hadoop Pig - EOF Исключение из-за простой загрузки

Question

Я работаю над проектом 14 CSV-файлов. 10 из них правильно загружаются в свинье. 4 нет.

Проблема возникает, когда я точно указываю тип столбцов в схеме: если я загружаю файлы с именем столбца, но без кастования типов (то есть: все столбцы по умолчанию равны «bytearray»), у меня нет проблемы: данные загружаются.

Но если я точно определяю тип столбца (и я только прошу «chararray»), я получил ошибку исключения EOF. Кажется, что ошибка появляется случайным образом, когда поле пусто в столбце. Странно то, что тот же самый файл будет отлично загружаться без литья типов и не будет загружаться, если я уточню кастинг «chararray». Кроме того, я могу загружать пустые столбцы в другие CSV-файлы (с линией столбцов или без них).

Что может быть причиной этого?

Я где-то читал, что конфигурация окружения улья может испортить свинью. Я использую пряжу, мезос, докер, марафон: какие-то помехи там? (но во всем мире ошибки происходят, когда я просто использую grunt в локальном режиме).

Answer 1

Наконец-то я обнаружил, что я активировал опцию pig.schematuple, которая является экспериментальной, и создайте ошибку: файл не загружается, когда имеется более 9 столбцов, и что ячейки пусты (он загружает пустые если имеется менее 9 столбцов).

2 рабочих дня, потерянных на опыте: -s