Загрузка таблицы с тысячами столбцов

У меня есть файлы данных CSV, содержащие более 5000 переменных (столбцов). Может ли это быть загружено в таблицу BigQuery? Если это так, то какой был бы лучший вариант, так как диалог мастера импорта пользовательского интерфейса веб-интерфейса «указать схему» обрезает строку спецификации схемы.Загрузка таблицы с тысячами столбцов

источник

2013-03-28 Kulnor

Пока ваши строки не слишком большие, не должно быть проблем с 5000 столбцами. Что слишком велико? BigQuery documentation говорит, что 20 МБ - это максимальный размер для каждой строки при использовании JSON или 1 МБ с CSV.

Если у вас есть много столбцов, я бы предложил использовать команду bq.py для командной строки client для загрузки.

источник

2013-03-28 23:04:03

Спасибо, продолжит расследование. Слишком длинная строка, которая определяет столбец схемы (5000+ двоеточие, разделенное имя: тип), поскольку он обрезается в интерактивном интерфейсе мастера импорта BigQuery (в шаге указания схемы). Сейчас я пытаюсь создать таблицу и импортировать из облачного хранилища с помощью скрипта приложений. Любой пример, плавающий вокруг? Другой вариант, с которым мне было бы удобно, - это Java. Но я рассмотрю предложенный сценарий Python. – Kulnor

Если вы хотите использовать java, здесь есть пример загрузки java: http://stackoverflow.com/questions/10671266/load-data-from-google-cloud-storage-to-bigquery-using-java –

Загрузка таблицы с тысячами столбцов

ответ

Смежные вопросы