Импорт BigQuery - CS-файл не найден

Наша система запускает импорт BQ csv (~ 8Mb) из CS каждые 10 минут. Но сегодня по крайней мере 4 раза произошла ошибка: «Не найдено: Файл хранилища Google ...». Я дважды проверил файл на CS и загрузил его без проблем. Я попытался (повторно) запустить импорт BQ (job_610b149c0d9041b7a3145ee245b80653), снова получил «не найден ...». Все другие импорты (сотни из них) просто прекрасны.Импорт BigQuery - CS-файл не найден

Мы используем GAE (java) для размещения CSV-файлов на CS, а затем запускаем импортные задания (GAE -> CS -> BQ). В целом система работает нормально, но она не очень надежна. Итак, я борюсь с пробелами (отсутствующие данные) или иногда дублирует почти каждый день. Существуют ли какие-либо другие способы (хорошие практики) импорта «постоянного потока» данных в BQ? Streaming?

Как только у нас есть данные в таблице BQ, все становится намного проще. BigQuery действительно отличный продукт! Спасибо, sasa

источник

2013-03-14 Sasa

У меня сегодня такая же проблема. Мы загружаем и обрабатываем файлы из GAE и храним их в Cloud Storage. Затем мы начинаем работу BQ, чтобы использовать эти файлы для нас. Мы случайным образом получаем ошибки «Файл не найден» и работа не работает. – someone1

Это должно быть исправлено. –

Это должно быть исправлено. Возникла проблема с конфигурацией, из-за которой некоторые файлы облачного хранилища были недоступны между 17:00 прошлой ночью и 10:15 утра этим утром (PST). Пожалуйста, пиньте эту тему, если у вас возникнут дополнительные проблемы.

источник

2013-03-14 15:36:20

сейчас работает. благодаря! – Sasa

Задача импорта (job_c4d1a16f62144cdbabc703fc902c24d9) сообщает об ошибках: «Слишком много столбцов: ожидается 28 столбцов, но получено 29 столбцов. Дополнительная помощь: http://goo.gl/RWuPQ" ... Когда я повторный импорт одного и того же файла (немодифицированный) через несколько часов все было в порядке (job_05f6217c70d44a10b183e026733ddfc0) – Sasa

Импорт BigQuery - CS-файл не найден

ответ

Смежные вопросы