Получение больших наборов данных в облако Datalab

Question

Возможно ли получить большие наборы данных в панда DataFrame?

Мой набор данных составляет ок. 1,5 Гб несжатого (вход для кластеризации), но когда я пытаюсь выбрать содержимое таблицы с помощью bq.Query(...) он бросает исключение:

RequestException: Response too large to return. Consider setting allowLargeResults to true in your job configuration. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors 

Глядя на https://cloud.google.com/bigquery/querying-data?hl=en которой,

Вы должны указать таблица назначения.

Похоже, что единственное место, где можно отправлять большие запросы, - это другая таблица (а затем нажмите «Экспорт в GCS» и загрузить).

Там будет также (возможно большой обратной записи) в качестве объявления строки записываются обратно в базу данных.

Тот же набор данных прекрасно работает на моем 16Gb Laptop (несколько минут), но я смотрю на переход на DATALAB как наши движения данных в облаке.

Большое спасибо, любая помощь оценили

Answer 1

Если у вас уже есть свои результаты в таблице, вы можете просто использовать Table.to_dataframe()

В противном случае вам нужно будет выполнить запрос с помощью выполнения() с указанным вами именем таблицы назначения, а также allow_large_results = True (после этого вы можете выполнить вызов to_dataframe(), как указано выше).

Обратите внимание, что вы можете иметь проблемы с этим; VM по умолчанию, которая запускает ядро ​​Python, довольно проста. Вы можете развернуть более мощную виртуальную машину с использованием параметров URL; например .:

В то же время, как уже упоминалось вы можете развернуть DATALAB на большую виртуальную машину по некоторым параметрам URL. Например:

http://datalab.cloud.google.com?cpu=2&memorygb=16