Крупнейшие практические наборы данных в электронных таблицах Google?

Question

Я изучаю использование листингов Google как своего рода агрегированное решение для разных источников данных. Достаточно легко настроить эти источники данных для вывода на общие листы Google, и это необходимо для онлайн-обмена. Этот лист будет действовать как мой необработанный, необработанный источник данных. Тогда у меня были бы некоторые панели/подтаблицы на основе этих данных.

Теперь, как показывают ранние тесты, мне нужно быть осторожными относительно эффективности, поскольку кажется, что я нажимаю на максимальные 2 миллиона ячеек для электронных таблиц (мы говорим о 15-20 тыс. Строках данных & 100 или около того). Обработка данных также кажется довольно медленной (независимо от пределов ячеек), по крайней мере, с использованием формул, даже учитывая использование массивов &, избегая vlookups и т. Д.

Мой план состоит в том, чтобы создать другие документы (отдельные документы, а не только добавление вкладок) & ссылаются на исходные данные через импортный диапазон & с использованием таблицы. Они будут использовать подмножества данных, необходимые только для каждой информационной панели. Это должно позволить мне создать приборную панель, которая будет работать быстрее, чем при прямом настройке моего большого файла необработанных данных или, по крайней мере, это мое мнение.

Могу ли я совершить здесь безумное поручение? Кто-нибудь просматривал аналогичные большие данные в документах google? В основном, пытаясь понять, насколько я имею в виду, даже практические или нет ... Если у вас есть лучшие идеи с точки зрения архитектуры, пожалуйста, разделите ...

Answer 1

Я столкнулся с подобным вопросом один раз.

Использование многослойного подхода, такого как тот, который вы предложили, действительно является одним из способов обойти это.
В самих электронных таблицах нет проблем с хранением этих двух миллионов ячеек, это отображает все данные, которые являются проблематичными, поэтому доступ к нему с помощью импорта или скриптов может оказаться полезным.

Некоторые другие вещи, которые я бы рассмотреть следующие вопросы:

Как до даты делает данные должны быть? Диапазон импорта медленный и может сделать панель управления, которую вы создаете вялой, возможно, запланированный импорт с агрегацией, происходящей в Google Apps Script, является жизнеспособным вариантом.

В этот момент вы можете даже захотеть использовать BigQuery для хранения и агрегации данных, независимо от того, извлекаете ли вы данные из другой таблицы в этом проекте или в базу данных, которая не будет работать в каких-либо проблемах, если вы превысите 2 миллиона элементы будут в будущем доказательством.

В качестве альтернативы вы можете использовать fusion tables * для хранения данных на основе диска, хотя я думаю, что вы не можете запускать на нем сложные SQL-запросы.

---

*: Вы, вероятно, нужно включить их в Drive с помощью правой кнопки мыши> Дополнительно> Подключить другие приложения