Многочисленные источники данных Merge/Union

Question

У меня есть 4 файла excel, которые имеют одинаковые столбцы, они просто разбиты кварталом. Это необходимо, потому что автоматическая система не может обрабатывать слишком большие файлы.

В таблице я подключился к каждому источнику данных и назвал их Q1/Q2/Q3/Q4.

Как я могу заставить это работать как один год?

Я исследовал присоединение и прочитал статьи, рассказывающие о Custom SQL Unions. Это не работает, похоже, только позволяет мне делать соединение между рабочими листами в той же книге. Это разные книги и, следовательно, разные источники данных.

Answer 1

Начиная с версии 10.1, вы можете использовать рабочие листы UNION из разных книг Excel, используя функцию поиска подстановочных знаков, когда вы указываете UNION.

Тем не менее, Tableau может обрабатывать очень большие файлы Excel или CSV, поэтому другим вариантом является добавление нескольких файлов данных в один длинный файл перед использованием Tableau.

Если ваш инструмент переднего края не может генерировать данные, превышающие четверть стоимости, то не стоит добавлять файлы в один файл (с одной строкой заголовка) перед использованием Tableau, особенно при использовании CSV , Существует много способов сделать это, но один бесплатный набор инструментов, упрощающий такие задачи: csvkit http://csvkit.readthedocs.org

Второй вариант - загрузить ваши данные в таблицу базы данных вместо длинного файла CSV или Excel.

Третий вариант - создать экстракт данных Tableau из одного из файлов, а затем добавить данные в извлечение из других файлов. Это наименьшее усилие с вашей стороны, но убедитесь, что вы понимаете, как экстракты работают сначала (и сохраняйте исходные файлы, когда вам нужно перестроить ваш экстракт)

Существует даже 4-й вариант. Используйте команду Excel для работы с копиями (щелкните правой кнопкой мыши на вкладке), чтобы объединить все ваши файлы в одну книгу Excel с несколькими листами (вкладками). Затем вы можете использовать собственный SQL для объединения книг с командой UNION ALL. Но для этого потребуется использовать устаревший драйвер Excel, чтобы пользовательский SQL был доступен. Это не тот вариант, который я бы рекомендовал для этого варианта использования, но он будет работать, если вы действительно ненавидите другие варианты.

Answer 2

Я предпочитаю работать вне Excel, когда дело доходит до большинства наборов данных. Если бы я столкнулся с этой проблемой, я вернул бы данные в формат, который Tableau может более легко работать с использованием локальной или размещенной базы данных. Мое предпочтение - MySQL.

Download/Install MySQL Server locally

Load to new table using sql code

Или

Download MySQL Workbench for a graphical interface load

Вторично, я смотрел бы на разделив данные по вертикали, а не по кварталам, чтобы позволить смеси данных или присоединиться обратно в Tableau. Если у вас есть доступ к структуре отчета, выберите первичный ключ для всех четырех файлов и разделите поля между ними. Это может стать уродливым, поэтому, если возможно, я буду придерживаться опции локальной базы данных. Надеюсь, это поможет искусить некоторые идеи.

Answer 3

Объединение CSV-файлов теперь (начиная с версии 9.3) часть функциональности Tableau: https://www.tableau.com/about/blog/2016/1/combine-your-data-files-union-tableau-93-48891

Вы также можете голосовать за свою идею Extract союза: https://community.tableau.com/ideas/7076

Answer 4

Если у вас меньше 30 таблиц для загрузки, то свободное издание EasyMorph будет достаточно. Он может загружать несколько файлов из определенного места (или нескольких местоположений), автоматически объединяет их и публиковать на сервере Tableau или в TDE. Отказ от ответственности: я работаю в EasyMorph.