2

Наша команда только что начала использовать Application Insights для добавления данных телеметрии в наше приложение для настольных компьютеров. Эти данные отправляются почти исключительно в виде событий (а не просмотров страниц и т. Д.). Application Insights полезен только до определенной степени; чтобы ответить на все, кроме основных вопросов, которые мы экспортируем в хранилище Azure, а затем с использованием Power BI.Application insight -> export -> Power BI Data Warehouse Architecture

Мой вопрос - одна из структуры данных. Мы новичок в аналитике в целом и только что читаем о структурах звезд/снежинок для хранилищ данных. Похоже, что это может помочь в предоставлении необходимых нам ответов.

Мой вопрос довольно прост: это правильный подход? Есть ли у нас сложные вещи? Мое нынешнее чувство заключается в том, что лучший подход будет заключаться в том, чтобы вытащить последние данные и преобразовать их в базу данных SQL о фактах и ​​измерениях для запроса Power BI. Имеет ли это смысл? Это то, что делают другие люди? Мы поняли, что это больше, чем мы изначально думали.

ответ

2

Определенно преследуйте ответ Майкла Милируда, если ваш исходный продукт имеет подходящую аналитику, вам может не понадобиться хранилище данных.

Традиционно хранилище данных имеет три преимущества: интеграция информации из разных источников данных, как внутренних, так и внешних; данные очищаются и стандартизируются по всем источникам, а история изменений с течением времени гарантирует, что данные доступны в его историческом контексте.

То, что вы описываете, становится очень распространенным явлением в хранилищах данных, где звездообразные схемы создаются для доступа такими инструментами, как PowerBI, Qlik или Tableau. В более мелких сценариях весь склад может храниться в механизме данных PowerBI, но более крупным данным может потребоваться пройти через запросы.

В вашем случае, вы можете быть заинтересованы в некоторых инструментах, которые появляются для обработки по меньшей мере, некоторые из миграции данных приложений Insights:

https://sesitai.codeplex.com/

https://github.com/Azure/azure-content/blob/master/articles/application-insights/app-insights-code-sample-export-telemetry-sql-database.md

Наш продукт Ajilius автоматизирует разработку хранилищ данных схемы звезд, ускоряя время разработки до нескольких дней или недель. Есть ряд других продуктов, выполняющих аналогичную работу, мы поддерживаем полный список отрасли competitors, который поможет вам выбрать.

2

Я бы продолжил работу с Power BI - на самом деле он имеет очень сложную и мощную систему интеграции данных и моделирования. Впервые я работал с SQL Server Integration Services и Analysis Services для этих задач - Power BI Desktop превосходит в многие аспекты. Подходы к дизайну остаются неизменными - схемы звезд и т. Д., Но вы создаете их в памяти внутри PBI. Это более гибкий и гибкий способ.

Также вы знаете, что ИИ может быть подключен непосредственно к PBI Web? Это соединяется с вашими данными AI за считанные минуты и дает вам готовый к использованию контент PBI (информационные панели, отчеты, наборы данных). Вы можете настроить их и создать новые отчеты из наборов данных.

https://powerbi.microsoft.com/en-us/documentation/powerbi-content-pack-application-insights/

+0

Да, мы видели. Тем не менее, мы обнаружили, что нам нужны необработанные данные для проведения анализа, который AI хранит только в течение 7 дней, следовательно, экспорт в хранилище Azure Blob. Из того, что вы сказали, похоже, что мы на правильных линиях. Мы будем строить их в памяти от Azure Blob до тех пор, пока производительность не станет проблемой, которая может потребовать, чтобы мы поместили запросы в базу данных SQL. – intinit

+0

Из интереса - можете ли вы настроить их помимо того, что доступно? Кажется, это довольно исправно! Как я могу получить свои собственные события там? Я надеялся, что он предоставит примеры того, как он получает данные, но все кажется скрытым. – intinit

+0

Да данные детали скрыты в облаке - вы просто получаете набор данных. –

0

Вы можете начать использовать недавно выпустила функцию Application Insights Analytics'. В Application Insights мы теперь позволим вам написать любой запрос, который вам нужен, чтобы вы могли получить больше информации из ваших данных. Google Analytics запускает ваши запросы за считанные секунды, позволяет фильтровать/присоединяться/группировать любое возможное свойство, и вы также можете запускать эти запросы из Power BI. Более подробную информацию можно найти на сайте https://azure.microsoft.com/en-us/documentation/articles/app-insights-analytics/

+1

К сожалению, эти запросы выполняются только по необработанным данным, которые сохраняются в Application Insights только около недели. –

2

Что мы закончили делать не отправлял события из нашего WinForms приложения непосредственно к AI, но к Azure EventHub

Затем мы создали работу, которая считывает из eventhub и отправить данные

  1. AI с помощью SDK
  2. хранения
  3. Blob для последующей обработки
  4. Azure хранения таблиц для создания отчетов powerbi

Вы можете, конечно, добавить еще пункты назначения.

Таким образом, в основном все события отправляются в один пункт назначения и оттуда хранятся во многих пунктах назначения, каждый для своих целей. Мы определенно не хотели, чтобы их ограничивали до 7 дней необработанных данных, и поскольку хранение дешево, а хранилище памяти может использоваться во многих аналитических решениях Azure и Microsoft.

Eventhub можно связать с аналитикой потока.

Более подробную информацию о eventhubs можно найти на https://azure.microsoft.com/en-us/documentation/articles/event-hubs-csharp-ephcs-getstarted/