Где взять пример данных и запросов для Big Data Pipeline?

Question

Я ищу некоторые реальные данные и запросы, которые можно использовать для проверки оттенка. Для создания конвейера данные должны будут использовать разные технологии (свиньи, улья и т. Д.). Я могу найти отдельные сценарии свиньи или улья, но не пример реального мира, в котором задействованы разные рамки.

Я не полностью ускоряю скорость передачи данных на больших объемах данных, поэтому мне сложно создавать любые реальные случаи использования в реальном мире. Кроме того, примеры, например, такие как Spark, тривиальны, например, количество слов и т. Д.

Где я могу выкопать некоторые данные для конвейера со связанными этапами трубопровода? Таким образом, я могу сосредоточиться на пользовательском интерфейсе Hue по мере необходимости.

Answer 1

Вы можете посмотреть блог Hue, есть некоторые реалистичные примеры обработки Bike Data with Spark, SQL или Streaming.