Данные последнего потока данных Google

Question

Я читал документацию по документу Dataflow SDK, пытаясь выяснить, что происходит, когда данные попадают в водяной знак в потоковой работе.

Эта страница:

https://cloud.google.com/dataflow/model/windowing

показывает, что при использовании стратегии окна по умолчанию/триггера, то поздние данные будут отброшены:

Примечание: оконная по умолчанию и запуск стратегия DataFlow отбросит поздние данные. Если вы хотите убедиться, что ваш конвейер обрабатывает экземпляры поздних данных, вам нужно явно установить параметр .withAllowedLateness, когда вы установите стратегию оконного копирования PCollection и установите триггеры для своих PCollections соответственно.

Однако эта страница:

https://cloud.google.com/dataflow/model/triggers

указывает на то, что поздние данные будут выделяться в виде единого элемента PCollection, когда он приходит поздно:

триггер по умолчанию для PCollection это событие основанный на времени, и испускает результаты окна, когда водяной знак системы (представление потока данных о том, когда он «должен иметь все данные) проходит в конце окна. Триггер по умолчанию испускает повторяющуюся основу, что означает, что любые поздние данные по определению будут поступать после водяного знака и выключения триггера, в результате чего последние элементы будут выбрасываться по мере их поступления.

Таким образом, будут ли данные, оставшиеся после водяного знака, пропущены полностью? Или, не будет ли он испускаться только с другими данными, которые он был бы окончен, если бы он прибыл вовремя и был испущен сам по себе?

Answer 1

По умолчанию «стратегии окон и триггеров» отбрасывают поздние данные. WindowingStrategy - это объект, который состоит из окон, запуска и нескольких других параметров, таких как допустимая задержка. По умолчанию допустимая задержка равна 0, поэтому любые поздние элементы данных отбрасываются.

Триггер по умолчанию обрабатывает последние данные. Если вы принимаете значение по умолчанию WindowingStrategy и меняете только допустимую задержку, тогда вы получите PCollection, который содержит одну выходную область для всех данных времени включения, а затем новую панель вывода для примерно каждого позднего элемента.