Как получить декартовое произведение из двух PCollections

Question

Я очень новичок в использовании Google Cloud Dataflow. Я хотел бы получить декартово произведение двух PCollections. Например, если у меня есть два PCollections (1, 2) и ("hello", "world"), их декартово произведение ((1, "hello"), (1, "world"), (2, "hello"), (2, "world")).

Любые идеи, как я мог это сделать? Кроме того, поскольку декартово произведение может быть большим, я надеюсь, что решение будет лениво создавать продукт и тем самым избежать огромного потребления памяти.

Спасибо!

Answer 1

В целом, вычисление декартова продукта будет дорогостоящим. Если (или оба) коллекций подходят в память, вы можете использовать side-inputs для передачи данных всем работникам. Итак, для вашего примера вы превратите PCollection<String> в боковой вход, а затем у вас будет ParDo, который взял его как основной вход. Для каждой строки на главном входе вы можете получить доступ к боковому вводу, который имеет Iterable<String> всех значений, и вы должны выводить пары (или вы могли бы в этом DoFn выбрать вывод только пары, которые выстраиваются в линию).

Это будет повторяться по всему набору слов каждый раз - если он подходит в памяти, это должно быть хорошо. Если он должен повторно извлекать боковые входные данные каждый раз, когда это может быть проблематично.

Другой подход - полагаться на перетасовку и ключи. Скажем, вы хотели найти слова с 3-буквенным перекрытием. Вы можете обработать словарь и создать PCollection значений, с помощью трехбуквенных префиксов. Вы также можете создать аналогичные PCollection с помощью трехбуквенных суффиксов. Затем вы можете GroupByKey (или CoGroupByKey). После этого у вас есть для каждого 3-буквенного ключа, все слова с этим как префикс и это как суффикс.