У меня есть поток данных, где ввод является большим чтением из базы данных. Я хотел бы разбить этот запрос и выполнить его с нескольких хостов при запуске задания. Насколько я могу судить, BoundedSource
не имеет прямого управления входным расщеплением. Самое близкое к нему - splitIntoBundles
, что в основном означает, что мне нужно начинать очень дорогое чтение и надеяться, что Dataflow отменяет его и вместо этого использует мой выделенный пакет. Это кажется довольно сумасшедшим, поэтому я надеюсь, что есть лучший способ предопределить входной раскол, который можно запустить для любых удаленных сотрудников.Как управлять ограниченным разделом источника?
0
A
ответ
1
После долгих исследований нет возможности контролировать расщепленный параллелизм одного считывателя. Мое решение состояло в том, чтобы создать несколько считывателей, каждый читатель читает в свой собственный PCollection, а затем сглаживает несколько PCollections в один PCollection.
Смежные вопросы
- 1. Как настроить и управлять критическим разделом в компоненте Windows COM
- 2. Как управлять разделом для сопоставления сегментов в файле ELF?
- 3. Как управлять положением источника в ILPlotCube?
- 4. Как сделать UIBarButtonSystemItem ограниченным?
- 5. Как управлять разделом Стандартного PageLayout на некоторых условиях в отдела продаж
- 6. Удалить строку над разделом
- 7. Укушенный разделом округления?
- 8. row_number() над разделом
- 9. Проблема с разделом Matlab
- 10. didSelectRowAtIndexPath с разделом
- 11. строки с разделом вопросов
- 12. Строковый список с разделом
- 13. Проблема с разделом PHP
- 14. Складной UITableView с разделом
- 15. Contenttype с повторяемым разделом
- 16. QSort со случайным разделом
- 17. Как получить RowNumber() с разделом в MYSQL
- 18. Как использовать ConfigurationManager.AppSettings с настраиваемым разделом?
- 19. Как создать представление таблицы с разделом?
- 20. Как связать статическую библиотеку с конкретным разделом?
- 21. Связь между ограниченным контекстом
- 22. Пользователь MySQL с ограниченным разрешением администратора
- 23. Сделать SQLDatabase ограниченным
- 24. Внедрение ListView с динамическим разделом
- 25. row_number() над разделом в linq
- 26. cleardot.gif вопрос с разделом 508
- 27. Logstash - использование мутата с разделом
- 28. Найти общее значение над разделом
- 29. URLStreamHandler является ограниченным классом
- 30. Веб-сайт ограниченным Lua?
В какой базе вы читаете? Вы запрашиваете Большой запрос? Или вы написали собственный источник? – Pablo
Я читаю из Монго. Я внедрил собственный источник. – Max
Глядя на код луча, кажется, что есть источник MongoDB, который реализует 'splitIntoBundles'. Возможно, вы можете попробовать изучить эту реализацию? https://github.com/apache/beam/blob/master/sdks/java/io/mongodb/src/main/java/org/apache/beam/sdk/io/mongodb/MongoDbIO.java#L226 – Pablo