Я оцениваю Flink для некоторых пакетов обработки данных. Как простой пример, у меня есть 2000 точек, которые я бы хотел пройти через FIR-фильтр, используя функциональность, предоставляемую scipy. Scipy filter - простая функция, которая принимает набор коэффициентов и данные для фильтрации и возврата данных. Возможно ли создать преобразование для обработки этого во Flink? Кажется, что преобразования Flink применяются на основе точки за точкой, но я могу что-то упустить.Flatch пакетная обработка данных
0
A
ответ
0
Это, безусловно, возможно. У Flink уже есть Python API (beta), который вы, возможно, захотите использовать.
О вашем втором вопросе: Флинк может применять функцию по пунктам и также может делать другие вещи. Это зависит от того, какую функцию вы определяете. Например, filter
, project
, map
, flatMap
прилагаются к записи; max
, min
, reduce
и т. Д. Применяются к группе записей (группы определены через groupBy
). Существует также возможность объединения данных из разных наборов данных с использованием join
, cross
или cogroup
. Пожалуйста, ознакомьтесь с перечнем доступных преобразований в документации: https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/batch/dataset_transformations.html
Смежные вопросы
- 1. C# таблица данных пакетная обработка
- 2. Пакетная обработка в шлюзе
- 3. Пакетная обработка с BaseX
- 4. Java - пакетная обработка
- 5. XSLT Пакетная обработка
- 6. Symfony2 - doctrine2 пакетная обработка
- 7. Nodejs пакетная обработка
- 8. пакетная обработка изображений tiff
- 9. PowerBuilder и пакетная обработка
- 10. пакетная обработка конверсий pandoc
- 11. PHP пакетная обработка
- 12. Пакетная обработка в python.
- 13. Пакетная обработка в PHP
- 14. Пакетная обработка JDBC
- 15. Doctrine2 Пакетная обработка
- 16. Talend job пакетная обработка
- 17. пакетная обработка в laravel
- 18. Пакетная обработка в Scala
- 19. JDBC sql query (пакетная обработка)
- 20. Планировщик задач Javascript (пакетная обработка)
- 21. AWS Elastic Transcoding - пакетная обработка
- 22. grails и mysql пакетная обработка
- 23. Akka пакетная обработка/обработка одного элемента
- 24. Hibernate pagination или пакетная обработка
- 25. Пакетная обработка на нескольких ядрах
- 26. Пакетная обработка на нескольких серверах
- 27. Apache Spark: пакетная обработка файлов
- 28. SVCUtil или WSDL пакетная обработка
- 29. Пакетная обработка и функциональное программирование
- 30. flink streaming или пакетная обработка