Мне нужно сделать некоторую обработку только для чтения на всех файлах в папке рекурсивно. Я использую Files.walk, чтобы получить поток файлов, но я заметил, что api указывает, что walk возвращает только обычный поток, а не параллельный поток.Как я могу получить параллельный поток Files.walk?
Как я могу обрабатывать все файлы в каталоге параллельно?
Вы можете преобразовать любые Stream в параллель Stream, вызвав Stream::parallel.
Stream<Path> stream = Files.walk(startPath).parallel().forEach(...);
Обратите внимание, что 'Files.walk' распараллеливается плохо, особенно если ваше поддерево имеет менее 1024 файлов. Если у вас много обработки файлов и не так много файлов, было бы, вероятно, более эффективно «Files.walk (путь) .collect (toList()). ParallelStream()'. –
@TagirValeev Интересно. У вас есть ссылка, объясняющая, почему это так? –
@DavidGrinberg, исходный код JDK и эталонные тесты. Он использует внутри себя 'Spliterators.spliteratorUnknownSize', стратегия разделения которого заключается в загрузке кусков в массивы, начиная с 1024 элементов. По мере того, как размер неизвестен, движок потокового потока предполагает, что split производит четные части, но на самом деле они не являются (сначала разделение на <= 1024 входных дампов всех элементов в префикс, не оставляя никаких элементов для суффикса). Это приводит к очень плохой параллельной работе. –
Возможно, что-то вроде 'Files.walk (...). Parallel()'? – Flown
@Flown Hah ... глупо меня. Не понял, что вы можете конвертировать обычные потоки в параллельные. –