Параллельная обработка командного файла Windows

Question

У меня довольно большое количество файлов, которые нужно преобразовать в другой формат. Преобразование выполняется через Java-JAR-файл, который получает имя файла в качестве параметра. Теперь у меня есть пакетный файл для Windows, который использует цикл для перебора всех файлов (есть файл, который содержит список всех файлов, которые должны быть преобразованы)

for /F %%i in (all_files.txt) do call java -cp %Classpath% de.xyz.Convert -xml %%i .\xml 

Теперь машина, я хочу, чтобы это сделать на имеет восемь ядер. Количество файлов составляет около 360 000, и я хотел бы, чтобы это заняло как можно меньше времени, поэтому я хотел бы использовать как можно больше ядер. Как я могу использовать несколько ядер как можно проще? Будет ли Windows делать это самостоятельно?

Answer 1

Хорошо, потому что раньше я этого не делал, я сбил это с ног. Это не здорово, и используемая мной библиотека была банкой, которую я создал, чтобы потерпеть крах через 2 минуты. Надеюсь, вы сможете переделать это для своих нужд.

package test; 

import java.io.IOException; 
import java.util.concurrent.BlockingQueue; 
import java.util.concurrent.ExecutorService; 
import java.util.concurrent.LinkedBlockingQueue; 
import java.util.concurrent.ThreadPoolExecutor; 
import java.util.concurrent.TimeUnit; 


public class Test { 
    public static void main(String[] args) throws InterruptedException, IOException { 
     BlockingQueue<Runnable> runnableQueue = new LinkedBlockingQueue<>(); 
     ExecutorService executorServ = new ThreadPoolExecutor(8, 8, 1, TimeUnit.MINUTES, runnableQueue); 
     runnableQueue.add(new RunCrash("Example")); // Add one for each file... 
     executorServ.shutdown(); 
     while(!executorServ.isTerminated()) { 
      // running 
     } 
    } 
} 

class RunCrash implements Runnable { 

    private String fileName; 
    RunCrash(String fileName) { 
     this.fileName = fileName; 
    } 

    @Override 
    public void run() { 
     System.out.println(fileName); 
     try { 
      crash.CrashMe.main(new String[]{fileName}); 
     } catch (InterruptedException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
     } 
    } 
} 

О, вы можете позволить основной нити умереть до того, как другие закончить, я считаю, что JVM будет держать исполнитель и связанные с ним очередь. :)