Оптимизация цикла для генерации подстрок

Question

Это цикл в моем коде, который я пытаюсь оптимизировать. Он принимает arg [0] в качестве имени файла и делает подстроки, но не все подстроки, например , мышей в качестве мышей, льда, ce, e. Это то, что делает getAllUniqueSubset().

BufferedReader in = new BufferedReader(new FileReader(args[0])); 
    new File("./indexof"+args[0]).mkdirs(); 
    BufferedWriter out = null; 
    SubString sub = new SubString(); 

    String s; 

    while ((s = in.readLine()) != null) { 
     String[] list = s.split(" "); 
     for(int i=0;i<list.length;i++){ 
      ArrayList<String> substrings = sub.getAllUniqueSubset(list[i].replaceAll("[^a-zA-Z]", "").toLowerCase()); 

      for(String sb:substrings){ 

       out = new BufferedWriter(new FileWriter("./indexof"+args[0].toLowerCase()+"/"+sb.charAt(0)+".txt",true)); 

       out.write(sb); 
       out.write(" "); 
       out.write(Integer.toString(lineNumber)); 
       out.newLine(); 
       out.flush(); 
      } 
     } 
     lineNumber++; 

    } 

    in.close(); 
    out.close(); 

Этот бит кода получает подстроки я уже упоминал выше, из файла и сортов в каждый файл Шара (0) .txt

это занимает около 70000ms заботиться о файле 500кб

но когда файл становится достаточно большим, как 500mb, время становится настолько большим

поэтому мои вопросы

• Есть ли лучший способ получить подстроки, как я хочу в файл?
• Или есть способ ускорить работу BufferedReader?

Answer 1

Это держит BufferedWriters открытым. Удалил флеш. Добавлен размер большого буфера. - Это немного более эффективно при обработке строки.

BufferedReader in = new BufferedReader(new FileReader(args[0])); 
    new File("./indexof"+args[0]).mkdirs(); 
    BufferedWriter[] outs = new BufferedWriter[26]; 
    SubString sub = new SubString(); 
    String s; 
    int lineNumber = 1; 
    while((s = in.readLine()) != null){ 
     s = s.replaceAll("[^\\sa-zA-Z]", "").toLowerCase(); 
     String[] list = s.split("\\s+"); 
     for(String sl: list){ 
      ArrayList<String> substrings = sub.getAllUniqueSubset(sl); 
      for(String sb: substrings){ 
       BufferedWriter out = outs[sb.charAt(0)-'a']; 
       if(out == null){ 
        out = outs[sb.charAt(0)-'a'] = 
        new BufferedWriter(new FileWriter("./indexof"+args[0]+"/"+sb.charAt(0)+".txt",true), 1024*16); 
       } 
       out.write(sb); 
       out.write(" "); 
       out.write(Integer.toString(lineNumber)); 
       out.newLine(); 
      } 
     } 
     lineNumber++; 
    } 
    in.close(); 
    for(BufferedWriter out: outs){ 
     if(out != null) out.close(); 
    } 

Edit Испытано с http://textfiles.com/programming/bourne1.txt, который является 597768 байт текстовый файл. Заканчивается через 1 (одну) секунду.