Чтение и хранение содержимого большого файла ASCII

Question

У меня есть файл ASCII 538 МБ с 16807 строками, и каждая строка имеет 16807 0 и 1 сек, разделенных пробелом. Я хочу взять все эти значения и сохранить их в списке списков, чтобы сохранить каждую строку в новом списке.

В предыдущем проекте я сделал приведенный ниже код для текстового файла, но с файлом ASCII он бросает мне ошибку Java-кучу пространства.

ArrayList<ArrayList<String>> listOflists = new ArrayList<ArrayList<String>>(); 

    FileInputStream fstream = new FileInputStream("C:\Users...\file.txt"); 
    DataInputStream in = new DataInputStream(fstream); 
    BufferedReader br = new BufferedReader(new InputStreamReader(in)); 

    while (true) 
    { 
     String line = br.readLine(); 
     if (line == null) { 
      break; 
     } 

     Scanner tokenize = new Scanner(line); 
     ArrayList<String> tokens = new ArrayList<String>(); 

     while (tokenize.hasNext()) 
     { 
      tokens.add(tokenize.next()); 
     } 
     listOflists.add(tokens); 
    } 
    br.close(); 

Теперь я сделал этот код, но снова выбросил мне ошибку Java heap space.

String inputFile = "C:\Users...\file.txt"; 

    LinkedList<LinkedList<Character>> charList = new LinkedList<LinkedList<Character>>(); 

    File file = new File(inputFile); 
    Reader reader = new FileReader(file); 
    char val = 0; 
    int c; 
    int iLine = 0; 

    while((c = reader.read()) != -1) { 

     val = (char)c; 
     charList.add(new LinkedList<Character>()); 

     if((c == 48) || (c == 49)){ //ascii code for 0 is 48 and for 1 is 49 
      charList.get(iLine).add(val); 
     } 
     if(c == 92){ //ascii code for "/" is 92 as to know when it changes line 
      iLine++; 
    } 
} 
reader.close(); 

Любые идеи?

Answer 1

Я точно не знаю, где была ошибка в моем предыдущем коде, но вот решение, в котором я читаю файл и сохраняю позицию 1s в списке (сначала столбец, а затем строка, в которой я его нашел). Что касается большего, я также изменяю VM-вариант проекта и добавляю -Xmx1g, чтобы увеличить размер кучи. Без этого я получаю ошибку OutOfMemory (выполняю код в системе 3G RAM)

String inputFile = "C:\Users\...\file.txt"; 
    FileInputStream in = new FileInputStream(inputFile); 
    FileChannel ch = in.getChannel(); 
    ByteBuffer buf = ByteBuffer.allocate(1024); 

    ArrayList<Integer> list = new ArrayList<Integer>(); 

    int column=-1; 
    int row=0; 
    int rd; 
    while ((rd = ch.read(buf)) != -1){ 
     buf.flip(); 
     while (buf.hasRemaining()){ 
      byte byteVal = buf.get(); 

      if((byteVal == 48) || (byteVal == 49)){ //ascii code for 0 is 48 and for 1 is 49 
       column++; 
      } 
      if (byteVal == 92){ //ascii code for "/" is 92 as to know when it changes line 
        row++; 
        column=0; 
      } 
      if(byteVal == 49){ 
       list.add(column); 
       list.add(row); 

      } 
     } 
    buf.clear(); 
    } 
    ch.close(); 

Answer 2

У вас есть пустой список

LinkedList<LinkedList<Character>> charList = new LinkedList<LinkedList<Character>>(); 

и вы пытаетесь получить первый элемент

charList.get(iLine) 

из пустого списка, так что IndexOutOfBoundsException брошен.

Answer 3

Вы добавляете новый LinkedList для каждой итерации цикла while с линией charList.add(new LinkedList<Character>());, даже если строка не изменяется.