Прочтите один ТБ данных из файла журнала

Question

Как бы я прочитал два файла журнала, размер которых равен одному TB, без исчерпания памяти на моей машине. Я бы сделал некоторое сравнение с обоими из них. Я хотел бы сделать это в Java.Wow ниже работает код? Меня беспокоит, что FileStream не сможет хранить данные в файле журнала.

public static void main(String args[]) 
{ 
    try{ 
    // Open the file that is the first 
    // command line parameter 
    FileInputStream fstream = new FileInputStream("textfile.txt"); 
    // Get the object of DataInputStream 
    DataInputStream in = new DataInputStream(fstream); 
    BufferedReader br = new BufferedReader(new InputStreamReader(in)); 
    String strLine; 
    //Read File Line By Line 
    while ((strLine = br.readLine()) != null) { 
     // Print the content on the console 
     System.out.println (strLine); 
    } 
    //Close the input stream 
    in.close(); 
    } 
    catch (Exception e){//Catch exception if any 
    System.err.println("Error: " + e.getMessage()); 
    } 
} 

Может ли кто-нибудь вести меня надлежащим образом.

Answer 1

Возможно, ваш код будет работать, потому что вы загружаете каждую строку в память. Однако вы потеряете вывод в буфере stdout, если он будет прочитан более нескольких сотен строк.

Лучшее, что можно сделать для сравнения - загрузить несколько предметов в коллекцию, а затем выбросить те, которые вам не нужны, когда вы закончите с ними. Это позволит снизить потребление памяти. Если вы хотите быть умными, следите за использованием памяти вашего процесса и начинайте очищать, когда он достигает фиксированного порога.