JAVA эффективный способ чтения журналов из файла

Question

Я ищу наиболее эффективный способ получить все элементы от List<String>, которые содержат значение String ("value1").

Первая мысль - простая итерация и добавление элементов, содержащих "value1", другому List<String> Но эта задача должна выполняться очень часто и многими пользователями.

Мысль о list.RemoveAll(), но как удалить все элементы, которые не содержат "value1"?

Итак, каким образом это сделать наиболее эффективно?

UPDATE:

Вся картина - нужно нужно читать журналы из файла очень часто и для нескольких пользователей одновременно. Журналы должны быть отфильтрованы по имени пользователя из файла. каждая строка в файле содержит имя пользователя.

Answer 1

Из ваших комментариев кажется, что ваш список представляет собой пару операторов журнала, которые должны быть сгруппированы по идентификатору пользователя (что будет вашим «значением1»). Если вам действительно нужно читать журналы очень часто, и для нескольких пользователей одновременно вы можете рассмотреть некоторые кеширования, возможно, с группировкой по идентификатору пользователя.

В качестве примера вы можете сохранить дополнительный файл журнала для каждого пользователя и просто отобразить его при необходимости. Вы можете сохранить последние записи журнала в памяти, используя некоторый буфер FIFO, который сгруппирован по идентификатору пользователя (может быть буфером на пользователя и, возможно, другим слоем LIFO поверх этого).

Однако, в зависимости от вашего варианта использования, это может не стоить усилий, и вы можете просто пойти и отфильтровать список всякий раз, когда пользователь попросит об этом. В этом случае я рекомендую читать файл по строкам и добавлять только соответствующие строки в список. Если вы сначала прочитали все в один список и затем удалили несоответствующие элементы, он будет менее эффективен (вам придется чаще итерации, смены элементов и т. Д.) И временно использовать больше памяти (в противоположность отбрасыванию каждого не- соответствующая линия сразу после проверки).

Answer 2

Вместо List, используйте TreeSet с предоставленным Comparator, чтобы все строки с «значением1» находились в начале. При повторении, как только строка не содержит «value1», все остальные не имеют ее, и вы можете остановить ее итерацию.

Answer 3

Итерация, вероятно, единственный способ, но вы можете позволить Java оптимизировать его как можно больше (и использовать элегантный, номера императивный синтаксис) с использованием Java-8 в потоки:

// test list 
List<String> original = new ArrayList<String>(){ 
    { 
     add("value1");add("foo");add("foovalue1");add("value1foo"); 
    } 
}; 
List<String> trimmed = original 
    .stream() 
    .filter((s) -> s.contains("value1")) 
    .collect(Collectors.toList()); 
System.out.println(trimmed); 

Выходные

[value1, foovalue1, value1foo] 

Примечания

• Одна часть вашего вопроса, которая может потребовать дополнительной информации, «часто выполняется многими пользователями» - это может вызвать некоторый механизм обработки параллелизма.
• Фактическая функциональность не очень ясна. Вы все еще можете иметь пространство для оптимизации кода рано извлекая и собирая "value1" отработанный String s до строительства вы List

Answer 4

Хорошо, в этом я могу предложить вам самый простой, я использовал. Использование итератора, делает его легче, но если вы идете с list.remove (VAL), Допустимы = "значение1", может дать вам UnsupportedOperationException

список List = yourList;/содержит "value1"/

for (Iterator<String> itr = list.iterator(); itr.hasNext();){ 
String val = itr.next(); 
if(!val.equals("value1")){ 

    itr.remove(); 

} 


} 

Попробуйте это и дайте мне знать. :)

Answer 5

С точки зрения эффективности времени вы не можете получить лучший результат, чем линейный (O(n)), если хотите выполнить итерацию по всему списку.

Решение между LinkedList и ArrayList и т. Д., Скорее всего, не имеет значения, поскольку различия невелики.

Если вы хотите лучше времени, чем линейный размер в список, вам нужно построить на некоторых предположениях и предпосылках:

• , если вы заранее знаете, что строка, которую вы будете искать, вы можете создать еще один список по с вашим первоначальный список, содержащий только соответствующие записи
• , если вы знаете, что вы собираетесь запросить один список несколько раз, можно построить индекс

Если у вас есть только список на входе, что кто-то дал вам, и вам нужно прочитать это в поместите один раз и найдите соответствующие строки, затем вы застряли с линейным временем, так как вы не можете избежать чтения списка хотя бы один раз.