Какую коллекцию я должен использовать, чтобы проверить, находится ли значение в коллекции элементов 100K?

Question

Я новичок в Java, и я не знаю различий между реализациями Java-коллекции.

Мне нужно обработать до 100 тыс. Записей импортированных данных. В этом списке могут быть дубликаты. Я должен положить все это в БД. Перед импортом я очищаю таблицу базы данных, поэтому вначале нет дубликатов в БД.

A am a batch inserting data with hibernate. Я хочу сделать что-то вроде этого:

SomeCollectionClass<Integer> alreadyInsertedRecords; 
//... 
if (!alreadyInsertedRecords.contains(currentRecord.hashCode()) { 
    save_to_database(currentRecord); 
    alreadyInsertedRecords.put(currentRecord.hashCode()); 
} else { 
    logger.log("Record no 1234 is a duplicate, skipping"); 
} 

Какого класса коллекции я должен использовать, чтобы проверить, если запись была вставлена ​​в БД?

Как я уже сказал, может быть более 100 000 записей, поэтому коллекция должна быть быстрой для поиска, быстрой вставки и небольшого объема памяти.

Answer 1

Если записи являются сортируются вы можете использовать коллекцию TreeSet, которая будет автоматически Удалять все дубликаты записей при условии, что они имеют реализована действительная compareTo() и equals() методы.

Эта коллекция также provides guaranteed log(n) time cost for the basic operations (add, remove and contains).[reference]

Если у вас есть доступ к функции hashCode(), то вы можете использовать HashSet. Он будет работать так же, как TreeSet (обрезки обложек при вставке), и он будет быстрее.

Colsult Hashset vs Treeset вопрос для получения дополнительной информации об обеих этих коллекциях.

Если возможно, используйте HashSet.

Answer 2

Вы можете попробовать: HashSet. Помните, что класс содержащихся объектов должен правильно реализовать методы hashCode() и equals().

Answer 3

Если вы не хотите дубликаты, вы можете использовать

Set<Integer> alreadyInsertedRecords = new HashSet<Integer>() 

Answer 4

Я бы не использовать коллекцию для этого, как это может быть сделано на уровне базы данных. Вы можете использовать инструкцию insert, где не существует.

Например

insert into people (firstName, lastName) 
select 'Foo', 'Bar' 
where not exists (
    select 1 from people where firstName = 'Foo' and lastName = 'Bar' 
)