Какая структура данных используется для хранения миллионов объектов в многопоточной среде (масштабируемость и производительность)?

Question

Мое требование как: Я хочу, чтобы выполнить частые операцию на миллионов объектов в многопоточной среде с параллелизма и масштабируемости имея в виду, мне нужно оптимальную структуру данных, пригодную для этого требования.

Например:

public interface CarDetails { 
    public CopyOnWriteArrayList<Car> getAllCars(); 
    public Car getMostSoldCars(int carModel); 
    public void addNewCarDetails(Car car); 
    public void oldCardDetails(Car car); 
}  

Первоначально я думал использовать Параллельное API, (CopyOnWriteArrayList), как его выполняет лучше по сравнению с внешней синхронизации списка (например: Collections.synchronizedList (список объектов)) ,

Проблема с CopyOnWriteArrayList: Чтобы хранить миллионы объектов в памяти и выполнения frequest операций на нем имеет влияние на производительность, потому что CopyOnWriteArrayList полностью создает новый список каждый раз, когда какой-либо Updation происходит на нем и выполнять такие операции прозводятся на миллионах объектов имеет проблемы с производительностью. Это полезно для нескольких читателей, но я ищу работу на большом количестве объектов.

Проблема с Collections.synchronizedList (объект списка): Внешняя синхронизация списка имеет другую проблему, поскольку она блокирует весь объект, который имеет другую проблему с производительностью.

Может ли кто-нибудь мне предложить, какие API-интерфейсы коллекции подходят для этого типа требований (параллелизм, масштабируемость, миллионы объектов, более высокая производительность при частой работе).

Заранее благодарен!

Answer 1

ConcurrentLinkedQueue является ждать свободной (т.е. безблокировочного и потоки не будут голодать) и не выполняет копирование

Если вы хотите сохранить набор вместо списка, то вы можете иметь несколько потоков добавлять объекты в ConcurrentLinkedQueue и имеют одну нитку опрос очереди и добавить объекты в несинхронизированном HashMap; это может быть более эффективным, чем использование ConcurrentHashMap. Однако это предполагает, что вы можете выдержать небольшую задержку между добавляемым объектом и объектом, отображаемым в наборе.

Answer 2

Я думаю, что лучшая привязка данных для прапраменности была бы hashMap, она имеет операцию поиска O (1), а arrayList принимает O (N).

На стороне параллелизмом, я бы probly пойти с

ConcurrentSkipListMap

Или

ConcurrentHashMap

В зависимости от ваших потребностей.

Я иду в подробности о разнице между этими двумя здесь: Thread safe way to copy a map