plinq на больших списках, занимающих огромное время

Question

У меня есть два списка в играх с памятью, а у пользователей - один объект с 15 милями, а другой около 3 мил.

является следующим несколькими запросами я стреляющими ..

consumersn=consumers.AsParallel() 
        .Where(w => plays.Any(x => x.consumerid == w.consumerid)) 
        .ToList(); 


List<string> consumerids = plays.AsParallel() 
           .Where(w => w.playyear == group_period.year 
             && w.playmonth == group_period.month 
             && w.sixteentile == group_period.group) 
           .Select(c => c.consumerid) 
           .ToList(); 


int groupcount = plays.AsParallel() 
         .Where(w => w.playyear == period.playyear 
           && w.playmonth == period.playmonth 
           && w.sixteentile == group 
           && consumerids.Any(x => x == w.consumerid)) 
         .Count(); 

Я использую 16 сердечника машину с 32 Гб оперативной памяти, несмотря на это .. первый запрос занял около 20 часов, чтобы бежать ..

я делаю что-то неправильно ..

Вся помощь искренне признателен.

Благодаря

Answer 1

Первый запрос LINQ очень неэффективно, распараллеливание может только помочь вам так много.

Пояснение: Когда вы пишете consumers.Where(w => plays.Any(x => x.consumerid == w.consumerid)), это означает, что для каждого объекта в consumer вы потенциально перейдете по всему списку plays, чтобы найти пострадавших потребителей. Так что это максимум 3 миллиона потребителей раз 15 миллионов игр = 45 триллионов операций. Даже в 16 ядрах это составляет около 2,8 трлн операций на ядро.

Таким образом, первый шаг здесь было бы сгруппировать все пьесы их consumerIds и кэшировать результат в соответствующей структуре данных:

var playsByConsumerIds = plays.ToLookup(x => x.consumerid, StringComparer.Ordinal); 

Затем ваш первый запрос становится:

consumersn = consumers.Where(w => playsByConsumerIds.Contains(w.consumerid)).ToList(); 

Этот запрос должен быть намного быстрее, даже без какой-либо распараллеливания.

я не могу исправить следующие вопросы, потому что я не вижу именно то, что вы делаете именно с group_period, но я бы предложил использовать GroupBy или ToLookup создать все группы в один проход.

Answer 2

Первый запрос занял 20 часов, потому что plays.Any(x => x.consumerid == w.consumerid) должен пройти весь список из 15 000 000 игр каждый раз, когда consumerid не существует.

Вы можете ускорить этот процесс путем построения хэш-набор всех идентификаторов потребителей в plays, как это:

var consumerIdsInPlays = new HashSet<string>(plays.Select(p => p.consumerid)); 

Теперь ваш первый запрос может быть переписан для O (1) поиска:

consumersn=consumers 
    .AsParallel() 
    .Where(w => consumerIdsInPlays.Contains(w.consumerid)) 
    .ToList();