параллельное распределение памяти с помощью `make`?

Question

Я собираюсь прочитать большой файл csv и вернуть массив структур. Итак, я решил разбить большой файл на несколько меньших файлов с 1 миллионом строк и использовать процедуры для их параллельной обработки.

Внутри каждого работника, я создаю массив для вставки файлов строки в:

for i := 0; i < 10 ; i++ { 
    go func(index int) { 
     lines := make([]MyStruct, 1000000) 
    }(i) 
} 

Похоже ходу процедуры ждут друг друга на этой линии. Итак, если выделение памяти для массива занимает 1 секунду, 10 одновременных процедур, выполняющих это, будут занимать 10 секунд, а не 1 секунду!

Не могли бы вы помочь мне понять, почему? Если это так, я предполагаю, что я буду выделять память перед запуском подпрограмм go и передать указатель массива каждому из них, а также индекс элемента, который им нужно начинать с чтения строк и значений настроек.

Answer 1

Вам необходимо установить runtime.GOMAXPROCS(runtime.NumCPU()) или GOMAXPROCS переменную окружения, чтобы на самом деле использовать несколько ядер.

исх: http://golang.org/pkg/runtime/#GOMAXPROCS

И цитировать @siritinga:

И, конечно же, вам нужно сделать что-то с линиями.

Прямо сейчас они выделяются, а затем теряются для сборщика мусора.

Другой подход заключается в заранее выделить срез затем передать его части к goroutines, например:

N := 1000000 
lines := make([]MyStruct, N * 10) 
for i := 0; i < 10 ; i++ { 
    idx := i * N 
    go func(lines []MyStruct) { 
     //do stuff with lines 
    }(lines[idx:idx+N]) 
}