Как быстро получить несколько строк в Go?

Question

У меня проблемы с производительностью, когда я получаю 20k-50k и больше строк от SELECT * FROM table в rows.scan(&a, &b...). Я не знаю, как использовать параллелизм в этом случае, потому что мне нужно использовать rows.Next() для итерации, и я не могу сделать это в параллелизме.

Производительность падает только тогда, когда я сканирую результаты из строк в поля структуры в rows.Scan.

Запрос занимает 5-15 мс, но сканирование занимает (40 тыс. Строк) 800-2000мс.

Спасибо!

Answer 1

Поскольку «rows.Next()» является последовательным, вам нужно разделить свой запрос на несколько операторов, а затем работать одновременно с ними.

func main() { 

    queries := []string{ 
     "SELECT * FROM abc where a < 10000", 
     "SELECT * FROM abc where a >= 10000 && a <= 30000", 
     "SELECT * FROM abc where a > 30000", 
    } 

    for _, query := range queries { 
     go dbCall(query) 
    } 
} 

func dbCall(query string) { 

    rows, _ := db.Query(query) 
    for rows.Next() { 
     var a, b, c int 
     _ = rows.Scan(&a, &b, &c) 
     // Process row 
    } 
} 

Используйте каналы, замки и т. Д., Если необходимо, на основе вашего прецедента.