Выполнять одновременные HTTP-запросы в Golang

Question

Я пытаюсь обработать файл, содержащий 200 URL-адресов, и использовать каждый URL-адрес для запроса HTTP. Мне нужно обрабатывать 10 URL одновременно с каждым максимумом каждый раз (код должен блокировать до 10 обработки завершенных URL-адресов). Пытался решить его в go, но я продолжаю получать весь файл, обработанный с созданным 200 одновременным соединением.

for scanner.Scan() { // loop through each url in the file 
     // send each url to golang HTTPrequest 
     go HTTPrequest(scanner.Text(), channel, &wg) 
} 
fmt.Println(<-channel) 
wg.Wait() 

Что мне делать?

Answer 1

Пул из 10 ходов, читаемый с channel, должен соответствовать вашим требованиям.

work := make(chan string) 

// get original 200 urls 
var urlsToProcess []string = seedUrls() 

// startup pool of 10 go routines and read urls from work channel 
for i := 0; i<=10; i++ { 
    go func(w chan string) { 
    url := <-w 
    }(work) 
} 

// write urls to the work channel, blocking until a worker goroutine 
// is able to start work 
for _, url := range urlsToProcess { 
    work <- url 
} 

Очистка и запрос результатов для вас как упражнение. Каналы Go будут блокироваться, пока одна из рабочих процедур не сможет читать.

Answer 2

подобный код

longTimeAct := func(index int, w chan struct{}, wg *sync.WaitGroup) { 
     defer wg.Done() 
     time.Sleep(1 * time.Second) 
     println(index) 
     <-w 
} 
wg := new(sync.WaitGroup) 
ws := make(chan struct{}, 10) 
for i := 0; i < 100; i++ { 
     ws <- struct{}{} 
     wg.Add(1) 
     go longTimeAct(i, ws, wg) 
} 
wg.Wait()