http.Response.Body копирование приводит к увеличению использования большой памяти

Question

Так что я пытаюсь получить тело ответа из http.Response, чтобы сделать некоторые манипуляции, а затем установить его обратно. Это моя первая попытка получить его без слива http.Response:

bodyBytes, err := ioutil.ReadAll(resp.Body) 
if err != nil { 
    // err 
} else { 
    cachedBody := string(bodyBytes) 

    // Restore the io.ReadCloser to its original state 
    // This is causing huge increases in memory usage. 
    resp.Body = ioutil.NopCloser(bytes.NewBuffer(bodyBytes)) 
} 

Если я пошлю 500 запросов через, с размером ответа 1mb (большой кусок JSON, но это может быть любой формат, не только JSON), использование памяти сервера достигает ~ 400 Мбайт и не возвращается. Это нормально? Что-то не так с вышеуказанным кодом? Я что-то упустил, чтобы выпустить память?

defer resp.Body.Close() не имеет никакого эффекта.

Спасибо!

---

Edit 1

Вот суть с простой версией прокси, включая предложенный волосок. Если сервер на localhost: 3000 (где он проксирует) возвращает большой ответ, использование памяти будет быстро увеличиваться. В моем случае я возвращаю файл 1mb json и отправляю 500 запросов через прокси-сервер, увеличивая объем использования памяти до 400 МБ.

ходу прокси:
https://gist.github.com/marbemac/300c4c376171cbd27cc3

Простой сервер узла, который возвращает файл в том же каталоге под названием large_response.json.
https://gist.github.com/marbemac/55aaa78f5858484d33f6

Answer 1

Кузов должен быть закрыт после использования. См. this

Обратите внимание, что defer resp.Body.Close() вызывается после переназначения resp.Body новым значением.

Answer 2

ioutil.NopCloser делает Close() ничего не делать. Вы никогда не закрываете его, если отложите закрытие. Закрыть сразу после чтения.

bodyBytes, err := ioutil.ReadAll(resp.Body) 
if err != nil { 
    // err 
} 
resp.Body.Close() 
cachedBody := string(bodyBytes) 
// Close() does nothing after this 
resp.Body = ioutil.NopCloser(bytes.NewBuffer(bodyBytes)) 

Кроме того, в Go вы обычно в состоянии игнорировать это else, потому что вы должны, вероятно, будет возвращаться сообщение об ошибке или обращении с ним в if над ним.

Такие моменты, когда было бы неплохо иметь sync.Pool, так как вы продолжаете утилизировать огромные буферы, проверьте, как он используется в пакете net/http для примера.