Лучшая практика использования HttpClient в многопоточной среде

Question

Некоторое время я использовал HttpClient в многопоточной среде. Для каждого потока, когда он инициирует соединение, он создаст совершенно новый экземпляр HttpClient.

Недавно я обнаружил, что с помощью этого подхода пользователь может открыть слишком много портов, и большинство соединений находятся в состоянии TIME_WAIT.

http://www.opensubscriber.com/message/commons-httpclient-dev@jakarta.apache.org/86045.html

Таким образом, вместо того, чтобы каждый поток делает:

HttpClient c = new HttpClient(); 
try { 
    c.executeMethod(method); 
} 
catch(...) { 
} 
finally { 
    method.releaseConnection(); 
} 

Мы планируем:

[Способ A]

// global_c is initialized once through 
// HttpClient global_c = new HttpClient(new MultiThreadedHttpConnectionManager()); 

try { 
    global_c.executeMethod(method); 
} 
catch(...) { 
} 
finally { 
    method.releaseConnection(); 
} 

В нормальной ситуации, global_c одновременно будут доступны потоки 50 ++. Мне было интересно, это создаст какие-либо проблемы с производительностью? Является ли MultiThreadedHttpConnectionManager использующим механизм блокировки для реализации политики безопасности потоков?

Если 10 потоков используют global_c, будут ли заблокированы остальные 40 потоков?

Или было бы лучше, если бы в каждом потоке я создавал экземпляр HttpClient, но явным образом освобождаю диспетчер соединений?

[МЕТОД B]

MultiThreadedHttpConnectionManager connman = new MultiThreadedHttpConnectionManager(); 
HttpClient c = new HttpClient(connman); 
try { 
     c.executeMethod(method); 
} 
catch(...) { 
} 
finally { 
    method.releaseConnection(); 
    connman.shutdown(); 
} 

Будет connman.shutdown() страдают проблемы с производительностью?

Могу ли я узнать, какой метод (A или B) лучше для приложения, использующего потоки 50 ++?

Answer 1

Метод A рекомендуется сообществом разработчиков httpclient.

Для получения более подробной информации, пожалуйста, обратитесь к http://www.mail-archive.com/httpclient-users@hc.apache.org/msg02455.html.

Answer 2

Мое чтение документов заключается в том, что сам HttpConnection не рассматривается как потокобезопасный, и, следовательно, MultiThreadedHttpConnectionManager предоставляет многоразовый пул HttpConnections, у вас есть один MultiThreadedHttpConnectionManager, общий для всех потоков и инициализируемый ровно один раз. Так что вам нужно несколько небольших уточнений к варианту А.

MultiThreadedHttpConnectionManager connman = new MultiThreadedHttpConnectionManag 

Затем каждый поток должен использовать последовательность для каждого запроса, получение от СВЯЗИ бассейна и положить его обратно по завершению своей работы - с использованием наконец блок может быть хорошим. Вы также должны указать, что пул не имеет доступных подключений и обрабатывает исключение таймаута.

HttpConnection connection = null 
try { 
    connection = connman.getConnectionWithTimeout(
         HostConfiguration hostConfiguration, long timeout) 
    // work 
} catch (/*etc*/) {/*etc*/} finally{ 
    if (connection != null) 
     connman.releaseConnection(connection); 
} 

Как вы используете пул соединений, вы на самом деле не закрывать соединения и поэтому это не должно ударить проблему TIME_WAIT. Этот подход позволяет предположить, что каждый поток не поддерживает связь в течение долгого времени. Обратите внимание, что сам conman остается открытым.

Answer 3

Я думаю, вы захотите использовать ThreadSafeClientConnManager.

Вы можете увидеть, как это работает здесь: http://foo.jasonhudgins.com/2009/08/http-connection-reuse-in-android.html

Или в AndroidHttpClient, который использует его внутренне.

Answer 4

Определенно метод А, потому что его объединенный и потокобезопасный.

Если вы используете httpclient 4.x, диспетчер соединений называется ThreadSafeClientConnManager. См. Это link для получения дополнительной информации (прокрутите вниз до «Менеджер подключения пулов»). Например:

HttpParams params = new BasicHttpParams(); 
    SchemeRegistry registry = new SchemeRegistry(); 
    registry.register(new Scheme("http", PlainSocketFactory.getSocketFactory(), 80)); 
    ClientConnectionManager cm = new ThreadSafeClientConnManager(params, registry); 
    HttpClient client = new DefaultHttpClient(cm, params); 

Answer 5

С HttpClient 4,5 вы можете сделать это:

CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(new PoolingHttpClientConnectionManager()).build(); 

Обратите внимание, что это один реализует закрывающиеся (для отключения диспетчера соединений).