Python смерч AsyncHTTPClient хвостового плавника

Question

У меня есть проблема здесь:

import tornado.httpclient 
from tornado.httpclient import AsyncHTTPClient 
AsyncHTTPClient.configure("tornado.curl_httpclient.CurlAsyncHTTPClient") 

# inside a function 
client = AsyncHTTPClient() 
result = yield client.fetch('http://some-site.com/#hash?&key=value', raise_error=False) 
print(result.effective_url) # prints: http://some.site/some/path/ 

Заметьте, что ключевые ценности идут после того, как хэш. Некоторый сайт, который я царапаю, перенаправляет. Если я прокомментирую «AsyncHTTPClient.configure (« tornado.curl_httpclient.CurlAsyncHTTPClient »),« все работает нормально, но я не могу использовать прокси для пересечения и просмотра обменов HTTP. И с этой линией персонал после хеша исчезает ... Может ли кто-нибудь сказать мне, почему?

Answer 1

Вы хотите передать #fragment часть. Он используется браузерами для навигации по якорям на маршрутизации на странице или на стороне клиента (подробнее rfc3985 3.5).

Фрагмент не отправляется на сервер через браузер. Также libcurl не посылает фрагмент части, as doc says:

Хотя пространство не является типично «легальным» письмом, Libcurl принимает их. Когда пользователь хочет передать символ «#» (хеш), он будет обработан в виде фрагмента и обрезаться libcurl, если он предоставлен буквально. Вам вместо этого нужно избежать его, предоставив его как обратную косую черту и его значение ASCII в шестнадцатеричном формате: «\ 23».

Вы могли бы заменить # с %23, а также, но сервер должен знать, как справиться с этим, скорее всего, это не так как это часть обрабатывается браузером.

Answer 2

Все после # называется «фрагментом», и оно обычно не отправляется на сервер. Вместо этого он доступен для использования браузером и javascript. На уровне HTTP http://some-site.com/#hash?&key=value эквивалентен http://some-site.com/. AsyncHTTPClient должен удалять фрагмент, если вы используете завиток или нет; разница, которую вы видите здесь, вероятно, является ошибкой.