GCS uploadHanders экстремальная латентность

Question

Есть ли способ уменьшить задержку загрузки GCS? Могу ли я каким-то образом ускорить облачное хранилище для более высокой скорости?

Если я создаю uploadHandler через GAE

blobstore.create_upload_url('/upload', gs_bucket_name='bucket_name') 

Это создает URL, как это: /_ah/upload/AMmfu6ay12yQDxuTOEjUh5...c-J09am7J4r

Небольшой пост к этому URL (120KB) результаты в этой шкале: (8 секунд задержки!)

Blocking : 2.000 ms 
Sending : 241.000 ms 
Waiting : 8.22 S 
Receiving : 1.000 ms 

Но проводки и тот же файл на GAE себя и используя облачное хранилище данных SDK написать blob для GCS. Я получаю эту временную шкалу:

Blocking : 2.000 ms 
Sending : 221.000 ms 
Waiting : 2.62 S 
Receiving : 1.000 ms 

Почему это радикальное различие? Какие параметры я могу настроить, чтобы уменьшить латентность? Было бы здорово пропустить дополнительную нагрузку на мои интерфейсные модули GAE, доза у кого-нибудь есть опыт в GCS, когда скорость важна?

Answer 1

Это можно объяснить, думая об инфраструктуре:

1. Когда вы размещаете свои данные в URL загрузки Blobstore, он отправляется через обработчики Blobstore, а затем на хранение ГКС.
2. Когда вы отправляете свои данные в blobstore без параметров GCS, это происходит быстрее, потому что хранилище blob (со скоростей, похоже, отличается от GCS), «ближе» к обработчику, чем к GCS (делать какие-либо выводы вы будете об инфраструктуре, основанной на этих временных различиях и всей известной информации о GCS/blobstore)
3. Когда вы помещаете свои данные в GCS из GAE, это гораздо ближе к тому, где это должно быть - оно находится в центре обработки данных, внутри сети Google. Конечно, вы все еще дожидаетесь загрузки в GAE.

Вы можете посмотреть в Regional Buckets, но имейте в виду, что это альфа и может измениться в любое время, поэтому, вероятно, лучше всего не основывать ваше производство на нем. Вы всегда можете указать look into support, если у вас возникла нечетная проблема.