задержка экземпляра в Google App Engine

Question

Я запускаю бесплатное приложение и используя 1 max idle-экземпляр, используя среду выполнения Python от GAE.

Согласно http://code.google.com/appengine/docs/adminconsole/instances.html,

задержки вашего приложения оказывает наибольшее влияние на количество экземпляров, необходимых для обслуживания трафика. Если вы быстро запрашиваете запросы , один экземпляр может обрабатывать множество запросов.

Это, по-видимому, указывает на то, что регулировка ползунка в «Настройках приложения» с минимальной задержкой была бы лучше всего.

Однако, по словам http://code.google.com/appengine/docs/adminconsole/performancesettings.html#Setting_the_Minimum_Pending_Latency,

, похоже, имеющий высокую латентность хорошо для предотвращения нагрузки шипы от раскручивания новых экземпляров.

Так что латентность в основном представляет собой компромисс между способностью реагировать на запросы шипов (высокая латентность) по сравнению с количеством запросов, обрабатываемых за данный период времени (низкая латентность)?

Answer 1

«Ожидаемая латентность» относится к тому, как долго запрос может находиться в очереди до того, как App Engine решит развернуть другой экземпляр. Если во время поступления запроса все экземпляры вашего приложения заняты, запрос будет ждать в очереди, которая будет обрабатываться следующим доступным экземпляром. Если он находится за пределами минимума, App Engine может решить запустить новый экземпляр для обработки запроса. (Существует также максимальная ожидаемая настройка задержки, которую вы можете настроить.)

Минимальная ожидаемая латентность настраивается, поскольку запуск нового экземпляра требует времени и затрат. Большее минимальное ожидаемое время ожидания означает, что App Engine будет удерживать ожидающие запросы дольше (и заставлять их ждать) перед запуском новых экземпляров, предпочитая стоимость экземпляра способности обрабатывать больше трафика. Меньшая минимальная ожидаемая латентность означает, что App Engine будет запускать новые экземпляры чаще, по мере того, как трафик забирается.

Термин «латентность» просто означает, сколько времени требуется, чтобы приложение отвечало на запрос. Чем быстрее ваше приложение сможет отвечать на запросы, тем больше запросов обрабатывает один экземпляр, и чем короче очередь запросов, как правило, будет. Более низкая латентность всегда хороша, но приложение может делать то, что нужно делать быстро.