Период хранения kinesis

Question

Я разработал приложение с Spark-streaming + Kinesis. Я начал свое приложение в 2015-10-30, и он работает. Я видел Сегодня (2015-11-02) Я перезапустил приложение, и он начал обрабатывать 2015-11-02. Почему? Период хранения? В Документах

«Вы можете увеличить срок хранения до 168 часов с помощью операции IncreaseRetentionPeriod»

Я попытался увеличить с помощью команды, как описано в документации

AWS KINESIS увеличение потока удержание -период --stream имя-XXXX --retention-период-часов 160

Но

Использование: aws [параметры] [параметры] aws: ошибка: операция с аргументом: неверный выбор, допустимые варианты: add-tags-to-stream | create-stream delete-stream | describe-stream get-records | get-shard-iterator list-streams | list-tags-for-stream слияния | положить запись положить записи | remove-tags-from-stream split-shard | wait help

Что мне делать для увеличения срока хранения ???

WBR, Слава

Answer 1

вам необходимо обновить AWS консоли, которые вы используете. вы, вероятно, используете более старую версию, которая не знает о новой опции команды.

@ Ответ az3 также стоит посмотреть, чтобы понять, почему вы получаете обработку, где находитесь в настоящее время. (он объясняет поведение, и я склонен согласиться :))

Answer 2

• Я не думаю, что это связано с периодом хранения. Если вы используете клиентскую библиотеку Kinesis (KCL), возможно, вы останетесь с последней обработанной позицией DynamoDB. Поэтому, если вы остановитесь и запустите свое приложение, оно будет продолжать работать с последней известной позиции.

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-ddb.html

• Если вы хотите, чтобы прочитать все предыдущие данные в осколок, вы должны обновить контрольно-пропускной пункт в DynamoDB к «TRIM_HORIZON».

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-additional-considerations.html

• Когда приложение видит TRIM_HORIZON, он будет считывать первые данные (примерно ~ 23 часов 55 минут до) в Kinesis Stream. Здесь вы можете найти больше о сохранении;

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-extended-retention.html