AWS s3 Ls Операция чтения таймаута

Я стараюсь, чтобы получить огромный список файлов из AWS S3 ведра с этой командой:AWS s3 Ls Операция чтения таймаута

aws s3 ls --human-readable --recursive my-directory

Этот каталог содержит десятки тысяч файлов, так иногда, после того, как Длинная пауза, я получаю эту ошибку:

('The read operation timed out',)

Я попытался параметр --page-size с разными значениями, но это не помогло. Как я могу исправить эту ошибку?

источник

2016-07-11 Denis Shevchenko

Я вижу две потенциальные причины = 1) https://forums.aws.amazon.com/thread.jspa?threadID=161807 - исходит из проблемы с системным уровнем (ядро Linux) и 2) не с новой версией cli-инструмента. – Rinat

Спасибо, Ринат. Моя версия - 'aws-cli/1.10.41 Python/2.7.11 + Linux/4.4.0-28-generic botocore/1.4.31', на Ubuntu 16.04. –

То же самое произошло со мной (вот почему я здесь). Мне просто нужно было запустить его еще пару раз, и это сработало. Я не говорю, что это решение, но, возможно, это только временная неисправность. –

-1

Не разумно читать огромные данные в распределенной системе. Это блок как на сервере, так и на клиенте.

Если у вас есть образец того, как хранятся данные, попробуйте запустить их параллельно, а затем добавить в один файл.

Е.Г.,

AWS s3 Ls s3: // ведро/год/месяц --recursive

Надеется, что это помогает.

источник

2017-10-03 00:38:45 Kannaiyan

AWS s3 Ls Операция чтения таймаута

ответ

Смежные вопросы