Переход от AWS S3 к ошибкам Google-Cloud-Storage «UNKNOWN»

Question

Я использую инструмент «Передача», предоставленный в веб-панели/консоли GCS, чтобы запланировать копию файлов резервных копий с S3 на GCS.

В журналах переноса GCS отображается «UNKNOWN: (показано 5 из 241 сбоев)». В файлах с отказами нет ничего другого. Те же 241 файл не работают при каждой запланированной передаче. Есть ли где-нибудь я могу получить сообщение об ошибке?

Я уже проверил:

• Есть более 1,5 миллиона других файлов успешно скопированные до и после этих неудач. т. е. эти сбои не относятся к началу или концу списка передач и не являются последовательными.
• Размеры файлов не слишком велики. Размер неудачных передач варьируется от 100 КБ до 7 МБ.
• Имена файлов допускают специальные символы, например. _ - пробелы, эти символы присутствуют в неудачных передачах и успешных переводах.
• Неверные файлы имеют одинаковые разрешения, как успешно переданные файлы.
• Политика пользователя IAM, используемого в передаче, передает все действия в ведро S3.
• Подтвержденная политика IAM с использованием того же токена доступа и секрет с s3cmd.
• Проверено журналы доступа S3 для получения дополнительной информации/ошибок ... показывает статус http 206 как для успешных передач, так и для неудачных передач. (Не статус http, который я ожидал бы, но то же самое относится к успешным и неудачным переводам)

Answer 1

Есть несколько вещей, которые могут вызвать ошибки UNKNOWN. Некоторые из них являются временными проблемами в сервисе (в этом случае вы должны повторно запустить передачу - только новые/измененные объекты будут скопированы во второй раз).

В других случаях это может быть причуды в ваших исходных объектах. Например, служба будет отклонять объекты, которые не имеют Content-Type, который соответствует RFC 1341. В частности, он должен соответствовать шаблону / с дополнительными ограничениями. См. What are all the possible values for HTTP "Content-Type" header?