искру Нет такого файла или каталога

Question

Вот мой код:

s3.textFile("s3n://data/hadoop/data_log/req/20160618/*") 
.map(doMap) 
.saveAsTextFile() 

искра 1.4.1, автономный кластер

Иногда (не всегда, это важно) он выдает эту ошибку:

[2016-09-13 03:22:51,545: ERROR/Worker-1] err: java.io.FileNotFoundException: 
No such file or directory 
's3n://data/hadoop/data_log/req/20160618/hadoop.req.2016061811.log.0.gz' 

Но когда я использую

aws s3 ls s3://data/hadoop/data_log/req/20160618/hadoop.req.2016061811.log.0.gz 

Файл существует.

Как избежать этой проблемы?

Answer 1

Проблема с s3 консистенцией. Несмотря на то, что файл указан, он не существует. Попробуйте файл aws s3 cp, и вы получите то же исключение.

«Консистенция после записи сохраняется только для GETS новых объектов - LISTS может не содержать новые объекты до тех пор, пока изменение не будет полностью распространено».

Is listing Amazon S3 objects a strong consistency operation or eventual consistency operation?