Scrapy with S3 support

Question

Я борется последние пару часов, но, похоже, здесь слеп. Я пытаюсь установить связь между scrapy и Amazon S3, но продолжаю получать ошибку, что ведро не существует (он делает, проверял дюжину раз).

---

Сообщение об ошибке:

2016-11-01 22:58:08 [scrapy] ERROR: Error storing csv feed (30 items) in: s3://onvista.s3-website.eu-central-1.amazonaws.com/feeds/vista/2016-11-01T21-57-21.csv 

в сочетании с

botocore.exceptions.ClientError: An error occurred (NoSuchBucket) when calling the PutObject operation: The specified bucket does not exist 

---

Мой settings.py:

ITEM_PIPELINES = { 
    'onvista.pipelines.OnvistaPipeline': 300, 
    #'scrapy.pipelines.files.S3FilesStore': 600 
} 

AWS_ACCESS_KEY_ID = 'key' 
AWS_SECRET_ACCESS_KEY = 'secret' 
FEED_URI = 's3://onvista.s3-website.eu-central-1.amazonaws.com/feeds/%(name)s/%(time)s.csv' 

FEED_FORMAT = 'csv' 

---

У кого-нибудь есть работа для меня, чтобы заглянуть?

Answer 1

Вместо ссылки на ведро Amazon S3 через его URL-адрес зарегистрированного URL-адреса, обратитесь к нему по имени.

scrapy Feed Exports документация дает пример:

s3://mybucket/scraping/feeds/%(name)s/%(time)s.json 

В вашем случае, что бы сделать это:

s3://onvista/feeds/%(name)s/%(time)s.json