Стратегия резервного копирования для загруженных пользователем файлов на Amazon S3?

Question

Мы переходим от хранения всех загруженных пользователем файлов на наших серверах, используя Amazon S3. Это ок. 300 ГБ файлов.

Каков наилучший способ сохранить резервную копию всех файлов? Я видел несколько различных предложений:

• Копировать ведро в ведро в другом месте S3
управления версиями
• резервного копирования на EBS с EC2

Плюсы/минусы? Лучшая практика?

Answer 1

Каков наилучший способ сохранить резервную копию всех файлов?

В теории вам не нужно. S3 никогда не терял ни одного бита за все эти годы. Ваши данные уже хранятся в нескольких центрах обработки данных.

Если вы действительно беспокоитесь о случайном удалении файлов, используйте клавиши IAM. Для каждого пользователя IAM отключите операцию удаления. И/или включите управление версиями и удалите пользователя IAM для выполнения реальных удалений.

Если вам по-прежнему нужна резервная копия, EBS или S3 довольно тривиальны: просто запустите программу S3 Sync для синхронизации между ведрами или диском EBS. (Их очень много, и писать тривиально.) Обратите внимание, что вы платите за неиспользуемое пространство на вашем диске EBS, поэтому, вероятно, это будет дороже, если вы будете расти. Я бы не использовал EBS, если вы действительно не использовали локальный доступ к файлам.

Восходящий момент синхронизации S3 позволяет быстро переключить приложение на другой ковш.

Вы также можете использовать Glacier для резервного копирования ваших файлов, но у этого есть серьезные ограничения.

Answer 2

ИМХО, резервное копирование на другое ведро S3 в другом Наличие зоны (следовательно Bucket) является лучшим способом пойти:

• У вас уже есть инфраструктура для манипулирования S3, так что небольшие изменения, чтобы сделать
• Это гарантирует, что в случае катастрофического отказа S3, резервная копия AZ не будет затронута

Другие решения имеют свои недостатки, это не имеет:

• Управление версиями не является катастрофическим доказательством отказа
• Для резервного копирования EBS требуется конкретная реализация для управления этими резервными копиями непосредственно на диске.

Answer 3

Я не пробовал это сам, но Amazon есть возможность управления версиями, которые могли бы решить свои страхи резервного копирования - см: http://aws.amazon.com/about-aws/whats-new/2010/02/08/versioning-feature-for-amazon-s3-now-available/

Answer 4

1. Скопируйте ведро в ведро в другом месте S3: Это может оказаться необходимым, поскольку S3 уже достиг шесть «9» надежного путь резервного копирования избыточности.Люди, которые хотят получить доступ к данным, доступным во всем мире, могут сделать копию ведер в другом центре обработки данных. Итак, если вы не хотите избежать какой-то невероятной катастрофы типа «911», то вы можете сделать копию в Токийском центре обработки данных для ведер в Нью-Йорке. Однако в одном и том же дата-центре копирование ведер в разные ковши дает вам очень небольшую помощь, когда при одном и том же центре обработки данных происходит катастрофа.
2. Versioning Это помогает вам добиться эффективности хранения, экономя избыточность и помогает быстрее восстанавливать. Определенно это хороший выбор.
3. Резервное копирование на EBS с EC2 Вероятно, вы НИКОГДА не будете этого делать, потому что EBS - это очень дорогое/быстрое хранилище в AWS по сравнению с S3. И его основная цель - резервное копирование изображения EC2 для более быстрой загрузки. EC2 - вычислительный экземпляр, который не имеет ничего общего с хранилищем или S3. Это совершенно не имеет значения, и я не вижу смысла вводить EC2 в резервное копирование данных.