Если я хочу использовать веб-службы Amazon для предоставления аппаратного обеспечения (ядра и памяти) для обработки большого количества данных, нужно ли загружать эти данные в AWS? Или я могу хранить данные в системе и арендовать оборудование?Загрузка данных необходима для облачных вычислений?
Да, для того, чтобы система, управляемая AWS, обрабатывала большой объем данных, вам необходимо будет загрузить данные в область AWS для обработки в какой-то момент. Насколько мне известно, AWS не арендует серверы в других физических местах (EDIT: на самом деле AWS имеет предложение для обработки данных на месте по состоянию на Nov 30 2016, см. Snowball Edge).
AWS предлагает множество услуг для получения больших объемов данных в своих центрах обработки данных (от базовой загрузки HTTP до физических рассылок дисков для прямого импорта данных), а лучший сервис для использования будет полностью зависеть от ваш конкретный вариант использования, потребности и бюджет. См. Обзорную страницу по адресу Cloud Data Migration для обзора различных услуг и помощи в выборе наиболее подходящего сервиса.
В идеале данные близки к вычислению, например. в S3 или на EC2 объемах EBS. Какие услуги AWS вы планируете использовать? Сколько данных? Некоторые службы AWS требуют, чтобы данные были в AWS, но не во всех. Если доступ к данным через Интернет (VPN-туннель? Прямое подключение?), И вы в порядке с увеличенной задержкой и уменьшенной пропускной способностью, тогда вы можете быть в порядке. Нужна дополнительная информация. – jarmod
О, мы просто делаем мозговой штурм о том, что мы можем сделать 100% -ную обработку всех наших данных своевременно. Сейчас мы делаем статистически значимый объем обработки, просто потому, что к тому времени, когда больше данных поступает из коллекции, нам нужны доступные системы. В течение сезона сбора данных мы обрабатываем около 1,5 ТБ данных в неделю, что составляет около 25 ТБ в год. В конце сезона сбора данные затем экспортируются на серверы как веб-служба интрасети для других в нашей организации. –
Я считаю, что подключение к Интернету у нас в нашем офисе составляет 100 мегабайт/с. –