У меня большой объем данных (~ 20 ТБ) в хранилище Azure blob, который я хочу получить от установки Spark-кластера в Amazon EMR. Каков наилучший способ сделать это? Передаёт ли эти данные только S3 единственному варианту? Если да, то какой самый дешевый способ передать эти данные на S3?Доступ к хранилищу Azure blob в Amazon EMR
Спасибо!
На основании вашего описания у вас есть данные о 20TB, которые необходимо передать на Amazon S3. Я не знаком с Amazon. Но в Azure мы будем платить за передачу данных. Вот pricing site. Например, вам нужно $ 0,08 за ГБ. 20 * 1024 * 0.08 = $ 1638.4. Это очень дорого. Я бы предложил вам рассмотреть другие подходы. Если вам вообще не нужны деньги, попробуйте найти инструмент в Google или напишите свой собственный код для передачи этих данных.