Местоположение данных для Hadoop в облачных вычислениях

Question

В настоящее время Hadoop достигает локальности данных, назначая задачи узлу, который содержит данные или находится рядом с тем, который работает (например, с той же стойкой). Однако мне интересно, может ли такая же концепция применяться в облачных вычислениях, в которой Hadoop развертывается на множестве виртуальных машин, поскольку информация о физических уровнях, например. какие физические машины в настоящее время размещают эти виртуальные машины, могут быть недоступны.

Answer 1

В большинстве облачных средах вы полностью теряете преимущества Hadoop в области данных, так как хранилище обычно подключено к вашим виртуальным машинам.

Есть несколько виртуальных расширений для Hadoop, которые позволяют указывать виртуальные хосты, которые используют одну и ту же физическую инфраструктуру (то есть память и вычислить), так что Hadoop может быть «виртуальным знанием» базового оборудования, но они имеют тенденцию существуют только в 1) частных облачных облаках или (более вероятно) 2) среды Hadoop PaaS.