Как мы можем разработать прокси для HDFS (распределенная файловая система Hadoop)

Question

Я работаю над исследовательским проектом, в котором мне нужно создать какой-то прокси для HDFS, чтобы мы могли уловить вызов HDFS и применить некоторый доступ/запрет (файлов), прежде чем вернуть его пользователям. Для интерфейсов для HDFS, таких как HttpF и WebHDFS, легко создавать прокси-системы, поскольку они используют HTTP для связи с клиентом. Но драйвер HDFS использует протоколы, определенные с помощью буферов протокола, для связи между клиентом и namenode. Есть ли какой-либо крючок в коде HDFS для создания прокси-сервера вокруг собственных протоколов HDFS. Версия Hadoop для этого - 2.6.

Answer 1

внешний (периметр) безопасность как вы упоминаете для WebHDFS - это одно. Вы можете расширить это для отправки заданий и т. Д. (На самом деле это уже сделано, см. apache knox)

Другое это не прокси, а альтернативная реализация класса FileSystem. Is также было реализовано несколько раз - Вы можете увидеть дополнительную информацию here

Answer 2

Apache Knox может быть или не быть тем, что вы ищете. Однако ответ Арнона не содержит правильного URL. Пожалуйста, смотрите: http://knox.apache.org/

У нас нет списков управления доступом на уровне файлов, встроенных в предоставленной провайдером авторизации, но вы можете создать собственный поставщик и разъем, в

Имейте в виду, что Нокс является прокси-сервер для доступа WebHDFS и. не входит в игру для доступа к файлам напрямую через HDFS.

Поэтому любые проверки авторизации, которые выполняются на шлюзе, не будут выполняться при непосредственном доступе к одним и тем же файлам. Вот почему мы обычно проверяем авторизацию уровня обслуживания на шлюзе и оставляем мелкие проверки авторизации на самом ресурсе.

Надеюсь, это полезно для вас.