Как работает соединитель Hadoop или Spark для распределенных хранилищ данных?

Question

Spark имеет разъемы для различных баз данных и хранилищ данных.

Однако, что потребуется для создания соединителя для вашей собственной распределенной базы данных. Исходя из того, что я понимаю, Spark использует разъемы Hadoop для извлечения данных из распределенного хранилища данных. Я не смог найти хороший ресурс, чтобы понять, как работает соединитель Hadoop и как его можно сделать.

Я ищу, чтобы понять семантику соединителя Hadoop, чтобы иметь возможность создать его для моей пользовательской базы данных.

Answer 1

Вы должны осуществлять запись чтения с помощью Java с API Hadoop

Тогда Спарк будет иметь возможность использовать его

Мой предложение приемлемо будет начать с чтения книги Тома Уайта