Есть ли способ реплицировать данные с SQL Server на Hadoop, аналогичные собственной репликации транзакций между двумя базами данных SQL Server?Репликация SQL Server до Hadoop
Я не уверен, что Microsoft разработала такой механизм, в котором инкрементные данные могут быть реплицированы с SQL Server на HAdoop в реальном времени из журналов транзакций SQL Server.
Любой ответ будет оценен.
То же самое, что я пытаюсь сделать с CDC. Вы можете попробовать собственный подход CDC к Teland.
Вы можете скачать Hortonworks - Talend песочницу из http://www.talend.com/talend-big-data-sandbox
Я не знаю особенность подобного тому, что вы ищете, но есть несколько вещей, которые вы должны рассмотреть следующие вопросы:
Если вы используете обычный Hadoop (HDFS + M/R) вы должны скопировать большие куски данных (64 МБ/128 Мб/256 МБ - вообще говоря, размер блоков HDFS).
Если вы хотите вставить данные в реальном времени в Hadoop, вы должны рассмотреть hbase (и это усложняет ситуацию как на уровне ИТ, так и на уровне программирования).
В дополнение к вводу данных вы также хотите реплицировать изменения данных (например, обновление, удаление)? Если это так, единственным вариантом будет hbase.
Я бы попытался использовать код CDC + (в хранимых процедурах CLR или в SSIS) для реализации такого механизма.