Соответствующие записи между таблицей Hive и таблицей Netezza

Question

Это мой первый вопрос здесь, и я был бы очень благодарен, если бы y'all мог мне помочь.

Я запустил импорт sqoop для переноса стола из Netezza в Hive. Теперь мне нужно сопоставить записи из таблицы Netezza с таблицей Hive, чтобы проверить, что все записи были успешно импортированы в улей. Мне нужно убедиться, что каждая запись одной таблицы сопоставляется с другой, а также обнаруживает непревзойденные записи, если они есть. Мой руководитель проекта предложил использовать сценарий для фильтрации непревзойденных записей и вставки в новые таблицы. (Соедините обе таблицы с помощью уникального ключа и используйте «где», чтобы отфильтровать несогласованные записи). Проблема в том, что я новичок в Hadoop и не знаю, как это сделать.

Не могли бы вы помочь?

Answer 1

Первым делом вы можете запустить запрос SELECT, чтобы подсчитать количество ребер на импортированной таблице Hive.

select count(*) from hive_table; 

Если отсчеты не совпадают между таблицей Netezza и улья таблицы, то вам необходимо сначала проверить журналы, которые генерируются во время Sqoop импорта. Это даст вам представление о том, почему реплики не были загружены.