hadoop hbase сравнение строк та же таблица

Question

Я хочу написать карту-сокращение или несколько, чтобы сравнивать строки друг с другом.

Я не могу понять, как написать это, не делая все в редукторе.

С миллионными рядами это может занять много времени, чтобы сравнить весь набор данных с eachother. как я могу это достичь?

Меня не волнует PIG. Это простой случай, который я продлю (что-то я не могу сделать в PIG)

Answer 1

Некоторые вопросы, которые необходимо задать: 1. Вы хотите сравнить до последней записи? 2. Если да, то выше, может быть, я боюсь, что у вас нет выбора, кроме как в зависимости от редуктора, чтобы получить целые данные. 3. Если ответ отрицательный, и вы хотите пропустить остальную часть набора, когда конкретное сравнение сделанный и удовлетворенный, тогда вы можете проверить, что на карте он сам и не пишет ничего для вывода карты. Тем не менее, все еще будут работать другие карты, так что может быть в этом случае, вы должны выйти из задания, как только сравнение удастся