Создание нескольких выходных файлов одинакового размера в Hadoop

Question

Каковы методы поиска диапазонов данных X в Hadoop, чтобы можно было использовать эти диапазоны в качестве разделов на этапе редуктора?

Answer 1

Похоже, вам нужно что-то вроде TotalOrderPartitioner, что позволяет получить полный порядок, считывая точки разделения из источника, генерируемого извне. Вы можете найти эту ссылку полезной: http://chasebradford.wordpress.com/2010/12/12/reusable-total-order-sorting-in-hadoop/.

Не знаете, действительно ли это именно то, что вам нужно? Извиняюсь, если я ошибаюсь.