Hadoop Streaming с TextInputFormat и Python - отслеживать номер строки

Question

Я пытаюсь вычислить сумму для каждой диагонали на квадратной матрице. Я использую потоки Python и Hadoop, но я не могу найти способ настроить потоки Hadoop для получения смещения для каждой строки, как говорит this guy, используя TextInputFormat.

Есть еще question на StackOverflow, просящие одно и то же, но ответа на вопрос о том, как это сделать, нет. И hadoop doc говорит что-то об отбрасывании keys of LongWritable class, но я не уверен, что это смещение.

Как настроить задание для получения смещения? Должен ли я создать новый класс из TextInputFormat и не возвращать LongWritable? Как это сделать, если я не знаю Java? Спасибо

Answer 1

Я сделал еще несколько исследований по StackOverflow, и есть еще один парень, спрашивающий same thing, но никто не ответил, хотя он говорит, что работает -inputformat org.apache.hadoop.mapred.lib.NLineInputFormat, но для завершения задания требуется много времени.

Я знаю, что на этот вопрос может быть гораздо лучший ответ, но пока кто-то не ответит, это достаточно хорошо.