При поиске клиента python для Hadoop я нашел два модуля pydoop и hadoopy. Кажется, что оба они достаточно хороши для работы, но не уверены, какие из них имеют больше преимуществ, чем другие, чтобы установить их.pydoop vs hadoopy - hadoop python client
Наиболее полная документация этого, я думаю, http://blog.cloudera.com/blog/2013/01/a-guide-to-python-frameworks-for-hadoop/
В последнее время, я действительно думаю, что mrjob вышел вперед, как явный лидер. У него очень активный список рассылки, и он выглядит относительно стабильным и современным. Он также имеет приятную интеграцию с Amazon EMR.