В соответствии с documentation считывание коротких замыканий происходит быстрее, так как они не проходят через узел данных. Если это так, тоHDFS Короткое замыкание
Посмотрите на эту статью: http://blog.cloudera.com/blog/2013/08/how-improved-short-circuit-local-reads-bring-better-performance-and-security-to-hadoop/
Резюме статьи:
Одним из основных недостатком первоначальной реализации является то, что он ввинчивается с последствиями для безопасности. Он должен был предоставлять клиентам прямой доступ к файлам данных. Я думаю, это было плохо для hbers, разрешенных kerberos.
Новая реализация передает вместо этого дескриптор файла, который предположительно является более безопасным и быстрым.
Я думаю, что были некоторые недостатки старого метода. Я не вижу, какие минусы относятся к новому методу. Я не мог найти окончательного ответа, в какой версии Hadoop появился новый метод.
Хороший вопрос. Я не знаю, почему он не включен по умолчанию. Я никогда не сталкивался с ситуацией, когда считывание коротких замыканий было плохим. –