Где карта-сокращение/hadoop входит в обучение машинного обучения?

Question

Map-reduce/hadoop идеально подходит для сбора информации из груды данных из разных ресурсов и организует их так, как мы хотим.

Но когда дело доходит до обучения, я чувствую, что мы должны сбрасывать все данные обучения в алгоритм (будь то SVN, логистическая регрессия или случайный лес) сразу, чтобы алгоритм мог придумать модель, в которой есть все. Может ли карта-уменьшить/получить помощь в учебной части? Если да, то как вообще?

Answer 1

Да. Существует множество реализаций MapReduce, таких как потоковая передача данных и даже некоторые простые инструменты, такие как Pig, которые можно использовать для обучения. Кроме того, существуют распределенные учебные инструменты, построенные на Map/Reduce, такие как vowpal wabbit (https://github.com/JohnLangford/vowpal_wabbit/wiki/Tutorial). Большая идея такого рода методов состоит в том, чтобы делать обучение на небольшой части данных (разделение на HDFS), а затем усреднять модели и коммутировать с каждым узлом. Таким образом, модель получает обновления непосредственно из подмоделей, построенных на части данных.