Система большого объема SVM (машинное обучение)

Question

Я работаю над возможным проектом машинного обучения, который, как ожидается, будет выполнять высокоскоростные вычисления для машинного обучения с использованием SVM (поддерживающих векторных машин) и, возможно, некоторых ANN.

Я уверенно работаю над ними с помощью Matlab, но только в небольших наборах данных, просто для экспериментов. Мне интересно, будет ли этот подход на основе Matlab масштабироваться? или я должен смотреть на что-то еще? C++/gpu на основе вычислений? java wrapping кода matlab и нажатие его на движок приложения?

Кстати, похоже, что на графических процессорах много интересного, но мало что можно сказать о том, насколько они полезны для приложений машинного обучения с использованием Matlab, &. Самые дешевые CUDA с поддержкой GPU можно купить? это даже стоит проблемы?

Answer 1

Оба libsvm и SVM light имеют интерфейсы matlab. Кроме того, большинство обучающих задач тривиально параллельны, поэтому взгляните на команды matlab, такие как parfor и остальную часть Parallel Computing Toolbox.

Answer 2

Я работаю над проблемами распознавания образов. Позвольте мне, пожалуйста, дать вам несколько советов, если вы планируете эффективно работать над проблемами SVM/ANN и если у вас нет доступа к компьютерному кластеру:

1) Не используйте Matlab. Используйте Python и его большое количество числовых библиотек вместо этого для визуализации/анализа ваших вычислений.
2) Критические разделы лучше реализовать с помощью C. Вы можете легко интегрировать их с вашими скриптами Python.
3) CUDA/GPU не является решением, если вы в основном имеете дело с проблемами нелиномической сложности времени, что характерно для машинного обучения, поэтому оно не приносит большого ускорения; dot/matrix - всего лишь крошечная часть расчетов SVM - вам все равно придется иметь дело с экстрактами функций и обработкой списков/объектов, вместо этого попытайтесь оптимизировать алгоритмы и разработать эффективные алгоритмические методы. Если вам нужен параллелизм (например, для ANN), используйте потоки или процессы.
4) Используйте компилятор GCC для компиляции вашей C-программы - он построит очень быстрый исполняемый код. Чтобы ускорить численные вычисления, вы можете попробовать использовать флаги оптимизации GCC (например, потоковые SIMD-расширения)
5) Запустите свою программу на любом современном процессоре под ОС Linux.

Для обеспечения отличной производительности используйте кластеры Linux.

Answer 3

Я бы посоветовал использовать Matlab для чего-либо, кроме прототипирования. Когда проект станет более сложным и обширным, пропорция вашего собственного кода будет расти в сравнении с функциональностью, предоставляемой матрицами и инструментами. Чем более развит проект, тем меньше вы получаете пользу от matlab и тем больше вам нужны функции, библиотеки и - более импортованные - практики, процессы и инструменты языков общего назначения.

Масштабирование решения matlab достигается путем взаимодействия с кодом, отличным от matlab, и я видел, что проект matlab превращается в нечто большее, чем модули для склеивания, написанные на многоцелевых языках. Вызвать каждодневные боли для всех участников.

Если вам нравится Java, я бы рекомендовал использовать его вместе с некоторой хорошей математической библиотекой (по крайней мере, вы всегда можете использовать интерфейс MKL). Даже с недавними оптимизациями Matlab MKL + JVM намного быстрее - масштабирование и ремонтопригодность не поддаются сравнению.

C++ с конкретными характеристиками процессора может обеспечить лучшую производительность, но по цене времени разработки и ремонтопригодности. Добавление CUDA повышает производительность, но объем работы и конкретных знаний вряд ли стоит того.Разумеется, нет, если у вас нет опыта работы с графическими вычислениями. Как только вы выходите за пределы одного процессора, гораздо эффективнее добавить еще один процессор или два в систему, чем бороться с вычислениями графического процессора.

Answer 4

Ничто в настоящее время не будет превышать лимит. У libsvm есть инструмент для выбора подмножества, чтобы выбрать набор точек данных для обучения. забыть об ANN, он не будет обобщать и не существует теории, которая бы помогала выбирать количество скрытых узлов и т. д. Она должна быть вручную оптимизирована и может попасть в локальные минимумы. Идите только с SVM

Answer 5

Здесь вы можете найти некоторые Полупараметрические approxiamtions, которые могут работать с высокой volúmen данных очень быстро:

http://www.dabi.temple.edu/budgetedsvm/

https://robedm.github.io/LIBIRWLS/