Внедрение SVM, scikits учит сокращению времени работы, быстрее svm

Question

Я работаю с scikit-learn по созданию некоторых интеллектуальных моделей с SVM. У меня есть набор данных с около 5000 примерами и около 700 функций. Я в 5 раз перекрестно проверяю с помощью сеттинга 18x17 на моем тренировочном наборе, а затем используя оптимальные параметры для своего тестового набора. пробежки идут намного дольше, чем я ожидал, и я заметил следующее:

1) Некоторые отдельные итерации по обработке SVM, кажется, занимают всего одну минуту, в то время как другие могут занимать до 15 минут. Ожидается ли это с использованием разных данных и параметров (C и гамма, я использую ядро ​​rbf)?

2) Я пытаюсь использовать 64-битный python для Windows, чтобы воспользоваться дополнительной памятью, но все мои процессы на python, похоже, находятся на 1 гиге в моем диспетчере задач, я не знаю, имеет ли это что-либо делать с временем выполнения.

3) Я использовал 32bit до и работал примерно на одном наборе данных, и я помню (хотя я не сэкономил результаты), это было довольно быстро. Я использовал стороннюю сборку scikit-learn для 64-битных окон, поэтому я не знаю, лучше ли попробовать это на 32-битном питоне? (источник http://www.lfd.uci.edu/~gohlke/pythonlibs/)

Любые предложения о том, как я могу сократить время выполнения, будут очень признательны. Я предполагаю, что сокращение поискового пространства моего поиска по сетке поможет, но поскольку я не уверен даже в диапазоне оптимальных параметров, я бы хотел сохранить его настолько большим, насколько могу. Если есть более быстрые реализации SVM, сообщите мне, и я могу попробовать их.

Приложение: Я вернулся и снова попытался запустить 32-битную версию. По какой-то причине это намного быстрее. Потребовалось около 3 часов, чтобы добраться до 64-битной версии до 16 часов. Почему такая разница?

Answer 1

1) Ожидается: небольшая гамма и малая регуляризация будут выбирать больше векторов поддержки, поэтому модель будет более сложной и дольше подходящей.

2) Существует аргумент cache_size, который будет передан в базовую библиотеку libsvm. Однако, в зависимости от ваших данных, libsvm может использовать или не использовать весь доступный кэш.

3) Не знаю. Я запускаю более длительные эксперименты на обеих платформах, пожалуйста, сообщите о своих выводах в списках рассылки проекта. Это может заслуживать дальнейшего изучения.

Сначала проверьте, что вы нормализировали свои функции (например, удалите среднюю и масштабную функции по отклонениям, если ваши данные представляют собой плотный массив numpy). Для разреженных данных просто масштабируйте функции (или используйте преобразование TF-IDF для текстовых данных, например). См. Документ preprocessing section документа.

Затем вы должны начать с грубой сетки (с большими логарифмическими шагами), скажем, сетки 3x3, а затем сосредоточиться на интересных областях, переназначив сетку 3x3 на этой области. В общем случае сетка параметров SVM с параметрами C x равна quite smooth.

Answer 2

SGD очень быстро, но 1) линейный только не RBF, 2) параметры альфа eta0 ... что я понятия не имею, как изменять: к специалисту, О. Грисель.

На 32 против 64 бит питона (?, Какое оборудование, какая версия ру), я понятия не имею, но это может быть стоит общий вопрос о SO - должны быть эталонные наборы. Можете ли вы видеть использование ЦП> 90%, подсчет сборок?

Answer 3

Если вы можете себе это позволить, рассмотреть вопрос об использовании LinearSVC: libsvm основе СТК имеют сложность обучения между O(n_features * n_samples^2) и O(n_features * n_samples^3), а LinearSVC (на основе liblinear) имеет O(n_features*n_samples) обучения сложности и O(n_features) тест сложности.