выбор функции в методе обертки и фильтрация информации?

Question

я вижу один пример в старой середине экзамен от хорошо известного человека Tom Mitchell следующим образом:

Рассмотрим изучение классифицирует эр в ситуации с 1000 имеется всего. 50 из них действительно информативны относительно класса. Еще 50 функций: прямые копии первых 50 функций. Окончание 900 функций не является информативным. Предположим, что имеется достаточно данных, чтобы достоверно оценить, насколько полезны функции , а методы выбора функций используют хорошие пороговые значения .

How many features will be selected by mutual information filtering? 

Решение: 100

How many features will be selected by a wrapper method? 

раствор: 50

Моя задача состоит в том, как достигается это решение? Я много пытаюсь, но не мог понять идею этого.

Answer 1

How many features will be selected by mutual information filtering? 

Взаимная информация функция выбора оценивает кандидатуру каждой функции независимо друг от друга. Поскольку существует по существу 100 функций, которые действительно информативны, мы получим 100 функций путем взаимной фильтрации информации.

How many features will be selected by a wrapper method? 

Способ обертка оценивает подмножество функций, таким образом, он принимает взаимодействия между объектами во внимание. Поскольку 50 функций являются прямыми копиями других 50 функций, способ обертки может обнаружить, что обусловлен первых 50 функциями, второй набор из 50 функций не добавляет дополнительную информацию. После фильтрации мы закончили с 50 функциями. Предположим, что первый набор из 50 функций - A1, A2, ..., A50, а копия 50 функций - C1, C2, ..., C50. Конечный результат выбранных функций может выглядеть следующим образом:

A1, C2, A3, A4, C5, C6, ..., A48, A49, C50. 

Таким образом, каждый уникальной функции должна иметь только одно вхождение (либо из набора функций A или из набора функций C).

Answer 2

Сколько функций будет выбрано путем взаимной фильтрации информации?

Если мы рассмотрим вопрос, у нас должно быть только 50 выбранных функций. Но эта фильтрация основана на корреляции с переменной для прогнозирования. Кроме того, один из основных недостатков - фильтрация взаимной информации - , они имеют тенденцию выбирать избыточные переменные, потому что они не учитывают отношения между переменными.

Сколько функций будет выбрано методом обертки?

Рассматривайте его как эвристический подход к поиску пространства всех возможных подмножеств объектов. По определению «Метод обертки оценивает подмножество функций, поэтому учитывает взаимодействие между функциями."

Пример: Hill Climbing, т.е. продолжать добавлять функции по одному за раз, пока дальнейшее улучшение не может быть достигнуто

Поскольку у нас есть 50 функции, которые имеют наибольшее количество информации, другие 50 копию. прежняя и 900 функция являются или не используются, поэтому мы получаем только 50 функций.