Деревья решений [отсечение правил]

[Slavik12]

Деревья решений [отсечение правил]

Нужно запрограммировать отсечение правил для деревьев решений [курсач], построение деревьев не проблема, - алгоритм имеется, а вот по отчечению правил - 0, в общем нужен алгоритм. Предмет - Машинное обучение.

 

[Hisp]

Мда, отсечение правил..
Что-то уже отсечено.

 

[Тыемураз]

Еще студентом один мой знакомый бредил желанием стать бизнесменом.
По окончании вуза,он женился ,двое детишек,работа.Казалось,все чики-чики.Но вот однажды вспомнил идеи студенчества и решился.
Он рубанул топором по отростку своему и выбросил в огород собакам.
Так он сделал отсечение правил,которые ограничивали его в стремлении стать состоятельным отцом своих детей.Кстати,работает в отрасли машиностроения.

 

[Achenar]

Есть смысл описать задачу более детально, что за отсечение, каких вариантов, по каким правилам и т.д.

 

[reg2]

Вариант 1 (для знающих английский) - спросить у Гугла (ключевые слова c4.5, CART)
Вариант 2 (для владеющих русским) - на ИНТУИТ ру записываемся на курс по "датамайнингу".

Конечно есть еще промежуточные варианты...

Удачи!

 

[Slavik12]

Метод rule-post pruning
Дерево строится с помощью алгоритма ID3 с выбором атрибута с помощью Gain Ratio
Язык C#
Суть алгоритма в чём (после построения дерева):

1. Infer the decision tree from the training set, growing the tree until the training
data is fit as well as possible and allowing overfitting to occur.
2. Convert the learned tree into an equivalent set of rules by creating one rule
for each path from the root node to a leaf node.
3. Prune (generalize) each rule by removing any preconditions that result in
improving its estimated accuracy.
4. Sort the pruned rules by their estimated accuracy, and consider them in this
sequence when classifying subsequent instances.

А теперь своими словами:
Преобразовать дерево в свод правил (путь от корневого узла к листве)
Потом убираем по одному из условий в правиле и смотрим как это отразилось на результате классификации выборки (если положительно, то оставляем правило без удалённого условия, если же нет, то возвращаем его назад).