17. 결정 트리 - 클래스 확률 추정, CART 훈련 알고리즘, 계산 복잡도

 < 클래스 확률 추정 >

결정 트리는 한 샘플이 특정 클래스 k에 속할 확률을 추정할 수도 있다. 먼저 이 샘플에 대해 리프 노드를 찾기 위해 트리를 탐색하고 그 노드에 있는 클래스 k의 훈련 샘플의 비율을 반환한다.

tree_clf.predict_proba([[5,1.5]])

 

 

< CART 훈련 알고리즘>

 사이킷런은 결정 트리를 훈련시키기 위해 CART 알고리즘을 사용한다. 먼저 훈련 세트를 하나의 특성 k의 임계값 tk를 사용해 두개의 서브셋으로 나눈다. 어떻게 k와 tk를 고를까? 크게이 따른 가중치가 적용된 가장 순수한 서브셋으로 나눌 수 있는 (k,tk) 짝을 찾는다. 이 알고리즘이 최소화해야 하는 비용함수는 다음 식과 같다.

 

< 계산 복잡도 >