19. 결정 트리 - 회귀, 불안정성

<회귀> 

결정 트리는 회귀 문제에도 사용할 수 있다. 사이킷런의 DecisionTreeRegressor를 사용해 잡음이 섞인 2차 함수 형태의 데이터셋에서 max_depth=2 설정으로 회귀 트리를 만들어 보자.

from sklearn.tree import DecisionTreeRegressor

tree_reg=DecisionTreeRegressor(max_depth=2)
tree_reg.fit(X,y)

 

< 불안정성 >

 결정 트리는 계단 모양의 결정 경계를 만든다. 그래서 훈련 세트의 회전에 민감하다. 이런 문제를 해결하는 한 가지 방법은 훈련 데이터를 더 좋은 방향으로 회전시키는 PCA기법을 사용하는 것이다.