Classification - 모델 평가 : roc_auc_score

https://steadiness-193.tistory.com/267

Classification - 모델 평가 : precision_score(정밀도), recall_score(재현율), f1_score

 

위 포스팅에서 필요한 내용을 다시 환기하면 아래와 같다.

 

 

ROC Curve(Receiver-Operating Characteristic curve)

민감도와 특이도의 관계가 보이는 양상을 2차원 평면상에 그려낸 것

민감도를 높이면 특이도가 낮아지고, 특이도를 높이면 민감도는 당연히 낮아진다.

세로 축이 민감도, 가로 축이 1-특이도

 

 

위 그림에서 파란색 곡선이 바로 ROC이다.

 

 

AUC(Area Under Curve)

ROC Curve의 면적, AUC의 값이 1일 수록 좋은 모델이라 평가

 

 

https://steadiness-193.tistory.com/257

Machine Learning - valid와 test를 train으로 전처리

 

위 포스팅에서 만든 데이터셋을 이용한다.

 

 

 

패키지를 불러온 뒤 모델을 학습시킨다.

 

 

 

평가

 

 

이전 포스팅의 정확도, 정밀도, 재현율, f1 score와 함께 비교해본다.

 

AUC는 77.56으로 나쁘지는 않지만 그렇다고 좋지도 않은 값을 나타냈다.

 

클래스가 불균형할땐 AUC보단 주로 f1 score를 이용한다.

 

 

이전 포스팅과 더불어 정확도(accuracy_score)만이 능사가 아니라는 것이 보인다.

 

 

참조

adnoctum.tistory.com/121