Regression - Ridge (L2)

https://steadiness-193.tistory.com/262

Regression - Regularization : L1 규제(Lasso), L2 규제(Ridge)

 

Ridge의 개념은 위 포스팅에서 살펴보았다.

 

필요한 개념만 한번 더 환기해보자

 

 

 

손실함수 (MSE)에 L2 정규항을 더한 것으로

 

Ridge는 두 가지 모두 최소화하는 가중치와 편향을 찾으려 한다.

 

 

중요한 것은 L2 정규항인데 이는 가중치의 제곱의 합에 α를 곱한 것이다.

 

Lasso처럼 가중치가 0이 되지는 않지만 0에 가까운 값을 가짐으로써

특정 feature의 중요도를 낮추는 역할을 한다.

 

 

역시 중요한 것은 α인데, α를 조정함으로써 가중치를 조절할 수 있기 때문이다.

 

즉, 모델의 복잡도를 α로 조정하는 것이다.

 

람다 대신 α로 보면 된다.

 

 

 

https://steadiness-193.tistory.com/270

Regression - Linear Regression

 

위 포스팅의 진행을 똑같이 가져가되 모델만 Ridge로 바꿔주자

 

 

 

Ridge

 

 

 

임의로 alpha 값을 바꿔줬다.

 

 

 

alpha값을 조정한 Lasso와 비슷한 값들을 보여주고 있다.

 

 

 

 

 

가중치 확인

 

 

Lasso처럼 완전히 0인 값은 없지만 0에 가까운 값들은 있다.

 

 

 

 

 

 

Lasso와 Ridge의 가중치 비교

 

 

계속 보아온대로 Lasso의 가중치는 0인 컬럼이 있는 반면

 

Rigde는 그 컬럼의 값이 0에 가까울 뿐 0은 아니다.

 

 

 

참조

https://blueskyvision.tistory.com/687?category=751609