블로그

1. SGD (Stochastic Gradient Descent, 확률적 경사 하강법)공식:θ=θ−η∇J(θ) (θ는 모델의 가중치, η는 학습률, ∇J(θ)는 손실 함수의 기울기)설명:가장 기본적인 최적화 알고리즘으로, 배치 데이터가 아니라 랜덤한 샘플 하나 또는 미니배치 데이터를 이용해 가중치를 갱신.계산량이 적고 간단하지만, 진동(oscillation)이 심하고 수렴 속도가 느림.장점:구현이 쉽고 계산량이 적음.단점:최적점 근처에서 진동이 크고, 지역 최적점(local minima)에 빠질 수 있음.사용 사례:간단한 모델에서 기본적으로 사용되지만, 보통 다른 방법과 함께 사용됨.2. Momentum (모멘텀)공식:(vt는 속도, γ는 모멘텀 계수, 보통 0.9)설명:기존 SGD에 속도를 더해주는 개..

1. L1 Loss (Mean Absolute Error, MAE)공식:설명:예측값 y^와 실제값 y의 차이(절대값 평균)를 계산하는 손실 함수입니다.특징:이상치(Outlier)에 강함 (L2보다 덜 민감)기울기가 일정하여 안정적인 학습 가능사용 사례:회귀 문제에서 이상치가 많을 때 사용2. MSE Loss (Mean Squared Error, L2 Loss)공식:설명:예측값과 실제값의 차이를 제곱하여 평균을 구하는 손실 함수입니다.특징:차이의 제곱을 사용하여 큰 오차(이상치)에 더 민감함L1 Loss보다 더 부드러운 미분값을 가지므로 학습이 더 안정적사용 사례:일반적인 회귀 문제에서 자주 사용3. Cross Entropy Loss (Categorical Cross-Entropy)공식:(여기서 yi는 실..