PyTorch에서 제공하는 대표적인 손실 함수(Loss Function)

1. L1 Loss (Mean Absolute Error, MAE)

• 공식:

• 설명:
  예측값 y^와 실제값 y의 차이(절대값 평균)를 계산하는 손실 함수입니다.
• 특징:
  • 이상치(Outlier)에 강함 (L2보다 덜 민감)
  • 기울기가 일정하여 안정적인 학습 가능
• 사용 사례:
  • 회귀 문제에서 이상치가 많을 때 사용

---

2. MSE Loss (Mean Squared Error, L2 Loss)

• 공식:

• 설명:
  예측값과 실제값의 차이를 제곱하여 평균을 구하는 손실 함수입니다.
• 특징:
  • 차이의 제곱을 사용하여 큰 오차(이상치)에 더 민감함
  • L1 Loss보다 더 부드러운 미분값을 가지므로 학습이 더 안정적
• 사용 사례:
  • 일반적인 회귀 문제에서 자주 사용

---

3. Cross Entropy Loss (Categorical Cross-Entropy)

• 공식:

(여기서 yi는 실제 정답의 one-hot encoding, y^i는 softmax를 거친 확률값)

• 설명:
  분류 문제에서 예측 확률과 실제 라벨 간의 차이를 측정하는 손실 함수입니다.
• 특징:
  • Softmax와 함께 사용하여 다중 클래스 분류에서 사용됨
  • 정답 확률이 높을수록 손실이 낮아짐
  • 입력값은 raw logits로 주어지고, 내부적으로 softmax를 적용하여 확률로 변환 후 손실을 계산
• 사용 사례:
  • 이미지 분류, 자연어 처리 등 분류 문제에 사용

---

4. KL Divergence Loss (Kullback-Leibler Divergence)

• 공식:

(여기서 P(x)는 실제 분포, Q(x)는 예측 분포)

• 설명:
  두 확률 분포 P와 Q간의 차이를 측정하는 손실 함수입니다.
• 특징:
  • 확률 분포를 비교하는 데 사용됨
  • Softmax를 거친 확률 분포 간 거리 측정
  • 비대칭적 (즉, Dkl(P∣∣Q) ≠ DKLㅋ(Q∣∣P))
• 사용 사례:
  • 확률 분포를 예측하는 모델 (예: Variational Autoencoder, NLP에서 Knowledge Distillation)

---

5. Triplet Margin Loss

• 공식:

(여기서 ddd는 거리 함수, aaa는 anchor, ppp는 positive, nnn은 negative 샘플)

• 설명:
  임베딩 학습을 위한 손실 함수로, anchor(기준) 샘플이 positive(같은 클래스) 샘플과 가깝고, negative(다른 클래스) 샘플과 멀어지도록 학습합니다.
• 특징:
  • Siamese Network, Face Recognition 등의 임베딩 학습에 사용됨
  • 손실이 0보다 클 때만 학습에 기여함 (hard negative mining이 중요)
• 사용 사례:
  • 얼굴 인식, 추천 시스템, 유사도 기반 검색

---

비교 요약

손실 함수유형특징사용 사례

L1 Loss (MAE)	회귀	이상치에 강함, 일정한 기울기	이상치가 있는 회귀 문제
MSE Loss (L2 Loss)	회귀	이상치에 민감, 부드러운 미분	일반적인 회귀 문제
Cross Entropy Loss	분류	Softmax와 함께 사용, 확률 예측	다중 클래스 분류
KL Divergence Loss	확률 분포 비교	비대칭적, 확률 분포 차이 측정	확률 기반 모델 (VAE, Knowledge Distillation)
Triplet Margin Loss	임베딩 학습	샘플 간 거리 조정, hard negative 중요	얼굴 인식, 추천 시스템

결론:

• 회귀 문제: L1 Loss(이상치에 강함), MSE Loss(일반적인 경우)
• 분류 문제: Cross Entropy Loss
• 확률 분포 비교: KL Divergence Loss
• 임베딩 학습: Triplet Margin Loss

각 손실 함수는 목적에 따라 다르게 사용되므로, 문제 유형에 맞게 선택하는 것이 중요합니다.