(원*진)(강의노트 23장) 정규분포 vs 고른분포 데이터학습 성능

[analogwatch]

오늘 강의시간
머신러닝 모델이 학습한 데이터가 정규분포 곡선에 가까울 수록 예측값이 개선된다 하셨고,
정규분포에 가까운 예시로density와 pH를 말씀하셨습니다.
residual sugar, chlorides처럼 한 곳에 치우친 그래프는 치우치지 않은 범위에서의 데이터가 적은만큼 예측하기 어렵다 라고 설명해주셨습니다.

그렇다면, 반대로 이런식으로 고르게 분포하는 그래프를 갖는 데이터가 있다면,
정규분포 그래프에 비해 예측능력이 더 떨어지는지, 만약 그렇다면 고르게 분포하는 그래프는 왜 예측에 불리한지 궁금합니다.

[Kdy0412]

(김*연)

고르게 분포하는 그래프를 갖는 데이터가 있다면,
정규분포 그래프에 비해 예측능력이 더 떨어지는지, 만약 그렇다면 고르게 분포하는 그래프는 왜 예측에 불리한지 궁금합니다

상황에 따라 다릅니다.

치우친 데이터(Skewed)는 '데이터가 없는 영역'이 생겨 예측 신뢰도가 크게 떨어지는 구간이 발생하므로 불리한 것이지만, 고르게 분포된 데이터는 모델에게 모든 구간의 학습 기회를 공평하게 제공하므로 상황에 따라 유리할 수도, 불리할 수도 있다고 합니다.

정규분포: 중심부에 데이터가 많이 있으므로 중심부 예측 오차가 작아질 가능성이 높습니다, 데이터가 많은 중심부를 예측하고 싶을 때 유리합니다.

고른 분포: 데이터가 적은 외곽 지역을 포함해 전체 범위에서 균일한 성능을 내고 싶을 때 유리합니다.

[liganega]

@Kdy0412 : 본인 설명의 근거는?

[cooldown24-7]

(손*희)

전제

X: 입력 특징(히스토그램으로 “정규냐 균등이냐”를 보는 변수)
Y: 타깃(예측하려는 값)
Y = f(X) 관계는 고정, 데이터 수는 두 경우(정규, 균등)에서 같다.
비교: X가

1. 정규분포에 가깝게 나올 때
2. 균등분포에 가깝게 나올 때
   예측 성능(MSE 등)이 어떻게 달리는지.

핵심 요지

1. 균등분포라서 자동으로 예측력이 나쁜 것은 아닙니다.
   X가 균등이면 “0~100 전체에서 값이 비슷한 빈도로 나온다”는 뜻일 뿐이고, 이것만으로 정규분포보다 성능이 떨어진다고 말할 수는 없습니다.
   난이도는 Y가 X에 대해 어떻게 변하는지에 달려 있습니다.

2. Y가 전체 구간에서 부드럽게 변하면 차이가 거의 없습니다.
   Y가 X에 대해 거의 직선/완만한 곡선처럼 변하고,특정 구간에서만 갑자기 꺾이지 않는다면 정규분포와 균등분포에 관계 없이 X 전체에 데이터가 골고루 존재하기 때문에 같은 데이터 수, 비슷한 수준의 예측 모델에서는 예측 성능 차이가 크지 않을 수 있습니다.

3. Y가 일부 좁은 구간에서만 민감하게 변하면 정규분포가 유리해질 수 있습니다.
   예를 들어 X가 0~100이고, Y는 40~60에서만 크게 변한다고 하겠습니다.

   • X가 정규분포(평균 50 근처)면 샘플이 40~60에 많이 몰려서
     모델이 이 “어려운 구간”을 자주 보고 잘 학습할 수 있다.
   • X가 균등분포면 0~100 전체에 골고루 퍼져서
     같은 데이터 수 기준으로 40~60에 모이는 샘플이 상대적으로 적고,
     그 구간의 미세한 패턴을 잡기 더 어려워질 수 있다.

정리하면

• 균등분포와 정규분포라는 분포 모양 자체가 예측력을 직접 결정하지 않는다.
• Y가 크게/복잡하게 변하는 구간에 샘플이 얼마나 집중되어 있느냐
  가 중요하고,그 구간이 좁을수록, 그 근처에 데이터가 몰리는 정규분포 쪽이
  같은 데이터 수에서는 더 유리해질 수 있다.

로 말할 수 있겠습니다.