(이*민)(강의노트 20장) 극소수 범주형 데이터 처리 관련

[wlsldjtm9]

캘리포니아 주택 데이터셋에서 범주형 데이터 ocean_proximity를 보면 약 2만개 데이터 중 ISLAND가 5개 밖에 없습니다. 강의노트에도 소수 범주의 영향력을 고려해야 한다고 나와있는데 소수 범주의 영향력을 확인 후 영향력이 있다고 판단되었을 때 개수가 너무 적은데 모델 학습에 어떻게 적용할 수 있을까요?

[Unlucky-MARO]

(고*진)
소수 범주의 영향력을 확인 후 영향력이 있다고 판단되었을 때 개수가 너무 적은데 모델 학습에 어떻게 적용할 수 있을까요?
->
어떤 데이터로 어떤 모델을 학습할지에 따라 달라집니다.
캘리포니아 주택 데이터셋의 경우 ISLAND는 5개뿐이므로, 모델이 해당 범주의 특징을 일반화하기 어렵고 과적합 가능성이 높습니다.
따라서 ISLAND 포함 여부에 따라 모델 성능을 비교하여 영향력을 판단해야 합니다.
영향력이 적다면 제거하거나 다른 범주와 합칠 수 있고,
영향력이 크다면 범주 정보를 유지하되 데이터 수가 적어 예측 결과를 신뢰하기 어렵다는 점을 고려해야 합니다.

[liganega]

@wlsldjtm9 : 이 질문은 애초에 적절하지 않아요. 왜 그럴까요? 머신러닝 모델은 학습을 어떻게 하는지 알아야 하니 좀 알아보세요.