Overfitting

model이 training data에 너무 잘 맞지만 일반성이 떨어진다는 뜻

Trainig Set에 잡음(여러 부가적인 항목)이 섞인 패턴을 감지하면 새로운 샘플에 일반화되지 못한다.

 

Overfitting은 training data에 있는 잡음의 양에 비해 model이 너무 복잡할 때 일어난다.

• 파라미터 수가 적은 모델을 선택하거나(고차원 다항 모델보다 선형 모델), traning data에 있는 feature 수를 줄이거나, model에 제약을 가하여 단순화
• training data를 더 많이 모은다
• training data의 잡음을 줄인다(오류 데이터 수정과 이상치 제거)