Tanım
Overfitting, bir makine öğrenimi modelinin eğitim verisindeki örüntüleri aşırı derecede öğrenmesi, hatta gürültü ve tesadüfi detayları ezberlemesi sonucunda yeni verilerde zayıf performans göstermesi durumudur. Türkçede aşırı uyum olarak açıklanabilir.
Overfitting yaşayan model, eğitim verisinde çok başarılı görünebilir; ancak gerçek dünyadan gelen yeni verilerde hata oranı artar. Bu, modelin genelleme yeteneğinin düşük olduğunu gösterir.
Model karmaşıklığı, yetersiz veri, veri sızıntısı, gereğinden uzun eğitim, yanlış feature seçimi veya zayıf doğrulama yöntemi overfitting riskini artırabilir.
Kökeni
Overfitting kavramı, istatistiksel modelleme ve makine öğrenimi alanlarında modelin eğitim verisine fazla uyum göstermesi probleminden doğmuştur. Amaç yalnızca geçmiş veriyi açıklamak değil, yeni veride doğru sonuç üretmektir.
Bir model çok karmaşık olduğunda verideki gerçek sinyalin yanında rastgele gürültüyü de öğrenebilir. Bu durum eğitim performansını yükseltirken test performansını düşürür.
Makine öğrenimi uygulamalarında train-test split, cross-validation, regularization ve erken durdurma gibi yöntemler overfitting riskini azaltmak için kullanılır.
Nerelerde Kullanılır?
Overfitting; classification, regression, recommendation system, churn prediction, fraud detection, NLP, computer vision ve deep learning modellerinde karşılaşılabilen temel problemlerden biridir.
Bir lead scoring modeli geçmiş kampanyalardaki tesadüfi davranışları öğrenirse, yeni kampanyalardan gelen leadleri yanlış puanlayabilir. Bu overfitting örneği olabilir.
AI ve growth analitiğinde overfitting, modelin iş kararlarını yanıltmasına neden olabilir. Eğitim skoru yüksek diye modelin güvenilir olduğu varsayılmamalıdır.
Örnek Kullanım
Bir model eğitim verisinde yüzde 99 doğruluk, test verisinde yüzde 65 doğruluk veriyorsa overfitting riski yüksektir.
Bir data scientist, “Model eğitim setini ezberlemiş gibi görünüyor; overfitting’i azaltmak için regularization ve cross-validation kullanmalıyız” diyebilir.
Karıştırılan Kavramlar
- Overfitting ve Underfitting: Overfitting modelin eğitim verisine fazla uyum göstermesidir. Underfitting modelin verideki temel örüntüleri bile öğrenememesidir.
- Overfitting ve Model Drift: Overfitting eğitim aşamasında genelleme problemidir. Model Drift üretimde zamanla performans kaybıdır.
- Overfitting ve Bias: Bias sistematik hata veya önyargı olabilir. Overfitting aşırı karmaşıklık ve ezberleme problemidir.
- Overfitting ve Data Leakage: Data Leakage eğitim sürecine yanlışlıkla geleceğe veya hedefe ait bilgi sızmasıdır. Bu durum overfitting benzeri yanıltıcı performans yaratabilir.
İlgili Terimler
- Underfitting
- Model Evaluation
- Training Data
- Test Data
- Cross-Validation
- Regularization
- Machine Learning
- Model Training
- Generalization
Büyüme Mimarisi Notu
Overfitting, büyüme mimarisinde modelin geçmişi iyi açıklayıp geleceği kötü tahmin etmesi riskidir. Bu durum özellikle lead scoring, churn prediction ve reklam optimizasyonunda yanlış kararlar doğurabilir.
AI destekli büyüme sistemlerinde model başarısı eğitim verisiyle değil, yeni veri ve gerçek iş sonuçlarıyla değerlendirilmelidir. Genelleme, model değerinin temelidir.