Tanım
Model Drift, üretimde çalışan bir makine öğrenimi modelinin zaman içinde veri dağılımı, kullanıcı davranışı, pazar koşulları veya iş süreçleri değiştiği için performans kaybetmesi durumudur.
Bir model geçmiş verilerle eğitilir. Ancak gerçek dünya sabit değildir. Kullanıcı alışkanlıkları, kampanya yapıları, ürün fiyatları, sezon etkileri, ekonomik koşullar veya dolandırıcılık yöntemleri değiştiğinde modelin öğrendiği örüntüler eskiyebilir.
Model drift, AI sistemlerinin düzenli izlenmesi gerektiğini gösterir. Model üretime alındıktan sonra performansının sabit kalacağı varsayılmamalıdır.
Kökeni
Model Drift kavramı, makine öğrenimi sistemlerinin gerçek dünyada değişen veriyle çalışmasından doğmuştur. Eğitim ortamında başarılı olan model, üretim ortamında zamanla farklı davranışlarla karşılaşabilir.
İstatistiksel veri dağılımlarındaki değişim, modelin tahmin kalitesini zayıflatabilir. Bu durum özellikle finans, reklam, e-ticaret, fraud detection, churn prediction ve recommendation system gibi dinamik alanlarda sık görülür.
MLOps yaklaşımının gelişmesiyle model drift, model monitoring ve retraining süreçlerinin temel izleme alanlarından biri haline gelmiştir.
Nerelerde Kullanılır?
Model Drift; churn prediction, lead scoring, fraud detection, recommendation system, demand forecasting, personalization ve reklam optimizasyonu sistemlerinde takip edilir.
Bir lead scoring modeli, önceki yılın satış verilerine göre iyi çalışabilir. Ancak hedef pazar, fiyatlandırma veya kampanya kanalları değiştiğinde model yeni lead kalitesini yanlış değerlendirebilir.
E-ticarette müşteri davranışı sezonlara göre değiştiğinde öneri modeli eski alışkanlıklara fazla ağırlık verirse satış katkısı düşebilir. Bu durumda model drift analizi ve yeniden eğitim gerekebilir.
Örnek Kullanım
Bir fraud detection modeli eski dolandırıcılık örüntülerini iyi yakalarken yeni dolandırıcılık yöntemlerini kaçırmaya başladıysa model drift yaşanıyor olabilir.
Bir MLOps mühendisi, “Son iki ayda prediction dağılımı değişti; model drift sinyallerini inceleyip retraining planlamalıyız” diyebilir.
Karıştırılan Kavramlar
- Model Drift ve Data Drift: Data Drift input veri dağılımının değişmesidir. Model Drift bu değişimlerin model performansına yansımasıdır.
- Model Drift ve Overfitting: Overfitting modelin eğitim verisini ezberlemesidir. Model Drift üretimde zamanla performans kaybıdır.
- Model Drift ve Model Monitoring: Model Monitoring üretimde modeli izler. Model Drift izleme sırasında tespit edilebilecek problemdir.
- Model Drift ve Retraining: Retraining modeli yeni veriyle yeniden eğitmektir. Model Drift retraining ihtiyacını doğurabilir.
İlgili Terimler
- MLOps
- Model Monitoring
- Data Drift
- Retraining
- Model Evaluation
- Machine Learning
- Data Quality
- Prediction
- Production Model
Büyüme Mimarisi Notu
Model Drift, büyüme mimarisinde AI sistemlerinin zamanla eskiyebileceğini hatırlatır. Pazar, kullanıcı ve veri değişirken model aynı kalırsa karar kalitesi düşebilir.
AI destekli büyüme sistemlerinde modeller düzenli izlenmeli, iş sonuçlarıyla karşılaştırılmalı ve gerektiğinde yeniden eğitilmelidir. Sürdürülebilir AI, sürekli bakım gerektirir.