Model Performans Değerlendirme ve Optimizasyon Teknikleri Eğitimi
Model Performans Değerlendirme ve Optimizasyon Teknikleri Eğitimi
Eğitim Hakkında
Bu derinlemesine teknik program, makine öğrenmesi projelerinin bel kemiğini oluşturan iki temel sürece odaklanır: Geliştirilen bir modelin başarısını istatistiksel olarak sağlam ve iş hedeflerine uygun bir şekilde değerlendirme ve modelin potansiyelini en üst düzeye çıkarmak için sistematik olarak optimize etme. Katılımcılar, "doğruluk" (accuracy) metriğinin ötesine geçerek, dengesiz veri setleri, farklı hata maliyetleri ve spesifik iş ihtiyaçları için doğru performans metriklerini seçmeyi öğreneceklerdir. Program, Grid Search gibi kaba kuvvet yöntemlerinden, Bayesian Optimizasyon gibi akıllı ve verimli hiperparametre arama stratejilerine ve Optuna gibi modern kütüphanelerin kullanımına kadar tüm optimizasyon sürecini uygulamalı olarak ele alır. Bu eğitim, bir makine öğrenmesi modelinin yaşam döngüsündeki "kalite güvence" ve "performans artırma" adımlarının bütünüdür.
Ön Koşul
Bu eğitimin herhangi bir ön koşulu yoktur.
Eğitim İçeriği
- Model Değerlendirmenin Felsefesi
- "Bütün modeller yanlıştır, ama bazıları kullanışlıdır" - George Box.
- Genelleme (Generalization) ve Aşırı Öğrenme (Overfitting) / Eksik Öğrenme (Underfitting) Dengesi.
- Eğitim (Train), Doğrulama (Validation) ve Test (Test) Veri Setlerinin Rolü ve Doğru Ayrımı.
- "Accuracy Paradoksu" ve Temel Metrikler
- Dengesiz (Imbalanced) Veri Setleri: Neden %99 doğruluk oranının anlamsız olabileceği.
- Karmaşıklık Matrisi (Confusion Matrix): True Positive, False Positive, True Negative, False Negative kavramlarının derinlemesine analizi.
- Eşik (Threshold) Bağımlı Metrikler
- Hassasiyet (Precision) ve Duyarlılık (Recall) Arasındaki Ödünleşim (Trade-off).
- Vaka İncelemesi: Kanser teşhisinde (Recall öncelikli) ve e-posta spam tespitinde (Precision öncelikli) doğru metrik seçimi.
- F1-Skoru, F-beta Skoru ve Ağırlıklı Ortalamalar (Weighted Averages).
- Eşik Bağımsız Metrikler
- ROC Eğrisi ve AUC (Area Under the Curve) Alanı: Bir modelin farklı eşiklerdeki genel sıralama ve ayırt etme gücünün ölçümü.
- Precision-Recall (PR) Eğrisi: Özellikle pozitif sınıfın az olduğu durumlarda ROC'a göre daha bilgilendirici olması.
- Olasılık Tahminlerini Değerlendirme
- Logaritmik Kayıp (LogLoss) ve Brier Skoru: Modelin sadece doğru sınıfı değil, aynı zamanda o sınıfa ne kadar "emin" bir olasılık atadığını ölçme.
- Regresyon Metriklerinin Derinlemesine İncelenmesi
- Hata Kareler Ortalaması (MSE) vs. Ortalama Mutlak Hata (MAE): Aykırı (outlier) değerlere karşı hassasiyetleri.
- R-Kare (R-Squared) ve Düzeltilmiş R-Kare: Modelin varyansı ne kadar açıkladığı ve çok fazla özellik eklemenin getirdiği riskler.
- Sıralama ve Tavsiye Sistemleri Metrikleri
- NDCG (Normalized Discounted Cumulative Gain) ve MAP (Mean Average Precision).
- Kümeleme Modellerini Değerlendirme
- Silhouette Skoru ve Calinski-Harabasz İndeksi.
- Çapraz Doğrulama (Cross-Validation) Stratejileri
- K-Fold, Stratified K-Fold (sınıf dengesini koruma) ve Leave-One-Out.
- Zaman Serileri için Özel CV: İleriye Yönelik Zincirleme (Forward Chaining) ve Zaman Serisi Ayrımı.
- Model Performanslarının İstatistiksel Testi
- Bir modelin diğerinden "şans eseri" değil, gerçekten daha iyi olup olmadığını anlama.
- Eşleştirilmiş t-testi (Paired t-test) ve Bootstrap Yöntemi ile performans metrikleri için güven aralıkları (confidence intervals) oluşturma.
- Model Parametreleri vs. Hiperparametreler
- Geleneksel Arama Stratejileri
- Grid Search: Kapsamlı ama hesaplama açısından pahalı yaklaşım.
- Random Search: Genellikle Grid Search'ten daha verimli olan ve daha geniş bir arama uzayını keşfeden yaklaşım.
- Atölye: Scikit-learn GridSearchCV ve RandomizedSearchCV ile pratik uygulama.
- Bayesian Optimizasyon
- Sezgisel Anlatım: "Geçmiş denemelerin sonuçlarını kullanarak, bir sonraki en umut verici hiperparametre setini akıllıca seçme."
- Vekil Model (Surrogate Model) ve Edinme Fonksiyonu (Acquisition Function) kavramları.
- Keşfetme (Exploration) ve Sömürme (Exploitation) arasındaki denge.
- Optuna ile Pratik ve Kapsamlı Optimizasyon Atölyesi
- Optuna'nın temel mantığı: study, trial ve objective fonksiyonu.
- Arama uzayını (search space) tanımlama: Kategorik, tamsayı, float ve logaritmik dağılımlar.
- Pruning (Budama): Kötü giden denemeleri erken durdurarak optimizasyon sürecini hızlandırma.
- Optimizasyon sürecini canlı olarak izleme ve görselleştirme.
- Aşama 1: İş Problemi ve Metrik Seçimi
- Senaryo: Bir telekom şirketi müşteri kaybını önlemek istiyor. Müşteriyi tutma maliyeti ve kaybedilen müşterinin değeri biliniyor.
- Sadece accuracy yerine, iş hedefini (maksimum kar/minimum kayıp) yansıtan özel bir skor fonksiyonu veya F-beta skoru gibi bir metrik seçme.
- Aşama 2: Temel (Baseline) Model Geliştirme ve Değerlendirme
- Aşama 3: Optuna ile Kapsamlı Hiperparametre Optimizasyonu
- Bir LightGBM veya XGBoost modelinin en önemli hiperparametreleri (learning_rate, n_estimators, max_depth vb.) için bir arama uzayı tanımlama.
- Optimizasyon sürecini çalıştırma ve en iyi denemeyi (best trial) bulma.
- Aşama 4: Sonuçların Analizi ve Savunulması
- Optimize edilmiş modelin, temel modele göre hem seçilen metrik hem de iş değeri açısından ne kadar daha iyi olduğunun raporlanması.
- Optimizasyon sürecinin görselleştirmeleri (parametre önemleri, contour plot vb.) ile sonuçların paydaşlara sunulması.
- Proje Sunumları ve Teknik Tartışma
- Hesaplamalı Performans Optimizasyonu
- Tahmin performansından ödün vermeden, modelin çıkarım (inference) hızını ve bellek kullanımını iyileştirme.
- Model Nicemleme (Quantization), Budama (Pruning) ve Bilgi Damıtma (Knowledge Distillation) tekniklerine genel bakış.
- MLOps ve Sürekli Optimizasyon
- Üretimdeki bir modelin performansını izleme ve performans düştüğünde (drift) otomatik yeniden optimizasyon (re-tuning) pipeline'ları kurma.
- Gelecek Trendleri: Nöral Mimari Arama (Neural Architecture Search - NAS)
Kazanımlar
-
Yanlış metrik seçiminin yol açabileceği maliyetli hatalardan kaçınarak, üretimde başarısız olacak modellerin onaylanmasını engelleyebileceksiniz.
-
Verinizden ve modelinizden alınabilecek en yüksek performansı sistematik optimizasyon teknikleriyle elde ederek marjinal iyileştirmeleri büyük iş değerlerine dönüştürebileceksiniz.
-
Modeller veya yaklaşımlar arasında seçim yaparken deneme-yanılma yerine istatistiksel olarak anlamlı ve savunulabilir kanıtlar sunabileceksiniz.
-
Bayesian Optimizasyon gibi akıllı arama stratejileriyle en iyi hiperparametreleri çok daha az denemeyle bulabilecek, zaman ve hesaplama maliyetini azaltabileceksiniz.
-
Doğru metrikler, sağlam doğrulama yöntemleri ve şeffaf optimizasyon süreçleriyle geliştirdiğiniz modellerin güvenilirliğini artırarak profesyonel kredibilitenizi ve paydaş güvenini güçlendirebileceksiniz.
Hedef Kitle
- Veri Analistleri.
- Veri Bilimciler
- Makine Öğrenmesi Mühendisleri
- Yapay Zekâ Araştırmacıları
- MLOps Mühendisleri
Sertifika
Eğitimlerimize %80 oranında katılım gösterilmesi ve eğitim müfredatına göre uygulanacak sınav/projelerin başarıyla tamamlanması durumunda, eğitimin sonunda dijital ve QR kod destekli “BT Akademi Başarı Sertifikası” verilmektedir.
İlgili Kurslar
SEKTÖRÜN GÜVENDİĞİ ÇÖZÜM ORTAĞI
BT Akademi'yi tercih eden 4.000'den fazla kurum yanılmıyor.
