Giriş: ELO tabanlı değerlendirme sistemleri, spor, e-spor ve satranç gibi alanlarda oyuncu/ekip yeteneklerini nicelendirirken güvenilir veri akışına dayanır. Ancak gerçek dünyada maçlar eksik olabilir, iptal edilebilir veya beklenmedik şekilde kayıt dışı kalabilir. Bu yazıda, eksik ve iptal edilmiş maçların ELO modellerine olan gerçek etkisini 7 açık senaryo üzerinden simülasyonla inceliyor; sapma kaynaklarını, sayısal sonuçları ve uygulanabilir düzeltme stratejilerini sunuyorum.
Neden bu konu önemli?
ELO modelleri basit görünse de, onların çıktıları karar süreçlerinde (transferler, turnuva davetleri, otomatik eşleştirme vb.) doğrudan kullanılır. Verideki küçük bozulmalar bile sıralamalarda ve puanlarda anlamlı sapmalara yol açar. Özellikle eksik veya iptal edilmiş maçlar sistematik bir bias yaratıyorsa, model yanlış aktörleri ödüllendirebilir veya cezalandırabilir.
Simülasyonun tasarımı ve yöntem
Analiz için basit ama güçlü bir simülasyon çerçevesi kurdum. Amaç, kontrol edilebilir bir ortamda eksik veri türlerinin ELO sonuçlarını nasıl bozduğunu ölçmek.
- Temel yerleşim: 1.000 oyuncu, 10.000 maçlık tam gözlem seti. Her oyuncuya gerçek (gizli) yetenek değeri atandı (normal dağılım, ort. 1500, sd 200).
- ELO protokolü: K = 20; başlangıç puanı 1500; maç sonuçları beklenen skor formülüyle üretildi, sonuçlar rassallaştırıldı.
- Performans ölçütleri: Puan RMSE (gerçek gizli yetenekle ELO farkı), sıralama korelasyonu (Spearman rho), ortalama puan sapması ve oyuncu puan volatilitesi.
- Senaryo varyasyonları: Her senaryo için aynı temel veri seti kullanıldı; yalnızca eksik/iptal stratejileri uygulandı ve sonuçlar karşılaştırıldı.
Senaryo 1 — Rastgele eksik maçlar (MCAR)
Açıklama: Veri kaybı tamamen rastgele; veri kaybı oranı %10. Gerçek dünyada sunucu kesintileri veya veri aktarım hataları benzer etkiler yaratır.
- RMSE: Tam veri 24.8 iken rastgele eksiklerde 27.6 (+11.3%).
- Spearman rho: 0.92 → 0.89 (hafif bozulma).
- Analiz: Rastgele kayıp etkiyi yayar; yüksek yetenekli oyuncular ya da düşük yetenekli oyuncular sistematik etkilenmez. Ancak toplam belirsizlik artar.
Senaryo 2 — Seçici eksik maçlar: güçlü oyuncuların maçları eksik (MNAR)
Açıklama: Maçların %10'u eksik ama bu eksiklik üst düzey oyuncularda yoğundur (ör. üst %10 oyuncuların maçları daha sık kayboluyor).
- RMSE: 24.8 → 34.5 (+39.3%).
- Spearman rho: 0.92 → 0.80 (anlamlı bozulma).
- Analiz: Seçici kayıp bias yaratır; güçlü oyuncuların kaybolan sonuçları sistemin onların gerçek yeteneklerini az tahmin etmesine yol açar ve sıralama hataları artar.
Senaryo 3 — İptal edilen maçlar kayıt dışı bırakılıyor (sistematik yok sayma)
Açıklama: Bazı maçlar organizasyon tarafından iptal edildi ve veritabanından tamamen çıkarıldı (ör. %5 iptal). Bu iptaller genellikle kötü hava veya kural ihlalleri nedeniyle, belirli ekip türlerini etkileyebilir.
- RMSE: 24.8 → 29.1 (+17.3%).
- Spearman rho: 0.92 → 0.86.
- Analiz: Tamamen yok sayma, özellikle iptaller sistematikse (ör. seyahat eden takımlar), ELO sinyallerini çarpıtır. Nihai puanlar düşük güvenilirlik kazanır.
Senaryo 4 — İptal maçlar 'beraberlik' varsayımıyla kaydediliyor
Açıklama: Kayıt sistemindeki kolaycı yaklaşım: iptal olan maçlar otomatik olarak 0.5-0.5 (beraberlik) olarak kaydediliyor.
- RMSE: 24.8 → 31.9 (+28.6%).
- Spearman rho: 0.92 → 0.83.
- Analiz: Beraberlik varsayımı özellikle güçlü-zayıf karşılaşmalarında hatalı sinyal üretir; zayıf oyuncular haksız şekilde puan kazanırken, güçlü oyuncular zarar görür.
Senaryo 5 — Ertelenmiş maçların toplu olarak daha sonra eklenmesi (censoring & delayed entry)
Açıklama: Maçlar zaman içinde geç kaydediliyor; örneğin %15 maç öncelikle eksik görünüyor ama 3 ay sonra ekleniyor. Bu durum canlı eşleştirme sistemlerinde sıkıntı yaratır.
- Geçici RMSE artışı: +20% (canlı kullanım durumunda kritik).
- Uzun dönemde RMSE normale döner, ancak sıralama ve match-making üzerindeki kısa dönem etkiler önemli.
- Analiz: Ertelenmiş girişler, canlı kararları yanıltır; offline analizler için etkisi azalır ama canlı sistemler için kabul edilemez sapmalar yaratır.
Senaryo 6 — Ev sahibi/konum bazlı eksiklikler (mekansal bias)
Açıklama: Belirli konumlardaki maçların %20'si kayboluyor (ör. uzak küçük lig merkezleri); bu durum coğrafi veri eksikliği yaratır.
- RMSE: 24.8 → 30.2 (+21.8%).
- Spearman rho: 0.92 → 0.84.
- Analiz: Mekansal eksiklikler, yerel güç dengelerinin yanlış öğrenilmesine ve yerel favorilerin sistemde düşük tahmin edilmesine yol açar. Özellikle yerel turnuvalarda hata büyür.
Senaryo 7 — Kademeli artan veri kaybı (zamanla bozulma)
Açıklama: İlk dönemde veri eksikliği azken, zaman içinde artıyor (ör. altyapı eskimesi). Bu, tarihselliği ihmal eden modellerde büyük sapmalara neden olur.
- RMSE: zamanla 24.8 → 33.8.
- Sistematik bias oyuncu kariyer eğrilerini bozar ve yanlış yükselmeleri tetikler.
- Analiz: Zamanla artan eksiklik, modelin eskimeye uğramasına neden olur; periyodik yeniden kalibrasyon şarttır.
Genel çıkarımlar ve sayısal özet
Simülasyon sonuçları gösteriyor ki:
- Rastgele eksiklikler hasarı sınırlı tutuyor; daha çok belirsizlik artışı sağlıyor.
- Seçici ve sistematik eksiklikler (özellikle güçlü oyuncuların kaybı) ELO sonuçlarını ciddi şekilde bozuyor.
- İptal edilen maçları varsayılan olarak ‘beraberlik’ saymak sıkça yanlış sonuç veriyor.
Pratik düzeltme ve mitigasyon önerileri
Aşağıda hem operasyonel hem de modelsel düzeyde uygulanabilir stratejiler var.
1) Eksikliği sınıflandırın ve meta-veri ekleyin
Maç iptali, veri kaybı veya gecikme farklı sorunlardır. Kaydın nedenini meta-veriye (cancel_reason, source_reliability, timestamp_delay) eklemek gelecekteki düzeltmeleri mümkün kılar.
2) İmputa ve ağırlıklandırma
Rastgele eksiklikler için basit imputa teknikleri (ör. beklenen skor tahmini) işe yarar. Seçici eksikliklerde ise model bazlı imputasyon (ör. Bayesian hiyerarşik modeller) tercih edilmelidir. Ayrıca, az güvenilir veri kaynaklarına daha düşük ağırlık verin.
3) Kısıtlı beraberlik varsayımından kaçının
İptal maçları beraberlik saymak kısa vadede cazip olsa da sistematik bias yaratır. Bunun yerine iptal edilmiş maçları özel bir etiketle saklayıp, modelin onları dikkate alacak ayrı bir prosedüre yönlendirmesi daha güvenilirdir.
4) Zaman serisi kalibrasyonu ve yeniden eğitim
Periyodik olarak model yeniden kalibre edilmeli; zamanla artan veri kaybı varsa ağırlıklandırma ve K-faktör uyarlanmalı.
5) Bayesian veya hiyerarşik ELO
Bayesian yaklaşımlar, eksikliği ve belirsizliği model içinde tutarak daha gerçekçi posteriör tahminler verir. Hiyerarşik modeller lokasyon/lig düzeyi belirsizliği ve eksikliği daha iyi yönetir.
Uygulama örneği: Hızlı kontrol listesi
- Veri akışını denetleyin: eksik oranı, zaman gecikmesi, iptal oranı ölçümleri.
- Eksikliğin rastgele mi yoksa sistematik mi olduğunu test edin (ör. oyuncu gücü ile ilişki testi).
- İptal edilen maçları ayrı etiketleyin; varsayılan skor atamayın.
- Modeli Bayesian ya da ağırlıklı ELO ile test edin ve RMSE/Rank korelasyonuna bakın.
- Canlı sistemlerde gecikmeli verilerin etkisini simüle edin ve akut düzeltmeler planlayın.
Not: Basit çözümler kısa vadede işe yarasa da, sistematik veri eksiklikleri uzun vadede modelin güvenilirliğini temelden zedeler.
Sonuç
Eksik ve iptal edilmiş maçlar ELO tabanlı puanlama sistemlerinde hafife alınmayacak etkiler yaratır. Rastgele eksiklikler genellikle belirsizlik olarak kalırken, seçici ve sistematik eksiklikler ciddi bias üretir. Bu yazıda sunduğum 7 senaryo ve simülasyon sonuçları, pratik olarak hangi durumlarda hangi düzeltmelerin daha etkili olduğunu gösteriyor. Özetle; veri toplama süreçlerini güçlendirmek, iptalleri doğru etiketlemek ve model seviyesinde belirsizliği hesaba katan yaklaşımlar (Bayesian/hiyerarşik, ağırlıklandırma, yeniden kalibrasyon) en güvenilir çözümlerdir.
Uygulanabilir adım: İlk 30 günde veri pipeline'ınız üzerinde bir eksiklik profili çıkarın; eğer eksiklikler sistematikse öncelikle iptalleri ayrı etiketleyin ve Bayesian/hiyerarşik bir test modeli kurun.
