Bir lig yöneticisi olarak pazar sabahı gelen ilk e-posta, herkesin kabusuna benzeyen iki kelime içeriyordu: "skor kayboldu". O andan itibaren başlayan 48 saatlik süre; teknik ekiplerin, organizatörlerin ve topluluğun tepkisinin iç içe geçtiği bir sınavdı. Bu yazı o iki günlük günlüğün ayrıntılı, analitik ve hikâyeleştirilmiş bir kaydıdır.
Giriş: Olayı Sahneye Koymak
Pazar günü öğlen 12:03'te topluluk yöneticisine gelen bildirim, sunuculardan birindeki son 24 saatin maç skorlarının eksik olduğunu söylüyordu. İlk izlenim: bir veritabanı hatası. Fakat 48 saat boyunca çıkan her yeni detay, sorunun tek bir kaynaktan değil, insan hatalarıyla tetiklenmiş bir zincirleme reaksiyon olduğuna işaret etti.
Gün 0 — İlk Saatler: Kaos, Veri ve İlk İzler
Kısa bir durum değerlendirmesi yapıldı: hangi maçlar etkilendi, hangi oyuncular rapor etti, yedek loglarda veri var mı? İlk bulgu, bazı skorların uygulama arayüzünde görünmediği ama ham loglarda mevcut olduğu yönündeydi. Bu, veri kaybı değil, görüntüleme sorununa işaret ediyordu—ve görüntüleme katmanında insan müdahalesi vardı.
İlk tepkilerin anatomisi
- Topluluk paniklemişti: Discord ve Twitter'da iddialar, videolar, ekran görüntüleri hızla yayıldı.
- Teknik ekipler hızlıca izole etmeye çalıştı: Önbellek, API katmanı, veri tabanı replikasyonu sıra ile kontrol edildi.
- İletişim ihtiyacı doğdu: Şeffaf ama kontrollü açıklama yapılmalıydı; yanlış bilgi daha fazla hasar verirdi.
İnsan Hataları: Zincirin İlk Halkası
Olayın kökeninde birkaç insan hatası tespit edildi. Bunlar tek tek küçük görünse de birlikte büyük bir soruna yol açtı:
- Yanlış konfigürasyon: Bir saha yöneticisi, yedekleme cron işini güncellemek isterken tarih formatını değiştirdi. Bu, bazı günlük dosyalarının yanlış dizine yazılmasına neden oldu.
- Eksik onay mekanizması: Üretime alınan küçük bir frontend değişikliği için gerekli imza zinciri atlandı; bu değişiklik önbellek temizleme davranışını etkiledi.
- İletişim kopukluğu: Gece vardiyasındaki mühendis, sabah vardiyasına tam olarak ne yapıldığına dair not bırakmadı; hatırlatma yok, check-list atlandı.
Bu insan hataları, sistem açıklarını tetikleyen kıvılcımlar oldu. Her biri için kortik bir önlem önerisi şudur:
- Değişikliklerde zorunlu imza zinciri ve küçük değişiklikler için geriye al (rollback) butonu.
- Her kritik konfigürasyon değişikliğinde otomatik test ve verilerin doğrulanması.
- Vardiya teslim formları ve kısa, zorunlu not bırakma politikası.
Sistem Açıkları: Teknik Katmanın Zayıflıkları
İnsan hataları bir tetikleyici olabilir; ama sistemin dirençsiz olması hasarı büyütür. Tespit edilen temel teknik problemler şunlardı:
- Önbellek tutarsızlığı: Uygulama, skorları hızlıca göstermek için agresif bir CDN/önbellek stratejisi kullanıyordu. Bu strateji, arayüzün eski veriyi göstermesine ya da yeni veriyi görmezden gelmesine neden oldu.
- Eventual consistency (nihai tutarlılık) sorunları: Skorlar farklı mikroservislerde farklı zamanlarda güncelleniyordu; replikasyon gecikmesi bazı matchlerin güncellenmemesiyle sonuçlandı.
- Loglama ve izleme eksiklikleri: Kritik işlemler için tutulan logların bir kısmı rota dışı yazılıyordu; bu da olayın kök neden analizini geciktirdi.
- Rollback eksikliği ve testlerin yetersizliği: Üretim senaryolarında gerçek zamanlı kaotik koşullar test edilmemişti.
Tedbirler ve pratik çözümler
Bu açıkları kapatmak için uygulanabilecek teknik önlemler:
- İmmutable (değişmez) audit log tutmak; tüm skor değişikliklerinin izlenebilir olması.
- Önbellek invalidasyon stratejisini değiştirmek: write-through yerine write-around ve değişiklik bazlı purge politikası.
- DB replikasyonu ve quorum tabanlı yazma/okuma stratejileri (örn. leaderless replication veya konsensüs protokolleri ile tutarlılığı artırma).
- Kaos mühendisliği ile “gerçek dünyayı” taklit eden testler; deployment sürecine canary release ve feature flag eklemek.
Topluluğun Tepkisi: Güven, Hız ve Duygu Dalgalanması
Bir ligde güven, rekabete verilen değerin temelidir. Skorların görünmemesi veya yanlış gösterilmesi oyuncuların ve izleyicilerin güveninde çatlaklar oluşturur. Bu 48 saatte topluluktan gelen tepkiler üç safhada oldu:
- Şüphe ve Öfke: Sosyal medya anında bir toplanma alanı oldu. "Hile" iddiaları, görüntü dökümleriyle desteklenince gerilim yükseldi.
- Talep: Şeffaflık: Kullanıcılar adım adım bilgi, logların paylaşılmasını, düzeltme sürecinin izlenmesini istedi.
- Çözüm Beklentisi: Özellikle etkilenen oyunculardan kimi maçların yeniden oynatılması veya tazminat beklentisi doğdu.
"Bize sadece sonuçları değil, nasıl olduğunu da anlatın." — Topluluk temsilcisinin sabırlı ama kararlı talebi
Topluluk yönetimi burada kritik: aşırı savunmacı bir tutum güveni daha hızlı yıkar. Olması gereken; hatayı kabul edip, kısa ve uzun vadeli çözüm adımlarını şeffaf şekilde paylaşmaktır.
48 Saatlik Soruşturma: Zaman Çizelgesi ve Operasyon
Gerçek operasyon taktiği şöyle işledi:
- Saat 0-2: İlk triage, etkilenen maçların listesi, acil durum bildirimleri.
- Saat 2-12: Tepe-level debugging, logların toplanması, ön keşif raporu ve topluluğa ilk kısa açıklama.
- Saat 12-36: Kök neden analizi, insan hatalarının ve konfigürasyon değişikliklerinin eşleştirilmesi, geçici düzeltme (hotfix) uygulanması.
- Saat 36-48: Kalıcı düzeltmelerin planlanması, paydaşlarla toplantılar, topluluğa detaylı açıklama ve tazminat/yeniden oynatma kararları.
Bu süreçte iletişim kanallarının yönetimi, olay yöneticisinin (incident commander) en kritik görevi oldu. Her saat güncellenen kısa durum notları (status updates) ve bir SORUMLU-LİDER tablosu işleri netleştirdi.
Dersler: Bir Lig İçin Pratik Kontrol Listesi
Bu yaşananlardan sonra uygulanması gerekenler kısa ve somut:
- Her kritik veri işlemi için immutable audit log ve rol tabanlı erişim denetimi.
- Deploymentlarda feature flag ve canary release; geri alma (rollback) planı hazır.
- Vardiya ve devredilen işler için zorunlu teslim notları ve otomatik test raporları.
- Topluluğa yönelik şeffaf iletişim protokolü: ilk 2 saatte kısa bilgilendirme, 12 saatte detaylı durum, 48 saatte kapsamlı rapor.
- Olay sonrası suçlama yerine öğrenme kültürü: blameless postmortem toplantıları.
Sonuç: Güven İnşa Etmek Teknikten Daha Fazlasını Gerektirir
Skorların kaybolması tek bir yanlışlıktan değil, insan hatalarının sistem açıklarıyla çakışmasından doğan bir bütündü. Teknik önlemler kritik olsa da asıl uzun vadeli kazanım, operasyonel disiplin ve toplulukla kurulan dürüst iletişimle gelir.
48 saatlik bu günlüğün amacı sadece bir hikâye anlatmak değil; organizasyonlara pratik rehber sunmaktı. Bir sonraki benzer olayda panik değil, plan devreye girmeli; topluluk susmak yerine dinlenmeli, mühendislik ise şeffaf ve hızlı olmalıdır.
Özetle: İnsan hatalarını azaltan süreçler kurun, sistemlerinizi gerçek dünya koşullarında test edin, ve topluluğunuzla güvene dayalı bir iletişim hattı oluşturun. Bu üç adım, kaybolan skorların tekrar geri gelmesinden daha önemlidir: liginizin itibarını korur.
