Röportaj Rehberi: Otomatik İtiraz Sistemini Kurmuş CTO'ya Sorulacak 12 Keskin Soru — Adalet, Hata Oranı ve Hesap Verebilirlik

Bu rehber, otomatik itiraz (automated appeals) sistemini kurmuş bir CTO ile yapılacak derinlikli röportajlar için hazırlanmıştır. Amaç; adalet, hata oranı, kullanıcı hakları ve hesap verebilirlik gibi kritik alanları kısa sürede, ancak sağlam bir teknik ve süreçsel ışıkla değerlendirmektir.

Giriş: Neden bu sorular önemli?

Otomatik itiraz sistemleri yalnızca teknik bir özellik değil; işletme itibarını, yasal uyumluluğu ve kullanıcı güvenini doğrudan etkileyen bir yapıdır. Bir CTO'nun verdiği yanıtlar, ekibin olgunluğunu, veri kültürünü ve risk yönetimini gösterir. Bu rehberde soruların altında niçin sorulduğu, hangi takip sorularının gerektiği ve ideal cevaplarda hangi somut kanıtların olması gerektiği yazılıdır.

Röportajın hedefi: sistemi yüzeysel olarak tanımlamaktan öteye geçip, ölçülebilir performans, izlenebilirlik ve sorumluluk pratiklerini doğrulamaktır.

Röportaj ön hazırlığı

• Röportaj öncesi: CTO'dan mimari diyagram, SLA'lar, hata ve itiraz istatistikleri (son 12 ay), ve olağanüstü durum raporlarını talep edin.
• Gösterilmesini isteyin: örnek itiraz akışları, log örnekleri (maskelenmiş), ve kullanıcı bildirimi/çeşitli cevap şablonları.
• Not alın: performans metrikleri kanıtlanabilir olmalı — dashboard ekran görüntüleri, zaman damgaları, veri snapshot'ları.

12 Keskin Soru ve Her Birine Yönelik Değerlendirme Kriterleri

1. Soru 1: Sisteminiz hangi hataları otomatik olarak reddediyor veya kabul ediyor? Karar mantığı nasıl tanımlandı?

   Neden sorulur: Adalet ve yanlış red/ kabul oranlarını anlamak için. Otomasyon, hangi durumları kapsıyor; istisnalar nasıl belirleniyor?

   Takip soruları: Kurallar el ile mi belirleniyor yoksa makine öğrenimi mi kullanılıyor? Kural/modele göre performans farkı var mı?

   İdeal cevap: Net sınıflandırma kuralları, istisna listesi, veri kümeleri ve gerçek dünya doğrulaması. Örnek: %95 doğruluk gözüken ML modelinin gerçek kullanıcı itirazlarında %15 yanlış red çıkarması gibi bilgiler.

   Kırmızı bayraklar: Belirsiz tanımlar, «bizce» gibi nitel ifadeler, doğrulama verisi göstermemek.

2. Soru 2: Hata oranlarınızı (false positive/false negative) nasıl ölçüyorsunuz? Hangi eşikler kabul edilebilir sayılıyor?

   Neden sorulur: Bir sistemin zarar potansiyelini anlamak için. False negative (gerçek itiraz reddedildiğinde) kullanıcıya doğrudan zarar verir.

   Takip soruları: Hatalar segmentlere göre farklı mı; ör. yeni kayıtlar, coğrafi bölge, dil?

   İdeal cevap: Yıllık/aylık hata tabloları, segment bazlı ROC/PR eğrileri, kabul edilen SLA değerleri ve nedenleri.

   Red flag: «Hata oranımız çok düşük» ama izleme veya A/B testi olmadığını itiraf etmek.

3. Soru 3: Adalet (fairness) değerlendirmesi yaptınız mı? Hangi grupları incelediniz ve sonuçlar neydi?

   Neden sorulur: Algoritmik kararların ayrımcılık riski her zaman vardır; sistem belirli kullanıcı gruplarını orantısız etkiliyor mu?

   Takip soruları: Hangi sensitive özellikler (cinsiyet, etnisite, yaş) tanımlandı; proxy değişkenler nasıl ele alındı?

   İdeal cevap: Teknik adalet metrikleri (demographic parity, equalized odds), düzeltici adımlar, ve post-deployment izleme planı.

   Red flag: Adalet değerlendirmesi yapılmadıysa veya verideki eksiklikler görmezden geliniyorsa.

4. Soru 4: İnsan denetimi (human-in-the-loop) nerede devreye giriyor? Manuel itiraz incelemesinin SLA'sı ne?

   Neden sorulur: Tam otomasyon risklidir; hangi noktada insan müdahalesi öngörülüyor bilmek gerekir.

   Takip soruları: İnsan incelemesinin eğitimine dair hangi kaynaklar kullanıldı? Karar destek aracı var mı?

   İdeal cevap: Tetikleyici kurallar, öncelik sıralaması, 24/7 veya iş saatleri SLA'ları, eğitim veri setleri.

   Red flag: Hiç insan incelemesi yok veya insanlara dayalı süreç çok düzensiz.

5. Soru 5: İzlenebilirlik (traceability) ve loglama nasıl yapılandırıldı? Her karar için audit trail mevcut mu?

   Neden sorulur: Hesap verebilirlik için kararın kaynağı, model sürümü, kullanılabilir özellikler ve zaman damgası önemlidir.

   Takip soruları: Loglar ne kadar süre saklanıyor? Maskelenmiş kişisel veri var mı?

   İdeal cevap: Karar başına ID, model versiyonu, girdi öznitelikleri (hashlenmiş/anonimleştirilmiş), karar skorları ve insan notları.

   Red flag: Sadece özet metrikler saklanıyor, karar başı detay yok.

6. Soru 6: Veriniz nasıl etiketlendi? Etiketleyiciler, rehberlik ve kalite kontrol mekanizmaları nelerdir?

   Neden sorulur: Etiket kalitesi model başarısını doğrudan etkiler; bakış açısı/önyargı burada başlar.

   Takip soruları: Çapraz kontrol, altın veri (golden set), tutarlılık oranları var mı?

   İdeal cevap: Etiketçi eğitimi, Cohen's kappa gibi tutarlılık ölçüleri, yeniden etiketleme süreçleri.

   Red flag: Etiket süreçleri yok veya etiketçilerin profili ve rehberi belirsiz.

7. Soru 7: Model ve kural güncellemeleri nasıl yönetiliyor? Değişiklik denetimi (change management) var mı?

   Neden sorulur: Kontrolsüz güncellemeler beklenmedik hatalara yol açar.

   Takip soruları: CI/CD pipeline, canary deployment, rollback stratejileri nelerdir?

   İdeal cevap: Test ortamları, otomatik regresyon testleri, staged rollout ve izleme sonrası otomatik alarm mekanizmaları.

   Red flag: Direkt prod deploy, A/B test yok veya rollback planı belirsiz.

8. Soru 8: Kullanıcı deneyimi (UX) perspektifi: Red/accept kararları kullanıcılara nasıl iletiliyor ve imkanlar veriliyor?

   Neden sorulur: Şeffaf iletişim ve alternatif yollar kullanıcı güvenini artırır.

   Takip soruları: Kullanıcıya itiraz süreçleri, itirazın durumunu takip etme imkanı veriliyor mu?

   İdeal cevap: Basit, anlaşılır mesajlar; itiraz takibi; kullanıcıya açıklama/kanıt gösterme (explainability) mekanizmaları.

   Red flag: Kullanıcıya sadece «reddedildi» deniyor, neden belirtilmiyor ve itiraz kanalı yok.

9. Soru 9: Veri gizliliği ve hukuki uyumluluk nasıl sağlanıyor? GDPR/KVKK gibi mevzuata uygunluk var mı?

   Neden sorulur: Kişisel verilerle çalışan sistemlerde uyumluluk hukuki gereklilik ve risk azaltma sağlar.

   Takip soruları: Veri minimizasyonu, anonimleştirme, veri işleme sözleşmeleri ve etki analizleri (DPIA) yapıldı mı?

   İdeal cevap: DPIA raporu, veri işleme kayıtları, şifreleme ve erişim kontrol politikası.

   Red flag: Hukuk takımının süreçte olmadığı veya uyumluluk belgelerinin eksik olması.

10. Soru 10: İzleme ve alarm mekanizmaları nelerdir? Drift, anomaliler veya yüksek hata durumlarında ne olur?

    Neden sorulur: Model drift uzun vadede performansı bozar; sistemi sürekli izlemek şart.

    Takip soruları: Hangi metrikler alarmlaştıldı? Otomatik aksiyonlar var mı yoksa insan müdahalesi mi gerekli?

    İdeal cevap: Veri ve model drift metrikleri, SLA ihlallerinde tetiklenen runbook'lar, otomatik metrik hatırlatıcıları.

    Red flag: Sadece sağlık metrikleri var ama drift'e karşı plan yok.

11. Soru 11: Hata/özel durum sonrası hesap verebilirlik: Sorun analizi, kullanıcı telafisi ve öğrenme süreçleri nasıl işliyor?

    Neden sorulur: Hataların tekrar etmemesi için root cause analysis (RCA) ve düzeltici faaliyetler olmalı.

    Takip soruları: Örnek bir olayı anlatabilir misiniz? Hangi adımlar atıldı ve hangi değişiklikler yapıldı?

    İdeal cevap: RCA raporu, değişiklik talepleri, iyileştirme döngüsü ve bildirim protokolleri.

    Red flag: Olay kayıtları eksik veya öğrenme kültürü yok.

12. Soru 12: Bağımsız denetim ve şeffaflık: Sistem dışı denetimler yapılıyor mu? İç/dış raporlar paylaşılabilir mi?

    Neden sorulur: İç denetim yetmez; bağımsız üçüncü parti değerlendirmeleri güven artırır.

    Takip soruları: Hangi aralıklarla denetim yapılıyor ve sonuçları nasıl uygulanıyor?

    İdeal cevap: Üçüncü taraf denetimleri, yayınlanan özet raporlar, şeffaflık panelleri ve paydaş geri bildirimleri.

    Red flag: Denetim yapılmıyor veya denetim raporları saklanıyor/ulaşılamıyor.

Teknik Kontrol Listesi: Hızlı Doğrulama İçin

• Model versiyonları ve deployment tarihleri ile eşleşen bir audit trail.
• False positive/negative oranları, precision/recall ve AUC tabloları.
• Segment bazlı performans (coğrafya, dil, kullanıcı tipi).
• Gold dataset ve etiket tutarlılık ölçümleri.
• Canary/AB test sonuçları ve rollback kayıtları.
• Incident/RCA dökümanları ve uygulanan düzeltici faaliyetler.

Röportaj Sonrası: Puanlama ve Karar Destek

CTO cevaplarını 3 ana eksende değerlendirin: Teknik olgunluk, süreç/yönetim olgunluğu ve şeffaflık/uyumluluk. Her eksende 0-5 puan arası verip toplamı 15 üzerinden değerlendirebilirsiniz. Örnek ölçütler:

• Teknik: İzlenebilirlik, otomasyon testleri, ölçeklenebilirlik.
• Süreç: Change management, insan-in-the-loop, eğitim ve etiketleme süreçleri.
• Şeffaflık/Uyumluluk: Denetimler, GDPR/KVKK uyumu, kullanıcı iletişimi.

Sonuç: Ne aramalısınız?

İyi cevaplar, belgelendirilmiş kanıt, ölçümler ve tekrarlanabilir süreçler içerir. Kırmızı bayraklar belirsizlik, eksik loglama, denetimsizlik ve insan faktörünün tamamen dışlanmasıdır. CTO yalnızca teknolojiyi anlatmakla kalmamalı; riskleri, telafi mekanizmalarını ve öğrenme döngülerini de gösterebilmelidir.

Bu rehber, röportajınızı yapılandırmanıza yardımcı olacak pratik bir çerçeve sunar. Röportaj öncesi talep edeceğiniz belgeler ve takip sorularını hazır tutmak, kısa sürede sistemin gerçek olgunluğunu ortaya çıkarır.

Kapanış

Son olarak, otomatik itiraz sistemleri sürekli bir süreçtir. Model güncellemeleri, veri değişimleri ve yasal gereksinimler doğrultusunda düzenli yeniden değerlendirme yapmak, kullanıcı adaletini sağlamak için zorunludur.