Giriş: O gece stüdyoda ışıklar sönmüş gibiydi; kamera lensleri parlıyordu ama kontrol odasında kalp atışları hızlanmıştı. Ben, yayın teknisyeni olarak, 12 saat boyunca hem donanım hem de insan kaynaklı sorunlarla boğuşup ekibimizi ve yayını kurtarmak zorunda kaldım. Bu yazıda yaşananları, hangi teknik tercihleri yaptığımı, hangi yaratıcı çözümlere başvurduğumu ve sürekli değişen riskleri nasıl yönettiğimizi adım adım anlatacağım.
Neler Oldu? Kısa Olay Özeti
Planlı final yayını başlamadan 90 dakika önce, ana playout sunucusunun SSD'sinde beklenmeyen bir arıza tespit edildi. Yedekleme sistemi yanlış yapılandırılmıştı; otomatik switchover çalışmadı. Ardından router'da paket kaybı başladı ve dış yayın linki (10 Gbps fiber) için bir parça arızalandı. Kısacası, aynı anda hem iç miks hem de dış bağlantıda kritik biri birden fazla hata çıktı. İşin içinde canlı reklamlar, sponsor talepleri ve milyonlarca izleyici vardı.
İlk 30 Dakika: Triage (Arıza Önceliklendirme)
İlk kural: Panik yok, önceliklendirme var. Yapılan ilk iş, sorunları sınıflandırmak oldu.
- Canlı yayın yolunu korumak: İzleyicinin gördüğü akışın devam etmesi öncelik 1'di.
- Güvenlik ve veri kaybı: İçerik veya kayıtların zarar görmesi öncelik 2.
- Teknik boru hatları: Yönetilebilecek, geçici çözümlerle idare edilebilecek ekipmanlar öncelik 3.
Bu sınıflandırmaya göre hemen devreye aldığım adımlar:
- Playout sunucusunu derhal yedek playout'a yönlendirdik. Ancak SDI çıkışlarımızın bazıları yedekte uygun codec ile eşleşmiyordu; bu yüzden codec dönüşümü için bir interim encoder devreye soktum.
- Dış linkteki paket kaybı için LTE bonding kullanılmaya başlandı. İki mobil taşıyıcıyla router üzerinden yük dengeleme kurduk.
Yaratıcı Çözümler: Donanım ve Yazılım Hackleri
Saha çözümleri klasiksen ötesine geçmeyi gerektirir. Biz de öyle yaptık.
1. Codec uyumsuzluğu problemini aşma
Yedek playout'un SDI çıkışı 1080i50 idi, ama dıştaki CDN 720p59.94 bekliyordu. Yazılımsal transcoding sunucumuz gecikmeyi artıracağından, stüdyo içinde küçük bir HDMI->SDI cihazı ve hafif bir donanım encoder ile çıkış formatını canlı olarak dönüştürdük. Bu sayede 1.5 saniyelik ekstra gecikmeyle yayını tutturduk.
2. Fiber arızasında LTE bonding
Bir fiber hat arızalandığında hemen yedeğe geçmek gerekir. Ancak yedek fiziksel yol da aynı omurga üzerinden sorun yaşıyordu. Biz de iki farklı mobil operatörü edge router'a bağlayıp bonded VPN kurduk. Bu çözüm profesyonel bir MPTS (multi-path transport) altyapısı kadar temiz olmasa da, paket kaybını minimize ederek 720p yayınla devam etmemizi sağladı.
3. Ses karmaşıklığı: Analog patch ve AES67 köprüsü
Ses konsolundaki bir grup kanalda AES67 akışı dondu. Digital rotayı kesip analog patch yükselttik: yedek microfon preamplifier'ları kullanarak stereo mix'i manuel olarak oluşturduk ve yayın sinyaline geri süzdük. Aynı zamanda AES67 köprüsünü yeniden başlatarak dijital hattı tekrar entegre ettik.
İletişim: Sıçrama Tahtası
Teknik çözümler kadar iletişim de hayat kurtarır. Prodüksiyon ekibiyle sürekli ve kısa bilgi akışları kurduk. Benim uyguladığım yöntemler:
- Her 15 dakikada bir durum özeti (status snapshot) üretmek.
- Önemli kararlar için iki onay (teknik lider + prodüksiyon şefi) zorunlu kılmak.
- Operatörlere net roller dağıtmak: kim hangi ekipmanı izliyor, kim dış linkle ilgileniyor gibi.
Bu, yanlış müdahaleleri azalttı ve ekip moralini yüksek tuttu.
Risk Kabulü ve Zaman Yönetimi
12 saat içinde birkaç karar 'kabul edilebilir risk' çerçevesinde alındı. Örneğin LTE bonding'de veri maliyetleri artıyordu ama yayın devam ediyordu; bu maliyetleri göz ardı ederek yayını korumayı seçtik. Öte yandan bazı donanım resetlerini prodüksiyon molasına denk getirerek izleyici etkisini minimuma indirdik.
Loglama ve Kanıt Toplama
Tüm adımları belgeledik. Hangi komut, kim tarafından, hangi saatte çalıştırıldı; hangi modem hangi IP'yi tuttu gibi ayrıntılar sonrasında hem teknik analiz hem de müşteri raporlaması için çok kıymetli oldu. Benim kontrol listemde her müdahaleden sonra 3 dakikayı aşmayan bir log girişi zorunluydu.
Öğrendiklerim: Teknik ve İnsani Dersler
Gece boyunca edindiğim çıkarımlar somut ve uygulanabilir:
- Basit yedekler en değerlisidir: Otomatik sistemler başarısız olunca manuel yedekler (SDI loop, analog patch kabloları, taşınabilir encoder) işi kurtarır.
- Testi canlıya bırakmayın: Her yayın öncesi yıldırma testi (failover testi, codec uyumluluk testi) şarttır.
- İletişim kanalları ayrı olmalı: İç iletişim ve dış iletişim yolları birbirinden bağımsız olmalı; bazen telefon, bazen kısa mesaj bile işe yarar.
- Plan B'nin Plan B'si olmalı: Bir failover planınız varsa onun da başarısız olabileceğini kabul edin ve üçüncü bir çözüm düşünün.
Pratik Kontrol Listesi: Yayın Öncesi 10 Maddelik Hazırlık
- Playout ve yedek playout arasında otomatik switchover testi yapın.
- CDN ile codec/format uyumluluğunu doğrulayın.
- Fiziksel kabloların (SDI/HDMI/Fiber) loop testini yapın.
- Ses sinyal zincirini analog ve dijital olarak test edin.
- Acil durumda kullanılacak taşınabilir encoder ve modemleri hazır edin.
- Ekiplere roller dağıtın ve iletişim protokollerini belirleyin.
- Loglama için otomatik kayıt sistemini aktive edin.
- Güç kaynakları ve UPS'leri kontrol edin.
- İnternet yedekleri ve mobil bonding seçeneklerini test edin.
- En az bir tam failover provası gerçekleştirin.
Son Dakika: Yayının Kurtuluşu
12. saatin sonunda, LTE bonded link kararlı hale geldi, sekonder playout stabil çalışmaya başladı ve ses hattı tamamen onarıldı. İzleyici etkisini en aza indirmiş, sponsorluk taleplerini zamanında karşılamış ve kayıpsız kayıtlar elde etmiş olarak yayını kapattık. Stüdyodaki yorgun ama gururlu bakışları unutmayacağım.
Bu hikâye, teknik bilginin yanı sıra ekip içi güven, doğru karar mekanizmaları ve yaratıcı çözümlerin bir araya geldiğinde neler başarabileceğinin canlı kanıtıdır.
Sonuç: Teknik Yetkinlik + İyi İletişim = Kurtarma
12 saatlik o stresli maraton bana bir kez daha gösterdi ki, modern canlı yayınlar artık sadece iyi ekipmanla değil, iyi süreçlerle kurtarılıyor. Teknolojinin sınırları zorlandığında insan aklı ve deneyimi devreye giriyor. Bu yazı umarım stüdyonuzda benzer bir krizle karşılaştığınızda size pratik, uygulanabilir bir yol haritası sunar.
Ek Not: Eğer ekip içinde yeniden yapılanma veya eğitim planlıyorsanız, failover tatbikatlarını zorunlu kılın; gerçek kriz anındaki reflekslerinizi bu tatbikatlar şekillendirir.
