Giriş — Neden 60 saniye ve neden Edge‑AI?
Canlı maç yayınlarında seyirci dikkatini çekmek, önemli anları hızlıca paylaşmak ve tekrar üretmek önemli bir rekabet avantajıdır. 60 saniyede bir özet çıkarma hedefi, hem kullanıcı deneyimini yüksek tutar hem de bant genişliği ve depolama maliyetlerini düşürür. Edge‑AI ise bu hedefe ulaşırken gecikmeyi, sunucu maliyetini ve hassas veri aktarımını azaltan temel teknolojidir.
Bu rehber, mobil cihazlar veya kenar (edge) sunucuları üzerinde çalışan otomatik bir klipleyici sistemini adım adım kurmanıza, optimize etmenize ve üretime almanıza yardımcı olacak teknik detayları içerir.
Tasarım hedefleri ve gereksinimler
- Hedef gecikme: Olaydan sonraki 60 saniye içinde özet klibin hazır olması.
- Çıktı formatı: 60 saniyelik kısa özet (ör. H.264/ H.265 MP4 veya WebM), otomatik başlık ve zaman damgası.
- Kaynaklar: Mobil CPU/GPU/NPU veya kenar sunucu (Jetson/Coral/Intel NCS).
- Gizlilik: Ham video çoğunlukla yerelde işlenmeli, yalnızca özet ve meta veriler buluta gönderilmeli.
Mimari seçenekleri: Mobil mi, Kenar mı, Hibrit mi?
Kısa karar özetleri:
- Tam mobil: Her şey cihazda çalışır. Düşük gecikme, ağ bağımsızlık. Ancak sınırlı model kapasitesi ve batarya tüketimi sorunları.
- Kenar sunucu: Ağ gecikmesi kabul edilebilir ve daha güçlü modeller çalıştırılabilir. Çok kullanıcılı senaryolarda maliyet verimliliği.
- Hibrit: İlk hızlı ön-işleme ve olay tespiti cihazda; zengin özetleme ve kalite kontrol kenarda gerçekleşir. En esnek yaklaşım.
Temel bileşenler ve modeller
Otomatik klipleyici, şu bileşenlerden oluşur:
- Girdi Yakalama: RTMP/HLS akış veya yerel video dosyası. FFmpeg/GStreamer ile segmentleme.
- Ön işleme: Frame çıkarma (ör. 1-5 fps), çözünürlük düşürme, renk düzeltme.
- Olay Tespiti: Action detection, event classification (gol, faul, kart, asist vb.). Kullanılabilecek modeller: I3D, SlowFast, Temporal Convolution, Transformer tabanlı modeller.
- Anahtar Kare/Shot Extraction: Shot boundary detection + keyframe seçimi (ör. ORB veya CNN tabanlı skorlar).
- Özetleme Mantığı: Kısa klip seçimi, overlap/trim kuralları, kronolojik sıralama.
- Video Kodlama ve Teslim: FFmpeg ile H.264/H.265, adaptif bit-rate. CDN veya doğrudan paylaşım.
60 Saniye hedefini tutturmanın pratik stratejileri
60 saniyeye sığmak için işlem boru hattını dikkatle tasarlamak gerekir:
- Akış tabanlı işlem: Tam videoyu beklemek yerine, 5–10 saniyelik sliding window ile sürekli analiz.
- Öncelikli düşük maliyetli tespit: İlk aşamada hafif bir model (ör. MobileNet-TSM veya distile edilmiş SlowFast) kullanarak olası olayları filtrele; sadece güçlü adaylar için ağır model çağır.
- Frame sampling: Tüm kareleri işlemek yerine adaptif sampling: yüksek hareket algılanırsa kare hızını artır, durulunca azalt.
- Asenkron işleme: Kodlama, model çıkarımı ve I/O işlemlerini ayrı thread/proceslere dağıtarak CPU/GPU kullanımını paralelleştir.
Adım adım kurulum rehberi
1. Donanım seçimi
Örnek konfigürasyonlar:
- Mobil: Snapdragon 8xx (NPU) veya Apple A-serisi (CoreML) tabanlı telefon.
- Kenar sunucu: NVIDIA Jetson Orin/Nano, Google Coral + Raspberry Pi 4, Intel NCS2 + küçük x86 sunucu.
2. Yazılım yığını
- Video işleme: FFmpeg veya GStreamer.
- Model runtime: ONNX Runtime, TensorRT (NVIDIA), TFLite (Coral/NNAPI), CoreML (iOS).
- Mikroservis/IPC: gRPC veya REST (kenar-mobil arasında), MQTT düşük gecikme için kullanılabilir.
3. Basit pipeline örneği (akış mantığı)
1) FFmpeg ile 10s segment al, 2) Hızlı bir TFLite modeliyle event skoru hesapla, 3) Skor eşik üzerindeyse segmenti tam çözünürlükte al ve ağır model ile doğrula, 4) Klip oluştur, kodla ve yayınla.
FFmpeg komut örneği (segment çıkarma): ffmpeg -i input.m3u8 -c copy -map 0 -f segment -segment_time 10 out%03d.ts
4. Model seçimi ve eğitimi
Veri seti: Etiketlenmiş zaman damgası (start, end, label). Transfer learning kullanın. Öneriler:
- I3D veya SlowFast ile başlangıç; sonra distile edip MobileNet-TSM tarzı hafif modele dönüştürün.
- Temporal label augmentation (önek: olay başına +/- 1s jitter) ile robustluk artırın.
Optimizasyon teknikleri
- Quantization: INT8 veya FP16 ile model boyutunu ve darboğazları azaltın.
- Pruning & distillation: Büyük bir modelle öğretip, küçük bir öğrenci model oluşturun.
- ONNX / TensorRT: Kenar NVIDIA cihazlarda inference hızını artırır.
- Batching ve pipelining: Çoklu segmentleri paketleyip paralel işleyin ama 60s hedefini unutmayın — çok büyük batch gecikme yaratır.
Test, doğrulama ve KPI'lar
Ölçülecek ana metrikler:
- End-to-end latency: Olay zamanı -> Özet hazır (hedef <= 60s).
- Precision/Recall: Önemli olayları yakalama doğruluğu.
- Fps ve kaynak kullanım: CPU/GPU/NPU yükü, bellek tüketimi, pil etkisi (mobil).
- Bandwidth ve maliyet: Gönderilen veri miktarı ve sunucu maliyeti.
Canlı dağıtım ve operasyonel notlar
Gerçek kullanımda dikkat edilecekler:
- Model güncellemeleri için A/B test altyapısı hazırlayın.
- Otomatik geri çekme (rollback) mekanizması kurun; yanlış özetleri otomatik geri alabilmelisiniz.
- Gizlilik için ham görüntüleri saklamayın; mümkünse sadece özet ve anonim meta verileri depolayın.
Donanım örnekleri ve beklenen performans
Kısa referans:
- Smartphone (Snapdragon + NPU): hafif model ile 2–5s per segment işleme, toplam 30–50s E2E mümkün.
- Jetson Xavier/Nano: orta-ileri modellerle 1–3s per segment, daha güvenli 60s hedefi.
- Coral TPU + Raspberry Pi: TFLite INT8 için iyi; ancak I/O sınırları dikkate alınmalı.
Sık yapılan hatalar
- Tüm işleri tek bir modele bırakmak (hiyerarşik filtreleme yok).
- Gerçek zamanlı test etmeden batch-only optimizasyon yapmak.
- Yetersiz logging; yanlış özetleri tespit edememek.
Sonuç — Nasıl başlayabilirsiniz?
Adım adım özet:
- Hedef donanımı seçin ve temel FFmpeg/GStreamer boru hattını kurun.
- Hafif bir olay tespit modeli ile hızlı prototip yapın (mobil veya kenar için TFLite/ONNX).
- Hiyerarşik akış: hızlı filtre → doğrulama → klip oluşturma.
- Quantization, distillation, TensorRT/NNAPI ile optimize edin.
- Gerçek saha testleri yapın; E2E gecikme ve doğruluk ölçümleri toplayıp döngüsel iyileştirme yapın.
Bu rehber, pratik ipuçları ve mimari kararlar sunarak Edge‑AI ile 60 saniyede çalışan bir otomatik maç klipleyici kurmanızı sağlar. Bir sonraki adımda örnek bir repo, model linkleri ve hazır FFmpeg komut setleriyle uygulanabilir bir POC oluşturabilirsiniz.
Kaynak ve ileri okuma
- FFmpeg docs, GStreamer docs
- ONNX Runtime, TensorRT, TFLite optimizasyon rehberleri
- I3D / SlowFast / TSM literatürü
