Sayfa SMGE LSTES... iv. EKL LSTES... vi. ÇZELGE LSTES... viii. ÖZET... x. ABSTRACT... xi 1. GR... 1

Transkript

1 ÇNDEKLER Sayfa SMGE LSTES... iv EKL LSTES... vi ÇZELGE LSTES... viii ÖNSÖZ... ix ÖZET... x ABSTRACT... xi 1. GR Örenme Alt Sistemi Özetleme Alt Sistemi ÖRENME ALT SSTEM Dominant Renk Tespiti Logo ablonunun Oluturulması Logo Geçii Serisi Adaylarının Elde Edilmesi Hareket Özniteliklerinin Hesaplanması Logo Geçii Serisi Adaylarının Hizalanması Logo ablonunun Çıkarılması ÖZETLEME ALT SSTEM Görünüm Sınıflandırma Saha Alanı Sınıflandırma Tekrar Gösterimlerin Ayrılması Anlamlı Analizlerin Gerçekletirilmesi FUTBOL VDEO ÖZETLEME UYGULAMASI FVS Uygulaması UML Modeli BasicImageOperations Sınıfı Histogram Sınıfı DominantColorDetector Sınıfı ViewClassifier sınıfı PlayfieldClassifier sınıfı LineDetector Sınıfı ReplayDetector Sınıfı FrameBuffer Sınıfı DENEYSEL SONUÇLAR Örenme Alt Sistemi Deneysel Sonuçları Dominant Renk Tespiti Deneysel Sonuçları ii

2 5.1.2 Logo ablonunun Oluturulmasına Ait Deneysel Sonuçlar Özetleme Alt Sistemi Deneysel Sonuçları Görünüm Sınıflandırma Deneysel Sonuçları Görünüm Sınıflandırma Baarımını Etkileyen Faktörler Görünüm Sınıflandırma Baarımını Arttırmak çin Yapılan Deneyler Saha Alanı Sınıflandırma Deneysel Sonuçları Saha Alanı Sınıflandırma Baarımını Etkileyen Faktörler Tekrar Gösterimlerin Ayrılması Deneysel Sonuçları Özetleme lemi Deneysel Sonuçları SONUÇLAR VE ÖNERLER KAYNAKLAR ÖZGEÇM iii

3 SMGE LSTES iv

4 KISALTMA LSTES CDT FVS GMM HMM HSI RGB SVM UML C/C++ Development Tooling Football Video Summarization Gaussian Mixture Model Hidden Markov Model Hue Saturation Intensity Red Green Blue Support Vector Machine Unified Modeling Language v

5 EKL LSTES ekil 1-1 Futbol video özetleme sistemi genel modeli... 4 ekil 2-1 ki ayrı futbol sahası için sırasıyla kırmızı, yeil, mavi renk bileen histogramları... 7 ekil 2-2 Renk özü bileeni renk aralıı ekil 2-3 Doygunluk bileeni renk aralıı ekil 2-4 iddet bileeni renk aralıı ekil 2-5 Dominant renklerin hesaplanması; a) 1. dominant renk deeri, b) 2. dominant renk deeri, c) 3. dominant renk deeri ekil 2-6 Logo geçii örnekleri ekil 2-7 Ardıık video karelerinin iddet fark deerleri ekil 2-8 Optik akı özellikeri (Bai v.d., 2006) ekil 2-9 Örnek logo ablonları ekil 3-1 Futbol videosu içerisindeki görünüm tipleri: (a), (b) Genel görünüm, (c), (d) Saha içi görünüm, (e), (f) Saha dıı görünüm ekil 3-2 Çim piksel tespiti; a) video karesi, b) silindirik metrik ile çim piksellerin tespit edilmesi, c) medyan filtrenin uygulanması ekil 3-3 Genel görünüm olarak yanlı iaretlenmi saha içi görünüm ekil 3-4 Kayan pencere ilemi (a) video karesi, (b) çim piksel tespiti, (c) 3:5:3 oranında bölünmü kare, (d) kayan pencere ilemi ilk adımı, (e) kayan pencere ilemi ikinci adım, (f) kayan pencere ilemi son adım ekil 3-5 Görünüm Sınıflandırma algoritması ekil 3-6 Saha alanı çizgileri için açı deerinin hesaplanması ekil 3-7 Futbol sahası alanları : a) Sol alan, b) Orta alan, c) Sa alan ekil 3-8 Futbol sahası çizgileri için açı deerleri ekil 3-9 Closing ve opening ilemleri; a) video karesi, b) çim piksellerin ayrılması, c) closing ilemi, d) opening ilemi ekil 3-10 Saha alanı sınırının iaretlenmesi; a) closing ve opening ilemleri sonucu, b) saha alanı sınırının belirlenmesi ekil 3-11 Saha alanı çizgilerinin tespit edilmesi; a) ikili modda iaretlenmi resim, b) saha alanı dıındaki alanların çıkarılması, c) saha alanı çizgilerinin tespit edilmesi 28 ekil 3-12 Logo ablonu ve tespit edilmi olan logo kareleri ekil 3-13 Futbol yayın modeli (Ren v.d., 2005) ekil 3-14 Atak yayın modeli ekil 3-15 Orta seviye tanımlayıcılar ile atak yayın modeli vi

6 ekil 3-16 Örnek atak pozisyonu ekil 4-1 BasicImageOperations sınıfı UML diyagramı ekil 4-2 Histogram sınıfı UML diyagramı ekil 4-3 DominantColorDetector sınıfı UML diyagramı ekil 4-4 ViewClassifier sınıfı UML diyagramı ekil 4-5 PlayfieldClassifier sınıfı UML diyagramı ekil 4-6 LineDetector sınıfı UML diyagramı ekil 4-7 ReplayDetector sınıfı UML diyagramı ekil 4-8 FrameBuffer sınıfı UML diyagramı ekil 5-1 Sistem baarım performansının ölçülmesi için kullanılan futbol videolarından kareler ekil 5-2 Genel görünüm olarak sınıflandırılmı olan video kareleri ekil 5-3 Saha içi görünüm olarak sınıflandırılmı olan video kareleri ekil 5-4 Saha dıı görünüm olarak sınıflandırılmı olan video kareleri ekil 5-5 Görünüm sınıflandırma metodunda yayıncı kurulutan kaynaklanan baarısız sonuçlar ekil 5-6 Görünüm sınıflandırma metodunda gündüz maçlarında stadyumdan kaynaklanan baarısız sonuçlar ekil 5-7 Orta alan olarak sınıflandırılmı olan video kareleri ekil 5-8 Sol alan olarak iaretlenmi olan video kareleri ekil 5-9 Sa alan olarak iaretlenmi olan video kareleri ekil 5-10 Saha alanı çizgisinin yer almadıı video karesi ekil 5-11 Bulanık ekilde görüntülenmi orta alan çizgisi ekil 5-12 Bulanık ekilde görüntülenmi olan sol alan çizgisi vii

7 ÇZELGE LSTES Çizelge 3-1 Saha alanı sınıflandırma kuralı Çizelge 4-1 BasicImageOperations sınıfı öznitelikleri Çizelge 4-2 BasicImageOperations sınıfı fonksiyonları Çizelge 4-3 Histogram sınıfı fonksiyonları Çizelge 4-4 DominantColorDetector sınıfı öznitelikleri Çizelge 4-5 DominantColorDetector sınıfı fonksiyonları Çizelge 4-6 ViewClassifier sınıfı fonksiyonları Çizelge 4-7 PlayfieldClassifier sınıfı öznitelikleri Çizelge 4-8 PlayfieldClassifier sınıfı fonksiyonları Çizelge 4-9 LineDetector sınıfı fonksiyonları Çizelge 4-10 ReplayDetector sınıfı öznitelikleri Çizelge 4-11 ReplayDetector sınıfı fonksiyonları Çizelge 4-12 FrameBuffer sınıfı öznitelikleri Çizelge 4-13 FrameBuffer sınıfı fonksiyonları Çizelge 5-1 Dominant renk tespiti performans testleri Çizelge 5-2 Logo ablonunun oluturulması performans testi Çizelge 5-3 Görünüm tipi daılımları Çizelge 5-4 Görünüm sınıflandırma test sonuçları Çizelge 5-5 Görünüm sınıflandırma test sonuçları Çizelge 5-6 Saha alanı tipi daılımları Çizelge 5-7 Saha alanı sınıflandırma test sonuçları Çizelge 5-8 Logo geçilerinin yakalanması test sonuçları Çizelge 5-9 Video özetleme süreleri Çizelge 5-10 Atak pozisyonlarının tespit edilmesi test sonuçları viii

8 ÖNSÖZ Bu tez çalıması kapsamında Futbol Videoları çin Otomatik Özetleme Sistemi gelitirmek amacıyla ihtiyaç duyulan metodları ve yaklaımları tasarlamayı hedefledim. Gerçekletirmi olduum çalıma sonucunda gelecekteki birçok akademik ve ticari çalıma için temel oluturabilecek bir tez çalıması ürettiime inanıyorum. Bu tez çalımasını yaparken elinden gelen hiçbir gayreti esirgemeyen ve beni hem bu tez çalıması sırasında hem de Yıldız Teknik Üniversitesi ndeki lisans ve yüksek lisans örenimim boyunca sürekli destekleyen deerli danımanım A. Gökhan Yavuz ve M. Elif Karslıgil e teekkür etmeyi bir borç bilirim. Serhat Aydın Austos, 2008 ix

9 ÖZET FUTBOL VDEOLARININ ORTA SEVYEL TANIMLAYICILAR LE ANALZ VE ÖZETLENMES Serhat Aydın Bilgisayar Mühendislii, Yüksek Lisans Tezi Son yıllarda teknoloji alanındaki gelimeler ile sayısal video içerii ve buna paralel olarak bu içerie eriim için kullanılan sayısal ürün ve ortam çeitlilii oldukça artmıtır. Sayısal video içeriinde, çok fazla insana hitap etmesi nedeniyle spor videoları önemli bir yer tutmaktadır. Spor müsabakalarının sayısı, çeitlilii ve süreleri göz özüne alındıında izleyicilerin tüm spor müsabakalarını takip etmeleri mümkün görünmemektedir. Dolayısıyla, günümüzde spor müsabakalarına ait videoların otomatik olarak özetlenmesi ve bu özet görüntülerin çeitli sayısal ürün ve ortam aracılııyla izleyicilere ulatırılması önem kazanmıtır. Spor müsabakaları içerisinde en çok ilgi çeken her zaman futbol olmutur. Dolayısıyla futbol, günümüzde bilimsel aratırma grupları ve piyasa tarafından özetleme konusunda en fazla ilgiyi gören spor dalıdır. Bu tez kapsamında futbol videosu özetleme ilemi için ihtiyaç duyulan metodolojiler ve yaklaımlar tasarlanmı ve özetleme ilemini gerçekletiren bir uygulama gelitirilmitir. Özetleme ilemi için futbol videosu içerisindeki görünüm tipi, saha alanı, tekrar gösterim gibi orta seviye tanımlayıcılar elde edilip bu tanımlayıcılar üzerinde anlamlı analizler gerçekletirilmitir. Bu anlamlı analizler ile video içerisindeki ilgi çekici bölümlerin bulunmasını ve dolayısıyla videonun özetlenmesini salayan sinematik özniteliklere dayalı bir sistem gelitirilmitir. Gelitirilen sistem Örenme Alt sistemi ve Özetleme Alt sistemi olmak üzere 2 ayrı modülden olumaktadır. Örenme alt sistemi dominant renk tespiti ve logo ablonunun oluturulması ilemlerini gerçekletirip özetleme alt sistemine veri salamak amacıyla tasarlanmıtır. Özetleme alt sistemi ise örenme alt sisteminden aldıı verilerle öncelikle video içerisindeki görünüm tipi, saha alanı tipi ve tekrar gösterim orta seviye tanımlayıcılarını elde eder. Daha sonra bu tanımlayıcılar üzerinde anlamlı analizler gerçekletirerek futbol özetleme ilemini gerçekletirir. Anahtar Kelimeler: Futbol videosu özetleme, sinematik özellikler, görünüm sınıflandırma, tekrar gösterim tespiti JÜR: 1. Yrd. Doç. Dr. A. Gökhan YAVUZ (Danıman) Tarih : Yrd. Doç. Dr. Yusuf Sinan AKGÜL Sayfa sayısı : Yrd. Doç. Dr. Soner ÖZGÜNEL x

10 ABSTRACT ANALYSIS AND SUMMARIZATION OF SOCCER VIDEOS WITH MID-LEVEL DESCRIPTORS Serhat Aydın Computer Engineering, M.S. Thesis In recent years, the amount of digitized video content and the variety of digitized equipments that providing access to video content have been increasing rapidly. Soccer videos are important part of the video content, because sports video appeal to large audiences. It is impossible for the audiences to watch all sports video by reason of the variety and duration of these videos. Therefore, automatically summarizing sports video and delivering them to audiences by digitized equipments and media has been a coming requirement. Soccer is the most popular sport event in recent years and soccer video summarization has attracted a lot of attention among the researchers. In the context of this thesis, necessary methodologies and approaches were studied to design a soccer video summarization system. Mid-level descriptors such as view type, playfield zone and replay are extracted from the soccer video and semantic analysis are performed on these descriptors. Later, highlights in the soccer video is extracted by semantic analysis. As a result, an automatic soccer video summarizarion system which are based on the sinematic features is proposed. The system consists of two modules named as Learning Sub System and Summarization Sub System. Learning Sub System is designed to implement dominant color detection and logo template generation processes and supply the necessary data to Summarization Sub Sytem for summarization process. Summarization Sub System extracts view type, playfield zone and replay mid-level descriptors by using the input data from Learning Sub System and summarizes the video by performing semantic analysis on these descriptors. Keywords: Soccer video summarization, cinematic features, view classification, play detection JURY: 1. Assist. Prof. A. Gökhan YAVUZ (Supervisor) Date : Assist. Prof. Yusuf Sinan AKGÜL Page : Assist. Prof. Soner ÖZGÜNEL xi

11 1 1. GR Spor müsabakaları, geçmi yıllardan günümüze kadar geçen süre içerisinde her zaman insanların ilgisini çekmitir. Son yıllarda, teknoloji alanındaki ilerlemeler ile dijital medya ürünlerinin çeitlilii artmı ve buna balı olarak spor müsabakalarının izlenme oranı da oldukça yükselmitir. Spor müsabakalarının sayısı, çeitlilii ve süreleri düünüldüünde, seyircilerin tüm müsabakaları takip etme imkanı bulunmamaktadır ve genellikle bu müsabakalara ait sadece ilgi çekici bölümlerden oluan özet görüntüleri izlemeyi tercih etmektedirler. Dolayısıyla, günümüzde spor müsabakalarına ait videoların otomatik olarak özetlenmesi ve bu özetlerin televizyon, mobil cihazlar veya internet aracılııyla seyircilere ulatırılması ihtiyacı domutur. Spor müsabakaları ertesinde yayınlanan ve bu müsabakaları deerlendiren televizyon programları ve gazete eletirileri de düünüldüünde spor videolarının özetlenmesi ihtiyacı daha da artmaktadır. Ayrıca elde edilen özet görüntüler müsabaka içerisindeki sadece ilgi çekici bölümlerden olutuu için spor müsabakalarının yer aldıı video indeksleme sistemleri için de çok önemli bir girdi oluturmaktadırlar. Spor müsabakaları içerisinde en çok ilgi çeken her zaman futbol olmutur. Dolayısıyla spor videolarının özetlenmesi konusunda üzerinde en çok aratırma yapılmı spor dalı da futboldur. Futbol videolarının özetlenmesi konusunda geçmite yapılan çalımalar temel olarak video içerisindeki nesne tabanlı özniteliklerin ve sinematik özniteliklerin elde edilmesi ve elde edilen bu öznitelikler üzerinde anlamlı analizlerin gerçekletirilmesi üzerine kurulmutur. Literatürde nesne tabanlı özniteliklerin kullanıldıı çalımalara bakıldıında, elde edilen nesnelerin renk, doku ve ekil gibi uzaysal, hareket ve etkileim gibi mekansal-zamansal özniteliklerinden yararlanıldıı görülmektedir. Nesne tabanlı özniteliklerin kullanıldıı çalımalarda genellikle nesne olarak bir futbol müsabakasının temel unsurları olan futbol topu, futbolcular ve hakem kullanılmıtır. (Yow vd., 1995), video içerisinde futbol topunun saha içerisindeki yörüngesini bulmayı amaçlamıtır. Bu çalımada öncelikle video içerisindeki tüm kareler incelenerek kale direklerinin görüntülendii kareler bulunmu ve futbol topunun yörüngesi sadece bu kareler üzerinde incelenmitir. Bir kare üzerinde futbol topunun daha kolay tanınması için kamera dengeleme tekniinden yararlanılmıtır. Bu teknik ile arka arkaya gelen karelerin farkı alınarak hareket eden nesneler daha belirgin bir hale getirilmi ve her bir karede topun konumu belirlenerek yörüngesi elde edilmitir. Sonuç olarak topun yörüngesine bakılarak maç içerisinde gol olan ve gole yakın olan pozisyonlar ayrılmıtır.

12 2 (Assfalg vd., 2002), video özetinin oluturulmasında HMM (Hidden Markov Model Saklı Markov Modeli) den faydalanarak maç içerisindeki serbest vuru, köe vuruu ve penaltı vuruu pozisyonlarını ayırmıtır. Modelin oluturulması amacıyla futbol sahası belirli bölgelere ayrılmı, futbolcuların ve topun bu bölgeler içerisindeki yer deitirmesi izlenmitir. Daha sonra bu yer deitirme bilgileri futbol maçının görüntülenmesi sırasında kullanılan kameranın yatay hareketi, öne ve arkaya eimi ve zumlama gibi kamera hareketleri ile birletirilerek serbest vuru HMM, köe vuruu HMM ve penaltı vuruu HMM eklinde 3 ayrı model oluturulmutur. (Ekin vd., 2003), sarı kart, kırmızı kart ve penaltı pozisyonlarında hakemin yakın çekimde görüntülenmesinden yola çıkarak, video içerisinde hakemin görüntülendii kareleri ve dolayısıyla maçın içerisinde sarı kart, kırmızı kart ve penaltı pozisyonlarının gerçekletii bölümleri elde etmeye çalımıtır. Hakemin maç içinde dier takımların üniformalarından farklı renkte bir üniforma giymesi kuralından faydalanılarak kare üzerinde yatay ve dikey izdüüm alma ilemi gerçekletirilmi ve hakemin yer aldıı bölge tespit edilmitir. Sinematik öznitelikler maçın görüntülenmesi sırasında kullanılan belirli video çekim kuralları sonucunda oluurlar. Maç içerisindeki tekrar görüntüleri, video karesinin görüntülenme ekli (yakın çekim, uzak çekim), seyircilerden gelen sesler, ekranda beliren metinler sinematik özniteliklere örnek olarak gösterilebilir. Literatürde sinematik özniteliklerin kullanıldıı pek çok çalıma mevcuttur. Bu çalımalarda sinematik öznitelikler genel olarak 2 kategoride incelenmitir; iitsel öznitelikler ve görsel öznitelikler. (Xiong vd., 2003), iitsel öznitelikleri sınıflandırmak için GMM (Gaussian Mixture Model - Gauss Karıım Modeli) kullanmıtır. Video içerisindeki sessiz olmayan her saniye 5 sınıftan biriyle etiketlenmitir. Bu sınıflar; seyirci reaksiyon sesi (alkı, tezahürat vb), müzik, konuma, müzikle birlikte konuma ve dierleri eklinde belirlenmitir. Etiketlenen bu bölümler için GMM kullanılarak video içerisindeki ilgi çekici bölümler elde edilmitir. (Xu vd., 2003), SVM (Support Vector Machine Destek Vektör Makineleri) den faydalanarak hakemin düdük sesi, maçı anlatan spikerin sesi ve seyircilerin sesleri için 7 adet anahtar öznitelik oluturmu ve her anahtar öznitelii maç içerisindeki potansiyel olaylarla eletirmitir. Anahtar öznitelikler; uzun süreli hakem düdüü, çift hakem düdüü, çoklu hakem düdüü, heyecanlı spiker sesi, heyecanlı seyirci sesi, sade spiker sesi ve sade seyirci sesi olarak belirlenmitir. Anahtar öznitelik - Potansiyel olay eletirmeleri ile birlikte bulusal yöntemler kullanılarak maç içerisindeki anlamlı olaylar ortaya çıkartılmıtır.

13 3 (Wang vd., 2004), iitsel ve görsel özniteliklerin bir arada kullanıldıı bir çalıma ortaya koymutur. Video içerisinde sadece tüm oyun alanını gösteren ana kameranın kaydettii görüntüler kullanılarak özetleme ilemi gerçekletirilmitir. Öncelikle düük seviyeli iitsel ve görsel öznitelikler analiz edilerek orta seviye anahtar öznitelikler elde edilmitir. Anahtar öznitelikler olarak; aktif oyun alanı, topun yörüngesi, kale azı, hareket aktivitesi ve ses kullanılmıtır. Daha sonra bu anahtar öznitelikler belirli kurallara göre gruplanarak atak, faul ve dier olmak üzere 3 adet sınıflandırıcı oluturulmutur. Sınıflandırma ilemi için Gauss çekirdei ile SVM kullanılmıtır. SVM in eitimi için bir eitim videosu oluturulmu, maç içerisindeki ilgi çekici ve ilgi çekici olmayan bölümler elle iaretlenmitir. Sonuç olarak, eitilen SVM aracılııyla oluturulan sınıflara uyan bölümler ayrıtırılmı ve özetleme ilemi gerçekletirilmitir. (Pan vd., 2001), maç yayını sırasında önemli pozisyonların tekrar gösterildii bilgisinden yararlanarak video içerisindeki yavalatılmı tekrar gösterimleri (slow motion replay) bulmayı hedefleyen bir çalıma gerçekletirmitir. Çalıma kapsamında yavalatılmı tekrar gösterimlerin yapısı incelenmi ve bu yapıya e bir HMM oluturulmutur. HMM oluturulurken ardı ardına gelen video karelerinin farkı alınarak, bu farkın deiiminin frekansı ve genlii kullanılmıtır. Sonuç olarak elde edilen tekrar gösterimler birletirilerek video özeti oluturulmutur. (Zhao, 2006 v.d) de tekrar gösterimler üzerine bir çalıma gerçekletirmitir. Tekrar gösterim bölümlerini bulmak için tekrar gösterimlerin baında ve sonunda görüntülenen logo geçi efektini yakalamayı tercih etmitir. Video içerisindeki tüm logo çiftlerinin yeri ve dolayısıyla tekrar gösterimler elde edildikten sonra, tekrar gösterimlerin önem seviyesinin belirlenebilmesi için bir olay-tekrar yapısı oluturulmutur. Olay-tekrar yapısının oluturulması sırasında ses enerjisi ve hareket aktivitesi öznitelikleri kullanılmıtır. Elde edilen tekrar gösterimler önem derecesine göre birletirilerek video özeti elde edilmitir. Nesne tabanlı özniteliklerin ve sinematik özniteliklerin kullanıldıı çalımalar için gerçekletirilen performans analizleri incelendiinde sinematik özniteliklerin kullanıldıı çalımaların daha baarılı olduu görülmektedir. Nesne tabanlı özniteliklerin çıkarılması çok daha fazla ilem gücü ve zaman gerektirmektedir. Dolayısıyla performans kriteri göz önüne alınarak, son yıllarda yapılan çalımalarda daha çok sinematik özellikler tercih edilmektedir.

14 4 ekil 1-1 Futbol video özetleme sistemi genel modeli Bu tez çalıması kapsamında futbol videosu içerisindeki orta seviye tanımlayıcıları elde eden ve bu tanımlayıcılar üzerinde anlamlı analizler gerçekletirerek, maç içerisindeki ilgi çekici bölümlerin bulunmasını ve dolayısıyla videonun özetlenmesini salayan sinematik özniteliklere dayalı bir sistem gelitirilmitir. Gelitirilen sistem ekil 1-1 de görüldüü gibi örenme alt sistemi ve özetleme alt sistemi olmak üzere 2 ayrı bölümden olumaktadır. 1.1 Örenme Alt Sistemi Örenme alt istemi, özetleme alt sistemine video özetleme ilemini gerçekletirmesi esnasında kullanacaı verileri salamak amacıyla gelitirilmitir. Örenme alt sistemi özetlenecek olan video üzerinde dominant renk tespiti ve logo ablonunun oluturulması ilemlerini gerçekletirir. Video özetleme ilemi sırasında her bir video karesi kameranın çekim ekline göre belirli görünüm sınıflarına ayrılmıtır ( ekil 1-1 Görünüm Sınıflandırma). Görünüm sınıflandırma ilemi için video karesinde futbol sahasına ait bölgenin ne kadar younlukta olduu bilgisi kullanılmıtır. Bu younluk bilgisinin elde edilmesi için video karesi içerisindeki futbol sahası renginde olan piksellerin dier piksellere olan oranı tespit edilir. Futbol sahaları çim alanlardan dolayısıyla yeilin tonlarındaki renklerden olumaktadır. Futbol sahası için yeil rengin tonu stadyumdan stadyuma, hatta aynı stadyum içersindeki hava koullarına ve ıık deiimine balı olarak farklılık göstermektedir. Futbol videoları incelendiinde video boyunca dominant rengin

15 5 futbol sahasının, yani yeilin tonlarındaki çim alanların rengi olduu kolaylıkla görülmektedir. Dolayısıyla örenme alt sistemi kapsamında video üzerinde dominant rengin elde edilmesi ilemi gerçekletirilmitir. Örenme alt sisteminin dier bir görevi video içerisindeki tekrar gösterimlerin elde edilmesi sırasında kullanılan logo ablonunu oluturmaktır. Logo ablonunun oluturulması için video boyunca ard arda gelen video karelerinde için ortalama iddet deerlerinin farkı hesaplanır. Bu farkın yüksek olması o kareler boyunca bir sahne geçiinin veya logo geçi efektinin var olduu anlamına gelmektedir (Tong vd., 2004). Dolayısıyla fark deerinin belirli bir eik deerini geçtii anlardaki video karesi serileri logo geçii serisi adayları olarak saklanır. Daha sonra elde edilen tüm logo geçii serisi adayları için dinamik programlama kullanılarak seri hizalama ilemi gerçekletirilir ve sadece logo geçi efektinin yer aldıı seriler elde edilir. Son olarak elde edilen seriler içerisinden logo ablonu çıkartılır. 1.2 Özetleme Alt Sistemi Özetleme alt sistemi, özetleme ilemi için orta seviye tanımlayıcıları elde ederek bu tanımlayıcılar üzerinde anlamlı analizler gerçekletirir. Özetleme alt sisteminde orta seviye tanımlayıcıların kullanılmasının nedeni tek baına düük seviye tanımlayıcıların veya yüksek seviye özniteliklerin yeterli olmamasıdır. Düük seviye tanımlayıcılar ham veriden elde edilebilecek renk, doku v.b. özniteliklerdir. Düük seviye tanımlayıcılar anlamlı bilgi içermediinden özetleme alt sisteminde bu tanımlayıcıların orta seviye tanımlayıcılar ile güçlendirilmesi tercih edilmitir. Yüksek seviye öznitelikler ise insanlar ve insanlar veya makineler ve insanlar arasındaki anlamsal uçurum nedeniyle günümüzdeki sistemlerde fazla kullanılmamaktadır. Bu uçurumun olumasında insanların görsel bilgi içeren bir varlıı birbirlerinden farklı algılayabilecekleri veya tanımlayabilecekleri gerçei etkilidir (Soydal vd., 2005; Eidenberger, 2004). Özetleme alt sistemi kapsamında, görünüm tipi, saha alanı ve tekrar gösterim orta seviye tanımlayıcıları kullanılmıtır ( ekil 1-1, görünüm sınıflandırma, saha alanı sınıflandırma, tekrar gösterimlerin ayrılması). Görünüm sınıflandırma ilemi sırasında her bir video karesi genel görünüm, saha içi görünüm ve saha dıı görünüm sınıflarından bir tanesine ayrılır. Görünüm sınıflandırma için örenme alt sisteminin salamı olduu dominant renk yani çim rengi bilgisi kullanılır. Video karesinde yer alan her bir pikselin renk deeri dominant renk ile karılatırılır ve dominant renge yakın olan pikseller çim piksel olarak kabul edilir. Yeni bir karede çim pikseller ve çim

16 6 olmayan pikseller ikili modda iaretlenir. Çim pikseller belirlendikten sonra çim piksel sayısının video karesindeki tüm piksel sayısına oranı ve tanımlanmı olan görünüm sınıflandırma kuralları uygulanarak, video karesi daha önce tanımlanmı olan 3 görünüm sınıfından biri ile iaretlenir. Saha alanının sınıflandırması için görünüm sınıflandırma ile genel görünüm olarak iaretlenmi olan ikili video kareleri kullanılmıtır. Genel görünüm, futbol müsabakasının görüntülenmesi sırasında topun olduu bölgeyi yukarıdan gösteren ana kameranın elde ettii görüntülerden oluur. Futbol sahası her bir takıma ait olan alanlar ve orta alan olmak üzere toplam 3 temel alandan olumaktadır. Dolayısıyla saha alanının sınıflandırılması için sol alan, sa alan ve orta alan olmak üzere 3 adet sınıf tanımlanmıtır. kili video karesi üzerinde futbol sahasının sınırları elde edilerek saha dıında kalan alanlar video karesinden çıkartılmıtır. Daha sonra Hough transform metodu kullanılarak saha üzerinde yer alan saha çizgileri tespit edilir. Tespit edilen saha çizgileri ve tanımlanmı olan saha alanı sınıflandırma kuralları kullanılarak, video karesi tanımlanmı olan 3 saha alanı sınıfından biri ile iaretlenir. Tekrar gösterimlerin ayrılması ilemi video içerisinde logo geçilerinin yer aldıı karelerin tespit edilmesiyle gerçekletirilir. Futbol videoları incelendiinde maç içerisinde oluan ilgi çekici pozisyonların tekrar gösterimlerinin yer aldıı ve bu tekrar gösterimlerin genel olarak bir logo geçi efektiyle balayıp, aynı logo geçi efektiyle sona erdii görülür. Dolayısıyla bu çalıma kapsamında tekrar gösterimlerin ayrılması için logo geçi çiftlerinin tespit edilmesi tercih edilmitir. Örenme alt sistemi tarafından futbol videosu analiz edilerek logo geçi efektinde kullanılan logo için bir ablon elde edilir. Özetleme alt sistemi ard arda gelen her video karesini logo ablonunun yer aldıı kare ile karılatırır. Karılatırma ilemi sırasında video karesi ve logo ablonu karesinin piksel deerlerinin farkının ortalaması alınır. Fark deerinin belirli bir eik deerinin altına dütüü andaki video karesi, logo ablonu ile belirtilen logonun yer aldıı karedir. Dolayısıyla video içerisindeki logo geçii yakalanmıtır. Böylece ard arda gelen 2 logo geçii arasındaki bölüm tekrar gösterim olarak ayrılmıtır. Özetleme alt sistemi son adım olarak elde edilen görünüm tipi, saha alanı ve tekrar gösterim orta seviye tanımlayıcıları üzerinde anlamlı analizler gerçekletirerek videonun özetlenmesi ilemini gerçekletirir. Bu tez çalıması kapsamında Bölüm 2 de örenme alt sistemi, Bölüm 3 de ise özetleme alt sistemi tanıtılmaktadır. 4. bölümde ise tez kapsamında gelitirilen otomatik futbol video özetleme sistemi FVS

17 7 Football Video Summarization detaylı olarak anlatılmaktadır. 5. bölümde ise Football Video Summarization uygulaması ile elde edilen deneysel sonuçlar, 6. bölümde tez çalımasının sonuçları ve gelecekteki benzer çalımalar için öneriler yer almaktadır. 2. ÖRENME ALT SSTEM Bu bölümde video özetleme ilemi için kullanılacak olan ön verilerin hazırlandıı örenme alt sisteminin tasarım ve gerçekleme detayları anlatılmıtır. Örenme alt sisteminin, özetleme alt sistemine saladıı veriler dominant renk bilgisi ve logo ablon bilgisidir. 2.1 Dominant Renk Tespiti Özetleme alt sistemi her bir video karesi için görünüm sınıflandırma ilemini gerçekletirirken video karesinde yer alan çim piksellerin younluk bilgisinden yararlanır. Çim piksellerin ayrılması için bu piksellerin yeil renkte olması bilgisinden faydalanılır. ekil 2-1 de de görüldüü gibi futbol sahalarındaki yeil rengin tonu stadyumdan stadyuma, hatta aynı stadyum içersindeki hava koullarına ve ıık deiimine balı olarak farklılık göstermektedir. ekil 2-1 ki ayrı futbol sahası için sırasıyla kırmızı, yeil, mavi renk bileen histogramları Bu nedenle futbol sahası için belirli bir renk tonu belirlemek ve bunu tüm videolar için kullanmak genel bir çözüm olmayacaktır. ekil 2-1 deki video karelerinde dominant rengin futbol sahasının rengi olduu açıkça görülmektedir. Bu bilgiden yola çıkılarak daha genel bir çözüm içermesi amacıyla belirli bir renk yerine her video için dominant rengi elde eden bir sistem gelitirilmitir.

18 8 Dominant rengin tespiti için (Ekin v.d., 2003) tarafından gelitirilen metod kullanılmıtır. Gelitirilen metod HSI (Hue, Saturation, Intensity Renk özü, Doygunluk, iddet) renk uzayını kullanmaktadır. Dolayısıyla dominant rengin tespiti sırasında video karelerinin RGB uzayından HSI uzayına dönütürülmesi ihtiyacı domutur. RGB ve HSI renk uzayları arasındaki dönüümler için aaıda verilen eitlikler kullanılmıtır. ( ) ( ) [ ] ( ) ( )( ) [ ] [ ] ( ) B G R I B G R B G R S B G B R G R B R G R G B G B H + + = + + = + + = > = 3 1 ),, min( cos θ θ θ (2.1)

19 9 0 H < 120 B = I ( 1 S ) S cos( H ) R = I1 + cos(60 H ) G = 3I ( R + B) 120 H < 240 H = H 120 R = I ( 1 S ) S cos( H ) G = I1 + cos(60 H ) B = 3I ( R + G) 240 H < 360 H = H 240 G = I ( 1 S ) S cos( H ) B = I1 + cos(60 H ) R = 3I ( G + B) (2.2) Dominant rengin tespiti HSI uzayındaki her bir renk bileeni için histogram oluturulup ortalama renk deerinin hesaplanması ilemine dayanır. Ortalama deerin hesaplanması için her bir histograma ait maksimum deer hesaplanır. i peak maksimum deerin indeksini, H histogramı, H[i peak ] maskimum deeri gösterir. Daha sonra her bir maksimum deer için (2.3)- (2.9) artlarını salayan [i min, i max ] aralıı tanımlanır. Bu deerler hesaplanırken kullanılan K deeri, maksimum histogram deerine ne kadar yakınlıktaki deerlerin ortalama renk hesabına katılacaını gösterir. Gelitirilen metodda K deeri deneysel sonuçlar deerlendirilerek 0.2 olarak sabitlenmitir. H H H H [ i ] K [ ] min H i peak (2.3) [ i 1] < K [ ] max H i peak (2.4) [ i ] K [ ] max H i peak (2.5) [ i +1] < K [ ] max H i peak (2.6) imin i peak (2.7) imax i peak (2.8)

20 10 i max max i= imin [ ] H i i i= imin ortalama renk = (2.9) i H i [ ] Her bir HSI renk bileeni için ortalama renk deeri hesaplandıktan sonra video karesi için dominant renk elde edilmi olur. Özetleme alt sisteminin kullanacaı dominant rengin tespit edilmesi için bu ilem eitim seti içerisindeki her bir video karesi için tekrarlanır ve hesaplanan tüm dominant renklerin aırlıklı ortalaması alınır. Dominant renk tespiti sırasında eitim seti olarak özetlenecek olan videonun ilk 5 dakikası kullanılmıtır. Her bir video karesi için dominant rengin hesaplanması sırasında doal olarak her video karesi sadece futbol sahası görüntüsünden olumamaktadır. Bazı video kareleri futbol sahası dıındaki seyirciler, teknik direktörler, yedek kulubesindeki oyunculardan oluan görüntüler de içermektedir ve bu video kareleri için hesaplanan dominant renk futbol sahasına ait dominant renkten çok farklı bir deerdedir. Bu nedenle eitim seti içerisinde futbol sahası dıındaki görüntülerden oluan video kareleri dominant rengin doru hesaplanmasını olumsuz yönde etkilemektedir. Bu olumsuzluu gidermek için her bir video karesi için hesaplanan dominant rengin yeil rengin tonlarında olup olmadıı kontrol edilmi ve yeil renk tonunda olmayan dominant renkler ayrılmıtır. Hesaplanan bir dominant rengin yeil renk tonunda olup olmadıının anlaılması için HSI renk bileenlerinden renk özü ve doygunluk bileenlerinin deerleri kontrol edilmitir. HSI renk uzayında renk özü bileeni baskın renk dalga boyunu gösteririr. ekil 2-2 de renk özü renk bileeni için renk aralıı gösterilmitir. Bu renk aralıı incelendiinde yeil rengi oluturan aralık kolaylıkla görülmektedir. ekil 2-2 Renk özü bileeni renk aralıı Doygunluk bileeni ekil 2-3 de görüldüü gibi saf rengin beyaz ıık ile hangi oranda karıtıını gösterir. Doygunluk deeri azaldıkça bütün renkler griye doru yaklamaya balar.

21 11 ekil 2-3 Doygunluk bileeni renk aralıı iddet bileeni ise rengin içerdii ıık miktarıdır. iddet deeri yükseldikçe bütün renkler beyaza doru yaklaır. ekil 2-4 iddet bileeni renk aralıı Bu bilgilerden yola çıkılarak yapılan testler ile renk özü ve doygunluk bileenleri için yeil rengi oluturan renk aralıkları hesaplanmıtır. Bu aralıklar renk özü için , Doygunluk için olarak belirlenmitir. Renk özü ve doygunluk deerleri bu renk aralıklarına düen dominant renklerin yeil tonunda olduuna karar verilmitir. Elde edilen dominant renk kullanılarak yapılan testlerde tek bir dominant renk kullanmanın bazı dezavantajları olduu görülmütür. Futbol sahasının bazı bölümlerine düen ııın daha farklı olması, futbol sahasının birbirinden farklı yeil tona sahip dikey bölümlerden oluması veya tribünlerden saha üzerine düen gölgelerden dolayı bazı bölümlerdeki yeil tonu, dominant renge uzak kalmaktadır ve çim alan tespitinde bu bölgeler için sonuçlar baarısız olmaktadır. Bu nedenle dominant renk tespiti için kullanılan metod biraz daha gelitirilmi ve birden fazla dominant renk elde edilme yoluna gidilmitir. Bu ilem aaıdaki adımlardan

22 12 olumaktadır; 1. Her bir video karesi için dominant renk deeri hesaplanır ve yeil renk tonunda olan dominant renkler belirlenir. 2. Yeil renk tonunda olan dominant renk deerleri k-ortalama gruplaması (k-means clustering algoritması) kullanılarak belirlenen sayıda ayrı sınıfa ayrılır. 3. Her bir sınıftaki dominant renk deerleri için, renk bileenlerinin ortalamaları alınarak belirlenen sayıda ayrı dominant renk elde edilmi olur. ekil 2-5 de örnek bir videodan kareler ve elde edilen 3 ayrı dominant renk HSI deerleriyle birlikte gösterilmektedir. Kullanılacak olan dominant renk sayısı çim alan piksellerin tespiti sırasında en verimli sonucu alacak ekilde belirlenir. ekil 2-5 Dominant renklerin hesaplanması; a) 1. dominant renk deeri, b) 2. dominant renk deeri, c) 3. dominant renk deeri 2.2 Logo ablonunun Oluturulması Futbol müsabakalarının yayını sırasında tekrar gösterimlerin baında ve sonunda yayıncı kurulu tarafından belirli bir logo geçi efekti kullanılır. Dolayısıyla futbol videoları analiz edilirken bu logo geçi efektlerini tespit etmek tekrar gösterimlerin bulunması için sıkça kullanılan bir tekniktir. ekil 2-6 da iki ayrı futbol videosu için logo geçi efektlerinin yer aldıı video kareleri gösterilmitir. Logo geçii tüm futbol müsabakalarında aynı karakteristik özelliklere sahiptir (Bai v.d, 2006): 1. Tekrar gösterimlerin baında ve sonunda kullanılırlar.

23 13 2. Tüm video boyunca aynı logo nesnesi kullanılır. 3. Logo nesnesi arka plandaki görüntüden daha hızlı hareket eder ve logo geçi efektinin yer almadıı video karelerinden renk, parlaklık v.b özellikler bakımından farklıdır. 4. Logo geçi efektinin süresi yaklaık 1 saniyedir. ekil 2-6 Logo geçii örnekleri Logo geçi efektlerinin bu karakteristik özelliklerinden faydalınarak logo ablonunun oluturulması için aaıdaki temel adımlardan oluan bir metod gelitirilmitir : 1. Video içerisindeki tüm logo geçii serisi adayları elde edilir. 2. Logo geçii serisi adayları için hareket öznitelikleri hesaplanır. 3. Logo geçii serisi adayları dinamik programlama ile hizalanır. 4. Gerçek logo geçii serisi bulunur ve logo ablonu oluturulur Logo Geçii Serisi Adaylarının Elde Edilmesi Logo ablonunun oluturulması için öncelikle logo geçilerinin yer aldıı video karelerinin, yani logo geçii serilerinin ayrı ayrı bulunması gerekmektedir. Logo geçilerinin yer aldıı karelerde logo geçii efektinden dolayı ard arda gelen video kareleri için HSI uzayındaki iddet bileeni deerleri birbirinden farklıdır (Tong vd., 2004). ekil 2-7 de de görüldüü gibi ard arda gelen video kareleri için ortalama iddet deerlerinin farkına bakıldıında logo geçiinin yer aldıı karelerde fark deerinin yükseldii görülmektedir. Fark deeri, eitlik (2.10) da belirtildii gibi, ard arda gelen iki video karesi için tüm piksellerin iddet deerlerinin farkının toplam piksel sayısına oranı ile hesaplanmıtır. Eitlikte ( i j) I k,, k. video

24 14 karesinde i, j konumundaki pikselin iddet bileeninin deerini, D ortalama iddet fark deerini, M video karesinin piksel sayısı olarak geniliini, N ise yüksekliini göstermektedir. D = M i= 1 N j= 1 I k ( i, j) I ( i, j) MxN k 1 (2.10) ekil 2-7 Ardıık video karelerinin iddet fark deerleri Futbol videolarında kullanılan logo geçi efektleri yaklaık 20 video karesinden olumaktadır. Yapılan deneysel çalımalar sonucunda logo geçi efekti sırasında bu 20 video karesi içerisinden en az 10 tanesi için ortalama iddet fark deerinin 1000 in üzerinde olduu görülmütür. Bu bilgiden yola çıkarak video boyunca her video karesi için iddet fark deeri hesaplanmı ve ard arda gelen 20 video karesi içinde 10 adet 1000 in üzerinde deere sahip video karesi tespit edildiinde bu 20 karelik seri logo geçii serisi adayı olarak ayrılmıtır. Elde edilen serilerin dorudan logo geçii serisi olarak ayrılmamasının sebebi video boyunca logo geçii serisi dıındaki bazı video karesi serilerinin de bu kurala uyabiliyor olmasıdır Hareket Özniteliklerinin Hesaplanması ekil 2-6 daki logo geçilerinde de görüldüü gibi, aynı süre içerisinde logonun yer deitirme miktarı arka planda yer alan görüntüden çok daha fazladır. Dolayısıyla sadece logonun izledii yol belirgin bir ekilde görülmektedir. Tüm video boyunca kullanılan logo geçii efektinin de aynı ekilde olduu düünüldüünde logonun hareket ekli logo geçiinin belirlenmesi için ayırdedici bir özellik olarak ortaya çıkmaktadır (Bai v.d., 2006). Logo

25 15 geçiinin bu ayırdedici özelliinden faydalanmak amacıyla daha önce elde edilmi olan logo geçii serisi adaylarına ait tüm video kareleri için optik akı deerleri hesaplanmıtır. Optik akı deerlerinin hesaplanması için Lucas-Kanade metodu kullanılmıtır (Lucas v.d, 1981). ekil 2-8 (a) da logo geçiinin yer aldıı bir kare, ekil 2-8 (b) de ise bu kare için hesaplanmı olan optik akı deerleri görülmektedir. ekil 2-8 (b) de yer alan çizgiler her bir piksel için hesaplanmı olan hareket uzunluunu ve hareket yönünü göstermektedir. Bu hesap t anında (x, y) noktasındaki bir pikselin t+dt anındaki (x+dx, y+dy) noktasının hesaplanması temeline dayanır. ekil 2-8 Optik akı özellikeri (Bai v.d., 2006) Hareket özniteliklerinin hesaplanması için öncelikle her bir video karesi 40 x 40 lik bloklara bölünmütür. Her bir blokta yer alan tüm pikseller için optik akı deerleri ve her bir blok için hareket miktarı ve dominant yön deeri hesaplanmıtır. (2.11) deki eitlikte I deikeni blok için hareket miktarını, (2.12) deki eitlikte α i deikeni blok içerisindeki i pikselinin optik akı yönünü göstermektedir. Yön bilgisi için 16 lık histogram kullanılmıtır; yani her bir yön bilgisi 16 yönden biriyle belirtilmitir. Blok içerisinde en fazla sayıda piksel için aynı olan yön, o blok için dominant yön olarak tespit edilmitir. I = i blok 2 2 d xi + d yi (2.11)

26 16 α = arctan( d / d ) (2.12) i yi xi Sonuç olarak her bir blok için hareket miktarı ve dominant yön deeri hesaplanmıtır Logo Geçii Serisi Adaylarının Hizalanması Logo geçii serisi adaylarının hizalanmasındaki amaç birbirine en çok benzeyen serileri yani gerçek logo geçii serilerini dier serilerden ayırmaktır. Bu amaç dorultusunda hizalama ilemi için dinamik programlama ilkeleri kullanılmıtır. Öncelikle iki ayrı seri içerisindeki iki video karesinin benzerliinin karılatırılabilmesi için bir metod tanımlanmıtır. Bu metoda göre; 1. Her iki karedeki bloklar daha önce hesaplanmı olan hareket miktarına göre sıralanır. 2. Hareket miktarı yüksek olan bloklardan itibaren %10 luk kısımlar ayrılır. 3. Blok indeksi aynı olan bloklar için dominant yönler karılatırılır. Aynı dominant yöne sahiplerse benzerlik derecesi 1 arttırılır. 4. Benzerlik derecesinin karılatırılan blok sayısına oranı iki karenin benzerlik oranını gösteririr. Serilerin hizalanması ilemi için en çok kullanılan dinamik programlama algoritmalarından biri olan Wunsch-Sellers algoritması (Needleman v.d., 1970) kullanılmıtır. Bu algoritma kapsamında (2.13) deki eitlik baz alınarak bir deitirme matrisi oluturulur. D i, j = Di 1, j 1 + SC frame( i, j) max Di, j 1 + w (2.13) Di 1, j + w D i, j, deitirme matrisinin i,j gözünü belirtmektedir. D 0,0 = 0 olarak ilklendirilmitir. SC frame ( i, j) kare i ve kare j arasındaki benzerlik oranını göstermektedir. ki dizinin karılatırılması sonucunda elde edilen benzerlik oranı ise (2.14) deki eitlikte SC S, S ) ile tanımlanmıtır. seq ( i j SC seq Si, S j ) DM, N ( = (2.14) Burada M, N deerleri sırasıyla karılatırılan iki serinin uzunluunu, D, ise deitirme matrisinin son elemanını göstermektedir. Bu ekilde tüm logo geçii serisi adayları M N

27 17 birbirleriyle hizalanırlar. Sonuç olarak her bir seri dier tüm serilerle hizalanır ve her bir seri için toplam hizalama deeri elde edilir Logo ablonunun Çıkarılması Seri hizalama ileminin sonucunda, logo geçii efektinin yer aldıı seriler için hesaplanan toplam hizalama deerlerinin doal olarak dier serilere oranla daha yüksek olması gerekmektedir. Dolayısıyla tüm seriler toplam hizalama deerlerine göre büyükten küçüe sıralandıında en bata yer alan seriler logo geçii serileridir. Bu serilerden logo ablonunun çıkarılması için aaıdaki adımlardan oluan metod gelitirilmitir; 1. Öncelikle en yüksek toplam hizalama deerine sahip olan ilk R seri ayrılır. 2. En yüksek toplam hizalama deerine sahip olan serinin ortasındaki kare logo ablon karesi (F T1 ) olarak belirlenir. 3. F T1 logo ablon karesi ile dier R-1 seri içerisindeki her bir video karesi arasındaki ortalama piksel renk farkı hesaplanarak her bir seri için fark deerinin en az olduu kareler F T2, F T3,, F TR logo ablon kareleri olarak belirlenir. 4. Belirlenen tüm logo ablon kareleri gri tonlara dönütürülür. 5. Tüm logo ablon kareleri ikili olarak karılatırılır ve her bir piksel için renk fark deeri hesaplanır. Tüm karılatırmalarda fark deeri T c eik deerinden küçük olan pikseller logo ablon pikseli (L i ) olarak iaretlenir. Yapılan testler sonucunda logo ablonunun oluturulması için optimum T c eik deeri 15 olarak belirlenmitir. ekil 2-9 da oluturulan logo ablonlarına ait örnekler gösterilmektedir.

28 18 ekil 2-9 Örnek logo ablonları

29 19 3. ÖZETLEME ALT SSTEM Bu bölümde özetleme alt sisteminin tasarım ve gerçekleme detayları anlatılmıtır. 3.1 Görünüm Sınıflandırma Futbol müsabakaları görüntülenirken kameranın gösterim ekli anlamsal olarak çok fazla ey ifade etmektedir. Müsabakanın büyük bir bölümü yukarıdan çekim yapan ana kameradan gösterilmekle beraber, zaman zaman daha ayrıntılı gösterimler için sahaya yakın çekimler de kullanılmaktadır. Bu bilgiden yola çıkılarak, video içerisindeki her bir kare aaıda tanımlanmı olan 3 görünüm tipinden biriyle iaretlenmitir. 1. Genel görünüm : Ana kamera tarafından elde edilen görüntülerden oluur. Ana kamera tarafından müsabaka boyunca aktif oyun alanı yani topun olduu alan görüntülenir. (ekil 3-1 (a), (b)) 2. Saha içi görünüm : Saha içerisindeki bir veya birden fazla futbolcuyu görüntülemek için kullanılan görünümdür. (ekil 3-1 (c), (d)) 3. Saha dıı görünüm : Seyircileri veya saha kenarındaki teknik direktör ve yedek futbolcuların görüntülerini içerir. (ekil 3-1 (e), (f)) ekil 3-1 Futbol videosu içerisindeki görünüm tipleri: (a), (b) Genel görünüm, (c), (d) Saha içi görünüm, (e), (f) Saha dıı görünüm Görünüm tipinin belirlenmesi için video karesindeki futbol sahasına ait olan çim piksellerinin tüm piksel sayısına oranı hesaplanmıtır. Çim piksellerinin tespit edilmesi için örenme alt sistemi tarafından hesaplanmı olan dominant renk deerleri kullanılır. Video karesi

30 20 üzerindeki piksellerin renk deerlerinin dominant renklere olan yakınlıı silindirik metrik (Plataniotis v.d., 2000) kullanılarak hesaplanır ve çim pikseller tespit edilir (Ekin v.d., 2003). Gelitirilen metod HSI uzayında çalıtıı için renksizlik de ele alınmıtır. Eer piksel için doygunluk ve iddet deerleri renksiz alana yani doygunluk için 25, iddet için 50 deerinin altına düüyorsa bu pikseller için sadece eitlik (3.1) deki uzaklık hesaplanmıtır. Renkli pikseller için ise eitlik (3.1) ve (3.2) birlikte kullanılmıtır. d int ensity ( j) = I j I (3.1) d chroma 2 2 ( j) = ( S ) + ( S) 2S S cos( θ ( j)) (3.2) j j d 2 2 cylindrica l ( j) ( d int ensity ( j)) + ( d chroma ( j)) = (3.3) ( j) if ( j) 180 θ ( j) = (3.4) 360 ( j) diger ( j) = Hue Hue j (3.5) Yukarıdaki eitliklerde Hue, S ve I video karesindeki j. piksel için sırasıyla renk özü, doygunluk ve iddet deerlerini, Hue, S ve I ise dominant renge ait renk özü, doygunluk ve iddet deerlerini göstermektedir. d cylindrical < T color eitliini salayan pikseller çim piksel olarak yeni bir resim üzerinde ikili modda iaretlenir. Çim pikseller tespit edildikten sonra küçük gürültülerin temizlenmesi için medyan filtreleme kullanılmıtır. ekil 3-2 de iki ayrı video karesi için sırasıyla çim piksel tespiti ve filtreleme sonuçları gösterilmitir. T color deeri önceden tanımlanan bir eik deeridir ve her bir futbol videosu için optimum deere getirilir.

31 21 ekil 3-2 Çim piksel tespiti; a) video karesi, b) silindirik metrik ile çim piksellerin tespit edilmesi, c) medyan filtrenin uygulanması Çim piksellerin tespitinden sonra, eitlik (3.6) kullanılarak video karesinde yer alan çim piksellerin oranı R frame hesaplanmı ve görünüm tipinin belirlenmesi için (Xu v.d., 2001) tarafından tanımlanmı olan T out = 0.1 ve T in = 0.4 eik deerleri kullanılmıtır. Eitlik (3.6) da P(i, j), ikili modda iaretlenmi resimde i, j konumundaki piksel renk deerini göstermektedir. Bu deer çim pikseller için 1, çim olmayan pikseller için ise 0 dır. M resmin piksel sayısı olarak geniliini, N ise yüksekliini göstermektedir. R frame = M i= 1 N j= 1 P MxN ( i, j) (3.6) R frame deerinin, T out dan küçük olduu video kareleri saha dıı görünüm, T out ve T in arasında kaldıı video kareleri saha içi görünüm, T in den büyük olduu video kareleri ise genel görünüm olarak iaretlenmitir. Sadece çim piksel oranı kullanılarak saha dıı görünümler kolaylıkla iaretlenmitir. Fakat ekil 3-3 deki gibi R frame oranının yüksek olduu bazı saha içi görünümler bu metodla yanlı bir ekilde genel görünüm olarak iaretlenmitir.

32 22 ekil 3-3 Genel görünüm olarak yanlı iaretlenmi saha içi görünüm Özetleme sistemi için görünüm tiplerinin doru belirlenmesi çok önemli bir adımdır. Bu yüzden hatalı iaretlenen yüksek çim piksel oranına sahip saha içi görünümlerin de doru iaretlenmesi için yeni bir algoritma gelitirilmitir. Çim piksel oranı ile genel görünüm olarak iaretlenen video kareleri için daha doru bir sonuç almak için ikinci adım olarak bu algoritma kullanılmıtır. Yayıncı kurulular görüntüleme esnasında altın kesim kuralından faydalanırlar (Millerson, 1990). Bu kural ekranı her iki yönde 3:5:3 oranında bölmeyi ve görüntülenecek olan nesneyi merkezdeki alanda tutmayı tavsiye eder. Futbol videolarında da yakın çekimlerde bu kural uygulandıından, bu kuraldan esinlenilerek öncelikle video karesi dikey yönde 3:5:3 oranında 3 bölgeye ayrılmıtır. Orta bölge için bir kayan pencere tanımlanmı ve kare boyunca ekil 3-4 da görüldüü gibi yatay olarak hareket ettirilmitir.

33 23 ekil 3-4 Kayan pencere ilemi (a) video karesi, (b) çim piksel tespiti, (c) 3:5:3 oranında bölünmü kare, (d) kayan pencere ilemi ilk adımı, (e) kayan pencere ilemi ikinci adım, (f) kayan pencere ilemi son adım W frame karenin geniliini göstermek üzere, kayan pencerenin boyutu W kare /8 olarak tanımlanmı ve her bir adımda W frame /40 piksel kaydırılmıtır. Kayan pencere ilemi boyunca her bir adımda kayan pencere içerisindeki çim piksel oranı R sliding hesaplanmı ve T in deeriyle karılatırılmıtır. R sliding deerinin T in in altında olduu anda kayan pencere ilemi sonlandırılmı ve video karesi saha içi görünüm olarak iaretlenmitir. R sliding deeri hiçbir adımda T in in altına dümezse video karesi genel görünüm olarak iaretlenmitir. ekil 3-5 de görünüm sınıflandırma algoritmasına ait akı diyagramı verilmitir.

34 24 ekil 3-5 Görünüm Sınıflandırma algoritması 3.2 Saha Alanı Sınıflandırma Futbol sahası ekil 3-7 de görüldüü gibi her bir takıma ait olan alanlar ve orta alan olmak üzere toplam 3 temel alandan olumaktadır ve bu alanlar futbol sahası üzerinde bulunan çizgilerle ayrılmaktadır. Bu bilgiden yola çıkılarak, saha alanının sınıflandırılması için genel görünüm olarak iaretlenmi olan video kareleri kullanılmıtır. Bu kareler üzerinde futbol sahası çizgileri tespit edilmi ve bu çizgilerin açı deerleri hesaplanmıtır. ekil 3-6 da α açı hesaplanacak olan deerini göstermektedir.

35 25 ekil 3-6 Saha alanı çizgileri için açı deerinin hesaplanması Daha sonra bu açı deerleri kullanılarak video karesinde görüntülenen saha alanının, 3 temel alandan hangisine denk dütüü belirlenmitir. ekil 3-7 (b) de görüldüü gibi orta alanda genel görünümde her zaman dikey olarak görüntülenen orta saha çizgisi yer almaktadır. Sol ve sa alanda ise ekil 3-7 (a) ve (c) de görüldüü gibi birbirine paralel 3 saha çizgisi : gol çizgisi, kale alanı çizgisi ve ceza alanı çizgisi bulunmaktadır ve bu çizgiler genel görünümde diyagonal bir ekilde görüntülenmektedir. ekil 3-7 Futbol sahası alanları : a) Sol alan, b) Orta alan, c) Sa alan Futbol sahası çizgilerinin açı deerlerinin genel görünümde hangi aralıklara denk dütüünün belirlenmesi amacıyla ayrı futbol sahaları üzerinde çizgiler tespit edilmi, video boyunca görüntülenen minimum ve maksimum açı deerleri hesaplanmıtır. ekil 3-8 de 4 ayrı futbol sahası için hesaplanmı olan minimum ve maksimum açı deerleri gösterilmektedir.

36 26 ekil 3-8 Futbol sahası çizgileri için açı deerleri Bu açı deerlerinden yola çıkılarak her bir saha alanı için açı deeri aralıkları belirlenmi ve Çizelge 3-1 deki kural tanımlanmıtır. Çizelge 3-1 Saha alanı sınıflandırma kuralı Saha alanı Açı aralıı Sol alan 10 o 40 o Orta alan 80 o 100 o Sa alan 140 o 170 o Bu kural ile her bir genel görünüm, saha çizgilerinin açısına göre tanımlanan 3 sınıftan birine ayrılmıtır.

37 27 Video kareleri üzerinde futbol sahası çizgilerinin tespit edilmesi için çim piksel olan ve çim piksel olmayan alanların ikili modda iaretlenmi olduu resim kullanılmıtır. Öncelikle bu resim üzerinde futbol sahası alanının ve futbol sahası dıında kalan alanların daha belirgin olarak ayrılabilmesi için morfolojik ilemlerden faydalanılmıtır. Öncelikle ikili modda iaretlenmi resim üzerinde closing ardından opening ilemi gerçekletirilir. ekil 3-9 da görüldüü gibi closing ve opening ilemlerinin ardından saha alanı ve saha dıında kalan alan daha belirgin bir hale gelir. ekil 3-9 Closing ve opening ilemleri; a) video karesi, b) çim piksellerin ayrılması, c) closing ilemi, d) opening ilemi Daha sonra closing ve opening ilemlerinin ardından elde edilen resim kullanılarak saha alanı sınırı iaretlenir (ekil 3-10).

38 28 ekil 3-10 Saha alanı sınırının iaretlenmesi; a) closing ve opening ilemleri sonucu, b) saha alanı sınırının belirlenmesi Saha alanı sınırı belirlendikten sonra, iki modda iaretlenmi resim üzerinde saha alanı çizgilerinin daha kolay tespit edilmesini salamak amacıyla saha alanı dıında kalan alan çıkarılır. Sonuç olarak elde edilen resim üzerinde saha alanı çizgileri tespit edilir (ekil 3-11). ekil 3-11 Saha alanı çizgilerinin tespit edilmesi; a) ikili modda iaretlenmi resim, b) saha alanı dıındaki alanların çıkarılması, c) saha alanı çizgilerinin tespit edilmesi Saha alanı çizgilerinin tespit edilmesi için Hough transform (Ballard, 1981) metodu kullanılmıtır. 3.3 Tekrar Gösterimlerin Ayrılması Tekrar gösterimlerin ayrılması için daha önce elde edilmi olan logo ablonu kullanılmıtır. Futbol videolarında tekrar gösterimler balamadan önce ve tekrar gösterim sonlandıında video kareleri üzerinde bir logo geçi efekti görüntülenir. Bu bilgiden yola çıkılarak bir logo geçii çifti arasındaki bölümün tekrar gösterim olduu kuralı tanımlanabilir. Dolayısıyla tekrar gösterimlerin ayrılması için öncelikle logo geçileri tespit edilmitir. Bu amaçla video boyunca her bir video karesi daha önce oluturulmu olan logo ablonu ile eletirilmitir.

39 29 Eitlik (3.7) de belirtildii gibi, logo ablonu üzerinde logoya ait olan pikseller ile video karesi üzerinde bu piksellerin konumuna denk düen piksellerin renk deerlerinin farkı hesaplanarak ortalama piksel fark deeri bulunmutur. Eitlikte ( i j) i, j konumundaki piksel renk deerini, ( i j) P t, logo ablon resminde P v, video karesinde i, j konumundaki piksel renk deerini, Pd hesaplanan ortalama piksel fark deerini, M video karesinin piksel sayısı olarak geniliini, N ise yüksekliini göstermektedir. Pd = M i= 1 N j= 1 P t ( i, j) P ( i, j) MxN v (3.7) Hesaplanan ortalama piksel fark deerinin T p eik deerinin altına dütüü video kareleri logo ablonunda yer alan logonun görüntülendii bölümdür. T p eik deerini sabitlemek için, birbirinden farklı logo geçileri için video görüntüleri içerisindeki logo kareleri elle çıkartılmı ve her bir logo karesi ile logo ablonu karesi arasındaki ortalama piksel renk deeri hesaplanmıtır. Hesaplanan ortalama piksel fark deerleri sonucunda T p minimum deer olan 10 a sabitlenmitir. Logo ablonunun ve video karelerinin karılatırılması ileminin daha verimli olması için logo ablonu ve video kareleri gri tonlara dönütürülmü ve böylece karılatırılacak olan pikseller için renk aralıı azaltılmıtır. ekil 3-12 de logo ablonu ve bu logo ablonu kullanılarak video içinde tespit edilmi olan logo kareleri yer almaktadır.

40 30 ekil 3-12 Logo ablonu ve tespit edilmi olan logo kareleri 3.4 Anlamlı Analizlerin Gerçekletirilmesi Özetleme ileminin son adımı video karelerinden elde edilen görünüm tipi, saha alanı ve tekrar gösterim orta seviye tanımlayıcıları için anlamlı analizlerin gerçekletirilmesidir. Anlamlı analizler futbol müsabakaları görüntülenirken kullanılan teknikler baz alınarak gerçekletirilmitir. Bir futbol müsabakası boyunca en ilgi çekici anlar takımların gol atmak amacıyla gerçekletirdii atak ismi verilen hareket serileridir. Futbol müsabakalarını görüntüleyen yayıncının temel amacı atak görüntülerini kaçırmamak ve gerektiinde tekrar gösterimleri oluturmaktır. imdiye kadar yayıncı kurulular tarafından görüntülenmi olan futbol videoları incelendiinde 4 temel yapıdan oluan bir modelin kullanıldıı görülmektedir (Ren vd., 2005) : 1. Oyun : Oyun, ana kamera tarafından kaydedilen genel görünümlerden oluur. Amaç topun oyunda olduu alanın görüntülenmesidir. 2. Zum : Zum, saha içi ve saha dıı görünümlerden oluur. Gerçekleen bir olayın veya herhangi bir futbolcunun detaylı gösterilmesi amacıyla, oyunun durduu kısa aralarda kullanılır. 3. Tekrar : Maç içerisindeki önemli pozisyonların tekrarlarından oluur.

41 31 4. Ara : Maç dıındaki, röportaj ve reklam bölümlerinden oluur. ekil 3-13 te bu 4 yapının birbirleriyle ilikileri gösterilmitir. ekil 3-13 Futbol yayın modeli (Ren v.d., 2005) Bu model incelendiinde maç içerisindeki atak görüntülerinin de bu model yapılarından olutuu görülmektedir (ekil 3-14). ekil 3-14 Atak yayın modeli ekil 3-14 te verilen atak yayın modeli, orta seviye tanımlayıcılarla ifade edildiinde ekil 3-15 da görüntülenen model ortaya çıkmaktadır. ekil 3-15 Orta seviye tanımlayıcılar ile atak yayın modeli Modelin bu ekilde oluturulmasının altında yatan sebep u ekilde açıklanabilir; yayıncı maç boyunca genel görünümü kullanarak topun aktif olduu alanı takip eder. Eer takımlardan bir

42 32 tanesi bir atak gelitirirse yani gol olursa veya gole yakın bir pozisyon oluursa, pozisyon sonlandıktan sonra pozisyonun kahramanı, yedek kulübesi veya seyirciler saha içi veya saha dıı görünüm ile görüntülenirler. Bu arada arka planda pozisyonun tekrarı oluturulur ve tekrar gösterim ile görüntülenir. ekil 3-16 da maç içerisindeki bir atak pozisyondan alınmı video karelerinde, bahsedilen atak yayın modeli görülebilmektedir. Dolayısıyla bu modelden yola çıkılarak orta seviye tanımlayıcılar üzerinde atak pozisyonlarını elde etmek için anlamlı analizler gerçekletirilebilir. ekil 3-16 Örnek atak pozisyonu Bir takımın atak yapması; gole yaklaması yani rakip ceza sahası yakınlarında pozisyon bulması anlamına gelmektedir. Dolayısıyla atak sonunda saha içi ve ya saha dıı görünüme geçilmeden önceki en son görünüm atak yapılan sa ve ya sol alanın yer aldıı genel görünümdür. Bu amaçla daha önceki bölümlerde de anlatıldıı gibi her bir genel görünüm video karesi üç saha alanı sınıfından birine ayrılmıtır ve son görüntülenen saha alanı bilgisi video boyunca güncellenmitir. Sonuç olarak bu tez çalıması kapsamında yukarıda bahsedilen yayın modeli orta seviye tanımlayıcılar ile birlikte kullanılarak video içerisindeki atak pozisyonları elde edilerek özetleme ilemi gerçekletirilmitir. Atak pozisyonlarının elde edilmesi için ekil 3-15 deki model baz alınarak aaıda belirtilen kural tanımlanmıtır:

43 33 Tespit edilen tekrar gösterim video karelerinden önce, ard arda gelen saha içi ve ya saha dıı video kareleri ve bu karelerden önce de sa alan ve ya sol alan içeren genel görünümler yer alıyorsa bir atak pozisyonu tespit edilmitir. Özetleme ilemi sonucunda müsabaka boyunca gelien tüm atak pozisyonları elde edilmitir.

44 34 4. FUTBOL VDEO ÖZETLEME UYGULAMASI Bu bölümde bu tez kapsamında gelitirilen futbol video özetleme uygulaması tanıtılmıtır. Söz konusu uygulama bir linux daıtımı olan Ubuntu 8.04 üzerinde Eclipse tümleik gelitirme platformu ile birlikte CDT (C/C++ Development Tooling) plugin i kullanılarak gelitirilmitir. Uygulama FVS Football Video Summarization olarak isimlendirilmitir ve bu bölümün ilerleyen kısımlarında FVS kısaltması ile ifade edilecektir. FVS nin gelitirilmesi sırasında bazı temel görüntü ileme fonksiyonları için Intel firması tarafından gelitirilmi olan açık kaynak kodlu OpenCV görüntü ileme kütüphanesinden faydalanılmıtır. 4.1 FVS Uygulaması UML Modeli Bu bölümde FVS uygulaması kapsamında gelitirilen sınıflar UML notasyonu ile anlatılmıtır BasicImageOperations Sınıfı BasicImageOperations sınıfı temel filtreleme ilemleri, morfolojik ilemler ve renk uzayı dönüüm ilemlerinin gerçekletirildii sınıftır. Tüm uygulamada bu ilemler için tek bir nesnenin kullanılması yeterli olacaı için sınıf singleton olarak tasarlanmıtır. ekil 4-1 de BasicImageOperations sınıfına ait UML diyagramı yer almaktadır.

45 35 ekil 4-1 BasicImageOperations sınıfı UML diyagramı BasicImageOperations sınıfında yer alan öznitelik ve fonksiyonların amaç ve ilevleri Çizelge 4-1 ve Çizelge 4-2 de verilmitir. Öznitelik RGB2HSIArray HSI2RGBArray pinstance Çizelge 4-1 BasicImageOperations sınıfı öznitelikleri Amaç ve ilev Video karelerinin RGB uzayından HSI uzayına dönütürülmesi ileminde kullanılmak üzere tanımlanmıtır. Dönütürme ileminin hızlı bir ekilde gerçekletirilmesi için tüm RGB deerlerine karılık gelen HSI deerleri bir kere hesaplanıp dizi içerisine yerletirilmitir. Dönüüm ihtiyacı olduunda tek bir eriim ile dönüüm deerine eriilir. Video karelerinin HSI uzayından RGB uzayına dönütürülmesi ileminde kullanılmak üzere tanımlanmıtır. Dönütürme ileminin hızlı bir ekilde gerçekletirilmesi için tüm HSI deerlerine karılık gelen RGB deerleri bir kere hesaplanıp dizi içerisine yerletirilmitir. Dönüüm ihtiyacı olduunda tek bir eriim ile dönüüm deerine eriilir. BasicImageOperations sınıfından oluturulacak olan nesnenin adresini tutan göstericidir.

46 36 Fonksiyon instance pixelrgb2hsi imagergb2hsi pixelhsi2rgb imagehsi2rgb gethsivalue getrgbvalue creatergb2hsiarray createhsi2rgbarray filterimage setcolorvalue performopenclose Çizelge 4-2 BasicImageOperations sınıfı fonksiyonları Amaç ve ilev BasicImageOperations nesnesini ilk çaırıldıında oluturan ve daha sonra çarıldıında bu nesneyi döndüren fonksiyondur. RGB uzayındaki bir pikselin deerini HSI uzayına çevirir. RGB uzayındaki bir video karesini HSI uzayına çevirir. HSI uzayındaki bir pikselin deerini RGB uzayına çevirir. HSI uzayındaki bir video karesini RGB uzayına çevirir. Parametre olarak verilen RGB uzayındaki deer için RGB2HSIArray dizisinden HSI karılıını getirir. Parametre olarak verilen HSI uzayındaki deer için HSI2RGBArray dizisinden RGB karılıını getirir. RGB2HSIArray dizisini yaratır ve ilklendirir. HSI2RGBArray dizisini yaratır ve ilklendirir. Video karesi üzerinde filtreleme ilemini gerçekletirir. Herhangi bir RGB deikenini parametre olarak verilen renk deeri ile ilklendirir. Video karesi üzerinde opening ve closing ilemlerini gerçekletirir Histogram Sınıfı Histogram sınıfı HSI uzayında histogram alma ilemi için tasarlanmıtır. ekil 4-2 de Histogram sınıfına ait UML diyagramı yer almaktadır. ekil 4-2 Histogram sınıfı UML diyagramı BasicImageOperations sınıfında yer alan öznitelik ve fonksiyonların amaç ve ilevleri Çizelge 4-3 de verilmitir.

47 37 Fonksiyon calculatehistogram Çizelge 4-3 Histogram sınıfı fonksiyonları Amaç ve ilev HSI uzayındaki video karesi üzerinde her bir renk bileeni için histogram alma ilemini gerçekletirir DominantColorDetector Sınıfı DominantColorDetector sınıfı, çim piksellerin ayrılmasında kullanılan dominant rengin hesaplanması için tasarlanmıtır. ekil 4-3 de BasicImageOperations sınıfına ait UML diyagramı yer almaktadır. ekil 4-3 DominantColorDetector sınıfı UML diyagramı BasicImageOperations sınıfında yer alan öznitelik ve fonksiyonların amaç ve ilevleri Çizelge 4-4 ve Çizelge 4-5 de verilmitir.

48 38 Çizelge 4-4 DominantColorDetector sınıfı öznitelikleri Öznitelik Amaç ve ilev dominantcolorarray dominantcolorarray 3 boyutlu ve her bir boyutunun indisi HSI uzayındaki renk bileenlerinden oluan bir dizidir. Dominant renk hesaplandıktan sonra her bir HSI renk deerinin çim piksel olup olmadıı hesaplanır ve bu dizi içerisinde iaretlenir. Böylece çim piksellerin ayrılması ilemi sırasında her piksel için çim piksel olup olmadıının hesaplanması yerine dominantcolorarray dizisi içerisinden tek eriim ile sonuca ulaılır. Bu tasarım ile sistem performansında önemli bir kazanç salanmıtır. pinstance DominantColorDetector sınıfı singleton olarak tasarlandıından, bu sınıftan oluturulacak olan nesnenin adresini tutan göstericidir. Fonksiyon instance calccolormeans getcolormean findcolormean finddistance createdominantcolorarray isdominantpixel getaveragecolormean Çizelge 4-5 DominantColorDetector sınıfı fonksiyonları Amaç ve ilev DominantColorDetector nesnesini ilk çaırıldıında oluturan ve daha sonra çarıldıında bu nesneyi döndüren fonksiyondur. Verilen video içerisindeki tüm video karelerini analiz ederek dominant renkleri hesaplar. Tek bir video karesi için dominant rengi döndürür. HSI bileenlerinden birine ait olan histogram için dominant renk bileenini hesaplar. Herhangi bir piksel deerinin dominant renk deerine olan uzaklıını hesaplar. dominantcolorarray dizisini yaratır ve ilklendirir. Verilen bir pikselin çim piksel olup olmadıı sonucunu döndürür. Verilen dominant renkler listesi için ortalama renk deerini hesaplar. listcompare ki dominant renk listesini boyut açısından karılatıran fonksiyondur ViewClassifier sınıfı ViewCassifier sınıfı, görünüm tipi orta seviye tanımlayıcının elde edilmesi için kullanılır. Video karesindeki çim piksel younluu bilgisini ve kayan pencere metodunu kullanarak o kare için görünüm tipini belirler. Çim pikseller ve çim olmayan piksellerin ikili modda iaretlenmi olduu video karesi üzerinde çalıır. ekil 4-4 de ViewClassifier sınıfına ait

49 39 UML diyagramı yer almaktadır. ekil 4-4 ViewClassifier sınıfı UML diyagramı ViewClassifier sınıfında yer alan fonksiyonların amaç ve ilevleri Çizelge 4-6 da verilmitir. Fonksiyon findgrassarearatio getviewtypebygrassratio getviewtypebyslidingwindow findviewtype divideimage Çizelge 4-6 ViewClassifier sınıfı fonksiyonları Amaç ve ilev Parametre olarak verilen ikili modda iaretlenmi video karesi için çim piksel oranını hesaplar. Çim piksel oranını kullanarak görünüm tipini belirler. Kayan pencere metodunu kullanarak görünüm tipini belirler. Görünüm tipini döndürür. Video karesini kayan pencere metodu tarafından kullanılabilmesi için 3:5:3 oranında bölümlere ayırır. slideframe Kayan pencere metodunun gerçekletirildii fonksiyondur PlayfieldClassifier sınıfı PlayfieldClassifier sınıfı, saha alanı tanımlayıcısını elde edilebilmesi amacıyla tasarlanmıtır. Futbol sahası üzerinde yer alan çizgilerin daha rahat tespit edilebilmesi için video karesinden saha alanının yer aldıı bölümü ayırır. Daha sonra LineDetector sınıfı ile haberleerek saha alanını sınıflandırma ilemini gerçekletirir. ekil 4-5 de PlayfieldClassifier sınıfına ait UML diyagramı yer almaktadır.

50 40 ekil 4-5 PlayfieldClassifier sınıfı UML diyagramı PlayfieldClassifier sınıfında yer alan öznitelik ve fonksiyonların amaç ve ilevleri Çizelge 4-7 ve Çizelge 4-8 de verilmitir. Çizelge 4-7 PlayfieldClassifier sınıfı öznitelikleri Öznitelik Amaç ve ilev imagelookup Saha alanının elde edilmesi sırasında kullanılan arama dizisi fielduplines Saha alanı üst sınırını belirleyen piksellerin saklandıı deiken. fielddownlines Saha alanı alt sınırını belirleyen piksellerin saklandıı deiken. cupline Saha alanı üst sınırını belirleyen piksellerin sayısı. cdownline Saha alanı alt sınırını belirleyen piksellerin sayısı. pinstance PlayfieldClassifier sınıfı singleton olarak tasarlandıından, bu sınıftan oluturulacak olan nesnenin adresini tutan göstericidir

51 41 Çizelge 4-8 PlayfieldClassifier sınıfı fonksiyonları Fonksiyon Amaç ve ilev instance PlayfieldClassifier nesnesini ilk çaırıldıında oluturan ve daha sonra çarıldıında bu nesneyi döndüren fonksiyondur. segmentgrasspixels Video karesi üzerindeki çim piksellerin ayrılması için kullanılan fonksiyondur. findplayfieldline Saha alanı sınırlarını elde eden fonksiyondur. findpath Saha alanı sınırlarını oluturan pikselleri bulan fonksiyondur. removeoutoffieldarea Video karesinden saha alanı dıında kalan bölümleri çıkaran fonksiyondur. getplayfieldzonetype Saha alanı tipini döndüren fonksiyondur LineDetector Sınıfı LineDetector sınıfı, futbol sahası çizgilerinin elde edilmesi için kullanılır. Bu ilemi gerçekletiren tek bir fonksiyondan oluur. ekil 4-6 de LineDetector sınıfına ait UML diyagramı yer almaktadır. ekil 4-6 LineDetector sınıfı UML diyagramı LineDetector sınıfında yer alan fonksiyonların amaç ve ilevleri Çizelge 4-9 de verilmitir. Fonksiyon findlines Çizelge 4-9 LineDetector sınıfı fonksiyonları Amaç ve ilev Hough transform metodu ile saha üzerindeki çizgileri bulur ve bu çizgilere ait açı deerlerini döndürür.

52 ReplayDetector Sınıfı ReplayDetector sınıfı, logo ablonunun çıkarılması ve bu logo ablonu aracılııyla video içerisindeki tekrar gösterimlerin elde edilmesi ilemlerini gerçekletirir. ekil 4-7 de ReplayDetector sınıfına ait UML diyagramı yer almaktadır. ekil 4-7 ReplayDetector sınıfı UML diyagramı ReplayDetector sınıfında yer alan öznitelik ve fonksiyonların amaç ve ilevleri Çizelge 4-10 ve Çizelge 4-11 da verilmitir. Çizelge 4-10 ReplayDetector sınıfı öznitelikleri Öznitelik Amaç ve ilev logotemplate3c Elde edilen logo ablonunun renkli olarak saklandıı özniteliktir. logotemplate1c Elde edilen logo ablonunu ikili modda saklandıı özniteliktir. logosequences Video içerisinden elde edilen logo geçii serisi adaylarının saklandıı özniteliktir. alignsumsequences Logo geçii serilerinin saklandıı özniteliktir.

53 43 Çizelge 4-11 ReplayDetector sınıfı fonksiyonları Fonksiyon Amaç ve ilev extractlogotemplate Logo ablonu çıkarma ilemini balatan fonksiyondur. Sırasıyla, serilerin çıkarılması, optik akıın hesaplanması ve logonun elde edilmesi adımlarını çalıtırır. extractsequences Video boyunca logo geçii serisi adaylarını tespit eder ve logosequences dizisi içerisinde saklar. calculateopticalflowvalues Elde edilen logo geçisi serisi adayları için optik akı deerlerini hesaplar. alignsequences Logo geçii serisi adaylarının dinamik programlama ile hizalanması ilemini gerçekletirir. SCFrame splitvelocity extractlogosequences islogoframe ki video karesinin benzerlik oranını hesaplar. Video karesini hizalama ilemi için gerekli olan 40x40 lık parçalara ayrılması ilemini gerçekletirir. logosequences dizisi içerisinde yer alan tüm seriler içerisinden gerçek logo geçii olan serileri elde eder. Parametre olarak verilen video karesinin logo geçii olup olmadıına karar verir FrameBuffer Sınıfı FrameBuffer sınıfı, video boyunca elde edilen orta seviye tanımlayıcı deerlerinin anlamlı analizlerde kullanılması amacıyla saklanması için tasarlanmıtır. Daha önceden tanımlanmı olan sayıda video karesi için görünüm tipi ve saha alanı deerleri ilgili dizilerde saklanır ve bu deerler video ilerledikçe yeni deerler ile güncellenir. Ayrıca elde edilen tekrar gösterimlerde bu sınıf tarafından kaydedilir. ekil 4-8 de FrameBuffer sınıfına ait UML diyagramı yer almaktadır.

54 44 ekil 4-8 FrameBuffer sınıfı UML diyagramı FrameBuffer sınıfında yer alan öznitelik ve fonksiyonların amaç ve ilevleri Çizelge 4-12 ve Çizelge 4-13 de verilmitir. Çizelge 4-12 FrameBuffer sınıfı öznitelikleri Öznitelik Amaç ve ilev viewbuffer Video özetleme ilemi sırasında son VIEW_BUFFER_SIZE adet video karesi için görünüm tipinin saklandıı dizidir. zonebuffer Video özetleme ilemi sırasında son ZONE_BUFFER_SIZE adet video karesi için saha alanı deerinin saklandıı dizidir. replaybuffer Tespit edilen tekrar gösterime ait video karelerinin saklandıı dizidir. writer Özetleme ilemi sonucu elde edilen video görüntülerinin kaydedilecei dosya iaretçisidir. iscolor Kaydedilecek olan video görüntülerinin renkli olup olmayacaını belirten deikendir. fps Kaydedilecek olan video görüntülerinin saniyedeki kare sayısını belirten deikendir.

55 45 Fonksiyon addviewtype addzonetype addreplayframe freereplaybuffer savereplaytoavi Çizelge 4-13 FrameBuffer sınıfı fonksiyonları Amaç ve ilev Video karesi için görünüm tipini viewbuffer a ekler. Video karesi için saha alanı deerini zonebuffer a ekler. Tekrar gösterime ait video karesini replaybuffer a ekler. replaybuffer ı boaltır. replaybuffer da yer alan video karelerini belirtilen avi dosyasına kaydeder.

56 46 5. DENEYSEL SONUÇLAR Gelitirilen Football Video Summarization uygulamasının baarım oranlarının analizi üç farklı yaklaımla gerçekletirilmitir. 1. Örenme alt sisteminin baarım performansının baımsız olarak analiz edilmesi. 2. Özetleme alt sisteminin baarım performansının baımsız olarak analiz edilmesi. 3. Örenme alt sistemi ve özetleme alt sistemlerinin FVS uygulaması kapsamında çalıtırılması ile elde edilen baarım performansının analiz edilmesi. Örenme alt sisteminin baarım performansının test edilmesi sırasında dominant renk tespiti ve logo ablonunun oluturulması adımları ayrı ayrı ele alınmıtır. Dominant renk tespitinin baarım performansının test edilmesi için farklı stadyumlardan alınmı olan video görüntüleri kullanılmıtır. Logo ablonu oluturulması adımı için ise birbirinden farklı logo geçileri içeren video görüntüleri kullanılmıtır. Özetleme alt sisteminin baarım performansının test edilmesi için görünüm sınıflandırma, saha alanı sınıflandırma ve tekrar gösterimlerin ayrılması adımları ayrı ayrı test edilmitir. Görünüm sınıflandırma metodunun test edilmesi için farklı futbol müsabakalarına ait video kareleri elle iaretlenmi ve uygulama tarafından üretilen sınıflandırma sonuçları ile karılatırılmıtır. Saha alanı sınıflandırma için de benzer ekilde elle iaretlenmi video kareleri kullanılmıtır. Tekrar gösterimlerin ayrılması adımının test edilmesi için ise farklı futbol müsabakalarına için müsabakanın tamamını içeren videolar kullanılmıtır. Baarım performanslarının test edilmesinde toplam 9 farklı futbol video görüntüsü kullanılmıtır (ekil 5-1). Tüm video görüntüleri mpeg4 formatında, 320x240 çözünürlükte ve saniyede 25 video karesi içermektedir. Sistem performansının farklı durumlar için test edilmesi amacıyla, seçilen futbol videolarının farklı stadyumlarda, farklı yayıncı kurulular tarafından çekilmi olmasına özen gösterilmitir. Tüm testler Intel Pentium 4, 2.4 GHz ilemcili kiisel bilgisayar ortamında gerçekletirilmitir.

57 47 ekil 5-1 Sistem baarım performansının ölçülmesi için kullanılan futbol videolarından kareler 5.1 Örenme Alt Sistemi Deneysel Sonuçları Bu bölümde örenme alt sisteminin baarım performansının nasıl analiz edildii anlatılmı ve analiz sonuçları deerlendirilmitir Dominant Renk Tespiti Deneysel Sonuçları Dominant renk tespiti adımının baarım performansının ölçülmesi amacıyla her bir futbol videosuna ait dominant rengin hesaplanması için geçen süreler ölçülmütür. Çizelge 5-1 de her bir videoya ait dominant renk deerlenin tespiti ve RGB uzayından HSI uzayına geçi için kullanılan kontrol tablosunun oluturulması için geçen toplam süreler verilmektedir. Çizelge 5-1 Dominant renk tespiti performans testleri Video görüntüsü Tespit süresi (dk:sn) Galatasaray-Arsenal 2 : 54 Almanya-Polonya 2 : 58 Beikta-Liverpool 2 : 57 Liverpool-Beikta 2 : 54 Portekiz-Türkiye 2 : 57 Uruguay-Senegal 3 : 05 Yunanistan-Rusya 2 : 58 Schalke-Chelsea 2 : 58 Ortalama 2 : 57

58 48 Dominant renk tespiti sırasında RGB uzayından HSI uzayına geçi için her video karesinde dönüüm ilemlerini uygulamak yerine her RGB deerine karılık gelen HSI deerini içeren bir kontrol tablosu kullanılması performansın yüksek olmasında önemli bir etkendir Logo ablonunun Oluturulmasına Ait Deneysel Sonuçlar Logo ablonunun oluturulması adımının baarım performansının ölçülmesi amacıyla her bir futbol videosuna ait logo ablonunun oluturulması için geçen süreler ölçülmütür. Çizelge 5-2 de her bir videoya ait logo ablonunun oluturulması için geçen süreler verilmektedir. Çizelge 5-2 Logo ablonunun oluturulması performans testi Test videosu Logo ablonunun Oluturulma Süresi (dk : sn) Galatasaray-Arsenal 11 : 06 Almanya-Polonya 10 : 43 Beikta-Liverpool 11 : 08 Liverpool-Beikta 10 : 54 Portekiz-Türkiye 10 : 58 Uruguay-Senegal 11 : 11 Yunanistan-Rusya 10 : 24 Schalke-Chelsea 10 : 58 Ortalama 10 : Özetleme Alt Sistemi Deneysel Sonuçları Bu bölümde özetleme alt sisteminin baarım performansının nasıl analiz edildii anlatılmı ve analiz sonuçları deerlendirilmitir Görünüm Sınıflandırma Deneysel Sonuçları Görünüm sınıflandırma metodunun baarım performansını test etmek için 4 ayrı futbol müsabakasına ait video görüntülerinden bölümler kullanılmıtır. Her bir video içerisindeki video kareleri için görünüm tipi elle iaretlenmi ve daha sonra FVS tarafından üretilen sonuçlar ile karılatırılarak görünüm sınıflandırma metodunun baarım performansı ölçülmütür. ekil 5-2, ekil 5-3 ve ekil 5-4 de sırasıyla genel görünüm, saha içi görünüm ve saha dıı görünüm olarak sınıflandırılmı olan video karelerine örnekler verilmitir.

59 49 ekil 5-2 Genel görünüm olarak sınıflandırılmı olan video kareleri ekil 5-3 Saha içi görünüm olarak sınıflandırılmı olan video kareleri ekil 5-4 Saha dıı görünüm olarak sınıflandırılmı olan video kareleri Çizelge 5-3 de testte kullanılan her bir videonun süresi ve video boyunca görünüm tiplerinin daılımları yer almaktadır.

60 50 Çizelge 5-3 Görünüm tipi daılımları Test videosu (dk:sn) Video karesi sayısı Genel Saha içi Saha dıı Beikta-Liverpool (11:11) Liverpool-Beikta (9:51) Schalke-Chelsea (13:41) Portland-Man. United (7:03) Çizelge 5-4 te her bir video görüntüsü ve görünüm tipi için görünüm sınıflandırma sonuçları doruluk ve duyarlık oranları ile birlikte verilmitir. Çizelge 5-4 Görünüm sınıflandırma test sonuçları Video Genel Saha içi Saha dıı görüntüsü Doruluk Duyarlık Doruluk Duyarlık Doruluk Duyarlık Beikta %97,2 %99,1 %94,2 %88,3 %94,5 %90,3 Liverpool Liverpool %95,2 %96,3 %84,5 %81,2 %95,1 %91 Beikta Schalke %92,3 %88,9 %94,1 %92,1 %94,1 %92,3 Chelsea Portland %89,3 %88,5 %82,1 %73,3 %99,1 %94,4 Man. Untd Ortalama %93,5 %93,2 %88,7 %83,7 %95,7 %92 Görünüm sınıflandırma test sonuçları için elde edilen ortalama oranlar gelitirilen metodun baarımının yüksek olduunu göstermektedir Görünüm Sınıflandırma Baarımını Etkileyen Faktörler Görünüm sınıflandırma ile ilgili testler gerçekletirilirken aynı zamanda görünüm sınıflandırma metodunun ne gibi durumlarda baarısız çalıtıı da incelenmitir. Görünüm sınıflandırma ileminde ortaya çıkan baarısız sonuçlar genellikle yayıncı kurulutan ve stadyum koullarından kaynaklanır. Yayıncı kurulutan kaynaklanan baarısız sınıflandırma ilemlerinin temel nedenleri aaıdaki gibi özetlenebilir: 1. Kameranın yakın çekim yaptıı sırada futbolcuyu kaçırması sonucunda saha içi olması gereken kare genel görünüm olarak iaretlenmitir. (ekil 5-5 (a), (b)) 2. Yayıncı kurulu tarafından futbol sahası üzerinde kullanılan efektler sonucunda genel görünüm olması gereken kare saha içi görünüm olarak iaretlenmitir. (ekil 5-5 (c),

61 51 (d)) ekil 5-5 Görünüm sınıflandırma metodunda yayıncı kurulutan kaynaklanan baarısız sonuçlar Stadyum kaullarından kaynaklanan baarısız sınıflandırma ilemleri genellikle gündüz oynanan futbol müsabakalarında ortaya çıkmaktadır. Gündüz maçlarında güne ııının çok fazla olduu zamanlarda stadyum tribünlerinin gölgesi futbol sahasının üzerine düer ve ortaya çıkan koyu renklerden dolayı görünüm sınıflandırma ilemini olumsuz etkiler (ekil 5-6 (a), (b), (c), (d)).

62 52 ekil 5-6 Görünüm sınıflandırma metodunda gündüz maçlarında stadyumdan kaynaklanan baarısız sonuçlar Görünüm Sınıflandırma Baarımını Arttırmak çin Yapılan Deneyler Görünüm sınıflandırma baarım performansını test etmek için Bölüm de de bahsedildii gibi video içerisindeki her bir video karesi için görünüm tipi elle iaretlenmi ve sistemin ürettii sonuçlar ile karılatırılmıtır. Futbol müsabakasının çekimi sırasında kamera belirli süre aralıklarında aynı görünüm tipinde sabitlenmekte ve saha içinde gerçekleen olaylara balı olarak görünüm tipi deitirilmektedir. Dolayısıyla aslında ard arda gelen video kareleri için görünüm tipi belirli bir süre aynı kalmaktadır. Bu bilgiden yola çıkılarak her bir video karesi için görünüm tipini hesaplamak yerine görünüm tipinin deitii anları yakalayıp sadece ilk video kareleri için görünüm tipini hesaplamak yoluna gidilmi ve baarım performansı arttrılmıtır. Video boyunca görünüm tipinin deitii anları yakalamak için logo geçilerinin yakalanması ileminde olduu gibi ard arda gelen video kareleri için ortalama iddet deerlerinin farkı hesaplanmıtır. Fark deeri, eitlik (5.1) de belirtildii gibi, ard arda gelen iki video karesi için tüm piksellerin iddet deerlerinin farkının toplam piksel sayısına oranı ile hesaplanmıtır. Eitlikte ( i j) I k,, k. video karesinde i, j konumundaki pikselin iddet bileeninin deerini, D ortalama iddet fark deerini, M video karesinin piksel sayısı olarak

63 53 geniliini, N ise yüksekliini göstermektedir. D = M i= 1 N j= 1 I k ( i, j) I ( i, j) MxN k 1 ( 5.1) Video boyunca görünüm tipinin deiimi çok keskin bir ekilde olduu ve bu anda ekranda görüntülenen alan tamamen deitiinden D ortalama iddet fark deeri yükselmektedir. Yapılan testler sonucunda D deerinin 2000 in üzerine çıktıı anlar görünüm tipinin deitii anlar olarak kabul edilmitir. Bu yaklaım sonucunda; özellikle ekil 5-5 de de belirtilen, yayıncı kurulutan kaynaklanan baarısız sınıflandırma sonuçları ortadan kaldırılmıtır. Yapılan testler ile görünüm sınıflandırma ileminde baarım perfomansının yükseldii görülmütür. Çizelge 5-5 deki sonuçlar ile Çizelge 5-4 deki sonuçlar karıltırıldıında baarım performansındaki artı oranı görülmektedir. Çizelge 5-5 Görünüm sınıflandırma test sonuçları Video Genel Saha içi Saha dıı görüntüsü Doruluk Duyarlık Doruluk Duyarlık Doruluk Duyarlık Beikta %98,5 %99,5 %96,3 %90,5 %95,9 %91,8 Liverpool Liverpool %96,3 %97,5 %86,6 %93,1 %97,2 %94,7 Beikta Schalke %93,6 %90,8 %95,8 %94 %95,2 %93,6 Chelsea Portland %91,8 %91,3 %85,6 %77,2 %99,2 %94,8 Man. Untd Ortalama %95 %94,77 %91 %88,7 %96,8 %93, Saha Alanı Sınıflandırma Deneysel Sonuçları Görünüm sınıflandırma metodunun baarım performansını test etmek için görünüm sınıflandırma ile genel görünüm olarak iaretlenmi olan video kareleri kullanılmıtır. Her bir video karesi için saha alanı tipi elle iaretlenmi ve daha sonra FVS tarafından üretilen sonuçlar ile karılatırılarak saha alanı sınıflandırma metodunun baarım performansı ölçülmütür. ekil 5-7, ekil 5-8 ve ekil 5-9 de sırasıyla orta alan, sol alan ve sa alan olarak sınıflandırılmı olan video karelerine örnekler verilmitir.

64 54 ekil 5-7 Orta alan olarak sınıflandırılmı olan video kareleri ekil 5-8 Sol alan olarak iaretlenmi olan video kareleri ekil 5-9 Sa alan olarak iaretlenmi olan video kareleri Çizelge 5-6 de testte kullanılan her bir video için saha alanı tiplerinin daılımları yer almaktadır.

65 55 Çizelge 5-6 Saha alanı tipi daılımları Test videosu Video karesi sayısı Sol alan Orta alan Sa alan Beikta-Liverpool Liverpool-Beikta Çizelge 5-7 te her bir video görüntüsü ve görünüm tipi için görünüm sınıflandırma sonuçları doruluk ve duyarlık oranları ile birlikte verilmitir. Çizelge 5-7 Saha alanı sınıflandırma test sonuçları Test Sol alan Orta alan Sa alan videosu Doruluk Duyarlık Doruluk Duyarlık Doruluk Duyarlık Beikta %92 %89 %89 %79 %92 %88 Liverpool Liverpool %95 %88 %92 %89 %93 %84 Beikta Ortalama %93,5 %88 %90 %84 %92 % Saha Alanı Sınıflandırma Baarımını Etkileyen Faktörler Saha alanı sınıflandırma ile ilgili testler gerçekletirilirken aynı zamanda saha alanı sınıflandırma metodunun ne gibi durumlarda baarısız çalıtıı da incelenmitir. Baarısız saha alanı sınıflandırma ilemlerinin temel nedenleri aaıdaki gibi özetlenebilir: 1. Video karesinde görüntülenen alanda saha çizgisinin yer almaması. (ekil 5-10) 2. Kameranın hızlı hareket ettii durumlarda video karesinin bulanıklaması ve çizgilerin ayırt edilemez olması. (ekil 5-11, ekil 5-12)

66 56 ekil 5-10 Saha alanı çizgisinin yer almadıı video karesi ekil 5-11 Bulanık ekilde görüntülenmi orta alan çizgisi ekil 5-12 Bulanık ekilde görüntülenmi olan sol alan çizgisi Tekrar Gösterimlerin Ayrılması Deneysel Sonuçları Tekrar gösterimlerin ayrılması adımının baarım performansı logo geçilerinin yakalanmasının baarım performansıyla doru orantılıdır. Dolayısıyla tekrar gösterimlerin ayrılması adımının baarım performansını test etmek amacıyla öncelikle video içerisindeki