A HIGH PERFORMANCED VIDEO PARSING ALGORITHM DESIGN AND IMPLEMENTATION FOR UNCOMPRESSED DIGITAL VIDEOS



Benzer belgeler
Sahne Geçişlerinin Geometrik Tabanlı olarak Saptanması

BİYOMETRİK İRİS SINIFLANDIRMA SİSTEMLERİ

Görüntü İşleme. K.Sinan YILDIRIM Cenk İNCE Tahir Emre KALAYCI. Ege Üniversitesi Bilgisayar Mühendisliği Bölümü 2003

GÖRÜNTÜSÜ ALINAN BİR NESNENİN REFERANS BİR NESNE YARDIMIYLA BOYUTLARININ, ALANININ VE AÇISININ HESAPLANMASI ÖZET ABSTRACT

RENK BİLEŞENLERİ YARDIMIYLA HAREKETLİ HEDEFLERİN GERÇEK ZAMANLI TESPİTİ

CCD KAMERA KULLANARAK SAYISAL GÖRÜNTÜ İŞLEME YOLUYLA GERÇEK ZAMANLI GÜVENLİK UYGULAMASI

Görüntü İşleme. Dijital Görüntü Tanımları. Dijital görüntü ise sayısal değerlerden oluşur.

Dijital (Sayısal) Fotogrametri

Yüz Tanımaya Dayalı Uygulamalar. (Özet)

TÜRKİYE CUMHURİYETİ DEVLETİNİN temellerinin atıldığı Çanakkale zaferinin 100. yılı kutlu olsun.

Video Dizilerinden Reklam Saptama ve İndeksleme

ÜÇ BOYUTLU M-BANTLI DALGACIK DÖNÜŞÜMÜ İLE TRAFİK TIKANIKLIĞININ BELİRLENMESİ

MMT 106 Teknik Fotoğrafçılık 3 Digital Görüntüleme

Bilgisayarla Fotogrametrik Görme

Odak noktamız karanlığı tamamen görünür kılmaktır. starlight teknolojisi

Dijital Görüntü İşleme Teknikleri

H.264 Bit Dizisi Üzerinde Yeni Bir Video Nesne Bölütleme Algoritması

UYDU GÖRÜNTÜLERİ VE SAYISAL UZAKTAN ALGILAMA

Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü. Bilgisayarla Görme. Proje

Ders Adı Kodu Yarıyılı T+U Saati Ulusal Kredisi AKTS

Dijital (Sayısal) Fotogrametri

Elena Battini SÖNMEZ Önder ÖZBEK N. Özge ÖZBEK. 2 Şubat 2007

Mobil Cihazlarda Online Görüntü İşleme Yazılımının Geliştirilmesi

MOD419 Görüntü İşleme

İkili (Binary) Görüntü Analizi

LED IŞIK KAYNAKLARININ RENK SICAKLIĞININ GÖRÜNTÜ İŞLEME TEKNİKLERİ KULLANILARAK BELİRLENMESİ. İsmail Serkan Üncü, İsmail Taşcı

Çözümleri İÇERİK YÖNETİM SİSTEMLERİ. İSBAK A.Ş., İstanbul Büyükşehir Belediyesi iştirakidir.

Öğr. Gör. Hakan YÜKSEL SÜLEYMAN DEMİREL ÜNİVERSİTESİ. Akademik Bilişim

Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü. Bilgisayarla Görme. Final

Mobil Cihazlarda Online Görüntü İşleme Yazılımının Geliştirilmesi

SAYISAL GÖRÜNTÜ İŞLEME (Digital Image Processing)

TÜRKİYEDE İLK YAKIN KIRMIZIÖTE GÖZLEMLER

DOSYA ORGANİZASYONU. Sıralı erişimli dosya organizasyonu yöntemleri ÖZLEM AYDIN TRAKYA ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

İkili (Binary) Görüntü Analizi

Yrd. Doç. Dr. Saygın ABDİKAN Öğretim Yılı Bahar Dönemi

Bulanık Mantık Tabanlı Uçak Modeli Tespiti

Dijital (Sayısal) Fotogrametri

24 bit renkli hareketli resimler (video) üzerinde geliştirilen sırörtme yöntemi

Bilgiye Erişim Sistemlerinde Veri Arama ve Eşleştirme

Algoritmalar. Arama Problemi ve Analizi. Bahar 2016 Doç. Dr. Suat Özdemir 1

Kameralar, sensörler ve sistemler

GÖRÜNTÜ İŞLEME - (7.Hafta) KENAR BELİRLEME ALGORİTMALARI

Uzaktan Algılama (3) Yrd. Doç. Dr. Özgür ZEYDAN Renk Teorileri

İRİSTEN KİMLİK TANIMA SİSTEMİ

ANKARA ÜNİVERSİTESİ MÜHENDİSLİK FAKÜLTESİ

Hafta 5 Uzamsal Filtreleme

Dijital Fotogrametri

Yrd. Doç. Dr. Saygın ABDİKAN Öğretim Yılı Bahar Dönemi

SAYISAL GÖRÜNTÜİŞLEME (Digital Image Processing)

VERİ YAPILARI VE PROGRAMLAMA

Uzaktan Algılama (3) Öğr. Gör. Dr. Özgür ZEYDAN Renk Teorileri

Labview Tabanlı Sayısal İşaret İşleme Sanal Laboratuvarı Labview Based Digital Signal Processing Virtual Laboratory

VISISYS. Akıllı Görüntüleme Sistemleri

PERFORMANCE COMPARISON OF KARATSUBA AND NIKHILAM MULTIPLICATION ALGORITHMS FOR DIFFERENT BIT LENGTHS

Bölüm 7 Renkli Görüntü İşleme

ULUSAL COĞRAFİ BILGİ SISTEMLERİ KONGRESİ 30 Ekim 02 Kasım 2007, KTÜ, Trabzon

Uzaktan Algılama Uygulamaları

SAYISAL GÖRÜNTÜ EŞLEME

Zamansal Veri Madenciliği ve Anomali Tespiti için Bir Uygulama

Yrd. Doç. Dr. Saygın ABDİKAN Öğretim Yılı Bahar Dönemi

Çekim senaryosunda yer alan bilgiler:

GÖRÜNTÜ İŞLEME HAFTA 4 DÖNÜŞÜMLER UZAYSAL FİLTRELEME

TEMEL GÖRÜNTÜ BİLGİSİ

GÖRÜNTÜ İŞLEME HAFTA 1 1.GİRİŞ

İnsan Yüzü Resimlerinin Sorgulamaya Uygun ve Bölgelendirmeye Dayalı Kodlanması

2015/2016 Bahar Yarıyılı Bitirme Çalışması Konuları. (Doç.Dr. M. Kemal GÜLLÜ)

Makale (Article) Gerçek Zamanlı Görüntü İşleme Yönteminin Otomatik Depolama ve Boşaltma Sistemlerinde Uygulanması Barış GÖKÇE *

12 Photocopiable for classroom use only Computer Science Unplugged (

Gerçek Zamanlı Harekete Duyarlı Bir Görüntü Tanıma Sistemi

Frozen-Time Eşzamanlı Fotoğraf Çekim ve Greenbox Video Oluşturma Sistemi

Akademik Bilişim Ekibinin Dikkatine;

Hafta 2 Görüntünün Alınması ve Sayısallaştırılması


Üniversite Sanayi İşbirliği Başarılı Uygulamalar Çalıştayı

SAYISAL TASARIM. Ege Üniversitesi Ege MYO Mekatronik Programı

GÖRÜNTÜ İŞLEME HAFTA 2 SAYISAL GÖRÜNTÜ TEMELLERİ

Bilgisayar ne elde eder (görüntüden)? Dijital Görüntü İşleme Fevzi Karslı, KTÜ. 08 Ekim 2013 Salı 51

Otomatik Kontrol Ulusal Toplantısı, TOK'2015, Eylül 2015, Denizli

Merge To Hdr. Merge To Hdr. Merge to hdr. HDR resimleri. Merge To Hdr 1

T.C. TRAKYA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ. DİJİTAL VİDEOLARDA ARKA PLAN MODELLEME ve HAREKETLİ NESNE ÇIKARIMI

Derece Alan Üniversite Yıl Lisans Elek.Elektonik Müh. Bilkent Üniversitesi 1993 Y. Lisans Elektrik Müh. Rutgers

Bu makalede, rulman üretim hattının son

Gama ışını görüntüleme: X ışını görüntüleme:

Görüntü İşleme Teknikleri Kullanılarak Bir Ortamın İnsan Yoğunluğunun Hesaplanması

Mean Shift Ve Gaussian Filtre İle Gölge Tespiti Shadow Detection With Mean Shift And Gaussian Filter

BLM 4811 MESLEKİ TERMİNOLOJİ II Salı , D-109 Dr. Göksel Biricik

1.GÜÇ HATLARINDA HABERLEŞME NEDİR?

Renk kalitesi kılavuzu

Bilgisayarla Görüye Giriş

IEEE Online Mühendislikte Günümüz Araştırmacılarının Temel Bilgi Kaynağı. UASL Eğitim Programı. 10 Mayıs, 2006

bt-pota Bilgi Teknolojileri Hizmetleri Belgelendirme Standartları Merve Saraç Nisan 2008

Morfolojik Görüntü İşleme Yöntemleri ile Kayısılarda Yaprak Delen (Çil) Hastalığı Sonucu Oluşan Lekelerin Tespiti

TEMEL GÖRÜNTÜ BİLGİSİ

Optik Filtrelerde Performans Analizi Performance Analysis of the Optical Filters

İMGE İŞLEME Ders-9. İmge Sıkıştırma. Dersin web sayfası: (Yrd. Doç. Dr. M.

ÜNİT E ÜNİTE GİRİŞ. Algoritma Mantığı. Algoritma Özellikleri PROGRAMLAMA TEMELLERİ ÜNİTE 3 ALGORİTMA

AMAÇ Araçlardaki Kamera Sistemleri

SOBEL İŞLECİ KULLANILARAK RENKLİ GÖRÜNTÜLERDE KENAR BULMA. Elif AYBAR. Anadolu Üniversitesi, Porsuk Meslek Yüksekokulu, 26430, Eskişehir/Türkiye

MPEG AKIMIMINDA BAŞLIK ŞİFRELEME

Transkript:

5. Uluslararası İleri Teknolojiler Sempozyumu (IATS 09), 13-15 Mayıs 2009, Karabük, Türkiye SIKIŞTIRILMAMIŞ SAYISAL VİDEOLAR İÇİN YÜKSEK PERFORMANSLI BİR BÖLÜMLENDİRME ALGORİTMASI TASARIMI VE UYGULAMASI A HIGH PERFORMANCED VIDEO PARSING ALGORITHM DESIGN AND IMPLEMENTATION FOR UNCOMPRESSED DIGITAL VIDEOS Barış BORU a, * ve Halil İbrahim ESKİKURT a a Sakarya Üniversitesi, Sakarya, Türkiye E-posta: barisb@sakarya.edu.tr, eskikurt@sakarya.edu.tr Özet Sayısal videoların günümüzde analog videoların yerini alması, ucuz ve kolay kaydedilip depolanabilmesi gibi özelliklerinden dolayı binlerce saatlik sayısal video arşivleri ortaya çıkmıştır. Bu video veritabanlarına erişimin hızlı olması için video içinde anlamsal olarak arama yapılabilmesi büyük bir ihtiyaç haline gelmiştir. Sayısal videolar içinde standart resim ve metin arama teknikleri kullanılamadığından video indeksleme konusuna ilgiler artarak literatürde yer alan birçok çalışma yapılmıştır. Sayısal video indeksleme yöntemi videoları bölümlendirerek bölümlere ait özet bilgilerin çıkarılması daha sonra özet bilgilerden bölümlere ulaşılması temel mantığı ile uygulanmaktadır. Bu bağlamda doğru video bölümlendirme video indekslemenin temelini oluşturan önemli bir kısmı olarak ortaya çıkmıştır. Bu çalışmada sıkıştırılmamış videolarda kullanılacak yeni bir video bölümlendirme algoritması tasarımı yapılarak uygulamaya geçirilmiştir. Çalışmada literatürde var olan bölümlendirme algoritmaları incelenerek bu algoritmaların eksik yönleri tespit edilmiş, ve eksiklerini giderecek bir algoritma tasarlamak hedeflenmiştir. Tasarlanan algoritma gerçeklenerek diğer algoritmalar ile karşılaştırmaları yapılmış, diğer algoritmalara göre işlem yükü ve performans yönünden daha iyi bir seviyede olduğu tespit edilmiştir. Anahtar kelimeler: Video Bölümlendirme, Video İndeksleme Abstract Today, the use of digital videos instead of analog videos has become most popular in terms of easily recordable and low-cost storage. Therefore, huge amount of digital video archives have been came out dramatically. In order to access this video database very fast, the semantic search in a video has been an important demand. While the standard picture and text searching methods cannot be used in a digital video, the video indexing has become a popular interest, and lots of research have been came out. Digital video indexing methods are implemented by segmenting the videos into sub-scenes and extracting the main data related to these sub-scenes. In this sense, correct video segmenting has been most important part of the video indexing. In this work, an implementation of a new video parsing algorithm design used for uncompressed videos is presented. Investigating the parsing algorithms in the existing literature, missing parts of these algorithms have been defined and a new algorithm for filling the blanks of these algorithms has been aimed. After implementing the algorithm designed, this algorithm has been compared to other parsing algorithms. Finally, it is been determined that the implemented algorithm is much better than the other algorithms due to the computational overhead and the performance. Keywords: Video Parsing, Video Indexing 1. Giriş Bilgisayarların ve sayısal cihazların yaygınlaşması, aynı zamanda internet gibi ortamlar sayesinde sayısal haberleşmenin analog haberleşmeden daha kolay uygulanabilir hale gelmesi ve yaygınlaşması ile tüm bilgi türlerinde olduğu gibi video bilgisinin de sayısal ortama aktarılması gereksinimi ortaya çıkmıştır. Sayısal video insan gözünün sahip olduğu zaafiyetlerden yararlanarak uygulanmaktadır. İnsan gözü saniyede 15-20 kareden hızlı değişen ardışıl resimleri hareketli görüntü olarak algılamaktadır. Sayısal video, video sahnesinin saniyede 15~30 kare olarak fotoğraflanması ile elde edilir. Sayısal videonun saniyede kaç kare çekilerek kayıt edildiği bilgisine fps (saniyedeki kare sayısı) denilmektedir. Yukarıda anlatılanlardan da anlaşıldığı gibi sayısal video bilgisi ard arda gelen sayısal resimlerden oluşan sayısal bir bilgidir. Eğer video içerisinde ses kaydı var ise resim kareleri ile birlikte ses bilgilerini de içermektedir. 2. Video İndeksleme ve Bölümlendirme Teknolojik ilerlemeler neticesinde günümüzde gelinen noktada hemen hemen tüm videolar sayısal formda kaydedilerek kullanılmaktadır. Sayısal video kayıtlarının bu kadar arttığı bir ortamda sayısal videolar içinde arama yapılmak istenmesiyle hızlı erişim gereksinimi ortaya çıkmıştır. Örneğin güvenlik videolarının tutulduğu bir arşivde bir şahsa, bir araca ait görüntü kaydının bulunup bulunmadığı, haber arşivleri içerisindeki eski kayıtların sorgulanması gerekmektedir. Standart metin arama tekniklerinin sayısal videoda kullanılamayacağı gibi resim karşılaştırma tekniklerinin kullanılması gerektirdiği işlem yükü nedeniyle uygun olmamakta ve anlamsal arama gereksinimlerini karşılamamaktadır [1]. Bu yüzden video erişim için özel teknikler kullanılmalıdır. Video erişim ile ilgilenen araştırmacılar, videonun tamamında arama yapmak yerine IATS 09, Karabük Üniversitesi, Karabük, Türkiye

videonun önceden işlenmesiyle elde edilen video indeksinde aramanın ve uygun bulunan sonuçların referans ettiği video parçasına erişmenin daha uygun olacağı fikrini ortaya atmışlardır [1-2]. Şekil 1. Bir videonun bölümlendirilmesi ve özet bilgilerin bölümler referans edilerek veritabanına kaydedilmesi Bir kitapta bir konu başlığına erişmek istenildiğinde içindekiler veya kitap indeksinden kelime bulunarak referans edilen sayfaya gidilmektedir. Arama yapılacak bir videoda bütün bilgilerin her seferinde taranması, kitapta sayfaların tek tek taranmasında olduğu gibi erişimi zorlaştıracaktır. Bu yüzden video içinde arama yapmak ve istenen bir görüntüye erişimi mümkün kılmak için kitapta olduğu gibi videonun indeksini çıkarmak ve özel bir veritabanında saklamak uygun olacaktır (Şekil 1). Video veritabanına eklenen her video, bir dizi işlemden geçirilerek indeksi elde edilerek saklanmalıdır. Arama yapıldığında aranan öğe indekste taranacak eşleşme bulunursa referans ettiği video parçası kullanıcıya sunulacaktır. Video bölümleri anlamsal olarak bütünlük içeren ardışıl kareler bütünüdür. Her bölüm için tespit edilen özellikler ve anahtar kareler video indeksini oluşturmaktadır. Yukarıda belirtilen sebeplerden dolayı video indekslemenin en önemli parçası video bölümlendirmektir. Video bölümleme indekse eklenecek bilgileri azaltma hedefine, anlamsal olarak bütünlük içeren kareleri gruplandırma yoluyla tek bilgi ile nitelendirme imkânını sunarak katkıda bulunmaktadır. Aynı zamanda arama neticesinde gösterilecek bölümlerin önceden tespit edilerek hazırlanmasını sağlamaktadır. 1. Bölüm 1. Kare 2. Kare 3. Kare 4. Kare 5. Kare 6. Kare 7. Kare 2. Bölüm 3. Bölüm 8. Kare Şekil 2. Örnek ardışıl video kareleri ve video bölümleri Literatürde yer alan video veritabanları ve erişim konusundaki çalışmaların birçoğu video bölümlemeyi konu edinmektedir [1-2]. Bu çalışmalarda geliştirilen yöntemler, ardışıl video karelerinde anlamsal olarak değişimlerin bulunduğu geçişleri tespit ederek video bölümlerini doğru bir şekilde algılama üzerine yoğunlaşmıştır. Bölüm geçişlerinde kademeli ve ani olarak iki farklı tür vardır. Ani bölüm geçişleri genellikle film çekimlerinde olduğu gibi kameranın kaydının durdurulması ve farklı bir görüntü için yeniden başlatılması ile oluşmaktadır. Kademeli bölüm geçişleri ise görüntü içeriğinin kademeli olarak değiştirilmesidir ki genellikle sinema efektlerinde iki bölümü birleştirmek için kullanılmasıyla oluşmaktadır. Kademeli geçişlere en iyi örnekler bölümün solarak geçmesi (fade effect) ve bölümün eriyerek geçmesidir (dissolve effect). Ardışıl kareler arasında keskin değişimler yerine yavaş yavaş değişim gerçekleştiğinden kademeli bölüm geçişlerinin tespit edilmesi güçtür. Bu tür algılamaların kamera ve obje hareketinden ayrıştırılmaları gerekmektedir. Özellikle parlaklık değişimi içeren bölüm geçişlerini algılamak diğer bölüm geçişi türlerine göre hayli güçtür. Video bölümleme algoritmaları genellikle ardışıl kareler arası görsel değişim oranlarını elde ederek, değişim oranının yüksek olduğu anlarda bölümler arası bir geçiş olduğu mantığına dayanarak, bölüm algılaması yapmaktadırlar. Genellikle bölümlendirme algoritmaları videonun 1. karesinden başlayarak tarama yaparlar ve arka arkaya gelen video karelerini değerlendirirler. Bazı durumlarda iki kare görüntüsü arasında anlamsal bir fark olmasa bile, sayısal olarak değerler incelendiğinde büyük farklılıklar ortaya çıkabilmektedir. Bu tarz değişimlere en iyi örnekler kamera hareketleri ve parlaklık değişimleridir. n. Kare (n+1). Kare (n+2). Kare (a) n. Kare (n+1). Kare (n+2). Kare (b) Şekil 3.(a) Kamera hareketlerine bir örnek (b)parlaklık değişimlerine bir örnek Çekim esnasında sahne içeriği aynı kaldığı halde, kameranın çok az hareket ettirilmesi ile sahnedeki objeler ardışıl iki kare arasında birkaç piksel yer değiştirmektedir. Benzer şekilde çekim esnasında ışık kaynağının değişmesi, kamera açısının değiştirilmesi, video karesindeki bütün piksellerin koyuluk seviyeleri değişimi ile sonuçlanmaktadır. Bu iki durum ardışıl iki karenin piksel değerlerinde büyük değişimlere yol açmasına rağmen çoğunlukla bir bölüm geçişi değildir. Bu yüzden bölümlendirme algoritmalarının, kamera hareketlerine ve parlaklık değişimlerine hassasiyetlerinin düşük olması gerekmektedir.

Sıkıştırılmamış videolarda çalışan bölümlendirme algoritmaları genel olarak dayandıkları tekniğe göre ardışıl kareler arasında bir benzerlik oranı elde ederler. Arka arkaya gelen iki karenin birbirine benzerliği düşükse orada bir bölüm ayrımı olduğu kabul edilerek videoların bölümlendirilmesi yoluna gidilmektedirler. Bu tarz tekniklerde, ardışıl kare benzerlikleri için hangi değerlerin üzerinin bir bölüm geçişi olarak algılanacağı, bir eşik değeri ile belirlenmektedir. Bu yüzden bu tarz algoritmalara literatürde eşik tabanlı yaklaşım algoritmaları da denmektedir [2]. Video bölümlendirme algoritmaları içerisinde en basit yaklaşıma sahip ve diğer algoritmalara temel teşkil eden algoritma piksel karşılaştırma algoritmasıdır. Piksel karşılaştırma algoritması, ardışıl iki video karesi arasında örtüşen piksellerin farklarının toplamını hesaplayarak her video karesi için bir değişim değeri tespit etmektedir. Bulunan değişim değeri önceden belirlenmiş eşik değeri ile karşılaştırılarak bölüm geçişi olup olmadığına karar verilmektedir. Bu basit yöntem kamera hareketlerine ve parlaklık değişimlerine çok duyarlı olduğundan ve gerektirdiği işlem yükünün çok fazla olmasından dolayı kullanımdan uzaktır. Piksel karşılaştırma algoritmasına alternatif olarak geliştirilen Blok Tabanlı Piksel Karşılaştırma Algoritması, video karesini bloklara bölerek örtüşen blokları piksel değerleri ve ortalama koyuluk değeri ile elde edilen bir benzerlik oranı ile karşılaştıracak şekilde KASTURİ R., JAİN R., tarafından tasarlanmıştır [3]. Bu algoritma, parlaklık değişimlerine hassasiyeti düşürmekle beraber işlem yükünü arttırmaktadır. İşlem yükünü azaltmak ve kamera obje hareketlerine duyarlılığı düşürmek için, piksel tabanlı yaklaşımlar yerine histogram tabanlı karşılaştırma yöntemleri ortaya atılmıştır. Histogram karşılaştırmasına dayanan yöntemlerin altında yatan ana fikir değişmeyen arka plana ve değişmeyen objelere (hareketli veya hareketsiz) sahip, ardışıl iki karenin histogramlarında çok fazla bir fark oluşmayacağıdır [2]. Bununla birlikte histogram, resim döndürülme ve resimleme açısının değişmesine duyarsızdır. Bu temellere dayanarak günümüze kadar ardışıl karelerin histogramlarının karşılaştırılmasına dayanan bir çok çalışma yapılmıştır. Histogram tabanlı bölümleme algoritmalarında ilk ortaya çıkan algoritmalarda ardışıl iki karenin histogramlarının karşılaştırılması ve buna bağımlı bölüm geçişi tespiti yaklaşımı uygulanmıştır. Bu yaklaşımda ardışıl karelerin tamamının histogram farkları alınarak 0-256 koyuluk değerlerinde toplam değişen piksel sayısı tespit edilir, değişen piksel sayısı eşik değeri üzerinde ise bölüm geçişi algılanır. Renkli videolar üzerine yapılan ve başarılı sonuçlar elde edilen RGB histogramları kullanılan bir çalışma Zhang, Kankanhallı ve Smoliar tarafından sunulmuştur [2]. Bu çalışmayı temel alarak yöntemin iyileştirilmesine yönelik çalışmalar literatürde mevcuttur [7]. Bu yöntemlerde kamera ve obje hareketine duyarlılık düşük olsada parlaklık değişimine duyarlılık hayli yüksektir çünkü parlaklık değişimi resim histogramını tamamen değiştirmektedir. Bu duyarlılığı azaltmak için HSV ve YIQ renk kodlama histogramlarının parlaklık bileşeni hariç tutularak karşılaştırılması teknikleri sunulmuştur [5]. HSV ve YIQ karşılaştırmaları parlaklık değişimine az duyarlı olsalarda büyük işlem yüklerini beraberlerinde getirmektedirler. Yukarıda bahsedilen histogram tabanlı teknikler temel alınarak Swanberg ve arkadaşları tarafından blok tabanlı karşılaştırma teknikleri geliştirilmiştir. Bu teknikte video kareleri bloklara bölünerek, ardışıl karelerde örtüşen bloklar için histogram karşılaştırması yapılmıştır [6]. Yukarıda bahsedilen algoritmalardan hiçbiri kademeli bölüm geçişlerini algılamada başarılı olamadıklarından ikiz karşılaştırma tekniği geliştirilmiştir [4]. Bu teknikte kademeli bölüm geçişlerinde oluşan kareler arası farkları algılamak için ikinci bir düşük eşik değeri kullanılmış, bu değerin üzerine çıkan ve ard arda gelen kareler arası farklar toplanarak asıl eşik değerini geçmesi durumunda kademeli bölüm geçişi tespit edilmeye çalışılmıştır. Boreczky ve Rowe birçok bölümlendirme algoritmasının karşılaştırmasını yaptıkları çalışmalarında ikiz karşılaştırma tekniğinin basit ve çok doğru çalışan bir teknik olduğu sonucuna varmışlardır [7]. 3. Filtrelenmiş Video Histogram Karşılaştırması Sıkıştırılmamış videolar üzerine çalışan bölümlendirme algoritmalarının yukarıda bahsedildiği gibi başarım seviyeleri düşüktür. Bu algoritmalar özellikle parlaklık değişimleri ve kamera hareketlerine duyarlılıkları yüksektir. Yapılan çalışmada histogram tabanlı yöntemler temel alınarak bu dezavantajları ortadan kaldırmak için Filtrelenmiş Video Histogram Karşılaştırma algoritması tasarlanmıştır. Obje değişimine dayalı video bölümlendirme işleminin hızlı ve kullanışlı bir yapıda kullanılabilmesi için resim filtreleme tekniklerinden faydanılmıştır. Bölümlendirilecek videonun tamamı öncelikle resim filtreleme teknikleri ile filtrelendikten sonra histogram karşılaştırmasına tabi tutulmuştur. Algoritma tasarımında temel alınan fikir, sahnedeki objeler ile ilgilenmek ve kamera hareketlerinden oluşan birkaç piksellik kaymaları göz önünde bulundurmaktır. Bu amaçla resim işlemede sık kullanılan motion blur ve sobel filtreleri kullanılmıştır. Sobel resim filtresi filtrelenen resim içinde renk değişimlerinin keskin olduğu bölgeleri, değerlerini siyah veya beyaz (filtre ağırlıklarına göre belirlenmektedir) renklerine ve renk değişiminin bulunmadığı düz alanları diğer renge yakınlaştırarak ön plana çıkarmaktadır. Başka bir deyişle sobel filtresi resimler içindeki obje kenarlarını belirginleştirmektedir. Kamera hareketlerine duyarlılığı düşürmek için, komşu piksellerin belli ağırlıklar ile birbiri üzerine kopyalanması öngörülmüştür. Bu sayede sobel filtresi ile elde edilen keskin kenar değerleri yumuşatılacak ve kenarlara yakın alanların (arkaplan ve obje kenar bölgelerinin) etkileri de incelenmiş olacaktır. Bu gereksinimleri karşılamak amacı ile motion blur filtresinden faydalanılmıştır. Yöntemin obje kenarlarının değişimini takip etmesi sebebiyle videolar siyah beyaz videoya çevrilerek işlenmiştir. Filtrelenmiş Video Histogram Karşılaştırması yönteminin filtreleme safhasının adımları Şekil 4 te görülmektedir.

Histogram Karşılaştırması yönteminin kamera hareketleri ve parlaklık değişimine duyarlılığının, diğer sıkıştırılmamış video bileşenleri üzerine çalışan yöntemlere göre çok daha düşük olduğu tespit edilmiştir. Yapılan denemelerde özellikle parlaklık değişimlerine duyarlılığın çok düşürüldüğü ve kameradan kaynaklanan parlaklık değişimleri içeren videolarda çok daha başarılı bölümlendirme yapılabildiği gözlemlenmiştir. Şekil 5 de parlaklık değişimi ve kamera hareketlerinin yoğun olduğu örnek bir video için HSV Histogram Karşılaştırması ve Filtrelenmiş Video Histogram Karşılaştırması tarafından elde edilen kare fark değerleri grafik olarak görülmektedir. HSV histogram karşılaştırması standart yöntemler içinde obje parlaklık değişimine en az duyarlı yöntemlerden olduğu için karşılaştırma için uygun görülmüştür. Şekil üzerinde gerçek bölüm geçişleri oklar ile gösterilmektedir. Şekil 4. Resim filtreleme adımları Elde edilen filtrelenmiş videolar için ardışıl karelerin fark değerlerini elde etmede, standart histogram karşılaştırma formüllerinin kullanılması durumunda yöntemin ilgilenmediği düz alanlarda karşılaştırma kriterine dahil edilerek yanlış sonuçların artmasına sebep verecektir. Bu eksikliği gidermek amacı ile standart histogram karşılaştırma formülünde siyah rengi temsil eden 0 değeri devre dışı bırakılarak Filtrelenmiş Video Histogram Karşılaştırması yönteminde kullanılacak formül (Denklem 1) elde edilmiştir. Denklem 1 de verilen formül, sayısal videolarda 8 bit renk derinliğine sahip (koyuluk değerleri 0-255 ;n =256) videolarda kullanılacak formüldür. Denklem 1 de D değeri (i,i+1) kareleri arasında elde edilen fark değerini, H ilgili karelere ait histogramları ve j değeri ise histogram içerisinde sıra ile karşılaştırılacak koyuluk değerlerini göstermektedir. Formülde koyuluk değerinin 1 255 aralığında olmasının sebebi yukarıda da bahsedildiği gibi filtrelenmiş histogramlarda düz yüzeyleri temsil eden 0 koyuluk değerinin ihmal edilmesidir. 255 D ( i, i + 1) = H ( j) H (1) j= 1 i i+ 1 ( j) Filtrelenmiş Video Histogram Karşılaştırması yöntemi çalışma adımları sırasıyla özetlenecek olursa : 1. Videonun gri tonlamalı hale getirilmesi 2. Videonun Motion Blur filtresi ile filtrelenmesi 3. Motion Blur ile filtrelenen videonun Sobel filtresi ile filtrelenmesi 4. Elde edilen videonun siyah bileşenler (0 ağırlık değerine sahip pikseller) ihmal edilerek histogram karşılaştırması ile ardışıl kareler fark değerlerinin elde edilmesi 5. Fark değerleri içinde eşik değeri üzerinde kalan karelerin bölüm geçişi olarak belirlenmesi 6. Bulunan bölüm geçişleri kullanılarak bölümlerin oluşturulması 4. Değerlendirme ve Karşılaştırmalar Önerilen yöntemin uygulanması ile elde edilen neticeler değerlendirildiğinde, beklendiği gibi Filtrelenmiş Video Şekil 5. Örnek bir video için elde edilen ardışıl kare fark değerleri Örnekte kullanılan video, özellikle kalitesiz bir kamera ile kamera ve parlaklık değişimlerini ihtiva edecek şekilde kaydedilmiş ve 6 bölüm içermektedir. Örnek video 300-515. kareleri arasında bulunan 4. bölümünde şiddetli parlaklık değişimi ve kamera hareketleri içermektedir. HSV Histogram Karşılaştırması yönteminin 4. Bölüm içerisinde parlaklık değişiminin olduğu kare fark değerlerini 5. bölüm başlangıç değerinden daha yüksek elde ettiği gözlemlenmektedir. Ayrıca HSV Histogram Karşılaştırması yönteminin 5. Bölüm başlangıcından hemen sonra yer alan kamera hareketini bölüm geçiş değerine yakın elde ettiği gözlemlenmektedir. Tasarlanan tekniğin başarımını ölçmek için algoritma, farklı videolarda [8] uygulanarak karşılaştırmalar yapılmış ve yukarıdaki örnekte de görüldüğü gibi önerilen yöntemin diğer yöntemlerden daha yüksek başarım elde ettiği tespit edilmiştir. Elde edilen sonuçlar incelendiğinde, Filtrelenmiş Video Histogram Karşılaştırma yönteminin parlaklık değişimleri, obje ve kamera hareketlerine duyarlılığının diğer yöntemlere göre çok daha düşük olduğu gözlemlenmektedir.

Filtrelenmiş Video Histogram Karşılaştırma algoritması hesaplama zamanı olarak değerlendirilecek olursa; filtreleme adımlarının hesaplama zamanını arttırdığı açıktır. Fakat video kare fark değerlerinin elde edildiği adımda siyah beyaz video üzerine çalışıldığı için Filtrelenmiş Video Histogram Karşılaştırması bu adımı tek aşamada tamamlamaktadır. Diğer yöntemler ise hesaplama adımını üç renk için tekrarlayıp ortalama değeri hesapladıklarından video kare fark değerlerini daha uzun zaman içinde elde etmektedirler. Tablo 1. Chevrolet.avi Videosu İçin Elde Edilen Sonuçlar ALGORİTMA Süre (sn) Bölüm Adedi Doğruluk Tablo 1 de 5 bölüm içeren Chevrolet.avi [8] videosu için değişik algoritmaların karşılaştırması yer almaktadır. Tablo 1 de hesaplama süreleri, algoritmaların tespit ettiği bölüm sayıları, gerçek bölüm geçişlerinin ne kadarını tespit edebildikleri ve fazladan bulunan bölüm adetleri yer almaktadır. En iyi başarım için kullanılan algoritmanın, en az sürede hesap yapabilmesi, gerçek bölümlerin %100 oranında tespit edilebilmesi ve fazladan bölüm tespitinin yapılmaması gibi özelliklere sahip olması gerekmektedir. (%) Fazla Bölüm Piksel Karşılaştırması 153.41 7 100 2 Blok Tabanlı Piksel Karş. 212.23 9 80 5 RGB Histogram Karşılaştırması 2.74 8 40 6 Blok Tabanlı Histogram Karş. 27,09 7 60 4 HSV Histogram Karşılaştırması 34.98 8 100 3 Filtrelenmiş Video Histogram Karş. 17.67 5 100 0 Kaynaklar [1] COTSACES C., NİKOLAİDİS N., PITAS I., Video shot detection and condensed representation A review. IEEE Signal Processing Magazine, IEEE, 2006 [2] KOPRİNSKA I., CARRATO S., Temporal Video Segmentation : A Survey Signal Processing: Image Communication, Elsevier Science, 2001 [3] KASTURİ R., JAİN R., Dynamic Vision, in Computer Vision : Principles IEEE Computer Society Press, Washington DC,1991 [4] ZHANG H.J., LOW C.Y., SMOLIAR S.W., Video Parsing and Browsing Using Compressed Data, SPIE Conf. Image and Video Processing II, 1994 [5] GARGI U., OSWALD S., KOSIBA S., DEVADIGA S., KASTURİ R., Evaluation Of Video Sequence Indexing And Hiererchical Video Indexing, SPIE Conf. Storage and Retrieval in Image and Video Databases,1995 [6] SWANBERG D., SHU C. F., JAIN R., Knowledge guided parsing in video databases, SPIE Conf., 1993 [7] BORECZKY J. S., ROWE L. A., Comparison Of Video Shot Boundary Detection Techniques, IS&T/SPIE Intern. Symposium Electronic Imaging, 1996 [8] http://trecvid.nist.gov/ 5. Sonuç Bu çalışmada mevcut sıkıştırılmamış videolar üzerine çalışan bölümlendirme algoritmalarından daha yüksek başarıma sahip bir bölümlendirme algoritması tasarımı üzerinde durulmuştur. Algoritma tasarımında literatürde yer alan mevcut algoritmalar incelenerek eksiklikleri tespit edilmiş ve bu algoritmalar temel alınarak yeni bir yöntem geliştirme yoluna gidilmiştir. Tasarlanılan algoritma uygulamaya geçirilerek uygulanabilirliği ispatlanmış aynı zamanda farklı videolar üzerinde mevcut algoritmalarla birlikte uygulanarak karşılaştırma yapılmıştır. Karşılaştırmalar neticesinde algoritmanın doğru bölüm geçişi tespitinin daha iyi olduğu ve işlem yükü olarak da kabul edilebilir seviyede olduğu görülmüştür. Bant genişliği gereksinimleri nedeniyle günümüzde sıkıştırılmış videoların daha sık kullanıldığı göz önüne alındığında, tasarlanan algoritmanın özellikleri kullanılarak sıkıştırılmış videolar (Mpeg vs.) üzerinde çalışan farklı bir algoritmanın geliştirilmesi de güncel bir video bölümlendirme çalışması olarak düşünülebilir.