1. Giriş YEREL BENZERLİK ÖRÜNTÜSÜ YÖNTEMİ İLE GÖRÜNTÜ ERİŞİM SİSTEMİ Özge Can Özcanlı, Seda Dağlar, Fatoş T.Yarman Vural Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği Bölümü Ankara, 3 Mayıs 2002 {özgecan.özcanli, seda.daglar, vural}@ceng.metu.edu.tr Özetçe Bu çalışmada, Yerel Benzerlik Örüntü (YBÖ) yöntemi kullanılarak bir veri tabanından içeriğe dayalı görüntü sorgulayabilecek bir erişim sistemi önerilmektedir. YBÖ algoritması, bir görüntüyü bölgelere ayırarak, her bölgeyi farklı öznitelik uzayına göre değerlendirmekte ve yerel benzerliklerden yola çıkarak genel görüntü benzerliğini hesaplamaktadır. Önerilen sistemde, YBÖ yönteminin ihtiyaç duyduğu bölgesel öznitelik haritası kullanıcı tarafından, kendi algılayışı doğrultusunda arayüz kullanılarak belirlenmektedir. Renk ve şekil benzerliği gibi düşük seviyeli öznitelik benzerlikleri, MPEG-7 standardında tanımlanan betimleyiciler (descriptors) kullanılarak hesaplanmıştır. Alınan sonuçlar yerel benzerlikleri ön plana çıkaran sorgularda önerilen sistemin görece olarak görüntünün tümüne uygulanan betimleyicilere göre daha iyi sonuçlar verdiğini göstermektedir. Günümüzde değişik görüntü formatlarında saklanan verilerin miktarındaki artış, bu ortamlarda saklanan verilere, çoğunlukla içeriklerine yönelik ulaşımı bir ihtiyaç haline getirmiştir. Bu alanda yapılan araştırmalar sürmekte ve değişik yöntemler kullanan görüntü erişim sistemleri geliştirilmektedir [6, 7, 8]. Üzerinde sıklıkla uğraşılan konular etkin dizinleme [2], büyük boyutlu veri tabanlarında hızlı arama yapma [2] ve belki de daha önemlisi görüntü içeriğinin anlamsal olarak belirlenmesi [9] olarak sayılabilir. Yapılan araştırmalara göre renk ya da şekil gibi tek bir özniteliği kullanan görüntü benzerlik hesaplamaları yeterince tatminkar sorgu sonuçları sağlayamamaktadır. Çoğunlukla, özniteliklerden birkaçının değişik biçimlerde bir araya getirilmesiyle oluşturulan bir öznitelik uzayı kullanılarak benzerlikler hesaplanmaktadır. Ancak, görüntünün gösterdiği yerel farklılıklar, kullanılan uzaydaki bazı özniteliklere ters düşebilmektedir. Örneğin, bir görüntünün gökyüzüne karşılık gelen alanlarında şekilsel özniteliklerin çıkarılması yanıltıcı olmaktadır. İşte bu nedenle görüntünün, yerel farklılıklarına göre düzenlenmiş birden fazla öznitelik uzayına göre, her bölgesi için ayrı bir değerlendirmeye tabi tutulmasının görece olarak daha iyi sonuçlar vereceği düşünülmektedir. Karşılaşılan problemler, görüntü alanının ne şekilde bölümleneceği, oluşturulan her bir bölge için, öznitelik uzayının ne şekilde oluşturulacağı ve bölgesel benzerliklerin, genel benzerlik hesaplanmasında nasıl kullanılacağıdır. Bu bildiride sözü edilen problemlerin her biri ayrı ayrı ele alınacaktır. Bir başka önemli nokta, kullanıcının sorgu görüntüsünü nasıl algıladığı ve arama sonucunda ne beklediğidir. Bu olgu, sistemin değerlendirilmesi açısından önem kazanmaktadır. Bu nedenle kullanıcının sorgu görüntüsünü nasıl algıladığıyla sistemin aynı görüntüyü nasıl değerlendirdiği noktasında paralellik sağlayan arama motorları en başarılıları olma konusunda umut vermektedir. Bu bağlamda, kullanıcıdan geri bildirim alarak kendini yenileyen sistemler geliştirilmektedir [1].
Bir başka yol, sorgu görüntüsünün analizi aşamasında kullanıcıya değişik olanaklar sunan sistemler geliştirmektir. Bu çalışmada önerilen erişim sistemi, kullanıcının sorgu görüntüsünü yerel olarak nasıl değerlendirdiğini belirleyecek bir arayüz içermektedir. Kullanıcının belirlediği bu yerel değerlendirmeden, görüntünün farklı bölgeleri için kullanılacak olan öznitelik uzayının çıkartılması hedeflenmiştir. İkinci bölümde görüntünün alt bölgelere ayrılması, üçüncü bölümde alt bölgelere öznitelik atamalarının yapılması ve dördüncü bölümde de genel benzerliklerin hesaplanması anlatılmaktadır. Deneyler bölümünde geliştirilen erişim sistemiyle hazırlanan değişik sorgular ve alınan sonuçlar sunulmaktadır. Son bölümde ise sistem ve işleyişi yorumlanarak, olası iyileştirmeler tartışılmaktadır. 2. Görüntünün Bölgelere Ayrılması Görüntü bölgelerinin ne şekilde belirleneceği algoritmanın performansı açısından önem kazanmaktadır. Önerilen sistemde, her bir bölgenin ya da bölge grubunun yaklaşık olarak görüntü içerisinde anlamsal bir bölüte karşılık geleceği varsayılmaktadır. Bu sayede görüntüde bir arada bulunması olası, değişik nesneler (ağaç, v.b.) ve arka plan (gökyüzü, v.b.) gibi alanlar birbirinden kabaca ayrılacak ve her biri için kendi içerik özelliklerine uygun bir betimleyici kullanılarak benzerlik hesaplanacaktır. Bir görüntüyü alt bölümlere ayırmanın birçok alternatif yolu bulunmaktadır. Bölgeler, görüntünün bir bölütleme algoritması ile önceden işlenmesi ile belirlenebilir; fakat bu şekilde bölgeler eş olmamakta ve bölütleme algoritmasının performansına bağlı olarak, sorgu sonucunu olumsuz etkileyebilecek çok sayıda ilgisiz bölgeler elde edilebilmektedir [2]. Görüntü alanının düzgün geometrik alanlara parçalanması, veri tabanının önceden işlenmesi aşamasında ve bölgesel benzerliklerin bulunmasında kolaylık ve hız sağlayan daha basit bir yöntem olarak karşımıza çıkmaktadır. Şekil-1 eş dikdörtgensel alanlara bölümlenmiş bir sorgu görüntüsünü göstermektedir. Şekil-1 Bölümlenmiş bir sorgu görüntüsü Şekil-2 Öznitelik ataması yapılmış bir sorgu görüntüsü ve anlamsal algılanışı Eş dikdörtgensel bölgelere ayrılmış bir görüntüde bölgelerin anlamsal olarak yeniden gruplanması ve grupların yeni bölgeler haline getirilmesi bir önceki yöntem için bir iyileştirme olarak düşünülebilir. Bir başka bölümleme yöntemi ise nesneleri çevreleyen en küçük kutulara karşılık gelecek, birbiri ile çakışması muhtemel bölgeler elde etmektir. Bu iki yöntem, nesne tabanlı aramalara yönelik olarak, erişim sisteminin arayüzünde kullanıcıya seçenek olarak sunulabilir. Bu çalışmada önerilen erişim sisteminin benzerliklerin hesaplanmasında kullandığı YBÖ algoritması görüntü alanının Şekil-1 de gösterildiği biçimde bölümlenmesini öngörmektedir. 3. Bölgelere Öznitelik Atamalarının Yapılması Bölgeler belirlendikten sonra sıra, her bölgeye özel öznitelik uzayını belirlemeye gelmektedir. Bu noktada da değişik alternatifler mevcuttur. Sistem tüm bölgelere otomatik bir atama yaparak, bu atamaya göre yaptığı arama sonuçlarını kullanıcıya sunabilir ve kullanıcıdan
aldığı geri bildirim doğrultusunda atamasını değiştirerek evrilebilir [1]. Ancak, bu yöntem uzun sorgu-sonuç değerlendirmelerini gerektirmektedir ve işlemsel olarak pahalıdır. Bu çalışmada önerilen sistem, kullanıcının sorgu görüntüsünü sorgu gerçekleştirilmeden önce değerlendirmesini ve görüntünün hangi bölgesini hangi öznitelikler bakımından önemli bulduğunu belirlemesini amaçlamaktadır. Bu şekilde aslında kullanıcıya eş dikdörtgensel bölgeler cinsinden kabaca, kendi algılayışı doğrultusunda, anlamsal bir bölütleme yaptırılmaktadır. Böylece, sistemin YBÖ metodunu uygulayabilmesi için gerekli olan öznitelik atama haritası tek bir seferde kullanıcının rehberliğinde hazırlanmış olmaktadır ve benzerlik hesaplaması bu harita doğrultusunda sadece bir kez yapılarak, sonuçlar arayüzde sunulmaktadır. Kullanıcının bölgelere atayabileceği öznitelikler önerilen sistemde renk ve şekildir. Oluşturulabilecek kümeler: sadece renk, sadece şekil, hem renk hem şekil şeklinde olabileceği gibi, bölge sorguya etkisiz olarak da değerlendirilebilir. Şekil-2 öznitelik ataması yapılmış örnek bir sorgu görüntüsü şablonunu ve anlamsal algılanışını göstermektedir. Sistem arayüzünde, nitelik atama işlemi için iki farklı yöntem bulunmaktadır. Yöntemlerden ilki görüntünün eş dikdörtgensel bölgelere ayrılmış şekilde kullanıcıya sunulması ve fare yardımıyla kullanıcının her bir bölgeye o bölge için önemli gördüğü benzerlik özniteliklerini atamasıdır. İkinci yöntem ise kullanıcıya görüntüyü düzenleme olanağı tanımaktadır. Bu yöntemde seçilen görüntü, kenarları belirginleştirilmiş şekilde görüntü alanında çizilmekte ve kullanıcının kullanabileceği bir araç kutusu sayesinde isteğe göre belirli kenarlar atılabilmekte, renk özniteliğine göre değerlendirilecek bölgeler belirlenebilmekte ve sorguya ilgisiz alanlar temizlenebilmektedir. Sistem arayüzünde kullanıcıya sunulan iki farklı yöntem kullanılarak sorgu oluşturma işlemi esnasında alınan görüntüler Şekil-3 ve Şekil-4 te verilmektedir. Şekil-3 nitelik atama seçeneği Şekil-4 görüntü düzenleme seçeneği 4. Yerel Benzerlik Örüntüsü Yöntemi ile Benzerlik Hesaplanması YBÖ yöntemi ilk aşamada görüntünün Şekil-2 de gösterildiği gibi eş dikdörtgensel parçalara bölümlenmesini öngörür. Daha sonra her bir bölge için, eğer sorgu ile ilişkili ise, değerlendirilmesinde kullanılacak olan öznitelik uzayı belirlenir. Bu işlemin ardından, bir görüntü çifti arasındaki benzerlik, karşılıklı bölgelerinin öznitelik uzayları doğrultusunda hesaplanan benzerliklerinin aritmetik ortalaması olarak bulunur. Bu yöntemin matematiksel formülasyonunda kullanılan değişkenler ve fonksiyonlar Tablo-1 ve Tablo-2 de verilmiştir.
Küme Simge Öğe Öğe İsim Simge Eşlem Sayısı Görüntü G g j n G Öznitelik N B B N Atama Bölge B b j n B Bölgesel U B G*G*B*N [0,1] Benzerlik Öznitelik N N j n N Görüntü Benzerlik U G G*G [0,1] Tablo-1: Değişkenler Tablo-2: Fonksiyonlar Görüntü kümesi G görüntü veri tabanını, bölge kümesi B görüntü alanının bölümlenmesiyle oluşan bölgeleri, öznitelik kümesi N de iki görüntü bölgesi arasındaki benzerlik hesaplamasında kullanılan görüntü niteliklerini temsil etmektedir (R: renk, D: şekil, R-D: renk-şekil ya da E: sorguya etkisiz bölge). Öznitelik atama fonksiyonu N B, her bir görüntü bölgesine bir görüntü niteliği atar; bölgesel benzerlik fonksiyonu U B, bir görüntü çiftinin belirli bir b bölgesindeki benzerlik derecesini o bölgeye N B fonksiyonuyla atanmış olan N görüntü öznitelik uzayını kullanarak bulur. Son olarak da, görüntü benzerlik fonksiyonu U G bir görüntü çifti arasındaki benzerliği bölgesel benzerliklerin aritmetik ortalaması olarak belirler. E sorguya etkisiz olarak belirlenmiş bölgeler ve n E bu bölgelerin sayısı olarak alınırsa U G aşağıdaki gibi yazılabilir: U G (g 1, g 2 ) = (1/(n G - n E ))Σ (U B (g 1,g 2,b i,n B (b i ))) öyle ki 1<i<n B ve N B (b i ) E. (1) Yukarıdaki denklemde verilmiş olan U G benzerlik fonksiyonu, görüntünün eş dikdörtgenlere bölünmesiyle oluşan görüntü bölge sayısının sabit olmasından dolayı, sadece nitelik atama fonksiyonuna (N B ) bağlıdır. Kısacası, YBÖ metodu temel olarak görüntü bölgelerini karşılaştırmada baz alınacak görüntü niteliklerini her bir bölge için atama işlemidir (YBÖ N B ). Karşı karşıya bulunulan problem bu atama işleminin örnek sorgu görüntüsü üzerinde nasıl gerçekleştirileceğidir. Önerilen görüntü erişim sistemi, sorgudan beklentisi doğrultusunda atamayı en doğru biçimde gerçekleştirebileceğine inanılan kullanıcının bu işlemi yapmasını mümkün kılmaktadır. Sorgu görüntüsünün bir bölgesini alarak, diğer görüntünün her bir bölgesi üzerinde kaydırarak benzerliklerini hesaplayan, ve benzerlik değerleri belli bir eşiğin altında çıkan bölgelerin sayısına göre, genel bir benzerlik bulan bir algoritma, YBÖ ye bir iyileştirme olarak sunulabilir. Ayrıca, şekil ataması yapılan bölgeleri gruplayarak, yeni bir bölge halinde diğer görüntüde arayan bir algoritma, sisteme nesne tabanlı erişim kabiliyetleri kazandırabilir. Bu iki yöntem de uzamsal bağımlılığı azaltarak, performansı arttırabilir. 5. Görüntü Özniteliklerinin Çıkarılması Erişim sistemi MPEG-7 standartlarında [3] tanımlanan içeriğe dayalı sorgu sistemleri mimarisine [3] uygun olarak geliştirilmiştir. Böylece bu standardı kullanan diğer sistemlerle uyumluluk sağlanmıştır. MPEG-7 nin görsel bilgi içeriğini tanımlayan 11 ayrı betimleyicisinden [5], renk için; renk yapısı (color structure), şekil için ise kenar histogramı betimleyicileri seçilerek, YBÖ algoritmasını uygulayan ve yeni bir benzerlik hesaplayan daha üst seviyede bir betimleyici yazılımı geliştirilmiştir.
6. Deneyler Yerel benzerlik sistemi, Corel İmge Galerisinin 50 imgelik bir alt kümesinde değişik sorgularla denenmiştir. Karşılaştırma amacıyla, aynı sorgular salt MPEG-7 betimleyicileri kullanılarak da çalıştırılmış ve her iki sistemin verdiği en iyi sonuçlar aşağıya alınmıştır. 1. Sorgu Görüntüsü YBÖ sonucu: Görüntünün yalnız araba nesnesine karşılık gelen bölgelerine şekil özniteliğinin atanması ve diğer yerlerin etkisiz olarak işaretlenmesi ile elde edilen en iyi eşleşme: Genel Sonuç: Görüntünün tamamının şekil betimleyicisi ile değerlendirilmesi ile elde edilen en iyi eşleşme: 2. Sorgu Görüntüsü YBÖ sonucu: Görüntünün yalnız araba nesnesine karşılık gelen bölgelerine hem şekil hem renk özniteliğinin atanması ve diğer yerlerin etkisiz olarak işaretlenmesi ile elde edilen en iyi eşleşme: Genel Sonuç: Görüntünün tamamının hem renk, hem şekil betimleyicisi ile değerlendirilmesi ile elde edilen en iyi eşleşme: 3. Sorgu Görüntüsü YBÖ sonucu: Görüntünün yalnız gökyüzü alanına karşılık gelen bölgelerine renk özniteliğinin atanması ve diğer yerlerin etkisiz olarak işaretlenmesi ile elde edilen en iyi eşleşme: Genel Sonuç: Görüntünün tamamının renk betimleyicisi ile değerlendirilmesi ile elde edilen en iyi eşleşme:
7. Sonuçlar ve Yorumlar Deney sonuçları göstermektedir ki, yerelleştirilmiş sorgularda, geliştirilen üst seviyeli betimleyici, daha alt seviyede kullandığı renk ve şekil betimleyicilerinden daha iyi sonuçlar vermektedir. Kullanıcının kendi algılayışı doğrultusunda, sorguya yön vermesi ve sorgu görüntüsünü düzenlemesi sayesinde, kullanıcının beklentileriyle sistemin değerlendirme mekanizması eşlenmiş olmakta ve özniteliklerin uzamsal dağılımı benzerliğin hesaplanmasında belirleyici hale gelmektedir. MPEG-7 betimleyicilerinin kullanılması sisteme bir esneklik getirmiş ve standartta belirtilen herhangi bir betimleyicinin kolaylıkla eklemlenebilmesi sağlanmıştır. Örneğin; görüntüler hakkında mevcut bulunan metin bilgilerinden de faydalanılarak daha kapsamlı sorgular yapılması sağlanabilir, ikiden fazla betimleyici kullanılarak sorgular görüntülere göre özelleştirilebilir ya da kullanılmakta olan betimleyici çiftleri başkalarıyla değiştirilebilir, böylece çok daha karmaşık sıra düzenlerine sahip betimleyiciler sisteme adapte edilebilir. Kaynakça [1] Stejic Z., Takama Y., & Hirota K., Genetic Algorithm-Based Relevance Feedback for Image Retrieval Using Local Similarity Patterns, 2002. [2] Li J., Wang J. Z., Wiederhold G., IRM: Integrated Region Matching for Image Retrieval [3] MPEG-7 Ev sayfası, <http://www.darmstadt.gmd.de/mobile/mpeg7/index.html> [4] Overview of the Standard, Singapore, March 2001 ISO/IEC JTC1/SC29/WG11 N4031 [5] MPEG-7 Video Group, MPEG-7 Visual Part of the experimentation Model Version 2.0, Vancouver, July 1999 ISO/IEC SC29/WG11 N2822 [6] Niblack W., Barber R., Equitz W., Flickner M., Glasman E., Petkovic D., Yanker P., Faloutsos C., Taubin G., The QBIC project: querying images by content using color, texture, and shape, Proc. SPIE Int. Soc. Opt. Eng., in Storage and Retrieval for Image and Video Database, cilt: 1908, sayfa: 173-87, San Jose, Şubat, 1993. [7] Pentland A., Picard R., Sclaroff S., Photobook: Tools for Content-Based Manipulation of Image Databases, SPIE Storage and Retrieval of Image and Video Databases II, cilt: 2185, sayfa: 34-47, San Jose, Şubat, 1994. [8] Smith J. R., Chang S. F., An image and video search engine for the World-Wide Web, SPIE Storage and Retrieval for Image and Video Databases V, cilt: 3022, sayfa: 84-95, 1997. [9] Mojsilovic A., Rogowitz B., Capturing Image Semantics With Low-level Descriptors, Proc. IEEE International Conference on Image Processing, ICIP- 2001, Thessaloniki, Ekim 2001