YOĞUNLUK DEĞİŞİM ve HİSTOGRAM DÜZENLEME YÖNTEMİ İLE RESİM ÜZERİNDE GÖZ KOORDİNATLARININ TESPİT EDİLMESİ

Transkript

1 YOĞUNLUK DEĞİŞİM ve HİSTOGRAM DÜZENLEME YÖNTEMİ İLE RESİM ÜZERİNDE GÖZ KOORDİNATLARININ TESPİT EDİLMESİ Serhan ASLAN 1 Halis ALTUN 2 Bekir Sami TEZEKİCİ 3 1,2,3 Elektrik Elektronik Mühendisliği Bölümü Mühendislik Mimarlık Fakültesi Niğde Üniversitesi Niğde e-posta: serhanaslan@hotmail.com halis_altun@ieee.org bstezekici@nigde.edu.tr ABSTRACT In this paper, a simple scheme for locating the eyes is proposed. The proposed method is based on average density value of the pixels on rows and colums in an image. A program is written in Matlab platform to perform the task. The results obtained show that using the information of average density and a simple histogram modification one can easily obtain the coordinates of the eyes on an image ÖZET Bu çalışmada bir resim üzerinde basit bir göz konum tespit yöntemi verilmektedir. Önerilen metod resim üzerinde pixel değerlerinin satır ve sütündaki ortalama değerlerinden hareket ile göz konumunun bulunması temeline dayanmaktadır. Bu işlevi gerçekleştirmek için MATLAB ortamında bir program yazıldı. Elde edilen sonuçlar ortalama dağılım bilgisi ve basit bir historgram düzenleme yöntemi ile resim üzerinde göz konumlarının tespit edilmesinin mümkün olduğunu göstermektedir.. Anahtar Sözcükler: Göz Bebeği İzleme, Histogram Düzenleme, Resim İşleme 1.GİRİŞ Bilgisayar teknolojisinin hızla ilerlemesi günümüzde resim işleme tekniklerinde de oldukça başarılı çalışmalar yapılmasını sağlamıştır. Ses ve görüntünün işlenebilmesi ve bilgisayarlar tarafından algılanması şüphesiz ki teknolojide yeni boyutlar açacaktır. Bilimin ve teknolojinin yapay zekaya sahip güvenilir teknolojiler üretebilmesi için ses ve görüntünün işlenmesi mutlak bir gereklilik getirmektedir. Gelecek teknolojiler duyabilen, görebilen, dokunabilen, koklayabilen hatta tadabilen ve bunları değerlendirip kararlar alabilen teknolojiler olmalıdır [1,2]. Teknolojinin ulaşmaya çalıştığı bu noktada resim üzerinde gözbebeğinin tespit edilmesi bir adım niteliği taşımaktadır. Literaürde gözbebeğinin tespiti ile ilgili bir çok çalışma mevcuttur [4-11]. Gözbebeğinin tespit edilmesi bakışın tespit edilmesinde ilk adım olabilir. Bu tespit ise değişik uygulama alanları bulabilir. Bir sürücünün uyku halinin tespiti veya sadece bakışların algılanmasıyla kontrol edilebilen sistemleri tasarlanması örnek olarak verilebilir. Uykunun tespit edilmesi için kullanılan yöntemler ses, kalp atışı gibi verilerin analizini gerektirir. Bu tür yöntemlerin duyarlılıkları azdır ve uyku olgusu gerçekleştikten sonra algılama yaparlar. Ancak uykudan kaynaklanan bir kazayı önleyebilmek için uyku olgusu gerçekleşmeden önce bir algılama ve uyarma yapılmalıdır. Yapılan araştırmalar insan uykuya dalmadan önce göz kırpma frekanslarında bir artış meydana geldiğini göstermektedir [3]. Resim işleme teknikleri ile bu olgunun tespiti uyku halinin tespiti için oldukça uygun bir yöntemdir [2]. İkinci bir yaklaşım ise bakışların algılanmasıdır. Gelecekte bakışları algılayabilen sistemler güvenlik, reklam ve kontrol amaçlı kullanılabilirler. Geleceğin güvenlik sistemleri olay olmadan önce bildiri yapabilecek sistemlerdir. Bunu gerçekleştirebilmek için bir potansiyel zanlı tanımlanması yapılmalıdır. Potansiyel zanlı tanımlanmasında baz alınan nokta bakışlardır. Örneğin banka soygunu yapan bir soyguncu soygunu gerçekleştirmeden önce banka kasasının bulunduğu bölge ile güvenlik görevlisinin bulunduğu bölgeye çok sık bakacaktır. Üzerine bakışları algılayabilen bir sistem böyle bir durumda potansiyel zanlı tanımlaması yapacak ve gerekli tedbirlerin alınmasını sağlayacaktır. Başka bir uygulama da reklam alanında yapılabilir. Kendisine bakıldığını algılayabilen bir ürün tüketicinin kafasındaki soru işaretlerini ortadan kaldırabilir. Vitrinde sergilenen bir ürün ilgi çektiğini algıladığı anda tüketicinin ilgi duyabileceği bilgileri interaktif olarak sunabilir. Üzerine kamera yerleştirilmiş vitrinler hangi ürüne bakıldığını algılayabilir ve bir ekran vasıtasıyla tüketiciyle iletişim kurabilir. Örnek verilebilecek diğer bir uygulama özürlü bilgisayar kullanıcıları içindir. Ellerini kullanamayan bir kullanıcı gözleriyle fare imlecini hareket ettirebilir. Gözbebeğinin konumunu ve bakışları algılamaya dayalı bu tür uygulama alanları daha da uzatılabilir. 2.GÖZ KONUM TESPİT METOTLARI Gözbebeğinin bulunması için literatürde değişik metotlar önerilmiştir. Örneğin Yapay sinir ağ yöntemiyle gözbebeğinin yeri tespit edilmeye çalışılmıştır [4]. Bu yönteminin doğruluğu eğitim sürecinde kullanılan verilerin çokluğuyla doğru orantılıdır. Yapay sinir ağ yönteminde %80 lik bir başarım elde edilmektedir [4]. Bunun yanında göz bebeği mükemmel dairesel yapıda olduğundan dolayı matematiksel olarak ifade edilebilir

2 ve bu nicelik Haugh dönüşümü yardımıyla bulunabilir. Haugh dönüşümü parametrik olarak azamiyi arayan dönüşümdür. Bu transformda ilk önce kenar bulma fonksiyonu işlenir. Daha sonra belirlenen şekil tespit edilir. Şekil 1 de beş piksel boyutunda tanımlanmış gözbebeği tespit çalışmasında beş piksel potansiyele sahip pek çok daire ortaya çıkmıştır [5]. Kullanılan diğer bir metod ise maske-karşılaştırma yöntemidir [6,7]. Verilen örnek ile ana resim üzerinde Şekil 1. Haugh transformu ile gözbebeği tespit çalışması [5] arama yapılır. Bu yöntemde resim üzerinde gözü bulabilmek için göz ve yüz maskesi kullanılır. Yöntem tanımlanan maskeler ile orijinal resim üzerinde yapılan korelasyondan işlemine dayanır. 3.YOĞUNLUK DEĞİŞİM YÖNTEMİ Bu çalışmada önerilen yoğunluk değişim yönteminde bir resim alanı içindeki cismin varlığının tespiti resim yoğunluğunun hesaplanmasına dayanır. Bu yöntem matris formatında tanımlanmış resmin satır ve sütun yoğunluklarının hesaplanması ile bu hesapların doğru şekilde değerlendirilmesine dayanır. Tablo 1. 7x9 boyutlarnda tanımlanmış bir örnek resim alanı ve bu alanda herbir piksel değerini göstermektedir. Bu resim alanı için satır ve sütun yoğunlukları hesaplanmıştır. Tablo 1. den hareketle yoğunluk değişimi pek çok açıdan değerlendirilebilir. Cisim sütun yoğunluğunun 7.5 olduğu sütunlardadır. Cisim satır yoğunluğunun 7.5 olduğu satırlardadır. Cisim sütün yoğunluğuna bakıldığı zaman yoğunluk değişim hızının (yoğunluğun türevi) maksimum olduğu satırda başlar ve yine sonraki ilk maksimum olduğu satırda biter.görüntünün çekim alanı belli ise böyle bir veri cismin boyutları hakkında kesin bilgiler verir. Aynı şekilde satır yoğunlukları da işlenebilir. Bu resmi hareketli bir görüntü varsayarsak ve cismin de hareket ettiği düşünülürse; Cismin kameraya yaklaşması, cismin resimde kapladığı alanın büyümesine bu ise yoğunluğun satır ve sütunlarda düşmesine yol açacaktır. Çünkü resimdeki koyu bölgeler (0 sayısal değeriyle gösterilmiş siyah alan) artacaktır. Aynı şekilde kameradan uzaklaşması cismin resimde kapladığı alanın azalmasına bu ise yoğunluk artışına sebep olacaktır. Çünkü resimdeki açık renk bölgeler (15 sayısal değeriyle gösterilmiş beyaz alan) artacaktır. Bu şekildeki bir algılama cismin hareketi, hızı ve hareket yönü hakkında bilgi verebilir. 4.YOĞUNLUK DEĞİŞİM YÖNTEMİ İLE GÖZBEBEĞİ TESPİT Resim üzerinde göz bebeğinin tespit edilebilmesi için resim üzerinde en az üç noktanın tespit edilmesi gerekir (Şekil 2). Göz bebeklerini aynı yatay düzlem üzerinde bulunduğunu kabul edersek bu noktalar; S: Gözbebeklerinin bulunduğu satır. A: Sol gözbebeğinin bulunduğu sütun ve B: Sağ göz bebeğinin bulunduğu sütun Tablo 1. 7x7 boyutlarında bir resim alanı ve ilgili piksel değerleri Satır Sütunlar Yoğunluğu 1.satır satır satır satır satır satır satır Sütun Yoğunluğu Şekil 2. Üç nokta ile gözbebeklerinin işaretlenmesi Bu üç noktayı yoğunluk değişim yöntemi ile tespit edebiliriz. Satırlarda maksimum yoğunluk değişiminin olduğu nokta S noktası, sütunlarda maksimum yoğunluk değişiminin olduğu iki nokta bulunarak A ve B noktaları tanımlanır. Gözbebeği kaşlar ve ağzın bulunduğu temiz alanda bir yoğunluk azalmasına yol açar. 5. HİSTOGRAM KAYDIRMA Resim üzerinde gözbebeklerinin yoğunluk değişim yöntemi ile tespitinin daha büyük bir doğruluk ile

3 yapılabilmesi için resim üzerinde histograma dayalı bir iyileştirme yapılabilir. Bu amaç için literatürde değişik eşikleme metodları kullanılmıştır. [8] de P-tile metodu kullanılarak gözbebeklerinin konumu binary resim üzerinde tespit edilmiştir. Bu çalışmada ise histogram üzerinde oldukça basit bir işleme dayalı düzenleme yapılmıştır. Bu işlem aşağıda p( i, j) yei = ( p( i, j) m) 255 şeklinde tanımlanmıştır. Burada 2 < m < 3 olarak alınmıştır. Yukarıdaki işlem herbir pixel değerinin m tamsayısı ile çarpıldıktan sonra modular aritmetik işlemi uygulandığını gösterir. İşlem Matlab ortamında pixel değerlerinin ilk olarak 32 bitlik büyüklüklere dönüştürüp çarpma işlemi sonrasında elde edilen büyüklüğün en düşük 8 bitlik değerlerinin alınması ile oldukça hızlı bir şekilde gerçekleştirilmiştir. Bu işlemin uygulanması sonrasında elde edilen yeni resim Şekil 3 da gösterilmiştir. Şekilden görüldüğü gibi bu işlem pixellerin yoğunluk değişimi üzerinde bir alçak geçiren filtre etkisi yapmaktadır. Düşük yoğunluk değişimleri bastırılırken, yüksek değerli yoğunluk değişimleri dominant yapılmıştır. Böylece sütun üzerinde yapılacak olan yoğunluk değişim işlemi daha doğru sonuç üretmesi beklenmektedir. Şekil 4 da verilen bir resmin yoğunluk değişimi Şekil 4 de verilmiştir. Algılama kolaylığı olması açısından orijinal resim 90 0 çevrilmiştir. Gözbebeğinin tespit edilebilmesi için önemli olan unsur yoğunluk değişiminin hızıdır. Bunun nedeni ise gözbebeğinin kaşlarla burun arasında kalan açık tonlamalı alanda hızlı bir yoğunluk değişimi meydana getirmesidir. Bu yoğunluk değişimi tespit edilebilirse gözbebeği de tespit edilmiş olur. (d) Şekil 3. Histogram kaydırma işlemi öncesi ve sonrasında resim ve histogramı - ve (d) Şekil 4. Resim satır için tanımlanmış yoğunluk grafiği yoğunluk değişim hızı

4 Verilen örnek resim için yoğunluk değişim hız ise Şekil 4 de verilmiştir. A olarak işaretlenen noktada negatif yönde yoğunluk değişimi maksimum olmaktadır ve bu nokta gözbebeğinin bulunduğu S noktasıdır. İkinci aşamada sutün yoğunluk değişim grafiğine ve değişim hızı incelenerek değişimin maksimum olduğu A ve B noktaları bulunmalıdır. Ancak sütunda resmin boyunun uzun olmasından dolayı hata oranı yüksektir. Değişim hızı en yüksek olarak bulunan iki nokta gözbebeği olamayabilir. Şekil 5 de verilen yoğunluk ve yoğunluk değişim hızı grafiğine bakılır ise maksimum değişim noktası olan bölgelerde gözbebeğinin bulunmadığını görülür. Gözbebeklerinin bulunduğu sütun 215. ve 304. sütunlardır. Bu noktadaki değişimler tüm resim alanının en yüksek değişim hızına sahip olan noktalar değildir ancak belli bir bölgenin en yüksek değişim hızına sahip iki noktasıdır. Dolayısı ile gözbebeklerinin konumunu doğru olarak tespit edebilmek için bir çalışma alanı belirlenmelidir. 6.ÇALIŞMA ALANINI BELİRLEME Yoğunluk değişim metodunda hataları azaltmanın en iyi yolu çalışma alanlarının belirlenmesidir. Sabit girişli sistemlerde yani görüntünün aynı alandan alındığı, ışığın ve resim boyutunun aynı olduğu aynı kameradan çekilmiş görüntülerde uygun boyutlandırma çalışmaları ve arka plandaki yoğunluk değişimleri en aza indirilerek çok yüksek başarı elde edilebilir. Yapılan bu çalışmada ise işlenecek olan resimler gözönüne alındığında girişin değişken olduğu gözlemlenir. Çünkü resimler farklı kameralardan çekilmiş farklı boyutlarda farklı ışığa sahip olan görüntülerdir. Kullanılan tek sabitlik işlenecek resimlerin yarım boy portre fotoğrafı olmasıdır. Bu sabitliği kullanarak bir istatistiksel çalışma yapıldığında Şekil 6 de gösterildiği gibi bir resim üzerinde satırdan altı parçaya, sütundan üç parçaya bölünerek elde edilen bölgeler arasında n2 ve m2 bölgelerinin örtüştüğü alan çalışma alanı olarak belirlenmelidir. 7. UYGULAMA Yoğunluk değişim yöntemini kullanarak verilen bir resim üzerinde otomatik olarak gözbebeğini bulmak için kullanılacak bir program Matlab ortamında da yazılmıştır. Program ilk olarak satır yoğunluğunu hesaplamakta ve yoğunluk değişiminin maksimum olduğu S noktası program tarafından tespit edilmektedir. Resmin sütun yoğunluk ve değişim hızı ise istatiksel inceleme sonrasında belirlenmiş olan çalışma alanı içerisinde gerçekleştirilmektedir. A ve B noktaların tespit edilmesi ile resim üzerinde gözbebeklerinin konumu belirlenmiş olur. Şekil 7 programın çalıştırılması sonrasında tespit edilen gözbebeklerinin konumunu göstermektedir. Şekil 5. Resim, sütun için verilmiş yoğunluk grafiği yoğunluk değişim hızı Şekil 6. Resim üzerinde çalışma alanlarının istatistiksel veriye dayalı olarak belirlenmesi

5 8. SONUÇ ve ÖNERİLER Bu makalede resim üzerinde gözbebeği tespit yöntemleri özetlenmiş ve yoğunluk değişim yöntemi kullanılarak göz bebeğinin tespiti üzerinde durulmuştur. Hızlı ve basit bir işlem; yoğunluk değişim yöntemi, kullanılarak resim üzerindeki piksellerin yoğunluk değişimi belirlenmiş ve gözbebeklerinin konumu tespit edilmiştir. Önerilen yöntem Matlab ortamında geliştirilen bir program yardımı ile uygulanmıştır. Elde edilen sonuçlar resim üzerindeki yoğunluk değişimlerini hesaplayarak gözbebeğinin tespitinin mümkün olduğunu göstermiştir. Şekil 7. Geliştirilen programın ekran çıktısı Bu çalışmada kullanılan giriş ise değişken girişlerdir, yani ışığın, arka planın değiştiği, farklı kameralarda çekilmiş resimlerdir. Başarımı arttırmak için filtreleme ve orantılama çalışmaları yapılmıştır. İstatistiksel olarak gözbebeğinin bulunabileceği alan önceden tespit edilmiş ve bu alanda çalışma yapılmıştır. Böylelikle hata oranı azaltılmaya çalışılmıştır. Yoğunluk değişim yönteminin dezavantajı fazla gürültülü resim girişlerinde hatalara yol açmasıdır. Bu hataları önleyebilmek için görüntünün kızılötesi gibi özel ışık frekanslarını algılayabilen kameralardan alınması başarımı yükseltecektir. Bu çalışma gösteriyor ki görüntü işlemedeki başarılı uygulamalar teknolojiyi bir adım daha öteye götürecektir. Gözbebeği tespit yöntemleri ve uygulama alanları gelecek teknolojide yeni boyutlar açacaktır. Bu makalede anlatılan gözbebeği tespit yöntemleri herhangi bir cismi tespit etmek için genel bir örnek teşkil etmektedir. Kullanılan yöntemler ve çalışması incelenirse benzer metotlarla başka cisimlerin de tespiti yapılabilir. TRANSPORTATİON SYSTEM, ITSC '97., pp , Boston, 1997 [3] Eye-Activity Measures of Fatigue and Napping as a Fatigue Countermeasure, Federal Highway Administration [4] Rowley H., Baluja S. and Kanade T., Neural Network-Based Face Detection, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 20, No. 1, pp , 1998 [5] Dan P,, Image Processing Homework 5, Hough Circle Transform. [6] Sanner Scott, "CS223B Winter Quarter, Final Project" [7] Yuille A.L., Cohen D.S. and Halina P.W., Feature extraction from face using deformable template, Proc. IEEE COMPUTER SOC. CONF. ON COMPUTER VISION AND PATTERN RECOGNITION, pp , 1989, [8] Ko JG., Kim KN ve Ramakrisha RS.,Facial feature tracking for eye-head controlled human computer interface, IEEE TENCON 1999, [9] Perez, C.A. Palma, A. Holzmann, C.A. Pena, C., Face and eye tracking algorithm based on digital image processing, IEEE INTERNATİONAL CONFERENCE ONON SYSTEMS, MAN, AND CYBERNETİCS, 2001 vol.2, pp [10] Al-Qayedi, A.M. Clark, A.F., Constant-rate eye tracking and animation for model-based-coded video, IEEE INTERNATİONAL CONFERENCE ON ACOUSTİCS, SPEECH, AND SİGNAL PROCESSİNG, ICASSP '00., vol.4, pp ,2000 [11] Kawato, S. Ohya, J., Two-step approach for real-time eye tracking with a new filtering, IEEE INTERNATİONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETİCS, vol.2, pp , 2000 KAYNAKLAR [1] Merchant, S. Schnell, T., Applying eye tracking as an alternative approach for activation of controls and functions in aircraft, DASC. THE 19TH DİGİTAL AVİONİCS SYSTEMS CONFERENCES, vol.2, pp 5A5/1-5A5/9 Philadelphia, 2000 [2] Eriksson, M. Papanikotopoulos, N.P., Eyetracking for detection of driver fatigue- IEEE CONFERENCE ON INTELLİGENT