Geometrik Düzeltme ve Gabor Filtreleriyle Araç Plaka Tespiti Localization of Licence Plate using Geometric Correction and Gabor Filter

Transkript

1 Geoetrik Düzelte ve Gabor Filtreleriyle Araç Plaka Tespiti Localization of Licence Plate using Geoetric Correction and Gabor Filter Muhaet Balcılar, A. Coşkun Sönez Bilgisayar Mühendisliği Bölüü Yıldız Teknik Üniversitesi Özet Bu çalışada tartılak üzere kantara çıkan kayonların ön tarafına eğik bir şekilde bakan kaeralardan alınan görüntü kullanılarak, bu görüntüden plaka bölgesinin tespiti aaçlanıştır. Peş peşe gelen görüntüler kullanılarak aracın görüntü düzleindeki konuu bulunuştur. Ardından kaeranın konuu ve baktığı açı bilgileri kullanılarak aracın ön yüzü düzletiliştir. Bu sayede plaka yeri tespiti ve daha sonra yapılacak karakter tanıa adılarının perforansı arttırılıştır. Plaka bölgesi bulak için uygun paraetrelerle kuruluş gabor süzgeci kullanılıştır. Süzgeç cevabının en yüksek olduğu plaka boyutlarındaki alan taranıp, plaka bölgesi olarak atanıştır. Abstract Bu çalışada tartılak üzere kantara çıkan kayonların ön tarafına eğik bir şekilde bakan kaeralardan alınan görüntü kullanılarak, bu görüntüden plaka bölgesinin tespiti aaçlanıştır. Peş peşe gelen görüntüler kullanılarak aracın görüntü düzleindeki konuu bulunuştur. Ardından kaeranın konuu ve baktığı açı bilgileri kullanılarak aracın ön yüzü düzletiliştir. Bu sayede plaka yeri tespiti ve daha sonra yapılacak karakter tanıa adılarının perforansı arttırılıştır. Plaka bölgesi bulak için uygun paraetrelerle kuruluş gabor süzgeci kullanılıştır. Süzgeç cevabının en yüksek olduğu plaka boyutlarındaki alan taranıp, plaka bölgesi olarak atanıştır.. 1. Giriş Plaka tanıa sistelerine araç takib trafik denetii gibi pek çok yerde ihtiyaç duyulaktadır. Bu uygulaalar dünyada oldukça sık kullanılakta iken ülkeizde de yeni yeni uygulaalar artaktadır. Bir plaka tanıa sistei şu üç aşaadan oluşaktadır. Plakanın yerinin bulunası Plakadaki karakterlerin bölütlenesi Bölütlerin tanınası Bu çalışada tartılak üzere kantara çıkan kayonların plakalarını sağ çaprazdan gören kaeralar sayesinde plaka yerinin tespiti aaçlanıştır. En çok kullanılan plaka yer tespiti yönteleri ayrıt teelli yada bölge teelli yaklaşılara dayanaktadır. Plakanın dikdörtgen olduğu düşünülerek giriş resine Hough dönüşüü uygulanarak plakanın sınır çizgileri bulaya çalışan çalışalar evcuttur[1]. Özellikle çizgilerin bulunası için uygulanan Hough dönüşüü yüksek işle yükü ve bellek ihtiyacı gerektirdiğinden gerçek zaanlı uygulaalarda kullanılaaktadır. Diğer bir yönte de Lee, Ki ve Ki tarafından []'de gerçekleniştir. Bu çalışada plakanın arka plan renk bilgisi kullanılarak plaka bulunaya çalışılıştır. Bu yöntein başarısı resi içindeki renk dağılıına, ışık iktarına, ışığın yönüne çok bağılı olduğundan, tek başına kullanıldığında güvenilir değildir. Bir başka çalışada, giriş resinden elde edilen yatay ve dikey izdüşü histograları analiz edilerek, plaka aday bölgeleri saptanaktadır. Bunun yanında belirli bir uzunluktaki yatay çizgi üzerindeki piksellerin değişii (plaka izası) analiz edilerek plaka arayan [3] yönteler vardır. Birden çok öznitelik kullanarak plaka yeri bulayan çalışalar da vardır. Ki ve ark.[4] gradyan değişi kenar yoğunluğu ve yoğunluk değişi olak üzere 3 farklı öznitelikle %90 başarıya ulaşışlardır. Ayrıca Seke ve Adar [5] yaptıkları çalışada girdi resinin, kendilerince tanılanan 3 bant frekans değerler köşelik değerleri ve kenarlık değerleri bileştirilerek 3 lü bir öznitelik çıkartılarak plaka bulunaya çalışılıştır. Sh Xu ve Fu, Harris[6] köşe bula algoritası uygulayarak köşelerin yoğun olduğu plaka bölgesini uyarlaalı bir eşik ile bulaya çalışıştır. Bu yönte tek plaka içeren ve etne benzer diğer oluşuların oladığı igelerde başarılıdır. Ancak aksi duruda ek özniteliklere ihtiyaç duyaktadır. Yapay sinir ağları ile plaka yer tespiti pek çok araştıracının odaklandığı bir konudur. [7] ve [8] bu çalışalardan yalnızca ikisidir. Porikli[8] nin yaptığı çalışada eğiti küesini oluşturan plaka görüntülerinin 7 özniteliği bulunup, bu özniteliklerin kovaryans atrisi çıkarılıştır. YSA bu kovaryans atrisle eğitiliştir. Gabor filtrelerinin plaka yer tespiti için uygulanası Kahraan ve ark. tarafından yapılıştır[9]. Bu çalışada plaka bölgesine duyarlı olacak şekilde ayarlanış gabor süzgeci rese uygulanıp, çıktısı otsu eşiklee ile ikili rese çevriliştir. Ardında dörtgene benzeyen bölge plaka bölgesi olarak belirleniştir. Bir çok yönte, plaka görüntülerinin heen heen ta karşıdan çekildiği ve plaka boyutlarının çok fazla değişediği varsayıı altında çalışaktadır. Fakat gerçek

2 uygulaalarda bu şartları bulak neredeyse ikansızdır. Literatürde, x-y düzleindeki döne açısı bulunup bu açı düzeltilerek plakanın düzeltildiği çalışalar da vardır. Fakat plakanın z ekseninde de dönesi duruunda boyutlu düzleteyle yapılan plaka bulanın başarısı düşektedir. Yapılan çalışada kaeranın konuu ve bakış açısı kullanılarak, bakış açısından kaynaklanan bozulayı ortadan kaldıran dönüşü uygulayarak plaka bula yöntei öneriliştir. Bu sayede aracın konuu ne olursa olsun uygulanan dönüşü sonucu plaka yatay konuda ve sabit büyüklüğe dönüşektedir. Ardından plaka bölgelerini algılayacak özellikteki gabor filtreleri ayarlanarak rese uygulanış ve plaka bölgesi bulunuştur. Plaka yerini daha iyi bulak ve tanıa aşaasında perforansı arttırak için geoetrik dönüşü uygulanıştır. Geoetrik dönüşü sayesinde araca cepheden bakılıyoruş gibi görüntü elde edilektedir.dönüşü sonucu oluşan rese gabor filtresi uygulanıp plaka bölgeleri bulunaya çalışılıştır. 3. Aracın Yerinin Bulunası Şekil-3 deki gibi F noktasına yerleştirilen kaera G noktasına odaklanıştır.. Sistein Genel Yapısı Önerilen siste şu üç adıdan oluşaktadır. Aracın yerinin bulunası Geoetrik dönüşü uygulanası Gabor filtresi uygulanası Geliştirilen plaka tanıa sistei tartılak üzere kantara çıkan kayonların plakalarını okuyacak şekilde tasarlanıştır. Kantarın ön kısında bulunan aracın önüne doğru eğik bir şekilde bakan kaera görüntülerinden plaka bulunuştur. Sistein genel yapısı Şekil-1 deki gibidir. ABCD kantarı, E noktası kaera direğinin dibin F noktası kaera odağını gösterektedir. Şekil 1: Sistein genel yapısı. Bu şekilde yerleştirilen kaeradan alınan görüntülerde plaka eğik ve uzak kısıları küçük görünektedir. Şekil- de örnek bir görüntü vardır. Şekil : Örnek kaera görüntüsü Şekil 3: Geoetrik dönüşü. IJKL düzlei aracın ön yüzünü tesil etektedir. Bu düzledeki her noktanın görüntü düzleinde hangi noktaya eşleneceğinin bulunası sayesinde kayonun ön yüzü düzeltilebilir. M noktasının görüntü düzleinde karşılık geldiği nokta GFM açıyla ilişkidir. Geoetrik düzeltenin kayonun ön yüzünün düzeltilesine uygulanabilesi için öncelikle aracın ön yüzünün kaeraya olan uzaklığı bilinesi gerekektedir. Bu esafe Şekil-3 e göre EI esafesidir. Aracın görüntü üzerinde bulunduğu yeri tespit için arka plan ile araç içeren resin korelasyonu alınır. K( x, y) = i= = ( Ix + I)(. Bx + B) i= = ( I I ). i= = ( B I plaka bulunacak res B arka plan içeren res B I ) (1) resin üzerinde işle yapılan 0*0 lik bölüünün ortalaasını, B arka plan resinin üzerinde işle yapılan 0*0 lik bölüünün ortalaasını, K ise iki resi arasındaki korelasyonu gösterektedir. Yukarıdaki forüle göre oluşan korelasyon resi aşağıdaki gibidir. Şekil-4 te görüldüğü üzere aracın bulunduğu yerlerde korelasyon çok küçük, araç olayan yerde ise oldukça yüksektir.

3 Şekil 7: Resin taranacak kısıları Görüntü düzleinde aracın bulunduğu alt çizgi belirlendikten sonra bu koordinatlar bir sonraki bölüde anlatılan dönüşüün tersi kullanılarak gerçek uzaydaki koordinatları elde edilir. Şekil-3 deki I noktası başlangıç noktası olak üzere bütün IJKL dörtgeni taranır. Taranan noktalar Şekil-7 deki gibidir. Şekil 4: Korelasyon sonucu Aracın bulunduğu çizgiyi bulabilek için Şekil-5 de görünen sabit çizgilerden yararlanılıştır. Bu çizgiler üzerindeki noktaların korelasyonların ortalaası çıkarılıp her bir çizginin ortalaa korelasyon katsayıları hesaplanır. 4. Geoetrik Dönüşü Şekil-3 ün bir diğer gösterii Şekil-8 deki gibidir. G,F,M,N noktaları gerçek uzaydaki noktaları G,M,N ise gerçek uzaydaki noktaların görüntü düzleindeki karşılıklarını gösterektedir. Görüntü düzlei n satır sütunlu bir atris olarak düşünülüp, orta noktası (0,0) olarak gösteriliştir. Şekil 5: Araç yer tesbiti Her bir çizginin ortalaa korelasyon katsayıları Şekil- 6 deki gibidir. Şekil 8: Gerçek uzay ve görüntü düzlei Şekil 6: Korelasyon ortalaaları Korelasyon ortalaalarından aracın bulunduğu yerin kestirii için otsu etodu kullanılıştır. Korelasyon ortalaaları resin histogra grafiği gibi düşünülerek otsu eşiklee etodu uygulanarak grup içi varyansın en küçük gruplar arası varyansın en büyük olduğu sınır belirlenir. Böylelikle görüntü düzleinde aracın en alt noktasının bulunduğu cizgi belirlenir. Bu çizgi Şekil-3 deki gösterie göre IJ çizgisidir. FG uzaklığı kaeranın odağı olan f ile gösterilektedir. MFG açısının ölçüsü MFG üçgeninin kenar uzunlukarı ve alanı kullanılarak hesaplanabilir. MF + FG + MG = u, s( MFG) = α, dersek 1. MF. FG.sin( α) =. u.( u MF = sin 1 u.( u MF ).( u FG ).( u MG ) ).( u FG ).( u MG ). α () MF. FG olarak bulunur. F ve G noktasının y bileşenleri 0 olduğu için, y bileşeni 0 olan noktalar görüntü düzleinde aynı sütunda bulunaları gerekektedir. Ayrıca N noktası M noktasının y bileşeni 0 a eşit hali olduğundan, görüntü düzleinde N noktası M ile aynı satırda olası gerekektedir. M noktasının görüntü düzleindeki konuu () ise N noktasının (0) olası gerekektedir. NFG açısının ölçüsü yine NFG üçgeninin alanı ve kenar uzunluklarından yazılabilir. NF + FG + NG = v, s( NFG) = β, dersek. v.( v NF ).( v FG ).( v NG ). β = sin 1 (3) NF. FG olur. Kaeranın odak uzaklığı f ise M ' G' = f.tan( α) G' N' = f.tan( β ) (4) olarak bulunur. G noktası görüntü düzleinde (0,0) noktasında olduğu göz önüne alınırsa M noktasının

4 koordinatları ( f.tan( α) ) ( f.tan( )) i = f. tan( β ) = β (5) şeklinde bulunur. Böylece kaeraya ait paraetreler bilindiği takdirde koordinatları bilinen bir noktanın görüntü düzleinde nerede oluşacağı hesaplanabilir. Şekil-3 deki IJKL dörtgenini oluşturan noktalar görüntü düzleinde karşılık gelen piksellerle eşleştirildiğinde IJKL dörtgeninin görüntüsü Şekil-9 daki gibi olaktadır. Dönüşü sonucu oluşan görüntüde standart bir plakadaki çizgi kalınlığı ortalaa 4,5 pikseldir. Bu duruda çizgilerin oluşturduğu dalganın boyu λ = 9 olur. σ =, deneysel olarak en iyi sonucu verektedir. Şekil 11: a)gabor çekirdeği b)çekirdeğin frekans yanıtı Şekil 9: Düzeltiliş resi 5. Gabor Süzgeçleri Gabor süzgeçleri desen tanıada oldukça sık kullanılan bir yöntedir. Gabor çekirdeği istenilen açı ve dalga boyuna ayarlanarak istenilen özellikteki desenler bulunabilir. Gabor çekirdeğinin genel denklei aşağıdaki gibidir. + y' g( x, y; λ, θ, σ ) = exp( ).cos(. π. ) σ λ (6) = x.cosθ + y.sinθ y' = x.sinθ + y.cosθ Forülde g gabor çekirdeğini gösterektedir. Bu çekirdek 3 paraetre tarafından kontrol edilektedir. θ aranan desenin açısını, λ aranan desenin dalga boyunu verektedir. σ değeri büyük olduğunda sadece λ ve bu değere çok yakın dalga boylarına sahip desenler bulunurken, küçük değerlerde daha geniş bir spektruda dalga boyu içeren desenler bulunur. Gabor çekirdeği istenilen deseni bulacak şekilde ayarlandıktan sonra düzeltiliş resile evrişie sokularak plaka bölgelerinin sivriles diğer kısıların sönesi sağlanıştır. G = I g (7) G evrişi sonucunda oluşan res I düzeltiliş res g ise gabor çekirdeğini gösterektedir. Bu paraetrelerle beraber oluşturulan gabor çekirdeğinin düzeltiliş resile evrişi sonucu Şekil-1 dedir. Plaka bölgesi yoğun olarak beyaza yakın değerler alırken diğer kısılar siyaha yakındır. Bu şekilden plaka bölgesini ta bulabilek için plaka boyutunda bir çerçeve Şekil-11 deki gibi resin üzerinde dolaştırılır ve çerçevenin içi toplanır. En yüksek toplaı veren yer plaka bölgesi olarak işaretlenir. Şekil 1: Gabor süzgecinin cevabı bx by [ px, py] = arg ax G( ) x= 1.. n; y= 1.. i= x = y Bulunan plaka bölgesinin sol üst koordinatı (px,py) dir. bx ve by aranan plaka bölgesinin boyutlarını gösterektedir. G ise evrişi sonucunda oluşan resi gösterektedir. Bulunan plaka bölgesinin gösterii ve bu bölgenin içerdiği görüntü Şekil-13 ve Şekil-14 tedir. (8) Şekil 13: Bulunan plaka bölgesi Şekil : Örnek desenler Şekil- da iki adet örnek desen görünektedir. Birinci deseni oluşturan çizgilerin kalınlığı 3 piksel olduğundan, bu deseni algılayacak bir gabor filtresinin çekirdek paraetreleri λ = 6 olası gerekektedir. Ayrıca desen açısı 0 0 olduğundan θ = 0 olası gerekektedir. İkinci desen için ise λ =, θ = 45 olası gerekektedir. Gabor çekirdeğinin paraetrelerinin ne olacağı plaka bölgesinin tespitinde çok önelidir. Plaka, dönüşü sayesinde ta yatay konuda olacağı için θ = 0 olalıdır. Şekil 14: Bulunan plaka 6. Sonuçlar Kantar üzerine çıkan 85 kayon için önerilen yönte deneniştir. Yapılan testlerin öneli bir bölüünde plaka doğru bulunuştur. Fakat bazı durularda yanlış alan bulunduğu gibi bazı durularda da plakanın taaı değil de bir kısı bulunuştur. Hatalı sonucun en büyük sebebi görüntü içerisinde bulunan ve plaka bölgesinin sahip olduğu desene sahip bölgelerin olasıdır. Bu bölgeler daha çok far

5 üzerine takılan ızgara şeklindeki far koruyucularıdır. Gabor filtresi yanıtının yanında plaka renk bilgisi ve plaka boyutu bilgisi kullanılarak başarı arttırılabilir. Tablo 1: Başarı Sayı Yüzde Doğru plaka 76 %89 Hatalı plaka 5 %6 Eksik plaka 4 %5 Topla 85 %0 Şekil 17: Hatalı plaka örnekleri Şekil 15: Doğru plaka örnekleri Şekil 16: Eksik plaka örneği 7. Kaynaklar [1] Kaat, V. and Ganesan, S., "An efficient ipleentation of the Hough transfor for detecting vehicle license plates using DSP'S", Real-Tie Technology and Applications, Syposiuı, [] E R. Lee, P. K. Ki and H. J K "Autoatic Recognition of A Car License Plate using Color Iage Processing", Proc. IEEE Int'l. Conf. On Iage Processing, vol., pp , 1994 [3] Barroso, J., Rafael, A., Dagless, E. L., Bulas-Cruz, J.: Nuber plate reading using coputer vision, IEEE International Syposiu on Industrial Electronics ISIE 97. Universidade do Minho, Guiarães, (1997). [4] S. K D. K Y. Ryu, and G. Ki. "A robust licenseplate extraction ethod under coplex iage conditions", IEEE 16th Int'l. Conf. on Pattern Recognition, Québec, Canada, Aug. 00. [5] Seke E. Adar N. Plaka Bulada Çoklu Öznitelik Kullana, IEEE 16. Sinyal İşlee, İletişi ve Uygulaaları Kurultayı SİU,008 [6] Z.Q.S. Sh J.Xu and H. Fu, "Method of License Plate Location Based on Corner Feature", Proc. IEEE 6th World Congress on Intelligent Control and Autoation, Dalian, China, June 006,. [7] C. Oz and F. Ercal, A practical license plate recognition syste for real-tie environents Lecture Notes in Coputer Science, vol. 351, pp , 005 [8] Porikli F. Koçak T. Robust License Plate Detection Using Covariance Descriptor in a Neural Network Fraework, IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS 006),Sydney,006 [9] Kahraan F. Kurt B. Göken M. License Plate Character Segentation Based on the Gabor Transfor and Vector Quantization ISCIS 003, LNCS 869,pp ,003