FPGA TABANLI PARALELLEŞTİRİLMİŞ PLESSEY KÖŞE TESPİTİ

Transkript

1 PGA TABANL PARALELLEŞTİRİLİŞ PLESSE ÖŞE TESPİTİ. atih ADOĞDU a. atih DEİRİ b oşk ASNAOĞLU c a TOBB ETÜ E. Elektroik üh. Böl Akara fatihadogd@gail.co b rd. Doç. Dr. TOBB ETÜ Bilgisaar üh. Böl Akara fdeirci@et.ed.tr c rd. Doç. Dr. TOBB ETÜ E. Elektroik üh. Böl Akara kasakogl@et.ed.tr ÖZET B akalede Harris köşe tespiti algoritasıı sahada progralaabilir kapı dizileripga üzeride paralelleştirilerek gerçek zaalı glaalara g hale getirilesi alatılaktadır. Çalışaı aacı obil bir robot üzeride gerçekleştirilesi plalaa eş zaalı kolaa e haritalaaezh projeside kllaılak üzere güeilir bir köşe tespiti algoritasıı Xili e ait Virte-5 X5VLX50G676 PGA üzeride glaıp gerçek zaalı dijital bir apı olştraktır. Çalışa robot da kotrolüde kllaılacak ola Xili e ait L501 kartı üzeride gerçekleştiriliştir. Görütüleri elde etek içi OiVisio ı OV770 rekli görütü sesörü kllaılırke ha e işleiş görütüleri depolaak içi L501 kartı üzeride bla RON a ait T4HT364H-53E DDR SOD bellek kllaılıştır. Aahtar elieler: PGA öşe Tespiti Rekli Görütü İşlee ABSTRAT this article the appropriatio for the real tie ipleetatios of Harris corer detectio algorith b parallelizig it o field prograable gate arrapga is preseted. The goal of the std is to costrct a real tie digital strctre ipleetig a reliable corer detectio algorith o Xili s Virte-5 X5VLX50G676 PGA to be sed i the siltaos localizatio ad appig project plaed to be realized o a obile robot. The std is carried ot o L501 card which will be also sed i the cotrol of the robot. hile OV770 sesor OiVisio s color iage sesor is sed to acqire the iages to store raw ad processed data the eor T4HT364H-53E DDR SOD fro RON which is also o the L501 card is sed. ewords: PGA orer Detectio olor age Processig 1.GİRİŞ Dijital göre güüüzde başta askeri sağlık e za araştıraları olak üzere birçok stratejik alada agı olarak kllaılaktadır. Görütü sesörleri sağladıkları bilgii içeriğii zegi olası sebeile dijital göre

2 sisteleride tercih edilektedir. Sağlaa b zegi içerik arta işle gücü gereksiilerii de beraberide getirektedir. B dr özellikle sıırlı hacileri ile obil robotlar içi sor olştraktadır. Robotları işle gücü PGA larla ea çok çekirdekli işlecilerle arttırılabilektedir. Dijital göre sisteleride çoğ kez belirli bir patere ait bilgi araırke köşe oktaları b patererleri apı olarak e basitleri arasıdadır. öşe tespiti algoritaları kear tespiti tabalı olalar e doğrda köşe tespiti apalar olarak ikie arılabilir. okhtaria ı[1] eği ölçekli zaııss klladığı köşe tespit ötei ilk türü başarılı bir öreğidir. İkici türü e basit örekleride ola oraec[] algoritası Harris[3] tarafıda geliştirilerek Plesse algoritası olştrld. SS algoritası e o geliştiriliş ersio doğrda köşe tespiti apa algoritalara göre daha ii soç erse de[4] algoritaı gerçek zaalı glaalara g hale getirilesi diğer algoritalara göre daha zordr. agı olarak kllaıla e doğrda köşe tespiti apa algoritalar arasıda Harris algoritası diğerleride daha ii soçlar erektedir[5][6][7]. Siah beaz görütüler içi geliştirile Plesse algoritasıı otesios[8] rekli görütülerde klladı. Plesse algoritasıı gerçek zaada çalışa sitelere g hale getirek içi PGA larda bla paralelleştirilebilir apı gdr. Hobe[9] trafik gözetii aaçlı olştrdğ sisteide Plesse algoritasıı PGA üzeride glaarak köşe tespiti gerçekleştirdi. Çalışada 75 e 480 çözüürlükteki siah beaz görütüde köşeleri tespit edilesi 9s sürektedir. B akalede Plesse algoritasıı rekli görütülerde çalışacak şekilde odifie ediliş halii Xili firasıa ait Virte-5 X5VLX50G676 PGA çekirdeği üzeride paralelleştirilerek gerçek zaalı glaalara g hale getirilesi tartışılıştır. Paralelleştirile apı ürütülekte ola obil bir robot üzeride EZH projeside kllaılacaktır. Robotta blacak stereo kaeralarda gele görütüler üzeride köşe tespiti apıldıkta sora belirlee köşeler arasıda eşlee apılarak köşeleri robota göre 3 bottaki ko tespit edilecektir. Tespit edile ko bilgisi aı PGA üzeride olştrlacak EZH odülüe aktarılarak odüle ko bilgisi sağlaacaktır.. RENLİ GÖRÜNTÜLER İÇİN PLESSEHARRİS ALGORİTAS Plesse algoritası oraec algoritasıdaki eksiklikleri giderilesi soc olştrlştr. oraec algoritasıda teel olarak görütüü belirli bir alaıı parlaklığıı çeresie göre e kadar farklı oldğ hesaplaarak köşe ola pikselleri diğer piksellerde aırır. Görütüdeki bir pikseli köşe olp oladığıa karar erek içi o pikseli erkez kabl ede e piksele belirli bir akılıkta kala kare aladaki koşlarıı parlaklığı referas kabl edilir. B alaı aralarıda 45 fark ola 4 farklı öe kadırılası soc kapsaa pikselleri parlaklıkları ile aladaki pikselleri parlaklıkları arasıdaki fark hesaplaır.

3 1 Deklede erkezli alaı piksellerii parlaklık değerleri ile alaı öüde kadırılası soc laşıla aladaki pikselleri parlaklıkları arasıdaki farkı gösterektedir. Deklede e ise alaı ata e dikedeki büüklüğüdür. Aladaki pikselleri çarpılacağı katsaıları belirlee w foksio ala içide bir biri ike ala dışıda sıfırdır. Her bir piksel içi hesaplaa 4 farklılık değeride e küçüğü o piksel içi köşe ola ölçüsüoö olarak kabl edilir. OÖ leri deesel olarak belirlee bir eşik değerii üzerideki pikseller oraec algoritasıa göre köşe özelliği gösterektedirler. Harris[3] 1988 de oraec algoritasıdaki 3 eksikliği dikkate alarak köşe e kear tespiti içi ei bir algorita geliştirdi. Harris oraec algoritasıi sadece 45 lik kaalardaki değişileri dikkate aldığı içi köşe tespitii öde bağısız soçlar eredigii b içi tü ölerdeki değişierle bakılası gerektiğii belirtti. Belirli bir öü herhagi bir Δ Δ öü olacak şeklide azılır. Eğer e kısi türeleri ifade ediorsa talor açılıı kllaarak 3. eşitlik 4 halie döüşür. Harris i oraec algoritasıda gösterdiği ikici eksiklik ise algoritada kllaıla w foksio alızca iki değer alası sebebile algoritaı gürültüe karşı daaıksız olasıdır. Ala erkezie zakta bla pikselleri b sor sebebile olştracakları gürültüleri w foksio gassia dağılııda seçerek egelleiştir. 5 6 Eşitlik sadeleştirilirse 6. Eşitlik 7 Halii alır. 7. eşitlik atris apısıa döüştürülebilir. 8 w ep w w ep w

4 9 Harris diagoal ola atrisii özdeğerlerii erel otokorelaso foksio kaisleesi ile oratılı oldğ atrisi özdeğerleride ikisii de büük olasıı o pikseli köşe oldğa sadece birii büük olasıı ise pikseli kear oldğa işaret ettiğii gösterdi. Bölece oraec algoritasıdaki 3.sor ola kear e köşe oktaları akı OÖ lerie sahip olası sor çözüldü. Harris atrisii özdeğerlerii hesaplaasıı fazla zaa alacağıda daha kola hesaplaabile bir köşe ea kear ola ölçüsüoö klladı. Brda k değiştirilebilie bir sabittir. 10 Brada elde edile OÖ pozitif e belirli bir büüklükte ise pikseli köşee egatif e belirli bir büüklükte ise keara karşılık gelektedir. otesios ise Harris i geliştirdiği ötei rekli görütülerde klladı. Rekli görütülerde atrisi ş şekilde olştrlr. 11 Brada sırasıla pikselleri kırızı eşil e ai parlaklıklarıı öüdeki değişileri ike ise pikselleri öüdeki değişileridir. Tablo-1. Grada çarpılarıı blaası aşaası 1: Grada_Çarpılarıı_Bl k : sizeof+1; 3: for i kırızı eşil e ai parlaklık değerleri 4: for a 1 to sizeof 5: for b /+1 to sizeof 6: G i ab* i ab i a b + G i ; 7: G i ba* i ba i ba + G i ; 8: edfor 9: edfor 10: G i G i /s; 11: G i G i /s; 1: edfor 13: Gç G k * G k + G * G + G * G ; 14: Gç G k * G k + G * G + G * G ; 15: Gç G k * G k + G * G + G * G ; 16: retr Gç Gç Gç ; 17: edfctio. det OÖ B A k AB k Tr B A B A

5 öşe tespitii silaso e doaı üzeride gerçekleesi içi algorita iki aşaaa arılıştır e b aşaalar Tablo-1 e Toblo- de gösteriliştir. Tablo-1 de gösterile ilk aşaaa grada askesii katsaılarıı belirte atrisi ile birlikte b atrisi botlarıdaki bir alada bla pikselleri kırızı eşil e ai reklerdeki parlaklık değerlerii içere atrisler girdi olarak girer. B alaı erkezideki pikseli grada çarpıları Gç Gç e Gç b aşaada çıktı olarak çıkaktadır. Tablo-. OÖ lerii blası aşaası 1: ear_öşe_ola_ölçüsüü_çıkargç GÇ GÇ N k : for i 1 to sizeofn 3: for j to sizeofn 4: A Nij*GÇ ij+a; 5: B Nij*GÇ ij+b; 6: Nij*GÇ ij+; 7: edfor 8: edfor 9: A A/sN; 10: B B/sN; 11: /sn; 1: OÖ A*B k*a+b ; 13: retr OÖ; 14: edfctio Tablo- de ifade edile ikici aşaada ise 11. eşitlikte belirtile peceresii katsaılarıı göstere N atrisi b atrisi botlarıdaki bir ala içi ilk aşaada hesaplaış ola grada çarpıları içere GÇ GÇ GÇ atrisleri e 10. eşitlikteki k sabiti girdi olarak girer. B aşaa soda alaı erkezideki pikseli OÖ hesaplaış olr. 3. ALGORİTANN PARALELLEŞTİRİLESİ 3.1. TEST AŞAAS Algoritaı paralelleştire aşaasıa geçede öce görütü sesörü ile L501 kartı arasıdaki bağlatılar sağlaarak sesörü RGB555 foratıda eri aktarası sağlaıştır. Gele eri kartta bla DV sürücü etegresi ile oitöre aktarılıştır. Daha sora kaerada alıa alık görütüler kartta bla DDR belleğe kadediliştir. adedile bilgiler Xbee kablosz haberleşe odüllerile bilgisaar ortaıa aktarılış e atlab prograı ile test görütüleri bilgisaarı belleğie kadediliştir. Bilgisaar belleğie kadedile test görütüleri ardııla algoritada kllaılacak ola sabitleri değerleri bezeti ortaıda belirleiştir. Test görütüsü üzeride apıla çalışalarda grada hesaplaasıda e Harris algoritasıdaki pecere katsaıları içi değişkesi 1 ola bir gassia

6 dağılıı e ii soç erdiği gözleledi. Grada hesabıda gassia dağılııa sahip bir askei kllaılası gürültüü azalta aaçlıdır. ie b iki pecerei büüklüğüü 55 olası drda RGB555 foratıdaki görütüler içi şekil-1 de görüldüğü gibi eterice öde bağısız köşe tespitii apılabildiği gözleledi. 55 lik bir pecere büüklüğü e 1 lik değişkee sahip arık botl gassia dağılııı katsaılarıı ta saıa döüştürülüş hali şekil-1 de gösteriliştir. Harris algoritasıdaki k sabiti he doaısal olarak glaasıı kolalığı açısıda he de algoritadaki başarısı sebebile 1/16 olarak belirledi. Şekil-1. Test görütüsü e katsaıları tasaı ola gassia peceresi 3.. TASAR Doaı tüüle ta saılar üzeride çalışacak şekilde olştrlştr. Tablo-1 e tablo- de belirtile algorita doaıa aktarılırke de arı odül şeklide tasarlaıştır. B teel sebebi. aşaada bir pikseli OÖ ü hesaplaak içi o pikseli e botlarıdaki alada kala koşlarıı grada çarpılarıa Gç Gç e Gç ihtiaç dlasıdır. Dolaısıla olştrla odülde biricisi pikselleri grada çarpılarıı hesaplarke ikici odül de b grada çarpılarıla OÖ lerii hesaplaaktadır. Doaı tasarlaırke toplaa e çıkara işleleri içi Xili i SE webpack prograıı doaı setezleesie izi erilirke çarpa işleleri içi ie Xili i core geerator prograıla odüller olştrlştr. He fazla saıda saat rşsv gerektiresi he de doaısal olarak fazla er kaplaası sebebile böle odülleri kllaakta kaçıılıştır. B erie SV gerektiree kaa işlelerile işlee erii büüklüğü azaltılıştır. B dr algoritaı çalışasıda herhagi bir sora sebep olazke sadece OÖ lerii kıaslaacağı eşik değerii değiştirektedir. İlk aşaaı doaııda ilk SV da tablo-1 i 6. e 7. satırlarıdaki çıkara işleleri paralel olarak 3 rek içi e her iki öde de gerçekleştirilir. B satırlardaki çarpa işleleride 1 e 8 katsaıları ile apılalar kaa işleleri ile SV gerektirede apılırke 3 e 6 katsaıları ile apılacak çarpalar içi bir SV gecikeli odüller olştrlştr. Setezlee toplaa odüllerile 6. SV da tü gradalar hesaplaır. 10. e 11. satırlardaki böle işleleri gecikei egelleek içi kaa işleleri ile SV gerektirede apılır. 13 ile 15 satırlar arasıdaki grada çarpıları paralel

7 olarak 3 SV gecikee sahip çarpıcılarla gerçekleştirilir e soçlar toplaa odüllerile 1 SV da elde edilir. İkici aşaaı doaııda ilk SV da 6. SV a kadar ikici tablo ile 8. satırları arasıda hesaplaa A B e değerleri hesaplaır. 9. e 11. Satırlar arasıdaki böle ie kaa şeklide apılarak SV gecikeleri egelleir. 7.SV da 1. satırdaki AXB e X çarpa işlelerie 3 SV gecikee sahip DSP odülüde başlaırke A+B toplaa işlei de b SV da apılır. 8. SV da başka bir DSP odülüle A+B toplaasıı karesi alıaa başlaır. Bezeti aşaasıda k sabiti 1/16 olarak seçildiği içi k ile çarpa işlei SV gerektirede kaa işleile gerçekleştirilir. 1. satırdaki çıkara işleleri 1. e 13. SV da gerçekleştirilir e. aşaa 13 SV da taalaış olr. Elde edile OÖ eşik değerii altıda ise belleğe o pikseli OÖ 0 olarak azılır. Bellekteki OÖ lerie 88 lik bir alada aksi olaaı baskılıa ötei glaır. B aladaki OÖ 0 da farklı ola piksellerde e büük OÖ e sahip ola piksel köşe olarak saptaır. 4. PERORANS Setez soc 1 SV da taalaa 1. aşaaı 463Hz lik aksi çalışa frekasıa sahip olacağı tespit edilirke 13 SV lk. aşaaı 373Hz lik bir aksi çalışa frelkasıa sahip olacağı tespit ediliştir. Ba göre b odüllerde sadece 1er tae kllaarak bile 640 a 480 çözüürlükteki RGB555 foratıdaki görütüü köşelerii tespiti 173s sürektedir. B odüllerde bir kaç taesi parallel olarak kllaılarak çalışa süresi azaltılabilir. Algoritaı paralelleştiriliş b hali tablo-3 de görüldüğü gibi X5VLX50 gibi küçük bir çekirdeğii %0 side az bir kısıı işgal etektedir. B çekirdek çalışaı geri kalaıı da düşüerek daha fazla paralelleştire ikaı ereektedir. Acak olştrla odüller daha büük PGA lara paralel bir şekilde göülerek köşe tespit süresi çok daha düşük seielere çekilebilir. Tablo-3. Olştrla odülleri klladığı kaak iktarları 1.Aşaa.Aşaa Topla X5VLX50 Adet % Adet % Adet % Adet Dili Belleği LUT DSP

8 5. SONUÇ Nese tespiti hedef takibi e ko belirlee gibi görütü tabalı çalışa sisteleri gerçek zaalı çalışası haati öe arz etektedir. PGA lar paralel olarak kllaılabilie işle güçlerile b sisteleri gerçek zaalı çalışalarıı sağlaaktadırlar. B çalışada görütü tabalı glaalarda sıkça kllaıla Plesse köşe tespiti algoritası rekli görütüler içi Xili firasıa ait X5VLX50 PGA sı üzeride paralelleştirilerek gerçek zaalı çalışaa g hale getiriliştir. Olştrla apı EZH apacak ola stereo kaeraa sahip obil bir robot üzeride kllaılacaktır. 6. REERANSLAR [1]. okhtaria R. Soela Robst age orer Detectio Throgh ratre Scale Space EEE Trasactios o Patter Aalsis ad achie telligece [] H. oraec "Obstacle Aoidace ad Naigatio i the Real orld b a Seeig Robot Roer" tech. report U-R-TR Robotics stitte aregie ello Uiersit Staford Uiersit [3]. Harris. Stephes A obied orer ad Edge Detector Ale Visio oferece [4]. okhtaria. ohaa Perforace ealatio of corer detectors sig cosistec ad accrac easres opter Visio ad age Uderstadig [5] L.-h. Zo J. he J. Zhag L.-h. Do The copariso of two tpical corer detectio Secod teratioal Sposi o telliget foratio Techolog Applicatio [6]. ag R.D. Do Ealatio of iage corer detectors for hardware ipleetatio aadia oferece o Electrical ad opter Egieerig [7] P. Tissaiaaga D. Ster Assessig the perforace of corer detectors for poit featre trackig applicatios age ad Visio optig [8] P. otesios V. Goet R. Deriche Differetial ariats for olor ages teratioal oferece o Patter Recogitio [9] Q. Hobe J.zz J.. Tocio Diaz O. Debeir N. arzee eatre- Based Stereo Visio Usig Sart aeras for Traffic Sreillace teratioal oferece o opter Visio Sstes