BİLGİSAYARLA GÖRÜ TABANLI, HAREKETLİ CİSİM YÖRÜNGESİ İZLEYEN ROBOT KOL TASARIMI

Transkript

1 BİLGİSAYARLA GÖRÜ TABANLI, HAREKETLİ CİSİM YÖRÜNGESİ İZLEYEN ROBOT KOL TASARIMI Emre Kouncu İstanbul Teknk Ünverstes Elektrk Mühendslğ Osman Celan İstanbul Teknk Ünverstes Elektronk Mühendslğ Ramazan Yençer İstanbul Teknk Ünverstes Elektronk Mühendslğ Proje Danışmanı: Doç. Dr. Hakan Temeltaş, İstanbul Teknk Ünverstes, Kontrol ve Otomason A.B.D ÖZET: Bu çalışmada, hareketl br csmn örünge doğrultusunu kamera ve kamera görüntülern şleen blgsaar tabanlı br azılım le zleen k eksenl br robot kol tasarımında zlenen temel öntemler ve karşılaşılan problemlere sunulan temel çözümler ele alınmış ve ugulama le lgl gelecek çalışmalara değnlmştr. Anahtar Kelmeler: Robot, csm örünges zleme, blgsaarla görü, motor denetm..giriş Günümüzde otomatk hareket eteneğne sahp sstemler teknolojk gelşm sürecnn büük br paını çermektedrler. Robot sstemlernn lerleşnde araştırmacılar, daha hızlı, daha dnamk ve daha doğru kararlar vereblen sstemler üreteblmek çn, dış dünaa açılan, nsanların sahp oldukları algılaıcılara benzer duargalar kullanmak ve benzer ollarla algı prenspler gelştrmek zorundadırlar. Arıca bu çalışma şekl, nsansı fonksonların çalışma hızına akın olmalı, gerçek zaman çersnde üretleblmeldr. Blgsaarla Görü tabanlı Robot sstemler, araştırmacılar tarafından oğun olarak çalışılan alanlardan brdr. Özellkle üksek teknolojl güvenlk çözümler, karmaşık algılar gerektren endüstrel ugulamalar ve savunma teknolojlernn gelşmle paralellk arz eden bu konu günümüz ugulaıcıları çn temel çalışma hedef halne gelmştr.

2 2 2.SİSTEMİN YAPISI Çalışmanın çerğ, kamera sstemlernden alınan blg doğrultusunda üretlen br hareket planının robot kolu tarafından gerçeklenmes problemn çermektedr. Ancak çalışmanın her aşamasında üretlen çözümler standart prensplere ugun olarak ele alınmaktadır. Bu olla gelşm kapsamının sınırlandırılmaması stenmektedr. Bu nedenle üretlen çözümlerde, tümleşk çözümler çeren apılardan kaçınılmış, en temel ve alın bleşmler çermes amaçlanmıştır. Projenn tasarım aşamasında ortaa koulmuş problemlern fraklı farklı küçük parçalarına arık çözümler olablecek tümleşk sstemlerden uzaklaşılmıştır. Her aşamada problem bütünüle temel hedef olarak belrlenmş ve en ugun çalışma prenspler gelştrlmes stenmştr. Bunun çn, sürücü devrelernn, robotun mekank tasarımının, kontrol sstemlernn anı sıra; kameradan blg alan, görüntüü şleen ve örünge planını çözümleen azılımların heps tamamen özgün olarak tasarlanmıştır. Bu olla, projenn tasarım sürecnn sonunda br lerk aşamaa kolaca taşınması amaçlanmıştır. Görüntü İşleme Yazılımı Yörünge Tahmn Yazılımı Yörünge Planlama Kontrol Yazılımı Motor Konum Okuucuları PC-Robot Haberleşme Arabrm Robot Eklem Sürücüler Robot Denetm Şekl. Sstemn Genel Model

3 3 3.SİSTEM TASARIMI Sstem tasarımı; sunulan çözümler açısından üç ana başlık altında toplanablr. 3. Görü İşleme Görü şleme brm, görü kanağından görüntüü alan ve tahmn azılımına, takp edlecek csm hakkında konum ve görüntünün akalanma zamanına lşkn blg gönderen kısımdır. Görüntüler blgsaar ortamına USB ara üzlü, CCD sensörlü kamera aracılığı le aktarılmıştır. Kameradan saısal görüntünün elde edlmes çn görüntü şleme kodlarına, CodeVs tarafından gelştrlen VdCapture kodları entegre edlmştr. 8-bt dernlkte grdüze saısal görüntüler le 60*20-640*480 arası farklı çözünürlük değerlernde ve 0-30 kare/sane arası değşen hızlarda çalışılmıştır. Kameradan alınan görüntüler, çözünürlüklerne ugun boutlarda matrslere dönüştürülmüş, görü şleme algortmalarında bu matrslerle çalışılmıştır. Görü şleme kısmı üç parçadan oluşmaktadır. İlk arka planın zlenp belrlenmes, kncs takp eden görüntülerden arka plana akırı kısımların algılanıp değerlendrlmes, üçüncüsü csmlern belrlenmes ve bu csmlerden belrtlen tanıma uanın konum blgsnn çıkarılmasıdır. Arka Plan, Arka Planın İzlenmes ve Belrlenmes Brbrlern aklaşık olarak eş zaman aralıkları le takp eden arık görüntülerden ks arasındak fark, değşm hakkında blg vermektedr. Bu değşm kameraların görüntüledğ alanda, varsa, hareketl nesnenn hareketn de çermektedr. Hareket algılama kısmında lk olarak bu prensp kullanılmıştır. Kameradan gelen görüntüden her sefernde br öncek görüntü çıkarılarak, hareketl kısmın görüntüde kalması sağlanmıştır. Fakat bu hareket görüntüsü, csmn lk konumu ve knc konumunun üst üste bnmş haldr. Bu görüntüden, csmn gerçekte nerede olduğu ve aklaşık orta noktasına at konum blgs belrlenememektedr. Bu lk ve knc algılanmış konumlarının üst üste görüntüsünün tamamı csm olarak kabul edlmş ve bu csmn merkez bulunmuştur. Fakat alınan görüntüler arasında eşt zaman aralıklarının olmaması ve görüş alanına gren nesnelern farklı hızlarda olması fark görüntüsünü csmn gerçek konum görüntüsünden oldukça uzaklaştırdığı tespt edlmştr. Denemelerle, hesaplanan orta noktaların csmlern gerçek örünges etrafında büük salınımlar aptığı görülmüştür. Bu noktada gelen görüntünün br öncek görüntü

4 4 erne, başta belrlenecek br arka planla karşılaştırılmasının hataı azaltacağı tespt edlmştr. Belrlenecek arka planın, csmler çn referans görüntü kabul edlmes stenmştr. Bu amaçla arka plan, takp edlecek csm le bu csm benzer hareketl dğer nesneler barındırmaan görüntü olarak tanımlanmıştır. Arka plan, zleme sürec sonunda belrlenen k uç değer arasında kalan bant olarak belrlenmştr. Arka planın zlenme süres kullanıcıa bırakılmıştır. Yapılan denemelerde arka plan belrlenmes çn aklaşık 50 kare görüntünün eterl olduğu gözlenmştr. Her sefernde, bu süre zarfında arka planı tanımlaacak k sonuç görüntü matrs oluşturulmaktadır. Bunlardan lk zleme süresnce arka plan görüntüsünün her br pksel değernn aldığı en düşük değer (8-btlk gr-düzede), dğer en üksek değer tutar. Bölelkle zleme süres sonunda, her br pksel çn br arka plan aralığı tespt edlmş olur. Fark Görüntülernn Bulunup Değerlendrlmes Arka planın belrlenmesnden hemen sonra csm arama sürec başlatılır. Kameranın görüş alanına gren csmler arka plandan farklı olmaları halnde rahatlıkla algılanablmştr. Csm arama sürecnde, alınan her br görüntü arka plan le karşılaştırılır. Gelen görüntü çersndek belrlenen arka plana uan kısımlar slnr. Gere csmler çeren görüntü parçaları ve gürültü çeren alanlar kalır. Bu parçalardan sadece csmler barındıranların kalması çn gürültüler temzleen br algortma kullanma gerekllğ doğmuştur. Burada, görüntü üzerndek gürültülern temzlenmes çn ugulanan, konvolüson temelne daalı algortmaların kullanımında bazı olumsuzluklar tespt edlmştr (Seul, et al., 2000). Hem görüntü detaında kaıplar görülmüş hem de şlem süres çok uzamıştır. İncelemelerle gürültünün br kısmının, her br pksel çn belrlenen arka plan aralığını aşan etknn devamı olduğu düşünülmüştür. Bölelkle, slme şlemnden gere kalan görüntü parçalarından sadece tek pksel büüklüğünde olanlar arka plana eklenmş ve slnmştr. Gere daha az gürültü barındıran br görüntü kalmıştır. Csmlern Belrlenmes, Takp Edlecek Csmn Seçlmes ve Merkeznn Bulunması Gere kalan görüntüde, slnmemş görüntü parçaları çermeen satır ve sütunlar belrlenr. Bunun çn eksen bounca sütunlar, eksen bounca satırlar taranır. Bu satır ve sütunların aralarında görüntü parçaları çeren dörtgen alanlar kalır. Belrlenen her br alan çersndek

5 5 görüntü parçasının br csm görüntüsü olduğu kabulü apılmıştır. Her br csm görüntüsü çn onun büüklüğü, tonu ve orta noktası belrlenr. Görüntü parçasını çeren dörtgen alanın; alt üst alt : atada alt sınırı, : atada üst sınırı, : düşede alt sınırı, üst : düşede üst sınırıdır. p (, ) : görüntü matrsnde ve koordnatları le belrtlmş pkseln gr-düzede değerdr. Slnmş pkseller çn değer 0 dır. B : Dörtgen alan çersnde bulunan csmn büüklüğü çn; 0; = ; B, ) = 0, ) 0 üst = üst = = T : Dörtgen alan çersnde bulunan csmn tonu çn; alt alt se se T = üst üst = alt = alt B, ) M : Dörtgen alan çersnde bulunan csmn merkez çn; 0;, ) slnmş X = ;, ) slnmemş 0;, ) slnmş Y = ;, ) slnmemş se se se se üst üst = alt = alt orta =, üst üst X = alt = alt orta = üst üst = alt = alt Y üst üst = alt = alt M = ( orta, orta )

6 6 Alınan her br görüntüde bu csm görüntülernden önceden belrlenmş büüklükte ve/vea tonda olan br tanesne at alan merkeznn konum blgs ve görüntünün kameradan alındığı anın zaman blgs çalışmanın örünge tahmn kısmına aktarılır. 3.2 Yörünge Tahmn Csmn takp edleblmes çn, görü şlemeden elde edlen verler le örünges ve genşletlerek ler zamanda konumu tahmnlenmştr. Tahmnleme çn lk önce Lagrange öntem ekstrapolasona başvurulmuştur. f n ( ) = L ( ) = n = 0 L ( ) f ( ) n j= 0 j j j Ekstrapolason ukarıdak genel Lagrange nterpolason polnomuna ( f n () ) ler zaman grlerek apılmıştır. 5. derece gb üksek derecel Lagrange polnomu le ekstrapolasonda bulunan örünge eğlmnn çok üksek olduğu ve ler zamanda tahmnlenen konumun bu üzden büük hata çerdğ gözlenmştr. Kullanılan 2. dereceden Lagrange polnomu le bu eğlm azaltılmış ve tahmn edleblen konumdak hata oranı düşürülmüştür. Bunun anı sıra, örünge tahmnlemede görü şlemele bulunan csm orta noktası kullanılmaktadır. Orta noktanın br başka fades, csmn alan tabanlı merkezdr. Üç boutlu br csm kamerada k boutlu algılanmaktadır. Tahmnlemede grş olarak csmn kamera sensörü üzerne zdüşümü olan bu k boutlu görüntünün alan merkezn kullanmak, csmn şeklne bağlı olarak hataa sebep olmaktadır. Eğer hareket eden csm küre benzer br csm se burada oluşan hata en aza nmektedr. Ancak, küresel smetre sahp olmaan br csm dönerek lerlor se, bu durumda csm merkeznn konumuna önelk gelen verlern Şekl 3 dek gb değşmlern gözlemesne neden olacaktır.

7 7 Şekl 2. Csm küre benzer se hareket örünges ve görüntüden elde edlen merkezn örüngele durumu. Şekl 3. Csm küre benzer değl se hareket örünges ve görüntüden elde edlen merkezn örüngele durumu. Tahmnlemede kullanılacak verlern örünge etrafında salınablmeler olasılığı, Lagrange a alternatf olarak en küçük kareler aklaşımı öntem le de çözüm gelştrlmesne htacı doğurmuştur. Bu öntem le csmn merkez verlernden kanaklanan hatanın en aza ndrlmes amaçlanmıştır. Doğrusal olmaan en küçük kareler aklaşımı çn: [ Z j ]: fonksonun başlangıç tahmn j de hesaplanmış olan kısm türevlernn matrsdr. [ Z ] j = f f f 2 n / a 0 / a. / a 0 0 f f f 2 n / a / a. / a n : ver noktaları saısıdır. f / : nc ver noktasında k nc parametree göre fonksonun kısm türevdr. a k { D }: ölçümler ve fonkson değerler arasındak farkları çeren vektördür.

8 8 { D } = 2 f ( f (. f ( 2 n n ) ) ) { A} :parametre değerlerndek değşm çeren vektördür. { A} a a =. 0 a m T [ ]{ A} = {[ Z ] { D } j { D} = [ Z j ]{ A} + { E} T Yaklaşım, [ Z ] [ Z ] denklemnn { A} çn çözümünü çermektedr. Bu se parametrelern leştrlmş değerlern hesaplamak çn kullanılır. (Chapra ve Canale, 2004) En küçük kareler öntem le udurulan 2. dereceden eğrlern, Lagrange le udurulan eğrlerden daha doğru sonuçlar verdğ gözlenmştr. Çalışılan en nesl hızlı blgsaarlarda, her k öntem brlkte kullanılıp brbrne alternatf sonuçlar elde edlmştr. Daha az hatanın görüldüğü öntemle bulunan sonuçların daha doğru olduğu kabul edlmştr. Csmler, dıştan a da çten br etk olmadıkça düzgün olarak hareket edecektr. Sabt kuvvetler etksnde se algılanablr vmel br hareket apacaktır. Örneğn, serbest düşme, eğk atış gb hareketlern zlenen kısımlarından çıkarılacak blglerle br süre sonra nerede olacakları büük doğrulukla bulunablmektedr. Ancak örünge ve ler zamanda konum tahmn apılacak csm canlı br örnekse, ler zamandak konum hakkında bulduğumuz tahmnler geçerllğn trmektedr. Uçmakta olan kuşun, br manevra le mevcut örüngesn çok kısa sürede değştrmes mümkün olduğundan, onu takp edecek sstemn de an değşmler fark edp gerekl tepk vermes gerekmektedr. Bu üzden, lk olarak Şekl 4 tek gb, örüngeden çok uzakta olan ver hesap dışı eden br algortma kullanılmıştır.

9 9 Şekl 4. Göz ardı edlecek hatalı ver Eğer gelen ver le tahmnlenen değer arasındak fark (hata) çok fazla ve anı zamanda ger dönmüorsa (Şekl 5), enden örünge tahmnlemee başlaacak br algortma gelştrlmştr. Bölelkle hata oranı düşük, manevralara hızla uum sağlaablen br örünge tahmn azılımı oluşturulmuştur. Şekl 5. Dkkate alınacak örünge değşm 3.3 Robot Denetm Robot denetm kısmında, blgsaar RS-232 haberleşme brm üzernden alınan konum blgs, robot eklem denetleclerne gönderlr ve bu blg gerekl kontrol şaretlerne dönüştürülerek robot eklem motorlarını harekete geçrr. Konum Blgs Akışı Görü şleme ve örünge tahmn brm üzernden gelen blgler genellkle robot kolun ulaşması gereken konuma ulaşma süresnden daha hızlı şlenmekte ve gönderlmektedr. Blg şleme hızının sstemn mekank cevap hızından çok daha üksek olması beklenen br sonuçtur. Tahmn algortmaları, görü brmnden daha fazla gerçek konum blgs le beslendkçe ler zamanda csmn olası konumu hakkında doğruluğu daha üksek sonuçlara ulaşmaktadır. Bu suretle örünges dnamk olarak üksek değşm göstermeen, temel fzk kanunlarıla ler zamandak konumu hakkında kestrmler apılablr olan csmler çn, görü

10 0 şleme kısmından alınan verlern artmasıla, csm örünges hakkında daha fazla blge sahp olunacak ve zaman geçtkçe örünge doğruluğu artacaktır. Ancak sstemn mekank hızının avaş olduğu gerekçes le daha başından elde edlmş tahmnsel örünge çıkarımları dah robot denetm brm tarafından anlamlı ver olarak kabul edlmştr. Bu suretle lk örünge verler le robot eklem motorları harekete başlaması, csmn olası ler zamanda bulunacağı örüngedek konum doğrultusunun, robotun örüngesndek konumuna karşılık düşen noktasına doğru ol almaa başlamış olması sağlanmıştır. Yen gelen verler ulaşılacak son nokta hakkında daha doğru blgler çerdğnden, robot denetm brmne sürekl olarak ver akışına zn verlmş, bu verlere, br öncek konuma doğru olan hareketne son vererek ve en gelen vernn çerdğ konum blgsn en hedef konum saarak cevap verlmes sağlanmıştır. Bu durumda her en ve doğruluğu daha üksek olan ver geldğnde br öncek konum blgs slnmş, en konum hedef alınmıştır. Mekank cevabın, bu ver akış hızına göre oldukça avaş olması nedenle bu kesmeler dnamk olarak üksek mekanksel salınımların oluşmasına zn vermeecektr. Bu durumda güç aktarma oranı seçmnn burada önem arz ettğ gözlenmştr. Motor Denetm Motor denetm çn, k önlü hareket sağlaablen H-Köprüsü model çeren MOSFET kontrollü sürücüler tasarlanmıştır. Motor hız denetm MOSFET lere gönderlen PWM snallerle sağlanmıştır. PWM snaller ADuC84 mkrodenetlecs tarafından konum blgsne ugun şeklde üretlmştr. Bu PWM snaller mkrodenetlec le motor güç katı arasını alıtablmek çn optk alıtım üzernden MOSFET ler tetklemektedrler. Baskı devre tasarımında EMI ve motor gürültülernn bozucu etklernn en alt sevede hssedlr hale getrlmes gözetlmştr. Motor konum denetm, motor ml ucunda bulunan mutlak konum çözücülern ürettğ darbelern, hedeflenen konum blgs le karşılaştırılması ve buna bağlı olarak motorların hareket snallernn üretlmes le apılmaktadır. Hedef konum blgs le mutlak konum çözücülerden alınan konum blgs arasındak fark konum hatası olarak kabul edlmektedr. Konum hatası olarak belrlenen bu fark, motor denetmlernde fazlaca kullanılan PID algortmaları le motor denetm snallerne dönüştürülmektedr (Delbaşı, et al., 2004)

11 İstenen Konum Konum Hatası - K p Hız Cevabı Motor Konumu d/dt K I K D Şekl 6. PID Motor Konum Denetm e( k) = θ ( k) θ ( k) d U ( t) = K c a e + T t 0 edt + T d de dt Motor konum blgs mutlak çözücüler üzernden kare dalga gerlm şaretler şeklnde alınmaktadır. Mkrodenetlec, saıcı kısmından, bu gerlm snallern okumakta ve saısal olarak stenen konum blgs le karşılaştırmaktadır. Her br motor denetm çn, mkrodenetlecnn konum okuma, ver haberleşmes ve PWM snallern üretme şlemlern anı tabanda ürüttüğünden, özellkle saıcının kesme alt programlarını şlettğ sürelerde okuamaacağı konum snaller olableceğ olasılığı ve şlem karmaşıklığını azaltma neden le her br motor denetm çn brbrnden arık şlem apan, arı mkrodenetlecler kullanılmıştır. 4.GELECEK ÇALIŞMALAR VE SONUÇ Çalışmadak sstemn tasarımında çözüme ulaşablme nedenle br takım kısıtlara gdlmştr. Sırasıla, kamera görü alanı çersndek arka plan küçük parlaklık değşmler dışında sabt kalmalıdır. Yörünge tahmnnde, csmn temel fzk kanunları le çözümleneblen hareketlern dışında üksek değşkenl dnamk hareketler le ol alıor olması tahmn çıktılarını doğruluktan uzaklaştıracaktır. Csm örüngesnn robot çalışma örünges doğrultusu le lk kavuşacağı ler zaman olarak tanımlanan değşken, robotun ulaşableceğ en uzak konuma gdş zamanını karşılaacak değerde olmalıdır. Aks takdrde robot kavuşma çn eterl sürede hareketn tamamlaamaablecektr.

12 2 Bu gb kısıtların aşılması çn ne sırasıla; öncelkle görü şleme algortmalarının değşken arka plan üzernde çalışablr hale getrlmes gerekmektedr. Bu tür çözümlerde csm tarama şlem, csmn önceden tanımlanmış ntelkler le olacağından şlem karmaşıklığı ve dolaısıla zamanı artacaktır. Bu nedenle üksek hızlı a da paralel çalışablen şlemcl blgsaarlar kullanılması gerekllğ doğacaktır. Arıca kamera saısı artırılarak csmn konumu hakkında daha karmaşık ve keskn blgler elde edleblecektr. Bu durumda kameraların eşzamanlı çalışablmes gerekllğ doğacaktır. Yörünge tahmn algortmalarının daha dnamk hareketler karşılaablr hale gelmes çn bulanık-apa snr ağları kullanımının çözüm sunableceğ düşünülmektedr. Bu durumda ne şlem karmaşıklığı ve hesap döngü saıları artacağından ne hızlı a da paralel çalışablen şlemcl blgsaarlara htaç duulacaktır. Robot hareket üzernde mekank salınımları azaltmak ve konum blglern eşzamanlı olarak alablen br apı üreteblmek çn robot denetmn apan ve motor konum algılaıcılarını okuan mkrodenetlecler ne üksek hızlı şlem kapastel olmalıdırlar. Arıca ne dnamk ttreşmler önlenmes çn Bulanık-PID algortmaları kullanmanın çözüm olableceğ düşünülmektedr. Çalışmanın ugulama alanları olarak, amaçlarına göre üretm şeklnn düzenlenmesle; başta karmaşık algı gerektren endüstrel ugulamalar olmak üzere, güvenlk çözümlernde hareketlern zlenmes gb ugulamalarda ve savunma teknolojlernde görsel güdümleme amaçlı kullanılableceğ düşünülmektedr. Endüstrel ugulama çn; uçan testere ugulamalarında, üretm bandı üzerndek keslmes stenen malzemeler çn, anı hızla harekete başlaan uçan testerenn, üretm bandının durması gerekmekszn malzeme keseblmes ve ger dönerek dğer ürüne önelmes, bu olla kesme şlemnn hızlanacak olması örnek verleblr. Güvenlk ugulaması çn; müzeler gb üksek güvenlk gereken alanlarda, hareket algılaan ve hareket eden csm zlemee başlaan, nsanı tanımlaablen ve bu olla şaret veren; arıntıları almak çn üze odaklanablen ve optk akınlaşma apablen br sstem düşünüleblr. Arıca görüntü şleme algortmaları arıntılandırılarak, şüphe karakterlern kalabalık çersnde algılaablen ve onun hareketn takp eden br sstem çn kullanablmek de mümkündür.

13 3 Savunma ugulaması çn; brçok örnek verleblecek olmasıla; lazer güdümlü slahlardak, lazer ışınının güdümlenecek csme gönderlmes gerekllğ amacıla bu sstem hareketl de olsa csm şaret edeblecek ve vurulması stenen csm çn sürekl değşen dnamk br konumlama apablecektr. Arıca lazer slahlar çn kend başına konumlama apablen, hedefn kend takp edeblen br sstem olduğu da düşünüleblr. REFERANSLAR Delbas, A., Turker, T., Cansever, G.(2004) Real-Tme DC Motor Poston Control b Fuzz Logc and PID controllers usng Labvew, Internatonal IEEE conference on Mechatroncs & Robotcs, Aachen, German. James Mentz (2000) Moton Control Theor Needed n the Implementaton of Practcal Robotc Sstems, Vrgna Poltechnc Insttute and State Unverst, Blacksburg, Vrgna, USA. M. Seul, L. O Gorman, M.J. Sammon (2000) Practcal Algorthms For Image Analss: Descrpton, Eamples, and Code, Cambrdge Unverst Pres, USA. S.C. Chapra, R.P. Canale (2004) Yazılım ve Programlama Ugulamalarıla Mühendsler çn Saısal Yöntemler (çevrenler: Hasan Heperkan, Uğur Kesgn) Lteratür Yaınları, İstanbul.