T.C. SÜLEYMAN DEMĠREL ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ KINECT TEKNOLOJĠSĠ KULLANILARAK ROBOT KOL KONTROLÜ

Transkript

1 T.C. SÜLEYMAN DEMĠREL ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ KINECT TEKNOLOJĠSĠ KULLANILARAK ROBOT KOL KONTROLÜ Remzi GÜRFĠDAN DanıĢman Yrd. Doç. Dr. Kubilay TAġDELEN YÜKSEK LĠSANS TEZĠ ELEKTRONĠK-BĠLGĠSAYAR EĞĠTĠMĠ ANABĠLĠM DALI ISPARTA

2 2015 [Remzi GÜRFİDAN]

3 TEZ ONAYI Remzi GÜRFİDAN tarafından hazırlanan Kinect Teknolojisi Kullanılarak Robot Kol Kontrolü adlı tez çalışması aşağıdaki jüri üyeleri önünde Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Elektronik Bilgisayar Eğitimi Anabilim Dalı nda YÜKSEK LĠSANS TEZĠ olarak başarı ile savunulmuştur. DanıĢman Yrd. Doç. Dr. Kubilay TAġDELEN... Süleyman Demirel Üniversitesi Jüri Üyesi Doç. Dr. Ecir Uğur KÜÇÜKSĠLLE... Süleyman Demirel Üniversitesi Jüri Üyesi Yrd. Doç. Dr. Muhammer ĠLKUÇAR... Mehmet Akif Ersoy Üniversitesi Enstitü Müdürü : Doç. Dr. Yasin TUNCER...

4 TAAHHÜTNAME Bu tezin akademik ve etik kurallara uygun olarak yazıldığını ve kullanılan tüm literatür bilgilerinin referans gösterilerek tezde yer aldığını beyan ederim. Remzi GÜRFĠDAN

5 ĠÇĠNDEKĠLER Sayfalar İÇİNDEKİLER... i ÖZET... ii ABSTRACT... ii TEŞEKKÜR... iv ŞEKİLLER DİZİNİ... v ÇİZELGELER DİZİNİ... vi SİMGE VE KISALTMALAR DİZİNİ... vii 1. GİRİŞ KAYNAK ÖZETLERİ MATERYAL VE YÖNTEM Robot Kolu Kinect Teknolojisi Kinect teknolojisinin temel özellikleri ve bileşenleri Kinect ile iç ve dış mekânlarda iskelet takip sistemi Kinect teknolojisinin bilgisayarda kullanılması WPF C# Programlama Dili Arduino Arduino Hourly Build Derleyicisi TowerPro SG90 - Micro Servo Motoru SolidWorks Solidworks programın genel içeriği ARAŞTIRMA BULGULARI Robot Kolu Mekanik Aksamı Kinect Arayüz Yazılımı Kinect in kişi hareketlerini algılama yazılımının yapısı Sistemin Arduino Bağlantısı Sistemin Çalışması TARTIŞMA VE SONUÇLAR KAYNAKLAR EKLER EK A. Visual Studio Xaml Kod Blokları EK B. Visual Studio C# Kod Blokları EK C. Arduino Hourly Build Kod Blokları i

6 ÖZET Yüksek Lisans Tezi KINECT TEKNOLOJĠSĠ KULLANILARAK ROBOT KOL KONTROLÜ Remzi GÜRFĠDAN Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Elektronik Bilgisayar Eğitimi Anabilim Dalı DanıĢman: Yrd. Doç. Dr. Kubilay TAġDELEN Günümüzde sanayileşmenin gelişmesiyle birlikte otomasyona olan ihtiyaç gittikçe artmaktadır. İnsan gücünün yetmediği ya da insan sağlığını tehdit eden ortamlarda ihtiyaç duyulan iş gücü robot teknolojileri sayesinde karşılanmaktadır. Bu da robotik dünyasında hızlı bir gelişmeye yol açmaktadır. Şimdiye kadar yapılmış olan otomasyon sistemlerinde kullanılan robot teknolojilerinin tümü önceden programlanmış olarak kendilerine verilen emirleri yerine getirmektedir ya da sistemin kontrolü için tasarlanmış olan kumandalar yardımı ile anlık olarak kontrol edilebilmektedir. Bu tez çalışmasında; tasarlanmış olan robot kollarının Kinect teknolojisi kullanılarakinsan kollarındaki eklem hareketleri ilebirebir eş zamanlı kontrol edilebilmesi amaçlanmaktadır. Gerçekleştirilmiş olan çalışmada, önceden tasarlanan robot kolları kinect sensörü ile anlık olarak kontrol edilebilmektedir. Kinect in algıladığı kol hareketleri, Kinect için hazırlanmış olan yazılımda matematiksel verilere dönüştürülmekte daha sonra bu veriler Ardino kartiçin hazırlanan yazılıma gönderilerek robotun eklemlerini oluşturan servo motorları sürme işlemi sağlanmaktadır.kinect in yazılımsal olarak kontrol edilmesi WPF (Windows Presentation Foundation) ile Arduino nun programlaması ise C++ yazılım dili ile sağlanmaktadır. Anahtar Kelimeler: Kinect, Arduino, Robot Kol, WPF 2015, 81sayfa ii

7 ABSTRACT Master Thesis CONTROL OF ROBOT ARM BY USING KINECT TECHNOLOGY Remzi GÜRFĠDAN University of Süleyman Demirel Institute of Science Electronic and Computer Education Department Thesis Advisor: Ph. D. Ass. Prof. Kubilay TAġDELEN Necessity of automation gradually increases by increasing of industrialization at the present. Needed workforce is supplied on occasion of being short of man power or threatening man s health. It brings about a rapid improvement in robotics world. All of the used robot technologies in auotomatic systems performed by this time, fulfill the given commands as they are prearranged or they can be momentarily controlled by the help of remote controls that are designed for the control of the system. In this thesis study,it is purposed that designed robot arms can be commanded simultaneously and one-to one with articulation motions of man s arms by using kinect technology. In this performed study, prearranged robot s arms can be momentarily controlled by kinect sensor. Motions of arm sensed by Kinect are transformed into mathematical datas in software which is fixed for Kinect and then the process of leading servo motor,composed robot s articulations, is achieved by sending the datas to software fixed for Arduino. Ability of control Kinect as a software is supplied with WPF (Windows Presentation Foundation) and programming of Arduino is supplied with C++ program language. Key Words: Kinect, Arduino, Robotic Arm, WPF 2015, 81 pages iii

8 TEġEKKÜR Kinect teknolojisi kullanarak robot kolu kontrolü yapmaya çalıştığım çalışmamın sonuna gelmiş bulunmaktayım. Yaptığım bu çalışmamın, daha sonra bu konuda yapılacak olan çalışmalara temel olmasını ve insanlığa yararlı olmasını dilerim. Yüksek Lisans eğitimim süreci boyunca çalışmalarımın her aşamasında sabrı ve karakteriylebana güç veren, desteğini hiçbir zaman eksik etmeyen kıymetli danışmanım Yrd. Doç. Dr. Kubilay Taşdelen e sonsuz teşekkürlerimi sunarım. Hiçbir zaman sevgilerini ve desteklerini eksik etmeyen kıymetli babam Mehmet GÜRFİDAN a, kıymetli annem Dudu GÜRFİDAN a ve kıymetli kardeşim Ümran GÜRFİDAN a teşekkürü borç biliyorum. Varlığınız en büyük gücümdür. REMZİ GÜRFİDAN ISPARTA, 2015 iv

9 ġekġller DĠZĠNĠ Şekil 3.1. Kinect donanımı ve X-Box 360 oyun konsolu Şekil 3.2. Kinect in çalışma sistemi Şekil 3.3. Kinect donanım bileşenleri Şekil 3.4. Kinect in donanımsal yapısı Şekil 3.5. Kinect in algıladığı insanın eklem bölgeleri Şekil 3.6. Kinect in insan hareketleri algılama algoritması Şekil 3.7. WPF teknolojisi ile tasarlanmış Visual Studio Şekil 3.8. Arduino Hourly Build platformu Şekil 3.9. TowerPro SG90 - Micro servo Şekil SolidWorks programı arayüzü Şekil 4.1. Gerçekleştirilen çalışmanın blok diyagramı Şekil 4.2. Robot kolu mekanik aksam tasarımı Şekil 4.3. Robot kolun çıktı alındığı üç boyutlu yazıcı Şekil 4.4. Kinect kullanıcı arayüzü Şekil 4.5. Kinect yazılımının çalışma algoritması Şekil 4.6. Arduino Mega Servo bağlantı pinleri Şekil 4.7. Servo motorların regülatör devresi Şekil 4.8. Servo motorların regülatör devresi şeması Şekil 4.9. Sistemin hareketi algılayıp kolları hareket ettirmesi Şekil Eklem mesafelerinin vektöre çevirilip arasındaki açının hesaplanması.. 42 Şekil Sistemin çalışma algoritması v

10 ÇĠZELGELER DĠZĠNĠ Çizelge 3.1. Kinect in algıladığı bölgeler Çizelge 3.2. Arduino platformun özellikleri ve değerleri Çizelge 3.3. TowerPro SG90 - Micro Servo temel özellikleri Çizelge 3.4. Arduino Mega 2560 pin servo bağlantıları vi

11 SĠMGE VE KISALTMALAR DĠZĠNĠ API Application Programming Interface CMOS Complementary Metal Oxide Semiconductor ISO International Organization for Standardization PWM Pulse Width Modulation SDK Software Development Kit USB Universal Serial Bus VGA Video Graphics Array WPF Windows Presentation Foundation XAML Extensible Application Markup Language XBAP XAML Browser Application XML Extensible Markup Language XPS XML Paper Specification 3B 3 Boyutlu 3D 3 Dimension vii

12 1. GĠRĠġ Günümüzde teknolojinin hızla gelişimi, günlük hayatımızda kullanılan ya da faydalanılan birçok aletin ve makinenin değişmesini sağlamıştır. Bununla birlikte bu değişim sanayi ve otomasyon sistemlerine de fazlasıyla yansımaktadır. Bu durumun etkileri ilk bakışta insan gücüne duyulan ihtiyacın azalarak bu gücün robotlardan sağlanması şeklinde görülmektedir. En çarpıcı örnekler ise otomotiv sanayi, fabrikalar, savunma sanayi gibi alanlarda kendini göstermektedir. Robot denilen kavram en basit tanımı ile insanıın günlük hayatını ya da yapacağı işleri kolaylaştıran zamandan tasarruf sağlatan benzer işlemleri defalarca verilen emire göre tekrarlayabilen elektronik, mekanik yapılardır. Bu tanımdan da anlaşılabileceği gibi robotlar insan hayatının hemen hemen her yerinde ihtiyaç haline gelmekte ve gelişimleri insanlar tarafından ilgi ile takip edilmektedir. Yaşam kalitesini artırmak amacıyla, araştırma kurumları ve önemli şirketler son zamanlarda hizmet robotları tasarlamak ve üretmek için dikkatle çalışmaya başladı. Birçok ulusal hükümetin, Amerika, Japonya, Kore, Çin, Tayvan, vb, zaten akıllı hizmet robotu adı altında önemli bir endüstrisi de bulunmaktadır (Wang, 2009). Robotların bu kadar hızlı gelişimi ve her geçen gün kullanım alanlarının artmasının başlıca sebepleri, kullanıcısına zamandan tasarruf ettirmeleri ve aynı işi yapacak insan gücünden çok daha ekonomik tutarlara o işi gerçeklemeleridir. Bunların yanında gözardı edilemeyecek durumlardan bir tanesi de insan sağlığını tehdit edebilecek ya da hayati risklerin taşındığı iş ve işlemlerde tercih sebebi olmalarıdır. Tarım alanlarında robot kullanımlarının artış sebeplerine bakacak olursak; tohum ekimleri, sulama, hasat ve toplama gibi işlemlerde hem maddi hem zamansal ekonomiklik sağlamasıdır. Bu örnekten farklı olarak nükleer enerji santrallerinin işlemesinde, uranyum üretim tesislerinde, laboratuvarlarda yapılan bazı deneysel işlemlerde, x ve gama ışınlarına maruz kalınabilecek radyoloji gibi çalışma alanlarında robotların tercih sebebi, insan sağlığını tehdit edebilecek ortamlardan insanlara sağlıklı çalışma ortamları sağlamaktadır. 1

13 Eğlence sektörünün insanların güzel vakit geçirmelerine hizmet etmesi için tasarlayıp ürettikleri XBOX oyun konsoluna ait olan Kinect teknolojisi, üretim amacından çok farklı alanlarda kullanılmaktadır. Kinect teknolojisi, insanların eklemlerini algılayabilmekte, yapılan hareketleri tespit edebilmekte, derinlik algısıyla da farklı projelerde sıkça kullanılmaktadır. Gelişen bilişim teknolojilerinin ürünü olan Kinect yada diğer adıyla Project Natal, Microsoft tarafından geliştirilmiş bir donanım aygıtıdır. Microsoft un, Kinect teknolojisi ilk olarak oyun sektöründe tanıtıldı(hua vd., 2011). Microsoft Kinect sensörleri gibi 3 boyutlu derinlik kameraları, multimedya bilgisayarlar için yeni fırsatlar yaratmıştır. Kinect in üretim amacı insanların oyun oynaması ve insanların eğlence dünyasına yeni bir boyut kazandırmaktır (Zeng, 2012). İnsan gücü ihtiyacının olduğu çalışma ortamlarının bir kısmı iş güvenliği açısından yeterince sağlıklı tertip edilmemektedir. Ortamın test edilmesi doğrudan insanlarla yapılamamakta simülasyonlar aracılığı ile yapay ortamlar oluşturulmaktadır. Bu tür test platformlarında bile bireylerin hareketleri tam olarak gerçek hayatla örtüştürülememektedir. Simülasyon ile Kinect sensörününbirleştirilmesi sayesinde bu tür ortamlarda gerçek insan davranışlarının sonuçları rahatlıkla test edilebilmektedir. Sonuç olarak güvenli ve gerçekle birebir örtüşen test ortamları sayesinde güvenlik tedbirleri eksiksiz alınabilmektedir. İnsan eklemlerini algılayan Kinect sensörünün denetleyici olarak kullanılmasındaki en önemli neden sensör dışında hiçbir cihaza ihtiyaç duymadan doğrudan ve hassasiyetli bir denetleyici görevi görmesidir. Joystick ya da kumanda kolları gibi denetleyicilerde verilecek olan emirler kesin ve değerleri önceden belirlenmiş olmalıdır. Hâlbuki Kinect sensörü karşısında hareket eden kişinin eklem ve iskelet hareketleri derece derece alınabilmektedir.kinect sensörü ile etkileşimli oyunların kumandası olamadan birey interaktif bir kullanıcı haline dönüşür. Bu çalışmada yapıldığı gibi Kinect sensörü ile motor sürme işlemlerinde de bu kontrol hassasiyeti çok büyük avantajlar sağlamaktadır. Tasarlanan robotların kontrolü ve çalışma ilkeleri mikrodenetleyiciler ile gerçekleşmektedir. Piyasada bu işlemleri gerçekleştirebilecek çok sayıda kart 2

14 bulunmaktadır. Son zamanlarda kolay kodlanması ve uygun maliyeti ile Arduino kontrol kartları diğerlerinden bir adım öne geçmektedir. C gibi yaygın bir dille programlanabilir olması ve açık kaynaklı bir derleyiciye sahip olması Arduino kartlarını yaygın hale gelmesinde etkili olmuştur. Yazılımın donanımla birleşmesi noktasında ihtiyaç duyulan bu kart kullanıcısına büyük kolaylıklar sağlamaktadır.arduino çeşitli sensörlerden analog veya dijital giriş alabilir ve akülatörleri kontroledebilir. Mikrodenetleyici kartları Arduinoprogramlama dili (Kablolu) ve (İşleme dayalı) Arduino geliştirme ortamı kullanılarak programlanır(banzi, 2014) Bu çalışmada, tasarlanan robot kolları üç boyutlu yazıcıdan çıktı alınarak parçaların birbirine montajı yapılmıştır. Eklem noktalarına servo motorlar yerleştirilmiştir. Kinect sensöründen yararlanılarak WPF (Windows Presntation Foundation) ile arayüz hazırlanmıştır. Hazırlanan arayüz ile seri port üzerinden haberleşen Arduino mikrodenetleyici için yazılım hazırlanmıştır. Mikrodenetleyici ile mekanik aksam arasındaki bağlantı gerçekleştirilmiştir. 3

15 2. KAYNAK ÖZETLERĠ ISO (International Organization for Standardization) 8373 sanayi robotunu şu şekilde tanımlamıştır: iki veya daha fazla programlanabilir ekseni olan, otomatik kontrollü, programlanabilir, çok amaçlı, bir yerde sabit duran veya tekerlekleri olan endüstriyel uygulamalarda kullanılan manipülatördür (Çengelci ve Çimen, 1998). Durmuşoğlu ve Köker (2007) yaptığı çalışmada robotu, çeşitli işleri yerine getirmek üzere, malzeme, parça veya özel aletlerideğişken programlanabilir hareketlerle taşımak üzere tasarlanmış, yeniden programlanabilir,çok fonksiyonlu bir aygıt olarak tanımlamıştır. Robot uygulamalarının da başlıca kullanım alanlarını otomotiv, elektrik, elektronik vemekanik olmak üzere endüstrinin hemen her alanı olarak göstermiştir. Oluşturulan robotların yapımı nerede kullanıldıkları kadar nasıl kontrol edildikleri de birçok çalışma konusuna temel oluşturmuştur. Çengelci ve Çimen (2005) çalışmalarında robot kontrolü yöntemlerinden PLC (Programlanabilir Lojik Kontrol Ünitesi), PIC(Peripheral Interface Controller) veya üretici firmaların kendilerine ait robotları kontrol etmekiçin imal ettikleri kontrol ünitelerinden bahsetmektedir. Çalıştıkları bu konularda da PLC lerde sinyal giriş-çıkısının sınırlıolmasından dolayı basit yapılı robotlarda kullanılabileceğini ama karmaşık yapılı robotlarda PLCyeterli gelmediğini tespit etmişlerdir. Kert te (2006) yaptığı bir çalışmada kartezyen koordinatlı robot kolu uygulamasının sistemin kontrolünü, paralel port üzerinden sağlamışve robotun izleyeceği yol DXF formatında iletilmiştir. Hareket hassasiyeti de adımmotorlarıyla sağlanmıştır. Birçok robot üreten firmanın kendi kontrol ünitesini de beraberindeürettiğini belirtirken, robot ile bilgisayarın seri veya paralel portlar vasıtası ile haberleşme sağladığını ve bu sayede robotaprogram seçme, program durdurma, başlatma, resetleme, hareket hızı ayarı gibi kontrolimkânları sağlandığını söylemiştir. Güleç in (2014) yüksek lisans çalışmasında insansı robot kolu tasarımı ve yörünge kontrolü üzerinde çalışmalar yapılmıştır. Çalışmada ilk konumun ve son konumun 4

16 eklem açısal değerlerine bağlı olarak yörünge planlanması yapılmıştır. Çalışmada 2 ayrı yörünge seçilmiştir. Bunlardan ilki kübik hız profili veren, diğeri ise trapez hız profili veren yörüngelerdir. Yörünge planlamasından sonra ise SolidWorksprogramında elde edilmiş tasarım SimMechanicsTM kullanılarak MATLABSimulinkortamına aktarılmıştır. Böylece tasarımın bütün dinamik ve geometrik özellikleri MATLABortamına aktarılmıştır. Daha sonra adım hareket sırasında gereken ortalama tork değerlerini hesaplanmıştır. Bu hesaplamadan sonra, yaklaşımlı hesaplanmış tork değerleri, hesaplanmış referans yörüngeler kullanılarak kapalı çevrim kontrol yapılmıştır. Benzetim sonuçları 2 ayrı hareket için kübik ve trapez olmak üzere 2 ayrı yörünge ile elde edilmiştir. Aynı benzetimler kol ucuna yük eklenerek tekrar yapılmıştır. Böylece, benzetimler sonucu elde edilmiş gerekli tork miktarlarını, tasarımda seçilen motor ve dişli mekanizmalarının karşılayıp karşılayamadıkları belirlenmiştir. Süzen in (2012) yaptığı çalışmada, ev ortamında bulunan cihazların kontrolünü engelli birey, kontrol kartı veya kumanda kullanmadan kapı, ışık, tv, klima vb. açma ve kapama işlemlerini eklem hareketleri ile yapmaktadır. Ayrıca engelli birey aynı yöntem ile farklı bir mekândan da internet aracılığı ile evinin kontrolünü sağlayabilmektedir. Engelli birey tüm bu işlemleri kendisini izleyen Kinect donanımı ile yapabilmektedir. Kinect in yazılımsal olarak kontrol edilmesi ve ev otomasyonun gerçekleştirilmesi WPF (Windows Presentation Foundation) ile sağlanmaktadır. Özbay (2013) yaptığı çalışmada 3 boyutlu nesneleri Kinect yardımı ile modellemek istemiştir. Bu hedefin uygulanmasında öncelikle, fiziksel nesnelerin 360 derecelik sağlam bir yapıda oluşturulması için, nesnenin tam derinlik verilerinin elde edilmesi üzerinde durulmuştur. Özbay ın (2013) tez çalışmasında Microsoft Kinect ve açık kaynak kodlu nokta bulutu kütüphanesi kullanılarak, yakalanan gerçek dünya nesnelerinin nokta bulutu ile yeniden yapılandırılması sırasında en iyi sonuçların elde edilmesi için bu noktaların işlenmesi üzerine çalışılmıştır. Sonuç olarak düzlemsel yüzeyler üzerinde sabit olarak yerleşik durumdaki gerçek dünya nesnelerinden, hareketli olarak birden fazla alınmış olan nokta bulutu kümesi (nbk) derinlik taramaları üzerine, nesneye ve arka planlarına uygulanacak olan çeşitli filtreleme yöntemleri incelenmiş, bu 5

17 verilerin üçgenleme yöntemiyle birleştirildikten sonra MeshLab ve OpenGL sanal görüntüleme ortamlarında görselleştirilmiştir. Yolcu nun (2014) yaptığı çalışma Kinect çalışmaları arasında en dikkat çeken çalışmalardandır. Çalışmanın hitap ettiği kesim oldukça geniştir. Yolcu (2014) çalışmasında Kinect kameradan faydalanarak sanal bir ayna geliştirilmiştir. Alışveriş merkezlerindeki kıyafet deneme reyonlarında Kinect kameradan faydalanarak kişinin fiziksel ölçüleri alınmakta ve sanal ayna panelinde bulunan kıyafetlerden el yardımı ile bir kıyafet seçilip ayna karşısındaki kişinin üzerine oturtulmaktadır. İstenilen renk ve duruş simülasyonu sağlanarak kişiye kıyafeti giymeden üzerinde nasıl duracağı gösterilmektedir. Songül ün (2014) tank namlusu kontrolü üzerine yaptığı çalışmada Arduino Uno mikroişlemci, konum algılayıcı MPU-6050 sensörü, eyleyici doğru akım motorları ve motor kontrol kartı kullanılmıştır. Arduino Uno mikroişlemci kartı, üreticinin sağladığı Arduino isimli ücretsiz yazılım ile programlanmıştır ve Wiring yazılım dilidir. Yapılan yazılımmpu sensöründen gelen veriler sayesinde tank gövdesinin x, y ve z eksenlerinde yapmış olduğu açısal değişiklikleri algılar. Elde edilen veriler I2C iletişim protokolükullanılarak karşılaştırıcı ve denetim organı olarak kullanılan Arduino Unomikroişlemci kartına iletilir. ATmega328 işlemcisi kullanan Arduino Uno mikroişlemci kartı kendisine ulaşan verileri daha önceden tanımlanan yazılım algoritmasına uygun olarak değerlendirir ve tank topu namlusu için tanımlanan referans noktasına namluyu tekrar yöneltmek için doğru akım motorlarına gerekli sinyali motor kontrol kartı aracılığıyla gönderir. Bu işlem namlu referans noktaya gelinceye kadar devam eder. Namlu referans noktasına geldiğinde Arduino Uno mikroişlemci kartı eyleyici motorlara gönderdiği sinyali sonlandırır. Szabó (2014) yaptığı çalışmada robot kollarının boşluktaki hareketlerini tanımayaçalışmıştır. Çalışmada robot kollarının boşluktaki hareketlerini tespit etmek için özel işaretler kullanılır.bu işaretler, her motorun üzerinde, eklemlerde, robotik kolun kilit bölgelerinde robotun hareketlerini algılamak için bu şekilde yerleştirilir. Renkli noktalar kamera ve görüntü algılama algoritması ile tespit edilir. Görüntünün tespiti renkli nokta sayısını bindirilmiş ve resmi üzerine bindirilmiş bazı hatları ile birleştirilmiştir. Bu şekilde robot kolun hareket iskeleti alınabilmektedir. 6

18 Shaikh (2013) yaptığı çalışmada bir insan eli daha iyi uyum kapasitesine ve hassasiyetle, onun eliyle çeşitli nesneleri işleyebildiğinden bahsetmektedir. Bazı kötü koşullarda, ihtiyaçlar, bazı sofistike manipülatörler ile insan kol hareketlerini taklit etmeyi gerektirebilir.bu çalışma gerçek zamanlı görüntü işleme kullanarak insan kolunun hareketlerinin doğrultusunda robot kolunun kontrol edilmesini açıklamaktadır.bu robot kolu, insan kolunun eşzamanlı hareketini çoğaltır ve masterslave kontrol metodolojisinin bir türüdür.kol tele-çalışan, yani kablosuz olarak işletilmektedir.insan kolu ve robot kolu arasında hiçbir kablolu bağlantı olmadan 30 metrekarelik bir alandasistemin kusursuz çalıştırmasına olanak sağlanmıştır. Bu çalışmada gerçek zamanlı görüntü işleme kullanarak bir robot kolu (tam insan kolunun prototipi) kontrolü için gerekli ortam MATLAB bileşenleri ve düzeni tarafından desteklenmektedir. Liu (2006) yaptığı çalışmada insan vücuduna yerleştirilen sensörler yardımı ile insansı robotların nasıl kontrol edilebileceği üzerinde çalışmıştır. Sistemin geleneksel 3D (3 Dimension) sistemler ile karşılaştırıldığında daha ucuz ve hızlı olduğu farkedilmiştir. Sensör verilerinin kolay hesaplanması için bulanık çıkarım sistemi oluşturulmuştur. Sistemde hareketleri ve ivmeleri tespit edebilmek için jiroskop ve ivmeölçer sensörü kullanılmıştır. Jiroskop, yön ölçümü veya ayarlamasında kullanılan, açısal dengenin korunması ilkesiyle çalışan bir alettir. Zhu (2011) çalışmasında günlük yaşamda yaşlı bireylerin hayatlarını kolaylaştırmak için çalışmıştır. Sistemde el hareketi, jest ve mimikler,günlük hareketler için giyilebilir sensör etkinliği kullanılmıştır. Açısal ve ivmesel sensörler kullanılarak kamera ve ses destekli donanımlarla hareket tanımlamaları yapılmakta bu sayede günlük yaşamda kullandıkları akıllı telefon bilgisayar gibi donanımları kullanmalarına yardımcı olmaktadır. Sugiyama (2011) çalışmasında insan vücudunun hareketlerini ölçmeye dayalı olan robot kontrol arayüzü çalışmasını anlatmaktadır. Bu giyilebilir arayüz sensörler ve eylemsizlik sensörlerinden oluşur. Kullanıcının vücut ve kol hareketlerini tahmin eder. Giyilebilir kontrol mekanizmalarında wii remote ve jiroskop sensörlerinden faydalanılmıştır. WiiRemote Nintendo Wii konsolunun oyun kumandasıdır. Bu kumandanın en temel özelliği hareket algılayıcı sensörlerinin bulunmasıdır. Bu 7

19 sayede oyuncu ekrandaki uygulamalarla etkileşim içindedir. Wii remote hareket algılama için ivmeölçer ve optik sensör teknolojisini kullanmaktadır. Zhang (2004) yaptığı çalışmada araştırmaları devam etmekte olan uzaktan kontrol edilebilir 6 serbestik çift gözlü robotunun değerlendirme sistemi ve biyomekanik sinyalleri elde etmek için giyilebilir sensörler üzerine çalışılmıştır. Server robot denetleyicisi ve tüm sensörleri bilgisayara hizmet vermek için robot üzerine sabittir. Robot kablosuz kanaldan internete bağlıdır. Rehabilitasyon uzmanları internet vasıtasıyla yarı otomatik değerlendirme programı üzerinden pratik yapmalarını sağlar. İlk elde edilen sonuçlar gösterdi ki robotlar ve sensörler uzaktan değerlendirmenin kalitesini artırmakta ve uzaktan çalışma karmaşıklığını azaltmaktadır. Sistemin çalışma mantığı kamera hasta üzerine yerleştirilen sensörlerin RGB ve HUE (Ton, doygunluk ve Şiddet) değerleriyle hareketi algılamakta denetleyiciye yollamaktadır. Denetleyici internet vasıtası ile bilgileri veri tabanına kaydetmekte ve iş istasyonlarına yönlendirerek uzmanların iyileştirme egzersizlerini takip edebilmektedir. Dohta nın (2008) çalışmasının amacı esnek yer değiştirme sensörünü geliştirmektir. Yer değiştirme ve bükme sensörü insan vücudunun hareketlerini ölçebilir. Sensör çıkışında ölçülen gerilim ile insan vücudundaki hareket arasında doğrudan bir ilişki kurulabilmektedir. Vücuda yerleştirilen bölgede yapılan hareketin büyüklüğü ölçülen gerilimle orantılı olacağından ölçülen gerilim kadar mikrodenetleyiciler sayesinde mekanik aksamın hareket ettirilmesi sağlanmaktadır. 8

20 3. MATERYAL VE YÖNTEM Çalışmanın tümünü oluşturan parçaların ve teknolojilerin projedeki en somut esas kullanım amaçlarına bakılacak olursa; Robot Kolu: Sistemin somut olarak yaptığı eylemleri gösteren elektroniksel donanımdır. Kinect: Kişi hareketlerini algılayacak olan hareket sensörü donanımıdır. WPF: Kinectin algıladığı hareketleri işlemciye ve arayüze aktarmak için kullanılan yazılımdır. C#: WPF in programlanmasında kullanılan kapsamlı yazılım dilidir. Arduino: Yazılımdan aldığı verileri kendi içerisindeki yazılımla birleştirip robot kollara aktaran işlemcidir. Arduino Hourly Build: Arduino işlemcisinin programlandığı arayüz yazılımıdır. TowerPro SG90 Servo: Robot kollarının hareketini sağlayan servo motor donanımıdır. SolidWorks: Robot kollarının tasarımının yapıldığı 3B (üç Boyutlu) çizim programıdır Robot Kolu Robot kolları otomatik üretim sistemlerinde yaygın olarak kullanılmaktadır.robot kollarının en sık kullanıldığı alan ise malzeme taşıma görevleridir.robot kollarıendüstriyel robotlar gibi kategorize edilebilir. Çeşitli endüstriyel robot manipülatörleri farklı otomasyon amaçları için tasarlanmıştır. Robot kollarının dezavantajları kendi yapıları ile sınırlı olmaları ve hizmet görevlerinebağlı kalmalarıdır. Robot kolları hareketleri veya hizmet ettikleri görev ayarları ile kısıtlanmıştır, bu durumu da robot kollarının dezavantajlarından biridir. Endüstriyel robotların, günlük yaşamda görevlerine ve özelliklede insanlarla etkileşime hizmet etmek için uygun değildir (Kuo, 2008). Bu durum insanların günlük işlerinde çözüm sunamadığından dolayı başlarda üzerine çalışılmaya 9

21 değmeyecek bir alan gibi görünse de sonradan robot kollar günlük hayatın içine dahil edilerek ömenli bir çalışma alanı olmuştur. Yaşam kalitesini artırmak amacıyla, araştırma kurumları ve önemli şirketler son zamanlarda hizmet robotları tasarlamak ve üretmek için dikkatle çalışmaya başladı. Birçok ulusal hükümetin, Amerika, Japonya, Kore, Çin, Tayvan, vb, zaten akıllı hizmet robotu adı altında önemli bir endüstrisi de bulunmaktadır(wang, 2009). Bu sektöre haracanan bütçelerde önemli bir boyuttadır. Robot kol alanı üzerinde yapılan çalışmalar arttıkça ekonomiklik boyutuda önemli bir duruma gelmiştir. Robot kollarının birçok kullanım alanının yanında özel olarak endüstriyel alanlarda görüş tekniklerini kullanarak otomatik montaj gibi işlerde kullanılmaktadır. Son yıllarda, robot kol tasarımı ve performansı ile ilgili yarışmaların ve organizasyonların önemli ölçüde artmıştır. Akademisyenler tarafından sektörde yaşanan büyük zorluklardan biri de robot kol maliyetini azaltmak için gösterilen hassasiyettir (Huang, 2011).Geçmiş yıllarla şimdiki zamanı robot kol yapımı ve kontrolü açısından kıyasladığında, geçtiğimiz yıllarda bir robot kolu tasarlaması ve kontrol etmesinin kolay bir iş değildir.günümüzde bile bir robot kolu tasarlanırken ve kontrol edilirken de birçok önlem alınmak zorunda ve birçok ayrıntı düşünülmelidir. Buna ek olarak, farklı robot kol tasarımı farklı kontrol çözümlerine de yol açabilir (Hao, 2011). Robot kolu üzerine yapılan çalışmaların sayısı arttıkça çalışılan robot kolunun biçimsel anlamda da birçok değişikliğe uğradığı söylenebilir. Eklem hareketlerinden yoksun bütün halde tasarlanan robot kollar, dairesel biçimde tasarlanmış tek eksende hareket kabiliyeti olan robot kollar da bu duruma örnektir. Robot kolunun görüntü işleme teknolojisi kullanılarak 3 boyutlu alanda otonom hareketleri çalışılmıştır. Çalışmanın amacı ise robot kolunun hareket hesaplamalarında kullanılan algoritmayı göstermektir. Görüntü tanıma, Ubuntu Linux işletim sistemi üzerinde C ++ programlama dilinde bulunan OpenCV araç setini kullanılarak yapılmıştır. Hareket hesaplama görüntü tanıma kullanarak gerçek zamanlı olarak yapılır. Çalışmada kullanılan robot kolu Lynxmotion AL5A robot koludur ancak hareket hesaplama algoritması her türlü robot kolu için kullanılabilir (Szabó ve Gontean, 2014). 10

22 3.2. Kinect Teknolojisi Gelişen bilişim teknolojilerinin ürünü olan Kinect yada diğer adıyla Project Natal, Microsoft tarafından geliştirilmiş bir donanım aygıtıdır. Microsoft un, Kinect teknolojisi ilk olarak oyun sektöründe tanıtıldı.(hua vd., 2011). Microsoft Kinect sensörleri gibi 3 boyutlu derinlik kameraları, multimedya bilgisayarlar için yeni fırsatlar yaratmıştır.kinect in üretim amacı insanların oyun oynaması ve insanların eğlence dünyasına yeni bir boyut kazandırmaktır (Zeng, 2012). Kinect sensörü, insanların vücudu ile oyunlar arasında doğal bir etkileşim sağlayabilmektedir. Bu etkileşim sayesinde insanların vücut dilleri bilgisayarlar tarafından anlaşılır hale gelmiştir. Bilgisayarların kullanıcıya cevap vermeden önce ilk olarak kullanıcının ne yaptığını anlaması gerekmektedir. Bu konu her zaman bilgisayar dünyasında sürekli üzerinde çalışılan bir araştırma alanı olmuştur. Ancak video kameralar ile bunun ne kadar zor olduğu bu konu üzerinde çalışanlar tarafından iyi bilinmektedir(zeng, 2012). Kinect in özelliklerinin içerisinde en çok dikkat çekeni insan hareketlerini algılamasıdır. Yine Microsoft un başka bir ürünü olan X-Box oyun konsolu ile çalışabilen Kinect, Şekil 3.1 de görüldüğü üzere oyunlarda kontrolör görevi görmektedir (Hua vd., 2011). Yani kullanıcıjoystick, kumanda kolu, fare, klavye gibi hiç bir kontrol aracına ihtiyaç duymadan vücut hareketleri ile oyunu oynayabilmektedir. Şekil 3.1. Kinect donanımı ve X-Box 360 oyun konsolu (Kinect, 2010) 11

23 Kinect, üzerinde bulunan kamera ve ses algılayıcıları sayesinde ortamda bulunan insan veya nesneleri kolay bir şekilde algılayabilmektedir. Kinect in algılama özelliği otomatik olarak oyunlarda sadece XBOX 360 oyun konsolu ile gerçekleşmekteydi (Solaro, 2011). Fakat Microsoft Kinect in bilgisayarlarda da kullanılması için gerekli SDK (Software Development Kit) yı yayınlamıştır. Bununla beraber Kinect Windows işletim sistemi yüklü olan her bilgisayarda kullanılmaya başlanmıştır (Süzen, 2010). Kinect in algılayıcı kameraları, derinlik bilgisi, renk verileri ve iskelet takip verilerini içermektedir. Kinect SDK kullanıcı ara yüzü ile bu verilere erişebilen ve verileri işleyebilen uygulamalar geliştirilebilmektedir. Alınan veriler sayesinde hareket algılama, ses algılama, yüz tanıma ve iskelet takip gibi pek çok uygulamalar geliştirilmesine imkân sunar (Özbay, 2013).Derinlik algılama teknolojisi lisansı İsrail şirket PrimeSense e aittir (Zeng, 2012). Oyun sektöründe kullanılmak üzere üretilen Kinect teknolojisi, üretiminden sonra diğer sektörlerinde ilgisini çekti. Çünkü Kinect insan hareketlerini algılayabilen ilk donanım ürünüdür(khoshelham, 2011). Bu yüzden insan gücünden yararlanılanbütün sektörler Kinect teknolojisinden yararlanmak istemektedir. Bu sebeplerden dolayı sektörlerde, ihtiyaca yönelik Kinect uygulamaları geliştirilmeye başlanmıştır. Uluslararası alanda, Kinect aşağıdaki sektörlerde geliştirilen uygulamalarda kullanılmaktadır Sağlık Sektörü Endüstriyel Tasarım ve Uygulamaları Bilişim Sektörü TV, Reklamcılık Sektörü Eğitim Sektörü Savunma ve Silah Sanayi 12

24 Kinect teknolojisinin temel özellikleri ve bileģenleri Microsoft Kinect sensörünün teknik özelliklerine bakıldığında aşağıdaki sınıflandırma görülmektedir (Kinect, 2012): 1) Sensör a. Renk ve derinlik lensleri b. Microfon dizisi c. Sensör ayarı için motor d. Mevcut Xbox 360 konsolları ile tam uyum. 2) Görüş alanı a. Yatay Düzlemde: 57 derece. b. Dikey Düzlemde: 43 derece. c. Fiziksel Eğim Aralığı: ± 27 degrees. d. Derinlik Sensör Aralığı: 1.2m - 3.5m. 3) Veri Akışları a. 320x bit 30 frames/sn b. 640x bit 30 frames/sn. c. 16-bit 16 khz. 4) İskelet Takip Sistemi a. 6 Kişiye kadar takip, aynı anda iki kişi takibi. b. Aktif varlık başına 20 eklem izleme. Kinect in donanımsal çalışma sistemi de Şekil 3.2. de gösterilmektedir. Şekil 3.2. Kinect in çalışma sistemi 13

25 Kinect içerisindeki, derinlik sensörü Kinect i diğer sensörlerden özel kılar.kinect in derinlik sensörünün yapısının (CMOS - Complementary Metal Oxide Semiconductor) monokrom tamamlayıcı metaloksit yarı iletken kızılötesi kamera ile birlikte kızılötesi projektörden oluşmaktadır. Derinlik sensörünün çalışma mantığıtam tarif edilmemesine rağmen yapısal ışıklandırma ilkesine dayandırılmıştır. Kızılötesi projektöraslında bir kızılötesi lazer olduğu ve bir kırınım yoluyla ızgaradan geçipdaha sonra bir dizi haline dönüştüğü ve kızılötesi noktalarhalinde belirginleşmiştir (Zeng, 2012) Kinect ile iç ve dıģ mekânlarda iskelet takip sistemi Canlı varlık üzerinde tam bir iskelet bir görünümü elde etmek için, varlığın tümünün tüm RGB ve kızılötesi kameraların derinlik kare sınırları içinde olması gerekir. Aksi takdirde insan algılanamaz(huang vd., 2012). Kinect algılayıcı içerisinde çalışan dört adet donanım bileşeni mevcuttur: Renkli VGA (Video Graphics Array) Video Kamera:Bu video kamera; kırmızı, yeşil ve mavi olmak üzere üç renk bileşenini algılayarak yüz tanıma ve diğer algılama özelliklerine destek vermektedir. RGB Görüntü algılayıcısı olarak adlandırılan bu algılayıcı, istenilen çözünürlükte bir fotoğraf makinesi gibi çalışarak uygulamalarda renkli görüntü kullanabilmemize olanak sağlar. Derinlik Algılayıcı: Aydınlatma koşullarından bağımsız olarak üç boyutlu alanı görmek için bir kızılötesi yansıtıcısı ve tek renkli CMOS (Complimentary metal-oxide semiconductor) ile birlikte çalışır. Birden çok mikrofon: Odadaki gürültüden, kullanıcı seslerini izole edebilen dört mikrofon dizisinden oluşmaktadır. Motorlu eğme özelliği: Algılayıcının otomatik olarak aşağı-yukarı yönde hareketini sağlamaktadır. Kinect in resmi sitesinde Kinect, insan organları ve jestleri okuyabilen XBOX-360 platformu üzerinde kullanılanbir oyun kontrolörü olarak tanıtılmaktadır. Kinect, derinlik haritaları oluşturmak için geleneksel uçuş süresi yöntemleri (lazer tarama 14

26 gibi) yerine yapılandırılmış ışık yaklaşımını kullanmaktadır. Bu aygıt projeye bir ışık modeli vermek için kızılötesi (Infrared) verici ve derinliği çözümlemek için öngörülen modellerdeki bozulmaları tespit etmek amacıyla kızılötesi algılayıcı kullanmaktadır (Kinect, 2013). İdeal koşullarda, derinlik akışı 3mm çözünürlüğe sahiptir. RGB ve derinlik kameralarının ikisi de 30 Hz frekansla çalışır (Tölgyessy vd., 2010). Kinect algılayıcı RGB ve kızılötesi kamera ve kızılötesi vericiden oluşmaktadır.kinect in donanımsal iç yapısı Şekil 3.3. te gösterilmektedir. Şekil 3.3. Kinect donanım bileşenleri Kinect in üzerinde 3 adet göz, mikrofonlar ve hareket sağlayıcı bir motor mekanizması vardır. Sol göz lazer projeksiyonu yaparken sağdaki kızılötesi sensör bu ışınların gidiş-geliş süresini hesaplayarak her bir noktanın mesafesini bildirmektedir. Kinect içerisindeki yazılım ise bu veriler ışığında iskelet yapısını hesaplamakta ve bunu XBOX a ya da bilgisayara göndermektedir (Sidik, 2011). 15

27 Kinect içerisinde bulunan mikroişlemci ve kartı Şekil 3.4 deki resimde Kinect in parçalara ayrılmış durumunda görülmektedir. Kinect in çalışma yapısı: Mikroişlemci üzerinde, insanların yapabildiği milyonlarca hareket ve durumun yüklü olduğu bir yazılım mevcuttur. Bu durumlar ve hareketler için özel kodlar bulunmaktadır. Mikroişlemci içerisindeki yazılım, gerçekleştirilen durumu veya hareketi tanımlar ise, buna karşılık gelen özel kodları bilgisayar sistemine yollar. Eğer insanın yaptığı bir hareket Kinect sistemi tarafından algılanmazsa veya tanımlı değilse, Kinect insanın son yaptığı harekette sabit kalır (Süzen, 2011). Şekil 3.4. Kinect in donanımsal yapısı (Kinect, 2010) Kinect teknolojisinin en büyük yeteneklerinden biri de iskelet algılama ve izleme sistemidir. Kinect üzerinde bulunan kızılötesi kamera sayesinde insanın hareketli eklemleri algılanabilmekte ve izlenebilmektedir. İnsan anatomisine bakıldığında Şekil 3.5 deki gibi 20 farklı hareket noktası görülmektedir. Kinect insanda bulunan bu 20 farklı noktayı algılayabilme özelliğine sahiptir (Sidik, 2011).Kinect üzerinde bulunan kızılötesi ışınları yayan kamera sayesinde insanın baş, gövde, kol, el, ayak gibi kısımlarını ve bu kısımların geçebileceği yerler algılanır. Kinect in içerisinde bulunan mikroişlemcide insanın yapabileceği tüm hareketler tanımlıdır. Kamera ve mikroişlemcinin eşzamanlı çalışması sonucunda hareket doğru bir şekilde algılanır (Sergey vd., 2011). Kinect in içerisde bulunan kızılötesi kameranın çalışması: Kinect içerisinde yer alan bu mikroişlemci devresi ROM (Read Only Memory) u üzerinde bir insanın yapabileceği milyonlarca hareket ve durum tanımlı olarak 16

28 gelmektedir. Kinect e hareket algılama komutu verilmesi ile beraber kızılötesi (Infrared) kamera ortama kızılötesi ışın yaymaktadır. Kızılötesi ışınlar insanın el kol, baş ve ayağın geçebileceği noktalara yayılmaktadır. (Ikemura ve Fujiyoshi, 2001). Yayılan kızılötesi ışınların yayıldığı noktalarda insan algılanırsa CMOS (Complementary Metal Oxide Semiconductor) algılayıcılar açılarak hareket tanımlanmaya başlandığını söyler. Kinect içerisindeki ROM da kayıtlı olan hareket algılanırsa sistem bilgisayar sistemine uyarı kod göndermektedir(tong, 2012). Kinect kameraları aynı anda 2 farklı kişinin 20 farklı bölgesini aktif olarak algılayıp izleyebilme yeteneğine sahiptir (Sidik, 2011).Kinect in algıladığı 20 farklı bölge Çizelge 3.1. de verilmiştir. Çizelge 3.1. Kinect in algıladığı bölgeler Baş Sol Omuz Sağ Omuz Sol Dirsek Sol Bilek Sağ Bilek Sağ El Sağ El Sol El Sol Diz Sağ Dirsek Sağ Diz Sol Ayak Sol Ayak Bilek Sağ Ayak Bilek Boyun Sağ Ayak Sol Kalça Sol Kalça Sağ Kalça Orta Kalça Göğüs Kinect yazılımında tanımlı olan iskelet duruşları, insan vücudunun bir kısmı görüş alanı dışına çıksa bile iskelet yapısının görünmeyen kısmını tahmin etmek için kullanılır. Kinect in ortasında bulunan göz ise 640x480 çözünürlüğünde bir RGB kameradır (Süzen, 2012). 17

29 Şekil 3.5. Kinect in algıladığı insanın eklem bölgeleri (Kinect, 2010) Gerçekleştirilen hareket tanımlı hareketler arasında yok ise Kinect sistemi beklemeye almaktadır. Kinect in insan hareketlerinin algılamasına yönelik algoritma Şekil 3.6. daki gibi olmaktadır. Şekil 3.6. Kinect in insan hareketleri algılama algoritması (Süzen, 2010) 18

30 Kinect teknolojisinin bilgisayarda kullanılması Kinect teknolojisinin bilgisayarda verimli çalışabilmesi için gerekli olanasgari donanım gereksinimleri ve yüklenmesi gereken yazılımlar aşağıdaki gibi verilmiştir: Windows 7 (x86 veya x64 ) Dual-Core 2.66 GHZ veya daha gelişmiş bir işlemci 2GB RAM Visual Studio 2010.NET Framework 4.0 DirectX SDK DirectX End-User Runtime Microsoft Speech Platform Windows 7 işletim sisteminde Windows Update vasıtasıyla donanım sürücüleri otomatik olarak yüklenecektir(kinect, 2010) WPF WPF, Windows Presentation Foundation un kısaltılmış hali olup, Microsot un son zamanlardaki.net yapısıyla kullanılan yeni kullanıcı grafik ara yüzüdür(gui)(wpf-tutorial, 2014, Online).Microsoft gelişen yazılım teknolojisine, kullanıcı etkileşimli uygulamalar konusunda eksiği giderecek bir teknoloji sunarak destek olmuştur. Bu teknoloji 2003 yılında Professional Developer Conference etkinliğinde. NET Framework 3.0 ailesi ile birlikte lanse edilmiş ve ilk duyurulduğunda Avalon kod ismi ile anılmıştır (Süzen, 2011). WPFkullanıcıların yeni nesil ara yüz geliştirme ve görüntüleme platformudur. Bu yeni platformun getirdiği yenilikler; görsel olarak daha modern, kullanıcı ile daha etkileşimli, içerik sunumunda daha esnek, uygulamalarda kullanılan ses ve görüntülerin daha kolay sergilenmesini ve zengin içerikli uygulamaların kolay ve hızlı bir şekilde geliştirilebilmesidir (MacDonald, 2010). 19

31 WPF in hız ve kısa süreli açılma gibi zengin etkileşimli yeteneklerini vardır. Ayrıca çalışma ortamlarında değerlendirerek WPF in hem online ve offline çalışmayı destekler ve otomatikkontrol sistemini geliştirmek için çok uygun bir temel oluşturmuştur(she, 2010). WPF Microsoft un yeni nesil uygulamaları oluşturmak için zengin kullanıcı deneyimlerini de taşıyan ara yüzü yapısıdır. WPF.Net yapısının bir parçasıdır. 2 boyutlu ve 3 boyutlu grafikler, dokümanlar çoklu ortam uygulamalarını destekler. Tasarım ve kodlamanın ayrımının bu denli zor olmasından dolayı, WPF bu kontrolü kolay hale getirmiştir (She vd., 2010).WPF in diğer sunum formlarından ayrılan tarafı tasarımcıları ile kod geliştiricilerinin ayrı modellerde çalışabilmesidir (Adam, 2007). WPF teknolojisindeki en büyük yenileşme XAML dir. XAML (Extensible Application Markup Language) yeni bir dil olup uygulama programları için bir bildirim modeli sağlar. XAML ile birlikte geliştiriciler potansiyel olarak farklı araçları kullanarak iş akışı oluştururken kullanıcı ara yüzü ile uygulamanın kod kısmını ayırabilirler. Örneğin, grafik tasarımcıları kullanıcı ara yüzlerini Microsoft Expression Blend ile oluşturur. Daha sonra geliştiriciler Microsoft Visual Studio ortamında bu çalışmaya XAML ile tanımlamalarını gerçekleştirir. Son olarak ise yazılımcılar bu ortama uygun kodları C# ya da Visual Basic.Net dili ile kodlarlar (Kozminski, 2012). Web uygulamalarına oldukça benzeyen WPF uygulamalarına XBAP (XAML Browser Application) denilmektedir. Bu sayede kullanıcıya içerik ve kapasite olarak oldukça zengin uygulama kullanma imkânı verilebilir. Çünkü birçok web sayfası durağan, klasik ve herhangi bir işlemin gerçekleşmesi için sayfanın sunucuya gidip gelmesi bu esnada oluşan beyaz sayfanın kullanıcıyı tatmin etmemesi geliştiriciler için sorun olmaktadır. Günümüzde oldukça popüler olan AJAX (Asynchronous JavaScript and XML -Extensible Markup Language ) tekniği ile bu sorunu gidermeye çalışılmasına karşın XBAP uygulamalarında böyle bir sorun zaten hiç olmamaktadır. Tarayıcılar için geliştirilen eklenti ile (Silverlight plug-in) artık günümüzde XAML ile hazırlanan uygulamalar tarayıcılar üzerinde de çalışabilir hale gelmiştir (Diken, 2011). 20

32 Açık kaynak döküman formatı olarak bildiğiniz XPS (Extensible Markup Language Paper Specification) dosyalarını desteklemektedir. Kolay bir şekilde XPS okuyucular yapmak mümkündür.wpf teknolojisinin birçok özelliği Windows XP Servise Pack 2 ve öncesi işletim sistemlerinde desteklenmemektedir. Performans açısından değerlendirildiğinde Windows 7 ilk sırayı almaktadır (Süzen, 2011). WPF teknolojisinin kullanım alanlarından bahsedecek olursak; günümüzde birçok akıllı telefonda ortak olan görünüm içine simgeler ve menüler okutma ya da multi-touch üzerinden yakınlaştırma gibi uygulama hareketleri WPF kullanılarak yapılmaktadır (Kozminski, 2012). WPF teknolojisi kullanılarak geliştirilmiş Office 2010, Visual Studio 2010 yazılımları Şekil 3.9. da görülmektedir. Şekil 3.7. WPF teknolojisi ile tasarlanmış Visual Studio 2010 WPF in kazandırdıkları aşağıdaki gibidir (Taşdelen, 2010). Tasarım ve kodlama alanlarının birbirinden bağımız olması ile beraber tasarım kodlaması için XAML(Extensible Application Markup Language) isimli işaretleme dili çıkmıştır. 21

33 Windows Form da alışık olduğumuz GDI+ (Graphics Device Interface Plus) kütüphanesi yerine Direct-X altyapısı kullanmaktadır. Silverlight isimli teknolojisi ile web ve mobil alanlar üzerinde tüm yeteneklerini göstermektedir. WPF piksel tabanlı değil vektörel tabanlı bir teknolojidir. Bu yüzden grafik uygulamalarında işlemci ve belleği kullanmak yerine ekran kartının işlemcisini ve belleğini kullanır. Grafik uygulamalarında performansın artması kaynak tüketimini en aza indirmektedir. 3D (3 Dimensional) kütüphanelerini içerisinde bulundurur. WPF ve Silverlight ile birlikte tasarım kodlama kısmını daha verimli kullanabilmek için Expression ailesi geliştirildi. WPF Text Render Engine özelliğini de içerisinde barındırmaktadır. Form uygulamalarında 2D (2 Dimensional) işlemleri için GDI+, 3D işlemleri için Managed Directx API (Application Programming Interface), görüntü desteği için Media Player API kütüphanelerine ihtiyaç vardır. Tüm bu işlemler WPF ile desteklenmiştir C# Programlama Dili Microsoft Visual C#, Microsoft.NET Framework kullanarak uygulamaların oluşturulabildiğigüçlü bir dildir. C++ ve Microsoft Visual Basic in iyi özelliklerinin birçoğunu almıştır bunun yanında bu dillerde ki tutarsızlıklar ve zaman hataları kaldırılmıştır yılında C# 2.0 ın ortaya çıkmasıyla dile, yineleyiciler ve adsız yöntemleri içeren birkaç yeni özellik eklenmiştir(sharp, 2009).Getirdiği en önemli özellik, Language Integrated Query özelliği ya da LINQ dur. Visual Studio 2008 tarafından sağlanan geliştirme ortamı, bu güçlü özelliklerin kullanımını kolaylaştırır ve Visual Studio 2008 in içerdiği birçok yeni sihirbaz ve iyileştirmeler, yazılım geliştirici olarak üretkenliğinizi önemli ölçüde artırır (Sharp, 2009). Sharp (2009) çalışmasında C# programlama dilinin diğer programlama dillerinden ayıran bazı özellikleri şu şekilde sıralamıştır: 22

34 Öğrenilmesi kolaydır. Yüksek verim. Program yazarken oluşan hataların önüne geçilmiştir. Nesne yönelimli programlamayı destekler. Bu sayede büyük ölçekli projeler hızlı bir şekilde geliştirilebilir. Güç ve kolaylık arasında denge sağlar. Hızlı ve güçlü programlar geliştirmek için uygundur. XML desteği(sharp, 2009). C# programlama dilinin bilgisayar dünyasında her platformda çalışacak yazılımlar geliştirilmek için kullanılabilir ve C# ile yapılabilecek bazı işler şnlardır: C#, Windows uygulaması gerçekleştirme, Asp.Net uygulaması geliştirme. Windows için gelişmiş, güçlü, hızlı ve güvenli program yazma. Web form uygulamaları geliştirme. Web üzerinden servis veren program parçacıkları yazma. Mobil uygulamalar geliştirme..net desteği olan diller için güçlü, hızlı ve esnek DLL (Dynamic Link Library) bileşenleri yazma. WPF uygulamaları geliştirme. Dokunmatik donanım kontrolü için kolay kütüphane barındırma ve yazma(algan, 2009) Arduino Arduino açık kaynaklı, donanım ve yazılımın kullanımını kolaylaştıran esnekliğe dayalı bir elektronik prototip platformdur.arduino nun çevredeki çeşitli sensörlerden aldığı girdileri algılayıp ve çevresindeki çevre birimlerini de etkileyebildiği, Arduino projelerinin, yazılım ve donanımdan bağımsız olarak tasarlanabileceği gibi bilgisayar yazılımıyla da çalıştırılıp birimlerle haberleştirilebilir (Zapkoli,2013). Arduino nun yazılım ve donanım parçalarının birbirinden ayrılabilmektedir. Arduino nun getirdiği yeniliklere bakılcak olursa: Birçok bilgisayar bilim adamı yazılım geliştirmeye, birkaç uzman mühendis ise yazılımı donanımsal gelişmelerden 23

35 ayırmaya odaklanmıştır. Tasarımı, mimarisi sabır ve zaman alır, birçok yazılım geliştiricinin sadece kod yazması ve başkası tarafından tasarlanmış donanım kullanmasının nedeni budur.arduino gibi bir mikroişlemciler bu geleneksel ayrımı değiştirir, herkes için donanım geliştirme daha kolay hale gelmiştir. Sadece donanım inşası kolaylaşmakla kalmadı daha eğlenceli hale gelmiştir ve nispeten diğer yollardan daha da ucuza mal olmuştur. Birçok mühendisin, özel geliştirilen yazılım ve donanımı kullanarak problemleri de çözülmüştür (Banzi, 2014). Arduino çeşitli sensörlerden analog veya dijital giriş alabilir ve akülatörleri kontroledebilir. Mikrodenetleyici kartları Arduinoprogramlama dili (Kablolu) ve (İşleme dayalı) Arduino geliştirme ortamı kullanılarak programlanır(banzi, 2014). Nominal özellikleri Çizelge 3.2. de sunulmuştur(arduino ADK Schematic, ). Çizelge 3.2. Arduino platformun özellikleri ve değerleri Özellik Değer Mikrodenetleyici ATmega2560 Çalışma Gerilimi 5 V Dijital Giriş/Çıkış Pinleri 54 Analog Giriş Pinleri 16 (10 bits) Flash Hafızası 256 kb Clock Hızı 16 MHz Boru Hattı (PipeLine) 1 SRAM 8 Kb EEPROM 1 Kb Timer 2 (8 bits) e 4 (16 bits) SPI Sim Topoloji RISC Giriş Gerilimi 7-12 V DC Akım Giriş/Çıkış Pin Başına 40 ma DC Akım 3.3 V için 50 ma Arduino için bir başka tanımı da Yan (2014) Zapokoli nin (2013) tanımıyla neredeyse aynı şeyleri söyleyerek yapmıştır. Yan a göre Arduino açık kaynak düzeni ile hem yazılım hem donanım düzeyinde bilgi paylaşımını içeren esnek ve kullanıcı 24

36 dostu olan bir elektronik prototip platformdur.arduino ürünleri sade yapısı, maliyeti, etkin ve düşük güç tüketimi gibi özellikleri sayesinde son birkaç yılda çarpıcı bir büyüme gerçekleştirdi. Arduino platformu elektronik dünyasındaki insanlarla iyi bir izlenimle tanınır hale gelmiştir (Mellis D., 2007).En eski programlanabilir devre kartlarına aksine, Arduino da karta yeni kod yüklemek için ayrı bir donanım parçasına ihtiyaç yoktur. USB (Universal Serial Bus) kablosu ile kolayca yükleme yapılabilir. Arduino basitleştirilmiş bir C++ yazılımı kullanmaktadır. Bu durum programı öğrenmeyi basitleştirdi (Badamasi Y. A. 2014).Arduino kartların ana elemanları incelenecek olursa; USB Plug: Bu Arduino nun ilk parçasıdır çünkü mikrodenetleyiciye kodları yüklemede bu yol kullanılmaktadır ve gücü Arduino nun çalışma gücü olan 5 volta düzenleyebilmektedir (A. M. Gibb,2010). Harici Güç Kaynağı: Bu kısım sadece kartın gücü için kullanılır ve 9 ile 12 volt arasında güç düzenlemesi yapar. Çoğunlukla, eğer USB bağlantısı gerekli minimum gücü sağlayamaz ise her şartta mikrodenetleyicinin programlanmasını sağlar (Badamasi Y. A. 2014). Reset Butonu: Bubuton basıldığıtakdirde Arduino yu sıfırlar. Başka bir komut yüklenmek istendiği zaman kullanılır. Mikrodenetleyici: İlgili devreye bilgi veya emir alıp göndermek için kullanılan cihazdır. Analog Pinler (0-5) : A0 dan A5 e kadar analog giriş pinleridir. Dijital Giriş / Çıkış Pinleri: 2 13 arasındaki pinler dijital giriş çıkış pinleridir. İç Devre Programcısı: Bu kısım programı programlamak için bir başka kaynaktır. Aynı zamanda TX-1, I çıkışı ve RX-l,O" girişi yapılabilir (Badamasi Y. A. 2014). Dijital ve Analog Topraklama Pinleri: Topraklama için kullanılır. Güç Pinleri: 3.3 ile 5 volt arasında güç pinleri mevcuttur. 25

37 3.6. Arduino Hourly Build Derleyicisi Arduino işlemcilerini programlamak için hazırlanmış olan bu arayüz programının kullanımı oldukça basittir. Arduino nun resmi sitesindeki Software bölümünden ücretsiz olarak indirilebilen bu yazılım C++ dili ile kodlanmaktadır. Hourly Build derleyici arayüzü Şekil da görülmektedir. Şekil 3.8. Arduino Hourly Build platformu Arayüzde derleme ve işlemciye kod yükleme işlemleri rahatlıkla gerçekleştirlebilmektedir. Kullanımı basit olan bu yazılım birçok Arduino kullanıcısına büyük kolaylıklar sağlamaktadır TowerPro SG90 - Micro Servo Motoru Eklemlerinin hareketinin sağlayacak olan donanım parçası TowerPro SG90 mikro servosu seçilmiştir. Her bir robot kolunda 5 tane olmak üzere sistemde toplam 10 adet bu servo motordan kullanılmıştır. Servo motorun özellikleri Çizelge 3.3. te listelenmiştir. 26

38 Çizelge 3.3.TowerPro SG90 - Micro Servotemel özellikleri Ölçüler Hız (4.8V yüksüz) Zorlanma Torku Kablo uzunluğu Çalışma Voltajı Dönüş açısı 22 x 11.5 x 27mm 0.12sn/60 derece 1.2kg-cm (4.8V); 1.6 kg-cm (6.0V) 25 cm 4,8V-7.2 Volt 180 derece Projede kullanılan TowerPro SG90 - Micro Servo motoru Şekil 3.11 de gösterilmektedir. Şekil 3.9. TowerPro SG90 - Micro servo Dönüş açısının geniş olması, düşük voltajda çalışması ve hızlı dönüş süresi projede bu servo motorun kullanılmasında etkili olmuştur (Online, 2015) SolidWorks Dassault Systèmes SolidWorks Corparation veri oluşturmanızı, analiz etmenizi, yayınlamanızı ve yönetmenizi sağlayan eksiksiz 3 boyutlu yazılım araçları sunar. SolidWorks ürünlerini öğrenmek ve kullanmak kolaydır. Bu ürünler birlikte çalışarak ürünleri daha iyi, daha hızlı ve daha düşük maliyetlerle üretmenize yardımcı olur. SolidWorks ün dikkat gösterdiği kullanım kolaylığı, daha çok mühendisin, tasarımcının ve diğer teknoloji uzmanlarının 3B nin avantajlarından daha çok faydalanmasını sağlar. Programdan endüstri, medikal, bilim, tüketim malları, eğitim, 27

39 teknoloji ve taşımacılık gibi sektörlerde sıkça faydanılmaktadır.solidworks programının tasarım ekranı Şekil de gösterilmektedir (Solidworks, 2015). Şekil SolidWorks programı arayüzü Solidworks programın genel içeriği SolidWorks tasarım programı çok gelişmiş bir platformdur. Karmaşık mekanizmaların tasarlanması, sistemlerin çalışma similasyonlarına kadar birçok alanda gelişmiş uygulama yapma imkânı sunmaktadır. Bu program yardımı ile yapılabileceklere bakılacak olursa; 1. Sketcher (Taslak OluĢturma) Profil çizimleri Profillere uygulanacak işlemler 28

40 2. Part Design (Parça Tasarımı) Görüntü ayarlamaları Sketch tabanlı uygulamalar Katı modelleme Katı modelin translation ile koordinatların değiştirilmesi Sac metal şekillendirilmesi Yüzey oluşturma işlemleri Yüzey tabanlı katı oluşturma Parçaların imali için gerekli olan kalıplamanın uygulanması 3. Assembly Design (Montaj Tasarımı) Parçaların montajlanması Kısıtlamaların oluşturulması Mekanizmaların hareketi Mekanizmalarda hareket engelleyiciler Mekanizmalarda bağımlı hareketler Montajlara Toolbox yardımı ile parça çağrımı Smart Mate ile hızlı parça ekleme 4. Drafting (Hazırlık) Teknik resimlerin çıkarılması Görüntü oluşturma Ölçümlendirme Montaj numaralarının girilmesi Şekil ve ölçüsel toleranslar 5. Analiz Cosmos Works ile basit bir parçanın lineer gerilme analizi Cosmos Works ile basit bir parçanın termal analizi Burkulma analizi Optimizasyon testleri Tasarlanan bir parçanın her türlü sınır şartları altında test edilmesi 29

41 6. Simülasyon Cosmos Motion yardımı ile basit mekanizmanın bağlantılarının tanımlanması Bağlantılara sürtünme eklenmesi Çarpışma sonucu oluşması gereken itme momentum değerleri bulunması Mekanizmanın simülasyonu SolidWorks programı internette bulunabilecek ücretsiz eğitim notları ile rahatça öğrenilebilecek bir tasarım programıdır. En yaygın kullanılan 3 boyutlu katı modelleme yazılımıdır. Birçok Üniversite, meslek yüksekokulu ve teknik lisede eğitimi verilmektedir. AutoCAD kullanıcılarının birçoğu, 2 boyutlu çizimlerden 3 boyutlu çizimlere geçiş için SolidWorks programını tercih etmiştir. Bunun en önemli sebebi AutoCAD dosyaları ile en uyumlu 3B CAD yazılımının SolidWorks programı olmasıdır. SolidWorks programı makine, mobilya, plastik/sac kalıpçılığı, otomasyon, mekatronik, endüstriyel ürün tasarımı gibi birçok alanda yaygın olarak kullanılmaktadır. 30

42 4. ARAġTIRMA BULGULARI Gerçekleştirilen çalışma, Şekil 4.1. deki gibi yazılımsal ve donanımsal işlemler olmak üzere iki başlıkta toplanmaktadır. Gerçekleştirilen robot kol sisteminde iki ayrı yazılım geliştirilmiştir. Birincisi Kinect in insan hareketlerini algılayıp sayısal verilere dönüştürülmesi için gerçekleştirilmiştir. Gerçekleştirilen diğer yazılım ise Arduino işlemcisi sayesinde servo motorların sürülerek robot kol eklemlerinin hareket ettirilmesi içindir. Sistemin çalışabilmesi için öncelikli olarak bilgisayarda sorunsuz çalışan bazı yazılımlara ihtiyaç olacaktır. Bunlardan ilki Kinect SDK versiyon 1.8 dir. Kinect donanımının sorunsuz çalışabilmesi için Windows sürümlerinden versiyon1.8 in kurulu olması gerekmektedir. Bununla birlikte Arduino işlemcisinin çalışabilmesi, veri iletimi vebir seri port açmada sıkıntıya düşmemek için Arduino Mega nın sürücüsünü de kurulmasıgerekmektedir. Şekil 4.1. Gerçekleştirilen çalışmanın blok diyagramı Kinect yardımı ile hareket ettirilebilen robot kol noktaları şu şekilde sıralanabilmektedir: Sağ Omuz Sol Omuz Sağ Dirsek Sol Dirsek 31

43 Sağ Bilek Sol Bilek 4.1. Robot Kolu Mekanik Aksamı Robot kolun parçaları tek tek modellenerek üç boyutlu yazcıdan çıktıları alınmıştır. Daha sonra parçalar uygun biçimde birleştirilerek mekanik aksamının tasarımı yapılmıştır. Eklemlerin bağlantı noktaları, servo motorların yerleştirileceği havzalar, kasaya sabitleme mekanizması, tutma mekanizması Şekil 4.2. de görülmektedir. Şekil 4.2. Robot kolu mekanik aksam tasarımı 5 eksenli robot kolun mekanik aksamı Solidworks programında çizilerek ayrı ayrı parçalar halinde üç boyutlu yazıcı ile üretilmiştir. Eksenlerin kontrolü için bir kolda 5 adet tower pro sg90 mikro servo motor kullanılmıştır. Sistemin üretildiği üç boyutlu yazıcı Şekil 4.3. te görülmektedir. 32

44 Şekil 4.3. Robot kolun çıktı alındığı üç boyutlu yazıcı 4.2. Kinect Arayüz Yazılımı Gerçekleştirilen çalışmanın önemli bir bölümünü kapsayan arayüz yazılım Şekil 4.4. deki gibi gösterilmiştir. Gerçekleştirilen yazılım Kinect karşısında yapılan kol hareketlerini göstermekle beraber, kişinin hareketlerinin x,y ve z boyutlarındaki konumlarını da algılayıp değerlerini göstermekte, bununla birlikte yaptıkları açıları da anlık olarak ekrana yazmaktadır. Hareketlerin algılanması için Kinect teknolojisinin sisteme bağlı olması gerekmektedir. Robot kollarının kontrol edilmesi için gerçekleştirilen yazılım için Visual Studio 2015 platformu kullanılmıştır. Visual Studio 2015 platformu üzerinde WPF teknolojisi kullanılarak yazılımlar tamamlanmıştır. WPF teknolojisi C# programlama dili kullanılarak geliştirilmektedir. 33

45 Şekil 4.4. Kinect kullanıcı arayüzü Arayüzde görüldüğü üzere tüm eklemlerin x,y ve z boyutlarındaki konumları anlık olarak alınarak panelde gösterilmektedir. Bunun yanında kişinin yaptığı hareketlerin açıları da alınarak anlık olarak arayüzde gösterilmektedir. Arayüzde görülen sliderlar Kinectten bağımsız çalışabilmektedir. Tutma uzuvlarının çalışması için gerekli olan parmak ve bilek hareketleri eski versiyonkinect sensörü kullanıldığı için arayüzde görülen sliderlar kullanılmış olup tam kapasiteli açma kapama hareketleri bu kontrol nesneleri ile gerçekleştirilebilmektedir. Slider 0 ile 180 derece arasında değer alabilmektedir. İşaretlenen değer kadar motor hareketi sağlanmakta ve mekanik aksam kontrol edilebilmektedir. Gerçekleştirilen yazılım karmaşık bir yapıya sahip olduğu için gerçekleştirilme aşamalarına göre aşağıdaki basamaklardan oluşmaktadır. Kullanıcı arayüz tasarımının gerçekleştirilmesi. Kinect in hareketlerini algılama yazılımının gerçekleştirilmesi. 34

46 Yazılımın Arduino devresi ile iletişiminin gerçekleştirilmesi. Arduino kontrol yazılımın gerçekleştirilmesi. Yazılımın test edilmesi Kinect in kiģi hareketlerini algılama yazılımının yapısı Kinect, insan hareketlerini Xbox oyun konsolundan otomatik olarak algılayabilme özelliğine sahiptir. Ancak bilgisayar üzerinde aynı işlemi yapamamaktadır. Bunun için Visual Studio 2015 üzerinde WPF kullanarak Kinect teknolojisinin hareket algılama özeliğini yapılandırmak gerekmektedir. Bunun için Microsoft tarafından yayınlanan Kinect teknolojisinin kullanımına yönelik kütüphaneleri içeren SDK ın indirilmesi gerekmektedir. Bu SDK sayesinde C# programlama dili kullanılarak kişinin gerçekleştirdiği hareketler algılanabilmektedir. Kinect ten gelen hareketlerin nasıl algılandığını ve tanımlandığını gerçekleştiren kodlar EK A ve EK B de verilmiştir. Kinect insanda bulunan 20 farklı bölgeyi algılamaktadır. Fakat robot kolları için tüm eklemlerin kullanımı gerekmemektedir. Bu yüzden Kinect ten gelen veriler, kişinin kol durumuna göre değerlendirilecektir. Gerçekleştirilen çalışmada, Kinect ın başla komutu ile gerçekleşen sürecin algoritması Şekil 4.5. te gösterilmiştir. 35

47 Şekil 4.5. Kinect yazılımının çalışma algoritması Kinect sensörü başlatılır ve Kinect sensörü kızılötesi ışınlar yayarak kamera önünde algılanan bir insan iskeleti olup olmadığını kontrol eder. Bu kızılötesi ışın yayma durumu bir iskelet algılanana kadar devam edecektir. Eğer Kinect sensörü iskelet algılarsa CMOS algılayacılarını açar ve iskeletin hareketlerini mevcut kütüphaneleri yardımı ile anlamlandırmaya çalışır. Anlamlandıramadığı hareketle karşılaştığında herhangi bir işlem yapmayacak ve CMOS algılayıcılarını kapatacaktır. Tersi durumda ise anlamlandırdığı hareketin hangi işleme karşılık geldiğini tanımlamaya 36

48 çalışacaktır. Bu işlemin arkasından anlamlandırılan kol hareket verileri mevcut yazılıma aktarılarak karşılık gelen kodun yazılım taradından Arduino işlemcisine aktarılması sağlanacaktır Sistemin Arduino Bağlantısı Yapılan çalışmada Arduino Mega 2560 kartının seçilmesinin en önemli sebebi PWM (Pulse Width Modulation) çıkış sayısının fazla olmasıdır. Karta bağlanan 10 adet servor motor 10 adet PWM çıkışı kullanmaktadır. Örneğin, Arduino UNO kartında 5 adet PWM çıkışı bulunmakta ve bu kart proje için yeterli gelmemektedir. Servo motorların sinyal pinleri Arduino nun 12-3 no lu pinlerine bağlanmaktadır.kullanılan pinler Şekil 4.6. dagösterilmiştir. Arduino kart üzerindeki pinlerin kontrol ettikleri servo motorlar da Çizelge 3.4. te gösterilmiştir. Şekil 4.6. Arduino Mega Servo bağlantı pinleri Arduino Mega 2560 işlemcisinin sistemin kontrol edildiği bilgisayara bağlandığı veri aktarımını sağlayan USB Port Şekil 4.6. da görülmektedir. Arduino işlemcisini programlamaya yarayan Arduino Hourly Build arayüzü çalıştırıldığı anda bilgisayar üzerinde otomatik boş olan bir seri portu seçmekte ve veri aktarımını bu yol üzerinden sağlamaktadır. Yapılan bu çalışmada kullanılan bilgisayar veri yolunu COM3 olarak belirlemiş ve yazılım da buna uygun olarak gerçekleştirilmiştir. 37

49 Çizelge 3.4.Arduino Mega 2560 pin servo bağlantıları 12 no lu pin Sol Kol Omuz Ekleminin Servo motoru 11 no lu pin Sol Kol Dirsek Ekleminin Servo motoru 10 no lu pin Sol Kol Bileğinin Servo motoru 9 no lu pin Sağ Elin Servo motoru 8 no lu pin Sağ Elin Tutma Servo motoru 7 no lu pin Sağ Kol Omuz Ekleminin Servo motoru 6 no lu pin Sağ Kol Dirsek Ekleminin Servo motoru 5 no lu pin Sağ Kol Bileğinin Servo motoru 4 no lu pin Sağ Elin Servo motoru 3 no lu pin Sağ Elin Tutma Servo motoru Servo motorların 5v Gnd bağlantısının yapıldığı Regülatör devresi Şekil 4.7. dagörülmektedir.regülatör devresinin güç bağlantısışekil 4.7. de gösterilmektedir.her bir servo motor 200 miliamperlik akım çekmektedir. 10 adet servomuz toplamda 2 amperlik akım ihtiyacı duyar. Hazırlanan 3 amper 5 vol regülatör devresi sayesinde sistem sağlıklı çalışmaktadır. Şekil 4.7. Servo motorların regülatör devresi Hazırlanmış olan regülatör devresinin şeması ise Şekil 4.8. de gösterilmektedir. 38

50 Şekil 4.8. Servo motorların regülatör devresi şeması 4.4. Sistemin ÇalıĢması İskelet yapısının algılanmasında, Kinect'in üzerindeki lazer projektörü ve algılayıcısı görev alır. Projektör, görüş açısına sürekli lazer ışını gönderir. Algılayıcı ise, ışığın yansıma hızını hesaplayarak derinlik görüntüsü çıkarır. Kinect'in içerisindeki görüntü işleme algoritması ile iskelet yapısı oluşturulur.aynı anda 1 yada 2 kişinin iskelet yapısına ulaşılabilir. Altı kişinin de hareketi belirlenerek, örneğin, en aktif yada merkeze en yakındaki kişinin takibi sağlanabilir. 39

51 Şekil 4.9. Sistemin hareketi algılayıp kolları hareket ettirmesi Kinect sensörünün iskelet hareketlerini algılayıp işlemesi için gerçekleştirilen yazılım başlatılır. Yazılım açıldığında Arduino işlemcisine veri yollayacağı seri haberleşme portunu kontrol eder. Sensör karşısında anlamlı iskelet hareketi algılayana kadar çalışır durumda hazır bekler. Anlamlı hareket algılandığı anda iskeletin eklem açıları ve iskeletin x,y ve z düzlemlerindeki koordinat noktaları saniyede 30'a kadar tetiklenen eventler ile hesaplanıp uygulama ekranında rapor edilir. Elde edilen bu noktalar matematiksel işlenebilir verilere dönüştülmesi için önceden hazırlanmış metoda parametre olarak gönderilir ve metodlarda işlenir. Yapılan bu işlemlerde kişinin bilekten dirseğe kadar olan uzunluğu, x eksenlerinin birbirinden çıkarılması ile elde edilir. Daha sonra bu uzunluk vektöre dönüştürülmesi için hazırlanan metoda yollanır. Benzer işlem dirsekten omuza kadar olan uzunluk için de yapılır ve bu uzunlukta vektöre dönüştürülür. Daha sonra vektöre dönüştürülen bu yapılar arasındaki açı cosinüs teoremi yardımı ile hesaplatılır. Şekil da gösterildiği gibi x,y,ve z noktaları bilinen durumda açı hesaplama işlemi aşağıda anlatıldığı gibi yapılmaktadır. Cosinüs teoreminin uygulanabilmesi için öncelikle eklemler arası mesafenin vektöre çevilmesi gerekmektedir. Koordinatları bilinen iki noktanın matematiksel olarak vektörel norma çevrilmesi şu şekilde yapılmaktadır: 40

52 PA = x 1 x 2, y 1 y 2, z 1 z 2 (4.1) PB = x 3 x 2, y 3 y 2, z 3 z 2 (4.2) PA, PB ifadeleri noktalar arasındaki vektörel normu ifade eder. x 1, x 2,x 3, y 1, y 2, y 3,z 1, z 2, z 3 ifadeleri eklemlerin vektörel koordinalerını ifade eder. Aynı noktadan başlayıp farklı yönlere uzanan iki vektör arasındaki açının hesaplanabilmesi için vektörlerin ayrı ayrı uzunluklarının da hesaplanması gerekmektedir. Uzunluk hesaplaması ise şu şekilde yapılmaktadır: PA = (Ax. Px) 2 + (Ay. Py) 2 + (Az. Pz) 2 (4.3) PA, PA vektörünün boyunu ifade eder. PB = (Bx. Px) 2 + (By. Py) 2 + (Bz. Pz) 2 (4.4) PB, PB vektörünün boyunu ifade eder. Açıyı hesaplamamız için gerekli olan tüm birimler dönüştürülüp işleme girmeye hazır oluktan sonra, iki vektör arasındaki açıyı hesaplamamızı sağlayan ana fomül: Cosθ = PA. PB PA. PB (4.5) Cosθ, iki vektör arasında oluşan θ açısının cosinüs teoremi elde edilecek değerdir. 41

53 Şekil Eklem mesafelerinin vektöre çevirilip arasındaki açının hesaplanması İşlenen bu veriler Arduino Mega 2560 işlemcisine port üzerinden gönderilir. Gelen verilerin servo motorları hareket ettirmesi için hazırlanmış yazılım Arduino işlemcisinin içerisinde hazır yüklü halde bulunmaktadır. Bilgi verilmesi gereken önemli bir nokta da şudur: Arduino yazılımında ana iki döngü bulunmaktadır. Bunlardan bir tanesi setup yapısı diğeri ise loop yapısıdır. Setup yapısında gerekli giriş çıkış tanımlama işlemleri yapılır. Bu çalışmada yapılan yazılımda da setup yapısı bu şekilde kullanılmıştır. Geriye kalan kodlamalar ise genel olarak loop yapısının içinde bulunmaktadır. Fakat bu projede kodlar loop döngüsünün içerisine yazılmamıştır. Kodların çalıştırılması için Serial Event isminde bir metod kullanılmaktadır. Bunun sebebi loop yapısının kendiliğinden sürekli tekrarlayan bir çalışma yapısı olmasıdır. Çalışmada kullanılan Serial Event metodu ise sadece seri porttan veri geldiği anda çalışmaktadır. Bu sayede Arduino kart ve servo motorlar daha az yorulmuş olmaktadır. Arduino işlemcisi tarafından veriler gerekli sayısal değerler kadar ilgili servo motora sürüm emri olarak iletilir.bu sürüm emrinin çalışma mantığı gelen string tipindeki sayısal veriyi öncekle int değerine dönüştür. Bu dönüşümün ardından veri 1000 e bölünür. Bulunan rakam kaç numaralı servo motorun çalıştırılacağını bildirmektedir. Daha sonra gelen değerin 1000 e göre modu alınır. Elde edilen değer ise kaç derecelik bir döndürme yapılacağıdır. Motor sürüm işlemi tamamlanana kadar emir 42