Otomatik Kontrol Ulusal Toplantısı, TOK'2015, Eylül 2015, Denizli

Transkript

1 Görüntü İşleme İle 3 Eksenli Robot Mekanizması Üzerinde Nesne Ayırt Edilmesi ve Sıralanması Object Discrimination and Sorting with Image Processing on 3-Axis Robot Mechanism Aykut Çubukçu 1, Melih Kuncan 2, Mehmet İmren 3, Fatih Erol 4, H.Metin Ertunç 5, Sıtkı Öztürk 6, Kaplan Kaplan 7 1,2,5,7 Mekatronik Mühendisliği Bölümü Kocaeli Üniversitesi, Umuttepe cubukcuaykut@gmail.com, {melih.kuncan, hmertunc, kaplan.kaplan}@kocaeli.edu.tr 3,4,6 Elektronik ve Haberleşme Mühendisliği Bölümü Kocaeli Üniversitesi, Umuttepe imrenm@gmail.com, fth.erol@hotmail.com, sozturk@kocaeli.edu.tr Özetçe Bu çalışmada, üç eksenli taşıyıcı sisteme monte edilmiş bir kamera vasıtasıyla ara yüz üzerinden girilen metnin siyah zemin üzerinde harf/sayılar ile oluşturulması üzerinde çalışılmıştır. Kelimedeki harfler analiz edildikten sonra veri tabanındaki veriler ile karşılaştırılması yapılmakta ve harf/sayıların konumu belirlenmektedir. Konum belirleme işlemi MATLAB ortamında görüntü işleme metotlarıyla yapılmaktadır. Konumu belirlenen harf/sayılar vakum tutucu ile tutulur ve kelime tekrardan oluşturulmaktadır. Harf/sayıların belirlenen konumlara taşıma işlemi S PLC ve servo sürücü kartlar kontrolünde servo motorlar ile yapılmaktadır. Abstract In this study, the creation of the text entered via the interface with letters/numbers on a black background have been studied with a camera mounted on three-axis carrier system. After analyzing the letters of the word and is compared with data in the database and the position of the letter/number is determined. The location determination is done with MATLAB image processing methods. Letters/numbers whose position is determined is held with vacuum holder and words is formed again. Carrying operation to determined position of letters/numbers. 1. Giriş Görüntü işleme, gerçek yaşamdaki görüntülerin resim haline getirildikten sonra özelliklerinin ve niteliklerinin değiştirilmesi işlemidir [1]. Görüntü işlemeyi tam olarak açıklayabilmek için insandaki görme sisteminin temel mantığının bilinmesi oldukça önemlidir. İnsandaki görme sisteminin temel mantığı kısaca, gözün bir fotoğraf makinesi gibi düşünülmesi ve beynin görme bölümleri de karmaşık bir görüntü işleme sistemi olarak düşünülmesiyle açıklanabilir [2]. Görüntü işleme teknolojisi günümüzde endüstriyel birçok uygulamada vazgeçilmez olarak uygulanmaktadır. Bu teknoloji, otoyoldan geçen araç sayısını saymak, aracın plakasını okumak, farklı şekle sahip cisimleri ayırmak, farklı renklerdeki cisimleri algılamak veya bir tomografi görüntüsünün netleştirilmesi gibi birçok alanda kullanılmaktadır [3]. Robot birçok endüstriyel uygulamada kullanılan, iki veya daha fazla eksene sahip, programlanabilir bir makinadır. Görüntü işlemede olduğu gibi, robotlarda birçok uygulama için insan kolunun işlevinden esinlenerek tasarlanmıştır. İnsan kolundan esinlenerek tasarlanan, birçok eksene sahip robotlar olduğu gibi kinematik sistemi basit ve 3 eksenden oluşan kartezyen robot çeşitleri de bulunmaktadır [4]. Kartezyen robotlar birbirine dik eksenlerden meydana gelmektedir ve çalışma uzayları robotun 3 eksenindeki boyutlarla sınırlıdır. Üç doğrusal eksenden meydana gelen kartezyen robotlar, endüstriyel imalat amaçlı uygulamalarda yaygın olarak kullanılmaktadır [5]. Gantry sistemler yatay, dikey ve düşey hareketleri gerçekleştirmesinden dolayı kartezyen robot çeşitleri arasında gösterilmektedir. Gantry sistemler yatay ve dikey eksende belirlenen konuma gidilmesi ve taşıma işini yaparken, düşey eksende ise parçanın alınması, tutulması ve bırakılması işlemlerini yapmaktadır. Gantry robotlarda tutma işlemi pnömatik bir sistem olan vakum tutucu vasıtasıyla yapılabildiği gibi mekanik ve hidrolik mekanizmalar ve elektrik tahrikli sistemlerle de yapılabilmektedir. Gantry sistemler, birçok otomasyon uygulamasında kullanılmıştır [6,7]. Programlanabilir Lojik Kontrolörler (PLC) otomasyon devrelerinde yardımcı röleler, zaman röleleri, sayıcılar gibi kumanda elemanlarının yerine kullanılan mikroişlemci temelli cihazlardır. Bu cihazlarda zamanlama, sayma, sıralama ve her türlü kombinasyonel ve ardışık lojik işlemler yazılımla gerçekleştirilir. Bu nedenle karmaşık otomasyon problemlerini hızlı ve güvenli bir şekilde çözmek mümkündür. Bu çalışmada, kamera tarafından alınan görüntü MATLAB Guide ara yüz programına aktarılmıştır. MATLAB ortamında görüntü işleme metotlarıyla ara yüz üzerinden girilen kelimedeki harf/sayıların tanımlanmış ve metin 3 eksenli robot ile tekrardan oluşturulmuştur. Görüntü işleme ile 637

2 kelimedeki harf/sayıların konumu belirlendikten sonra gantry kartezyen robot motorlarına konum bilgisi gönderilmektedir. MATLAB-PLC haberleşmesi OPC ile sağlanmıştır. Motorların kontrolü S PLC ile MATLAB üzerinden yapılmaktadır. S PLC üzerinden kontrol edilen servo sürücü kartları, aldığı komutlara bağlı olarak motorları harekete geçirmektedir. Motorların harekete geçmesiyle birlikte sistemdeki temel işlevler olan cismin konumuna gitme, cismi tutma-taşıma bırakma işlemleri yapılmaktadır. Böylece girilen kelimedeki harf/sayılar analiz edilmiş ve görüntü işleme metotları kullanılarak gantry robot ile kelime tekrardan oluşturulmuştur. Şekil 1 de sistemin akış diyagramı gösterilmektedir. Sistemde motorların doğru kontrol edilmesinde görüntü işleme ile kelimedeki harf/sayıların tanınması ve konumlarının belirlenmesi oldukça önemlidir. Şekil 3: Gantry Robot Düzeneği Şekil 1: Sistem akış diyagramı 2. Deney Düzeneği Gantry robot üç eksende hareket edebilmektedir. Şekil 2 de gantry robot yapısı gösterilmektedir. Bu çalışma Şekil 3 te gösterilen gantry robot düzeneğinde gerçekleştirilmiştir. Sistemin üzerinde siyah zemine bakan USB kamera bulunmaktadır. Siyah zemin üzerindeki cisimlerin görüntüsü bu kamera vasıtasıyla USB bağlantı üzerinden bilgisayara aktarılmıştır. Sistemde aktarılan görüntüye bağlı olarak hareketi yapmak için 2 adet servo motor bulunmaktadır. Bu servo motorlar, gantry robotların temel çalışma mantığında olduğu gibi yatay ve düşeydeki hareketi sağlamaktadır. Düşey eksendeki hareket ise pnömatik bir sistem vasıtasıyla sağlanmaktadır. Bu sistem hem düşey eksendeki hareketi sağlamakta hem de cisimlerin tutulmasını sağlamaktadır. Deney düzeneğindeki pnömatik sistem 24V ile tahrik edilen 5/2 valf ve vakum tutucudan oluşmaktadır. Sistemde bulunan motorların kontrolünü sağlayan sürücü kartları ve S PLC ile yapılmaktadır. S PLC tercih edilmesinin nedeni OPC haberleşmesini desteklemesidir. Böylece MATLAB ortamında PLC parametrelerine erişilerek sistem kontrol edilmiştir. 3. Görüntü İşleme Görüntü işleme, daha çok mevcut görüntüleri işlemek, diğer bir ifadeyle mevcut resim ve grafikleri, değiştirmek, düzenlemek ya da iyileştirmek için kullanılır [8]. Bu çalışmada sistemin ana kontrol mekanizması görüntü işleme metotlarıyla oluşturulmuştur. Motorlar bu işlemler sonucunda elde edilen bilgilere göre hareket etmektedir. Şekil 4 te sistemin görüntü işleme akış diyagramı gözükmektedir. Kelime girildikten sonra analiz edilmekte ve Şekil 5 te gösterilen veri tabanındaki hangi harf/sayılardan oluştuğu belirlenmektedir. Görüntü alanındaki cisimlerin bulunup, robotun doğru noktaya hareket edebilmesi için görüntü işlemenin hatasız bir şekilde yapılması gerekmektedir. Taşınması gereken harf/sayılar karşılaştırma işlemi ile belirlenmektedir. Karşılaştırma işleme hem harf/sayıyı belirlemekte hem de ilgili nesnenin koordinat merkezlerini belirlemektedir. Koordinat bilgisi robota doğrudan aktarılamamaktadır. Bunun nedeni robotun motorlarının, alınan görüntünün piksel verileriyle değil motor dönüş bilgileriyle çalışmasıdır. Robotun doğru noktaya gidebilmesi için bu iki veri arasında katsayı dönüşümü yapılması gerekmektedir. Bu maksatla, görüntü alanındaki cismin koordinat merkezleri, piksel verileri olarak bulunduktan sonra motorun o noktaya gidebilmesi için kaç pps e (pulse per second) denk geldiğini bulunması gerekmektedir. Bulunan bu değere göre pikselden pps değerine dönüşüm yapılarak motora doğru koordinat bilgileri ulaşması sağlanmıştır. Sistemin görüntü işleme kısmı veri tabanı oluşturma ve saptama aşaması olmak üzere iki ana bölümden oluşmaktadır. Deney düzeneğinde görüntü işleme uygulamalarını gerçekleştirmek için USB kamera kullanılmıştır. Siyah zemin üzerindeki harf/sayılar kamera vasıtasıyla görüntülenmiş ve USB bağlantı üzerinden bilgisayara aktarılmıştır. Aktarılan görüntü üzerinde daha önceden analiz edilen metne göre kullanılan harf/sayıları tanınmış ve siyah zemin üzerindeki konumları belirlenmiştir. Bunun için görüntü işleme metotlarıyla bir algoritma geliştirilmiştir. Algoritma temel olarak korelasyon, morfolojik işlemler ve bağıntılı bileşenlerin etiketlenmesi yöntemleri üzerine kurulmuştur. Şekil 2: Gantry robot yapısı 638

3 Şekil 6: Kameradan alınana ana görüntü Şekil 4: Görüntü işleme algoritması 3.1. Veri Tabanı Oluşturma Veri tabanı oluşturmak çoğu sistem için oldukça önemlidir. Karşılaştırma işlemleri sırasında veri tabanın zenginliği sistemin başarımı ile orantılıdır. Bu çalışmada da girilebilecek metin göz önünde bulundurularak sayı ve harflerden oluşan veri tabanı oluşturulmuştur. Algoritma görüntü işleme kullanılarak geliştirildiği için harf ve sayılar 42x24 lük görüntüler olarak oluşturulmuştur. Şekil 5 te veri tabanı gösterilmiştir Morfolojik İşlemler Görüntü işlemde sıkça kullanılan en temel işlemlerdendir. Morfolojik işlemler çok geniş bir kullanım alanına sahiptir; gürültünün kaldırılması, bazı elementlerin izole edilmesi ve kopuk elementlerin birleştirilmesi gibi işlemlerde kullanılmaktadır. Şekil 6 daki kameradan alınan ana görüntünün siyah beyaz uzaya çekilmesinde eşiklemeden dolayı harflerde bazı süreksizlikler oluşmuştur. Bu süreksizlikleri ortadan kaldırıp harflerin daha net tespit edile bilmesi için morfolojik işlemler kullanılmıştır Bağlantılı Bileşenlerin Etiketlenmesi (Connected- Component Labeling) Görüntü işleme tekniklerine dayalı programlarda sıkça kullanılan bir yöntemdir. İkili resimler üzerinde uygulanır ve üzerindeki bağımsız bileşenleri ayrı renkler ile etiketler. Böylece farklı bileşenlerin konumlarını tespit etmek kolaylaşır [6]. Bu çalışmada, morfolojik işlemler sonucunda giderilemeyen gürültülerden kurtulmak için kullanılmıştır Saptama Aşaması Şekil 5: Veri tabanı Girilen kelimenin analizi sonucunda kelimenin hangi harf/sayılar içerdiği belirmektedir. Saptama aşamasında bu harf/sayıların kameradan alınan görüntüye göre siyah zemin üzerindeki konumu belirlenmektedir. Konum belirleme işlemi veri tabanındaki harf/sayıaların tüm imgeyle korelasyonu sonucunda yapılmıştır. Görüntü içerisindeki herhangi bir simgenin benzerliğini aramada korelasyon oldukça başarılı sonuçlar vermektedir. Korelasyon yanında bazı gürültülerin giderilmesi ve belirlenmiş simgeler daha net belirlemek için bağlantılı bileşenlerin etiketlenmesi yöntemi kullanılmıştır. Şekil 6 te kelime girildikten sonra alınmış ekran görüntüsü gösterilmiştir Korelasyon Korelasyon, olasılık kuramı ve istatistikte iki rassal değişken arasındaki doğrusal ilişkinin yönünü ve gücünü belirtir. Genel istatistiksel kullanımda korelasyon, bağımsızlık durumundan ne kadar uzaklaşıldığını gösterir. Farklı durumlar için farklı korelasyon katsayıları geliştirilmiştir. Korelasyon katsayısı, bağımsız değişkenler arasındaki ilişkinin yönü ve büyüklüğünü belirten katsayıdır. Bu katsayı, (-1) ile (+1) arasında bir değer alır. Pozitif değerler direk yönlü doğrusal ilişkiyi; negatif değerler ise ters yönlü bir doğrusal ilişkiyi belirtir. Korelasyon katsayısı 0 ise söz konusu değişkenler arasında doğrusal bir ilişki yoktur. cov( xy, ) E[( x x)( y y)] ( x, y) corr( x, y) (1) x y x y Kelime analizi sonucunda belirlenmiş olan harf/sayıların siyah zemin üzerindeki konumları korelasyon işlemi ile belirlenmiştir. 639

4 3.3. Harf/sayıların Konumun Belirlenmesi Girilen kelimedeki harf/sayılar veri tabanından sırasıyla çekilerek kameradan alınan ana görüntü arasında benzerlik ilişkisi kurulmuştur. Bu benzerlik ilişkisi korelasyon katsayı matrisi olarak isimlendirilmektedir [9,10]. Örneğin ara yüz üzerinden bir kelime girilmiş olsun. İlk olarak girilen kelimenin hangi harf/sayılardan oluştuğu yazılımsal olarak analiz edilmiştir. Belirlenen harf/sayılar veri tabanından 42x24 lük görüntüler olarak çekilmiştir. Kelime K harfi ile başlamakta ise sistem ilk olarak veri tabanından K harfini 42x24 lük görüntüsü olarak çekmektedir. Daha sonra şekil 7 deki kameradan alınan ana görüntü ile korelasyona sokularak harfin koordinatı belirlenmiştir. 4. Ara Yüz Tasarımı MATLAB ortamında geliştirilen grafik arabirim sayesinde(gui) kameradan alınan görüntü ekranda gösterilebilmektedir. Tasarlanan ara yüz üzerinden PLC ile OPC yoluyla haberleşerek robota komut gönderebilmektedir. Robot ara yüz üzerinden manuel olarak kontrol edilebilmektedir. Kameradan alınan görüntüler ara yüz üzerinden gerçek zamanlı olarak gözlenebilmektedir. Şekil 9 de tasarlanmış ara yüz gösterilmiştir. Şekil 9: Tasarlanmış olan ara yüz Şekil 7: Korelasyon matrisi Katsayı matrisinde maksimum nokta belirlenmiştir. Maksimum nokta, maksimum benzerliğin olduğu noktadır. Bu noktanın tüm imge içinde koordinatları belirlenerek aranan harf veya sayının konumu belirlenmiştir. Pps dönüşümü yapılarak belirlenen koordinat OPC üzerinden robotun motorlarına gönderilmesiyle motorun ilgili koordinata gitmesi sağlanmıştır. Robot ilgili koordinata giderek vakum tutucu ile harfi aldıktan sonra siyah alan üzerinde üst kısımda ilk sıraya harfi bırakmaktadır. Kelimenin tüm harfleri için aynı işlemler yapılarak kelime tekrardan oluşturulmaktadır. Şekil 8 de K harfinin ana görüntü üzerindeki koordinatı belirlenmiş görüntü gösterilmektedir. 5. Kartezyen Robotun S ile Kontrolü ve OPC Haberleşmesi OPC, endüstriyel otomasyon alanında birlikte çalışabilirlik (interoperability) sorununu çözmek amacıyla oluşturulmuş bir haberleşme standardıdır. OPC ile farklı markalarda ve farklı haberleşme protokolleri ile haberleşen kontrol sistemlerinin her bir markanın anlaşılırlığı gerçekleştirmektedir [11]. Gerçekleştirilen sistemin yazılımında Şekil 10 da verildiği gibi, haberleşme ve OPC sunucu için SIMATIC NET yazılımı, OPC istemci olarak MATLAB yazılımı ve PLC yi programlamak için de TIA Portal V11 yazılımı kullanılmıştır Bu çalışmada OPC, bilgisayar ile PLC haberleşmesinde kullanılmaktadır. MATLAB ortamında işlenen görüntü sonucunda elde edilen bilgilerin S e iletmesi için kullanılmaktadır. Şekil 10 da veri alış verişinde OPC nin konumu gösterilmektedir. S ARAYÜZ OPC SUNUCU SIMATIC NET TIA Portal (TCP/IP) OPC İSTEMCİ MATLAB Şekil 10: Veri alış-verişinde OPC nin konumu Şekil 8: K harfinin ana görüntü üzerinde konumunun belirlenmesi Kullanılacak parametreler ilk olarak PLC ye tanıtılmıştır. Tanıtılan parametreler OPC haberleşmesi kullanılarak Matlab ortamında tekrar tanıtılmıştır. Böylece Matlab üzerinden OPC kullanılarak PLC nin kontrolü yapılabilmektedir. Sistem çalıştırılmadan önce robot hareketleri manuel olarak incelenmiştir. Mesafe bilgisi girildikten ve gidilecek yön butonuna basıldıktan sonra, bu bilgiler PLC ye OPC 640

5 bağlantısı ile aktarılmaktadır. PLC verileri aldıktan sonra, işlemleri yapması için servo sürücülere gerekli bilgileri göndermektedir. Servo sürücüler bu bilgiler sayesinde motorları çalıştırmakta ve sistemi hareket geçirmektedir. Görüntü işleme algoritması sonucunda elde edilen harf/sayı konum bilgisi Matlab üzerinden tanımlanan parametrelere yazılarak vakum tutucunun belirlenen konuma gitmesi sağlanmıştır. 6. Sonuçlar Bu uygulamada, ara yüz üzerinden girilen sayı ve harflerden oluşan kelimelerin gantry robot ile yazdırma işlemi başarılı bir şekilde gerçekleştirilmiştir. Normal şartlar altında sistem başarı ile çalışmaktadır. Korelasyon veri tabanındaki açısız harflerle yapıldığı için sistem yanlış cevap vermektedir. Harflerin siyah zemine düzensiz olarak konması robotun yanlış pozisyona gitmesine sebep olabilmektedir. Veri tabanı zenginleştirilerek 45 ye kadar düzensiz konulan harf/sayıların konumu belirlenebilmiştir. 45 den fazla olarak yerleştirilen harf/sayılar tespit edilememektedir. Korelasyon işlemiyle ancak 45 ye kadar olan harf/sayılar belirlenebilmektedir. Birçok görüntü işleme uygulamasında karşılaşılan ışık şiddetinin değişmesinden kaynaklanan problem yapılan çalışmada da eksiklik olarak belirlenmiştir. Işık çalışma alanında yansımalar oluşturduğunda, kamera cisim olmamasına rağmen yansımayı cisim olarak algılamakta ve robotun yanlış pozisyona gitmesine sebep olmaktadır. Bu sorunu çözmek için sabit ışık şiddetinde çalışmak gerekmektedir. Robotun yanlış pozisyona gitmesinde etkili olan bir başka etken ise piksel pps katsayı dönüşümündeki ufak değerleri sistemin algılamamasıdır. Bu ufak değer oynamaları nedeniyle cismin koordinat merkezi kaymakta, cismin bırakılacağı yerde ufak değişimler olmaktadır. Bu değişimler yüzünden cisimleri çok yakın veya çok uzağa koymakta ve bazı noktalarda robot cisimleri tutamamaktadır. Fakat yapılan çalışmalarla bu hata payı en aza indirilmiştir. Yapılan çalışmada kullanılan sistem üzerinde ışık şiddetinin stabil olması, kameranın sistem üzerinden ayrılarak sabit bir nokta koyulması gibi sorunlar çözülürse daha iyi sonuçlar elde edilebileceği öngörülmektedir. [4] Shibata, H. Application of simplified adaptive control to position control of a 3-axis robot TENCON '93. Proceedings. Computer, Communication, Control and Power Engineering,19-21 Oct. 1993, Bejing, China [5] Cengiz Balta, Cüneyt Oysu, Zafer Bingül, Sıtkı Öztürk XYZ Kartezyen Robot ve 2-B Cad-Cam Çizici Yazılımı Tasarımı [6] Murat Kılıvan, H. Metin Ertunç, Sermin Kılıvan, 3- Eksenli robota monte edilmiş kamera vasıtasıyla geometrik cisimlerin birbirinden ayırt edilmesi [7] Ahmet Bakır, Ömer F. Güney, Melih Kuncan, H. Metin Ertunç, 3 Eksenli Robot Mekanizmasına Monte Edilmiş Bir Kamera Vasıtasıyla Farklı Rotasyon ve Boyutlardaki Geometrik Cisimlerin Tanımlanarak Vakum Tutucu ile Ayrılması, Otomatı k Kontrol Ulusal Toplantısı, TOK- 2012, Ekim 2012, Niğde [8] Yılmaz, A., Kamera kullanılarak görüntü işleme yoluyla gerçek zamanlı güvenlik uygulaması, Yüksek Lisans Tezi, Haliç Üniversitesi Fen Bilimleri Enstitüsü Makine Mühendisliği Anabilim [9] Zohra Saidane, Christophe Garcia Automatic Scene Text Recognition using a Convolutional Neural Network, Orange Labs, France [10] B.Gatos, N. Papamarkos, C.Chamzas Skew detection and text line position determination in digitized documents Pattern Recognition, Volume 30,Issue 9, Semptember 1997, pages [11] nedir/ Son erişim: Haziran 2014 Teşekkür Bu çalışma Kocaeli Üniversitesi Mekatronik Mühendisliği Bölümü Sensör Laboratuvarında yapılmıştır. Tübitak 2241-A sanayi odaklı lisans bitirme tezi programı dâhilinde desteklenmiştir. Kaynakça [1] Eser Sert, Deniz Taşkın, Nurşen Suçsuz, Görüntü işleme teknikleri ile şeftali ve elma sınıflandırma [2] Kılınç İ., Çelik malzemelerde korozyon oyuklarının görüntü işleme yöntemiyle incelenmesi, Yüksek Lisans Tezi, Sakarya Üniversitesi Fen Bilimleri Enstitüsü Makina Mühendisliği Bölümü Mak. Tas. ve İmalat Anabilim Dalı, 57, Sakarya, 2009 [3] Yılmaz K. A smart hybrid license plate recognition system based on image processing using neural network and image correlation Innovations in Intelligent Systems and Applications (INISTA), June 2011, Istanbul,Turkey 641