Görüntü İşleme Teknikleri ile Elma Tanıma

Akademik Bilişim 11 - XIII. Akademik Bilişim Konferansı Bildirileri 2-4 Şubat 2011 İnönü Üniversitesi, Malatya Görüntü İşleme Teknikleri ile Elma Tanıma Eser Sert 1, Deniz Taşkın 2, Nurşen Topçubaşı 3, Murat Olcay Özcan 4 1 Trakya Üniversitesi, Teknik Bilimler Meslek Yüksek Okulu, Edirne 2 Trakya Üniversitesi, Müh. Mimarlık Fakültesi, Bilgisayar Mühendisliği Bölümü, Edirne 3 Okan Üniversitesi, Uygulamalı Bil.Yüksekokulu, Bilişim Sist. ve Tek. Bölümü, İstanbul 4 Namık Kemal Üniversitesi, Hayrabolu Meslek Yüksekokulu, Tekirdağ 1 esersert@trakya.edu.tr, 2 deniztaskin@trakya.edu.tr, 3 nursen.sucsuz@okan.edu.tr, 4 moozcan@nku.edu.tr Özet: Meyvelerin sınıflandırılması için görüntü işleme temellerine dayanan otomatik sistemlere ihtiyaç duyulmaktadır. OpenCV açık kaynaklı popüler bir görüntü işleme kütüphanesidir. Bu kütüphane için geliştirilmiş olan Harpia yardımcı yazılımı ile nesne tanıma işlemleri hızlı ve kaliteli bir şekilde gerçekleştirilmektedir. Bu çalışmada, otomatik bir sistemde kullanılmak üzere, Granny Smith veya Starking tipi elma fotoğraflarını işleyerek bu meyveleri tanıyan bir ma gerçekleştirilmiştir. Anahtar Kelimeler: Görüntü İşleme, Harpia, Nesne Tanıma, OpenCV Apple Recognition With Image Processing Techniques Abstract: Automatic systems based on image processing are needed to categorize the fruits. OpenCV is an open source popular image processing library. Harpia support software which is developed for this library, realizes object identification process in a fast and qualified way. In this study, a system application which should will be used in an automatic system, was realized based on fruit recognition by processing the pictures of Granny Smith or Starking Type of apples. Key Words: Image Processing, Harpia, Object Recognition, OpenCV 1. Giriş Teknolojinin gelişmesine paralel olarak şekil tanıma işlemi, otomasyon teknolojisiyle gerçekleştirilerek yüksek hız ve verim elde edilmektedir. Bu çalışmada görüntü işleme kütüphanesi olan OpenCv yi temel alan Harpia yardımcı yazılımı ile Granny Smith ve Starking türü elmaların tanıma işlemi gerçekleştirilmektedir. Devre, yalnızca Starking tür elma ve yalnızca Granny Smith tür elmaları gösteren iki kısımdan oluşmaktadır. Örüntü tanıma işlemleri Bölüm 2 de, nesne tanıma sistemi Bölüm 3 te ve ardından nesne tanıma sisteminin çalıştırılması Bölüm 4 te anlatılacaktır. 2. Örüntü Tanıma Üzerinde ölçümlendirme yapılabilen veya gözlenebilen bilgi örüntü olarak tanımlanmaktadır. Örüntü kavramı içerisine ses, görüntü, sinyal gibi değişkenler girmektedir. Giriş Uzayı Doğal Durumlar Algılayıcılar Özellik Çıkarıcı/ Seçici Çıkış Uzayı Karar Sınıfları Sınıflandırıcı Şekil 1. Nesne tanıma blok diyagramı Üzerinde ölçümlendirme yapılabilen veya gözlenebilen bilgi örüntü olarak tanımlanmaktadır. Örüntü kavramı içerisine ses, görüntü, sinyal gibi değişkenler girmektedir. 27

Görüntü İşleme Teknikleri ile Elma Tanıma Eser Sert, Deniz Taşkın, Nurşen Topçubaşı, Murat Olcay Özcan Örüntüyü algılayıp, belirlenen kriterler doğrultusunda tanımlama yada sınıflandırma işlemine örüntü tanıma denmektedir. Örüntü tanıma sistemleri gözlenen veya ölçülen verilerin tanımlanmasında birçok manın merkezinde yer almaktadır. Şekil 1 de yaygın olarak kullanılan örüntü tanıma sistemi görülmektedir. Algılayıcılar, herhangi bir anda birçok doğal durumun fiziksel özelliklerini ölçmektedir. Özellik Çıkarıcının görevi ise, elde edilen ölçümlerin hepsinden oluşan giriş uzayından daha az boyutta bilgi üretmektir. Sınıflandırıcının rolü, örüntüyü özelliklerine göre gruplayarak uygun sınıflara kaydetmektir [10]. Mevcut örüntü tanıma sistemleri, istatistiksel örüntü tanıma,yapısal örüntü tanıma, akıllı örüntü tanıma olmak üzere üç grupta toplanmaktadır. Yapısal örüntü tanımada, üzerinde çalışılan örüntünün şeklinden özellikleri çıkarmaktadır. Tasarlanan sistemde örüntünün alınarak rengin Gray e çevrilmesi ve Threshold özellikleri kullanılarak nesne tanıma işlemi gerçekleştirildiğinden yapısal örüntü tanıma işlemi kullanılmıştır. 3. Nesne Tanıma Sistemi Harpia yazılımı, kayıtlı video, resim dosyaları ve gerçek zamanlı video lar üzerinde görüntü işleme olanağı sunmaktadır. Şekil 2 de nesne tanıma işlemini gerçekleştiren yazılımın blok diyagramı görülmektedir. 3.1. Blokların Açıklanması 3.1.1. Image Bloğu Kayıtlı resim, video yada kameradan gerçek zamanlı resim yada video olmak için kullanılmaktadır. 3.1.2 Show Image Bloğu Resim yada videoları göstermek için kullanılmaktadır. Şekil 2. Elma tanıma işlemini gerçekleştiren Harpia blok diyagramı 28

Akademik Bilişim 11 - XIII. Akademik Bilişim Konferansı Bildirileri 2-4 Şubat 2011 İnönü Üniversitesi, Malatya 3.1.3 Detect Hough Line Bloğu Hat izleyici olarak ifade edilebilecek olan bu blok ile nesne yada nesnelerin sınırları ilmektedir. 3.1.4 Color Conversion Bloğu Renk tip dönüştürücüsüdür. RGB den GRAY e, RGB den YCrCb ye RGB den HSV ye v.b. dönüşümleri gerçekleştirmek için kullanılmaktadır. 3.1.5 Threshold Bloğu Gri tonlarını ikili değerlere dönüştürmek için kullanılmaktadır. Gri tonları ise ikili resimlere şu formülle dönüştürülür: Burada d belirli bir eşik değeridir ve bu değer, çevirim için ana noktadır (Threshold) [11]. 3.1.6 Erosion Bloğu Erozyon filtresidir. İkili görüntülerde erozyon işlemi beyaz alanları yumuşatmak amacıyla kullanılmaktadır. (1,1) deki eşitlikte erozyon işlemi gösterilmektedir. Eşitlikte, yapılandırma elemanı olarak Z8 matrisi alındığında giriş pikselinin komşu piksellerinden en az biri bile 0 değerine sahipse, çıkış pikselinin değeri 0 olarak atanmaktadır. E(A,B)(r,s)= min(a(r+j,s+k)- (j,k) B B(j,k) (1,1) A : Erozyon filtresi nacak görüntü B : Yapılandırma matrisi [4] 3.1.7 Opening Bloğu Açma filtresidir, ikili görüntüye sırasıyla erozyon ve genişleme filtresi nmaktadır. 3.1.8 Closing Bloğu Kapanma filtresidir, ikili görüntüye sırasıyla genişleme ve erozyon filtrelerinin nmasıdır. Kapama n çıktısı genişleme filtresine benzemekle birlikte, filtre sonrası kapama filtresinde, genişleme filtresinden sonra erozyon filtresi ndığından, beyaz alanlar genişleme n çıktısına göre daha fazla aşınmıştır. 3.1.9 Dilate Bloğu Genişleme filtresidir. Genişleme işlemi, erozyon işleminin tersine siyah alanları yumuşatmak amacıyla kullanılmaktadır (1,2) deki eşitlikte genişleme işlemi gösterilmektedir. Yapılandırma elemanı olarak Z8 matrisi alındığında giriş pikselinin komşu piksellerinden en az biri bile 1 değerine sahipse, çıkış pikselinin değeri 1 olarak atanmaktadır. D(A,B) (r,s) = max ( A(r-j,s-k) + B(j,k)) (1,2) (j,k) A : Genişletme filtresi nacak görüntü B : Yapılandırma matrisi [4] 4. Nesne Tanıma Sisteminin Çalışması Elma tanıma sistemin çalışması, şekil 3 deki akış diyagramında verilmiştir. B 29

Görüntü İşleme Teknikleri ile Elma Tanıma Eser Sert, Deniz Taşkın, Nurşen Topçubaşı, Murat Olcay Özcan BAŞLA Kamerayı çalıştır fotoğrafı çek Çekilen GRAY'e çevir Resmi 48 değerlikli Threshold işleminden geçir Erosion Opening Dilate Closing NOT işlemini Resimleri Topla Resmi 110 değerlikli Threshold işleminden geçir SON Erosion Opening Dilate Closing SON Şekil 3. Elma tanıma sisteminin akış diyagramı 30

Akademik Bilişim 11 - XIII. Akademik Bilişim Konferansı Bildirileri 2-4 Şubat 2011 İnönü Üniversitesi, Malatya a - Granny Smith tür elma b-starking tür elma Şekil 4. Sınırları ilmiş elma resimleri a - Gray e çevrilmiş Granny Smith Tür Elma b- Gray e çevrilmiş Starking tür elma Şekil 5. Gray e çevrilmiş elmalar a- Şekil 2 de 1 numaralı Image bloğu ile elma alınarak, 2 numaralı Detect Hough Lines elemanı sayesinde Image bloğu çıkışındaki elma nin sınırları ilmektedir. 3 numaralı Show Image ile sınırları ilen elmanın gösterilmesi sağlanmaktadır. Şekil 2 de 1 numaralı Image bloğunda Granny Smith türü elmanın fotoğrafının alınması neticesinde, Şekil 2 de 3 numaralı blok çıkışında Şekil 4.a daki resim, ilgili bloktan Starking tür elma fotoğrafının alınması neticesinde şekil 2 de 3 numaralı blok çıkışında Şekil 4.b deki resim elde edilmiştir. c- Şekil 2 de 11 numaralı Threshold bloğunun parametresi 48 e ayarlanarak çıkışında sayısal resim oluşturulmaktadır. Oluşturulan görüntü sayısal olduğundan elma siyah renkle doldurulmuş ve zemini atılmıştır. d- Şekil 2 de 11 numaralı Threshold bloğunun çıkışı Erosion, Opening, Dilate ve Closing filtrelerine bağlanmıştır. Şekil 2 de 13 numaralı Show Image bloğunun çıkışına Detect Hough Lines elemanı eklenmiş Dilate filtresi çıkışındaki elma nin çevresi ilmiştir. b- Şekil 2 de 4 numaralı Color Conversion ile resim RGB den GRAY e çevrilir. Granny Smith tür bir elmanın Color Conversion blok çıkışı şekil 5.a da, Starking bir elmanın ise şekil 5.b de gösterilmektedir. 31 e- Şekil 2 deki Image bloğundan Şekil 4.b de görülen Starking tür elma nin alınmasıyla, Starking tür elmayı gösteren bloklarda, şekil 6 daki sonuçlar elde edilmiştir.

Görüntü İşleme Teknikleri ile Elma Tanıma Eser Sert, Deniz Taşkın, Nurşen Topçubaşı, Murat Olcay Özcan a-şekil 2, 8 num. b- Şekil 2,10 num. c- Şekil 2, 13 num. d- Şekil2,17 num. blok çıkışı blok çıkışı blok çıkışı blok çıkışı d- Şekil 2, 15 num. blok çıkışı Şekil 6. Nesne tanıma sistemi çıkış şekilleri Şekil 2 deki 11 numaralı Threshold bloğundaki ayar seviyesi (Threshold=48) sayesinde şekil 2 deki 8, 10, 13, 15 ve 17 numaralı bloklarda yalnızca Starking tür elmalar gösterilmektedir. f- Şekil 2 de 11 numaralı Threshold bloğunun çıkışı 18 numaralı Not bloğuna narak Terslenmiş ve Şekil 2 de 5 numaralı Show Image bloğunun çıkışı 22 numaralı Threshold bloğuna bağlanmıştır. Şekil 2 de 1 numaralı Image bloğunda alınan elmanın Gray e çevrilmiş görüntüsü şekil 2 de 22 numaralı Threshold elemanına nmıştır. Şekil 2 deki Sum elemanıyla, 18 ve 22 numaralı blok çıkışları toplanarak çıkışında yalnızca Granny tür elma yada elmalar gösterilecektir Şekil 2 de 1 numaralı Image bloğunda Granny Smith tür elma alındıktan sonra, 18 ve 22 numaralı blok çıkışları toplanarak şekil 7 de verilen resim elde edilecektir. Şekil 7 de Sum çıkışındaki n şekil 2 de görülen ilgili bloklarda işlemlerden geçmesi neticesinde Şekil 8deki resimler elde edilmiştir. Granny Smith tür elmanın görüntülenmesi için Şekil 2 de bulunan 22 numaralı Threshold elemanının Threshold seviyesi 110 a ayarlanmıştır. 32

Akademik Bilişim 11 - XIII. Akademik Bilişim Konferansı Bildirileri 2-4 Şubat 2011 İnönü Üniversitesi, Malatya Şekil 7. Granny Smith tür elmanın grafiksel işlemleri a-şekil 2, 21 num. b- Şekil 2, 24 num. c- Şekil 2, 26 num. d- Şekil2, 30 num. blok çıkışı blok çıkışı blok çıkışı blok çıkışı Şekil 7. Granny Smith tür elmanın grafiksel işlemleri e- Şekil 2, 28 num. blok çıkışı Şekil 8. Nesne tanıma sistemi blok çıkış şekilleri 33

Görüntü İşleme Teknikleri ile Elma Tanıma Eser Sert, Deniz Taşkın, Nurşen Topçubaşı, Murat Olcay Özcan Şekil 8 incelenecek olursa, Şekil 2 de bulunan 20, 23, 25, 28 ve 29 numaralı bloklardan yalnızca Granny Smith tür elma yada elmalar elde edilmektedir. Dolayısıyla bu blok grupları Granny Smith tür elmaları tanıma işlevini üstlenmektedir. 4. Tartışma Bu çalışmada, elma örüntüsü alınıp renk özellikleri incelenerek, belirlenen kriterler doğrultusunda meyvenin tanınması gerçekleştirilmiştir. OpenCv açık kaynak kodlu kütüphanesi kullanılarak elma işlemden geçirilmekte ve tanımlanan elma nın binary gösterilmektedir. Açık kaynak kodlu bir kütüphane kullanıldığından dolayı sistem, platformdan bağımsızdır ve benzer çözümlerden farklı olarak gömülü sistemlerde kullanılabilir. 5. Kaynaklar [1] Acar U., Bayram B., Morfolojik Görüntü Filtreleri İle İkonos Görüntülerinden Otomatik Bina Çıkarımı, TMMOB Harita Ve Kadastro Mühendisleri Odası 12. Türkiye Harita Bilimsel ve Teknik Kurultayı, ( 2009) [2] Gündüz F., Kahriman M., Sayisal Görüntü İşleme İle Geometrik Şekil ve Rotasyon Tespiti, Elektronik Ve Haberleşme Mühendisliği Bölümü, Süleyman Demirel Üniversitesi, (2009) [3] Harpia User Manual, Version 0.1, The Harpia Official Documentation, (2007) [4] Kutluay K. H., Dijital Videolarda Arka Plan Modelleme Ve Hareketli Nesne Çikarimi, Yüksek Lisans Tezi, (2008) [5] Pichon E., Niethammer M., Sapiro G., Color Histogram Equalization Through Mesh Deformation,International Conference on Image Processing, (2003) [6] Sert E., Görüntü İşleme Teknikleri İle Elma ve Şeftali Sınıflandırma, Yüksek Lisans Tezi, 2010 [7] Soykan F., Tezcan C., Taşkın D., Histogram Tabanlı Nesne Çıkarımı, Pamukkale Üniversitesi - III. Bilgi Teknolojileri Kongresi, (2004) [8] Szepesvari C., Image Processing: Lowlevel Feature Extraction, University of Alberta, 2007 [9] Türkoğlu İ., Örüntü Tanıma Sistemleri, Fırat Üniversitesi, Ders Notları, (2003) [10] Yıldırım K. S., İnce C., Kalaycı T. E., Görüntü İşleme, Ege Üniversitesi, 2003 34