Fourier dönüşümü kullanılarak gerçek zamanlı kumaş hatası tespiti

Journal of the Faculty of Engineering and Architecture of Gazi University 32:1 (2017) 151-158 Fourier dönüşümü kullanılarak gerçek zamanlı kumaş hatası tespiti Kazım Hanbay 1*, Muhammed Fatih Talu 2, Ömer Faruk Özgüven 3 1 Bingöl Üniversitesi, Bilgisayar Mühendisliği Bölümü, Bingöl, Türkiye 2 İnönü Üniversitesi Mühendislik Fakültesi, Bilgisayar Mühendisliği Bölümü, Malatya, Türkiye 3 İnönü Üniversitesi Mühendislik Fakültesi, Biyomedikal Mühendisliği Bölümü, Malatya, Türkiye Ö N E Ç I K A N L A R Çizgi kamera ile görüntü elde etme sisteminin tasarımı Fourier dönüşümünün kumaş hatası tespitinde kullanımı Yuvarlak örgü makinesi üzerinde gerçek zamanlı kumaş hatası tespiti Makale Bilgileri Geliş: 09.12.2015 Kabul: 04.06.2016 DOI: 10.17341/gazimmfd.300604 Anahtar Kelimeler: Kumaş hatası tespiti, gerçek zamanlı kontrol, doku sınıflandırma, Fourier dönüşümü ÖZET Kumaş üretiminde yüzey hatalarını tespit etmek için gerçek zamanlı hata tespit sistemlerine ihtiyaç duyulmaktadır. Mevcut durumda örgü kumaş üretiminde gerçek zamanlı hata tespit sistemi yoktur. Bu çalışmada gerçek zamanlı kumaş hatası tespit sistemi geliştirilmiş ve yuvarlak örgü makinesi üzerinde test edilmiştir. Kumaş görüntüsünün dokusal özellikleri Fourier dönüşümü temelinde çıkarılmıştır. Bu dokusal özellikler 7 tane olup kumaş görüntüsünün Fourier frekans spektrumunun yatay ve dikey yönlerinden hesaplanmıştır. Önerilen metodunun performansı ilk olarak kapsamlı veri tabanı temel alınarak gerçek zamanlı olmayan çalışmalar yolu ile değerlendirilmiştir. Önerilen metot gerçek zamanlı kontrolde de başarı sağlayabilecek üstün bir performans elde etmiştir. İkinci olarak, endüstriyel şartlarda etkin bir kumaş hatası kontrolü için gerçek zamanlı makine görmesi sistemi tasarlanmıştır. Gerçek zamanlı hata tespit sistemi çizgi kamera tarafından elde edilen kumaş görüntüleri analiz edilerek test edilmiştir. Deneysel sonuçlar önerilen hata tespit modelinin yaygın örgü kumaş hatalarını başarılı bir şekilde tespit edebildiğini göstermiştir. Real time fabric defect detection by using fourier transform H I G H L I G H T S Designing of image acquisition system by the line scan camera The use of Fourier transform in fabric defect detection Real-time fabric defect detection on circular knitting machine Article Info Received: 09.12.2015 Accepted: 04.06.2016 DOI: 10.17341/gazimmfd.300604 Keywords: Fabric defect detection, real time inspection, texture classification, Fourier transform ABSTRACT In fabric productions, real time defect detection systems are needed to detect the surface defects. There is currently no real time defect detection system in knitting fabric production. In this paper, a real time fabric defect detection system is developed and is tested on circular knitting machine. Textural features of fabric image are extracted based on Fourier transform. These textural features are seven and are calculated from the horizontal and vertical directions of Fourier frequency spectrum of the fabric image. The performance of the proposed method is firstly evaluated off-line through experiments based on comprehensive fabric database. The proposed method obtains superior performance, which also proves its utility in real-time inspection. Secondly, a real time machine-vision system has been designed for an efficient detection of the fabric defects under industrial conditions. Real time defect detection system is tested automatically by analyzing fabric images captured by a line scan camera. Experimental results show that the proposed detection model can successfully detect common circular knitting fabric defects. * Sorumlu Yazar/Corresponding author: khanbay@bingöl.edu.tr / Tel: +90 505 293 7418

1. GİRİŞ (INTRODUCTION) Tekstil endüstrisinde kumaş üretimi genellikle örgü ve dokuma makineleri ile yapılmaktadır. Örgü ve dokuma makineleri ile üretim yapılırken meydana gelen hatalardan dolayı üretilen kumaşlar hata içerebilmektedir. Tekstil endüstrisi tarafından tanımlanan 70 ten fazla kumaş hatası vardır [1]. Kumaş hataları genellikle örgü makinelerindeki iğnelerin aşınması, kırılması veya eğilmesinden kaynaklanmaktadır. Kumaş üretimi esnasında meydana gelen kumaş hataları, geleneksel olarak üretim sonrasında kalite kontrol birimlerinde tespit edilmektedir. Bu işlem, üretilen kumaş topunun kalite kontrol birimine gönderilmesi, kumaş topunun geri açılması ve bir kalite kontrol operatörünün veya bir otomasyon sisteminin kumaşı izlemesi aşamalarını içermektedir. Böylece kumaş yüzeyindeki hatanın yeri ve tipi gibi veriler ancak bu aşamaların tamamlanmasıyla elde edilebilmektedir. Kumaş hatalarının üretimden sonra tespit edilmesi, kumaş üzerinde uzun boylarda, tekrar eden yapılarda hataların oluşmasına ve gereksiz elektrik tüketimine neden olmaktadır. Şekil 1 de yuvarlak örgü makinesi ve bu makinede örülen kumaşa ait kumaş ve iğne görüntüleri yer almaktadır. Günümüzde dokuma kumaşı üretimi esnasında gerçek zamanlı hata yakalamayı amaçlayan bazı sistemler bulunmaktadır. Örgü makineleri ortalama 1,4m/sn gibi yüksek hızlarda çalıştıkları için bu üretim hızında görüntü elde edip analiz edecek bir sistemin geliştirilmesi oldukça zordur. Şekil 2 de en sık karşılaşılan örgü kumaş hatalarından olan yırtık, iğne kırılması, ezilme, iplik kayması, dikiş kayması ve patlak hataları görülmektedir. Bu çalışmada yuvarlak örgü makineleri üzerinde gerçek zamanlı çalışabilen kumaş hatası tespit sistemi geliştirilmiştir. Geliştirilen sistem, üretim esnasında meydana gelen kumaş hataları hakkında operatöre bilgi verip hatalı üretimin engellenmesini sağlamaktadır. Yapılan çalışma şu şekilde organize edilmiştir: ikinci bölümde literatürde kumaş hatası tespiti ile ilgili yapılan çalışmalar incelenmiştir. Üçüncü bölümde kumaş hatalarının tespit edilmesinde kullanılan metot anlatılmıştır. Bölüm 4 te yapılan deneysel ve uygulamalı çalışmalar hakkında bilgiler ve hata tespit sonuçları verilmiştir. Bölüm 5 te ise sonuçlar ve önerilere yer verilmiştir. 2. KUMAŞ HATASI TESPİT METOTLARI (FABRIC DEFECT DETECTION METHODS) Kumaş hatası tespit sistemlerinde görüntülerin analiz edilmesi için görüntü işleme teknikleri kullanılmaktadır. Üretilen kumaş görüntüleri incelendiğinde yüksek periyodiklik içerdikleri görülmektedir. Kumaş yüzeyinde meydana gelen herhangi bir bozulma bu düzenliliği ve periyodikliği bozmaktadır. Şekil 1. (a) Yuvarlak örgü makinesi (b) Örülmüş kumaş (c) Örgü iğneleri ( (a) Circular knitting machine (b) Knitted fabric (c) Knitting needles) Şekil 2. Örgü kumaş hatası örnekleri (Examples of knitting fabric defect) 152

Dokuma kumaşlarındaki kumaş hatası bloklarını tespit etmek için gri seviye eş oluşum matrisi yoğun bir şekilde kullanılmaktadır [1, 2]. Güncel bir çalışmada görüntünün eş oluşum matrisi hesaplanmadan önce yatay ve dikey yönde ortalama vektörleri hesaplanmıştır. Daha sonra gri seviye eş oluşum bilgisi ve ortalama bilgileri sağlam ve hatalı görüntüler üzerinde Öklit uzaklığı yardımıyla kullanılmış ve hatalı görüntüler tespit edilmiştir [2]. Jing vd. istatistiksel bilgiler elde etmek için kumaş görüntülerinin eş oluşum matrislerini inşa etmişlerdir [3]. Kumaş görüntülerinin histogramlarından elde edilen istatistiksel ölçümler ile hatalı ve hatasız kumaşlar arasında sınıflandırma yapmışlardır. Yapay Sinir Ağı (YSA) kullanılarak yapılan bu çalışmada başarılı bir hata tespiti gerçekleştirilmiştir. Bir başka çalışmada ise oto korelasyon fonksiyonu kullanılarak iki farklı kumaş hatası içeren kumaş görüntüleri sınıflandırılmıştır [4]. Gerçek zamanlı olmayan bu çalışmanın sınıflandırma doğruluğu %93,50 dir. Li vd. kumaş görüntülerini hatalı ve hatasız kategorilere ayırmak için Fisher krtiteri kullanan bir autoenkoder sınıflandırıcıdan faydalanmışlardır [5]. Gerçek zamanlı olarak çalışabilen bu sistem ile %97,40 oranında hata tespit başarısı elde etmişlerdir. Kumaş hatalarını tanımlamak ve bulmak için Elo rating metodu kullanan başka bir çalışmada ise düz kumaş tiplerindeki hatalar %96.89 oranında tespit edilmiştir [6]. Bu yöntem farklı görüntülerin genel aritmetik piksel dağılımlarına göre hesaplanan eşleşme sayılarını hesaplayarak bir skor matrisi inşa etmektedir. Daha sonra bu matrisler eğitim ve test aşamalarından geçirilerek sınıflandırmaya tabi tutulmaktadır. Diğer bir çalışmada kumaş görüntülerinin korelasyon katsayıları ve morfolojik işlemler birlikte kullanılarak üç farklı hata türü içeren kumaş görüntüleri sınıflandırılmıştır [7]. Bu melez yöntemin hata tespit başarısı %79,10 dur. Derin öğrenme algoritmalarından olan autoenkoder yaklaşımı ile yapılan bir çalışmada, autoenkoder yönteminin giriş değerleri ile hiper parametreleri üzerinde ayarlamalar yapılarak yüksek doğrulukta hata tespiti yapılmıştır [8]. Kumaş üretim fabrikasında yürütülen güncel bir hata tespit çalışmasında örgü makinesinden elde edilen görüntüler üzerinde hata sınıflandırması yapılmıştır [9]. Örgü makinesi üzerinde hatalı ve sağlam kumaş görüntüleri alınarak kapsamlı bir veri tabanı inşa edilmiştir. Derin öğrenme algoritmaları ile bu veri tabanı üzerinde yüksek doğrulukta hata tespiti yapılmıştır. Kumaş görüntülerinin histogram bilgileri kullanılarak yapılan bir diğer çalışmada 28 farklı kumaş hatası tespit edilerek oldukça başarılı sonuçlar elde edilmiştir [10]. Uygulanan yöntem ile histogram bilgisi elde edildikten sonra bir hata arama metodu uygulanarak uygun bellek ve zaman maliyetlerine sahip optimal bir hata tespit sistemi inşa edilmiştir. Sinyal işleme modülü ve görme sensörleri kullanılarak yapılan gerçek zamanlı bir çalışmada örgü makinesi üzerinde hata tespiti yapılmıştır [11]. Sinyal işleme modülü kullanılarak bu sensörlerden alınan görüntünün dalgacık dönüşümü hesaplanmıştır. Güncel başka bir çalışmada üç seviyeli dalgacık dönüşümü ve genelleştirilmiş Gaussian yoğunluğu metotları birlikte kullanılarak veri tabanı içerisinde bulunan örgü kumaşı hataları sınıflandırılmıştır [12]. Elde edilen 18 adet dalgacık alt bant görüntüsünün her birinin histogram dağılımları Gaussian olasılık yoğunluk fonksiyonunun iki parametresi ile modellenmiş ve YSA ya giriş olarak verilmiştir. Uzaysal alan metotları ile gerçekleştirilen çalışmaların bazı zayıf yönleri vardır. Bu yöntemlerden olan histogram yöntemi gürültüye karşı oldukça hassastır. Morfolojik yöntemlerde elde edilen ikilik görüntülerde küçük boyutlu hatalar kaybolabilmektedir. Gri seviye eş oluşum matrisi ve çok seviyeli dalgacık dönüşümü yöntemleri ise hesaplama yüküne sahiptir. Kumaş hatası tespitinde kullanılan bir diğer yöntem ise Fourier dönüşümüdür. Yapılan bir çalışmada dikiş hatalarının tespit edilmesi için Fourier dönüşümünün açısal dönme özelliği kullanılmıştır [13]. Bu sayede bozulmanın olduğu noktanın kumaş yüzeyi ile yaptığı açı frekans alanında ölçülerek bu noktanın gerçekten hatalı olup olmadığı tespit edilmiştir. Gerçek zamanlı olmayan bu çalışmada görüntünün tüm frekans spektrumu ile istatistiksel hesaplamalar yapmak yerine hatalı bölgenin açısal frekans analizi yapılmış ve belirli durağan görüntülerde başarılı sonuçlar elde edilmiştir. Zhao vd. [14], kumaş görüntülerinin Fourier spektrumlarını kullanarak düğüm hatası içeren görüntülerde hata tespit sistemi önermişlerdir. İsmail vd. Fourier dönüşümünden elde ettikleri frekans spektrumunu kullanılarak kumaş görüntülerinin referans bir kumaş görüntüsüne olan benzerliklerini hesaplamışlardır [15]. Görüntülerin frekans spektrumlarının fazları ve büyüklükleri hesaplanarak referans görüntü ile karşılaştırılmıştır. Yuvarlak örgü makinesi üzerinde çalışabilen gerçek zamanlı bir hata tespit sisteminde Fourier dönüşümü kullanılarak görüntülerinin özellik vektörleri elde edilmiştir [16]. Fourier dönüşümü hesaplanan kumaş görüntülerinin frekans spektrumundan 7 farklı istatistiksel nicelik hesaplanmıştır. Elde edilen 1 7 boyutundaki özellik vektörleri ile YSA üzerinde %92 sınıflandırma başarısı elde edilmiştir. Gerçek zamanlı hata tespit sistemlerinde Fourier dönüşümü ile başarılı sonuçlar alınmıştır [16, 17]. Üretim esnasında sürekli yatay ve dikey yönlere hareket eden kumaş görüntülerinin izlenmesinde bu yöntem oldukça güçlüdür. Çünkü Fourier frekans spektrumunun büyüklüğü mutlak değerli bir büyüklük olduğundan, kumaşın yatay ve dikey yönlerdeki hareketleri görüntünün frekans spektrumunu değiştirmez. Bu önemli özelliğinden dolayı yapılacak gerçek zamanlı kumaş hatası tespit sistemlerinde bu yöntemin kullanılması uygun görülmektedir. Başka bir çalışmada ölçek ve açı değerleri genetik algoritma ile ayarlanan Gabor filtrelerinden faydalanılarak kumaş görüntülerinde hata tespiti yapan bir yöntem önerilmiştir [18, 19]. Dokuma kumaşlarının hata kontrolü için yapılan bir çalışmada diferansiyel gelişim algoritması ve Gabor filtresi birlikte kullanılarak kumaş görüntülerinin en uygun özellik vektörleri hesaplanmıştır [20]. Yuvarlak örgü makinesi üzerinde gerçekleştirilen bir çalışmada ise Gabor fonksiyonu ve eşikleme metodu birlikte kullanılarak kumaş hatası tespiti yapılmıştır [21]. Kameradan alınan her 153

görüntü çerçevesinin yatay ve dikey izdüşüm vektörleri hesaplanarak Gabor fonksiyonu ile konvolüsyonları elde edilmiştir. Konvolüsyon sonucunda elde edilen görüntünün eşik değer yardımıyla hata içerip içermediği kontrol edilmiştir. 3. ÖNERİLEN KUMAŞ HATASI TESPİT SİSTEMİ (PROPOSED FABRIC DEFECT DETECTION SYSTEM) Bu çalışmada yuvarlak örgü makinelerinde üretilen kumaşların üretim esnasında kontrolünün yapılmasını sağlayan bir sistem geliştirilmiştir. Örgü makinesinde hata kontrolüne geçilmeden önce, kullanılan doku analiz yönteminin performansı kumaş veri tabanı kullanılarak değerlendirilmiştir. Ayrıca farklı iki doku analiz yöntemi ile performans karşılaştırılması yapılmıştır. Veri tabanı üzerinde başarılı sonuçlar elde edildikten sonra yuvarlak örgü makinesi üzerinde deneysel çalışmalar yapılmıştır. 3.1. Kumaş Veri Tabanının İnşası (Construction of Fabric Database) Kapsamlı bir kumaş veri tabanı inşa etmek için yuvarlak örgü kumaşı görüntülerine ihtiyaç duyulmaktadır. Bu nedenle Malatya da faaliyet gösteren Madoksan Tekstil Ltd. Şti de bir yuvarlak örgü makinesi üzerinde çalışabilecek niteliğe ve tasarıma sahip endüstriyel bir görüntü elde etme sistemi kurulmuştur. Görüntüleme sisteminde Basler ral2048gm çizgi tarama kamera ve çizgi ışık kaynağı kullanılmıştır. Çizgi kamera kumaş yüzeyine 8cm uzaklıktan dik olarak bakmaktadır. Çizgi ışık kumaş yüzeyi ile 45 açı yapacak şekilde kumaş yüzeyinden 1cm uzaklığa sabitlenmiştir. Yuvarlak örgü makinesi üzerine kurulan sistem Şekil 3 te görülmektedir. Kurulan bu sistem gerçek zamanlı hata tespiti çalışmalarında da kullanılmıştır. Şekil 3. Örgü makinesi üzerindeki gerçek zamanlı görüntü yakalama sistemi (Real-time image capturing system prototype on circular knitting machine) Şekil 3 te görülen görüntü elde etme sistemi ile görüntü kayıtları alınmıştır. En çok üretilen kumaş türleri ve bu kumaşlara ait hatalar bir kumaş operatörü yardımıyla üretilerek ayrı ayrı video dosyaları kaydedilmiştir. Elde edilen video dosyalarındaki çerçeveler çıkarılarak veri tabanının durağan görüntüler içermesi sağlanmıştır. Bu şekilde toplam 11.000 görüntü içeren kapsamlı bir veri 154 tabanı oluşturulmuştur. Veri tabanındaki görüntüler 256 250 piksel boyutundadır. Veri tabanı süprem, ribana, interlok, iki iplik ve üç iplik türlerindeki kumaş çeşitlerinin hatasız ve hatalı görüntülerini içermektedir. Bu kumaşlara ait iğne kırılmaları, patlak, yağ lekesi, dikiş kayması, likra kaçığı, delik ve ilmek hataları gibi yaygın kumaş hataları görüntülenerek veri tabanına eklenmiştir. Böylece yapılacak gerçek zamanlı çalışmalarda karşılaşılacak hata türleri için sistemin hazırlıklı olması sağlanmıştır. 3.2. Fourier Dönüşümü Temelli Özellik Çıkarma Yöntemi (Fourier Transform Based Feature Extraction Method) Fourier dönüşümü periyodik bir işaretin farklı frekanslardaki sinüs ve kosinüs bileşenleri ile ifade edilmesini sağlayan matematiksel bir yöntemdir [22, 23]. Fourier dönüşümü gürültüye karşı olan dayanıklılık, öteleme bağımsızlığı ve periyodik doku örüntülerinin optimal karakterizasyonu gibi sahip olduğu özelliklerden dolayı kumaş görüntülerinin analizinde de kullanılmıştır [15, 16]. boyutundaki bir giriş görüntüsünün Fourier dönüşümündeki, katsayıları Fourier dönüşümü Eş. 1 yardımıyla aşağıdaki gibi hesaplanır [21]: (1),, / Eş. 1 ile görüntünün tüm pikselleri frekans alanına dönüştürülmüştür. Yapılan çalışmalarda Fourier dönüşümü ile elde edilen frekans spektrumu ve faz spektrumundan anlamlı istatistiksel bilgiler çıkartılmaktadır. Frekans spektrumundan genellikle birinci ve ikinci mertebeden istatistiksel hesaplamalar yapılmaktadır. Bu hesaplamalar varyans, standart sapma, moment ve enerji gibi bilinen dokusal ölçümlerdir. İstatistiksel nicelikler görüntüden anlamlı bilgiler çıkartarak görüntüyü ifade eden temel veriler sağlamaktadır [24]. Kumaş görüntüleri düzenli bir doku yapısı içermektedirler. Kumaş yüzeyinde oluşan bir bozulma bu düzenli yapıyı bozarak görüntünün frekans spektrumuna da yansımaktadır. Bozulmanın olduğu noktadaki frekans değerleri kumaş hatasını ifade etmektedir. Bu çalışmada yapılan istatistiksel hesaplamalar ile kumaş görüntülerindeki bozulma ve kayma miktarları metrik olarak elde edilmiştir. Gerçek zamanlı olmayan ve veri tabanı üzerinde yapılan çalışmalarda literatürdeki yöntemlere benzer bir özellik çıkarma prosedürü kullanılmıştır. Görüntülerin frekans spektrumlarından 7 farklı istatistiksel nicelik hesaplanarak kumaş görüntülerinin dokusal özellikleri hesaplanmıştır. Yapılan istatistiksel hesaplamaların matematiksel tanımlamaları Eş. 2-Eş. 8 ile hesaplanır: 0,0 (2),0 (3) (4)

Şekil 4. Fourier dönüşümünden çıkartılan 7 istatistiksel özellik: (a) Hatalı kumaş görüntüsü için (b) Hatasız kumaş görüntüsü için (Seven statistical features extracted from Fourier transform: (a) For defective fabric image (b) For defect-free fabric image),0 (5) 0, (6) (7) 0, (8) Burada Eş. 2 P kumaş düzensizliğini ölçen eden parlaklık bilgisini, Eş. 3, Eş. 4 ve Eş. 5 teki P,P,P değişkenleri ise kumaş yüzeyinde dikey yöndeki değişimleri algılayan ve ölçen özelliklerdir. Son olarak Eş. 6, Eş. 7 ve Eş. 8 deki P,P,P hesaplamaları kumaşta yatay yöndeki değişimleri tespit etmektedirler. Şekil 4 te veri tabanından alınan hatalı ve hatasız kumaş görüntülerinin frekans spektrumları ve hesaplanan 7 istatistiksel değerin grafikleri görülmektedir. Şekilden de görüleceği gibi görüntülerin hem frekans yanıtları hem de istatistiksel ölçümleri birbirinden oldukça farklı davranışlara sahiptir. Hatalı ve hatasız görüntülerde elde edilen bu farklılıklar YSA ile yapılacak sınıflandırma çalışmalarının sonuçları hakkında ön bilgilere sahip olmamızı sağlamıştır. Yapılan çalışmada kumaş veri tabanındaki her görüntünün Fourier dönüşümü ile elde edilen frekans spektrumları üzerinde 7 farklı istatistiksel hesaplama yapılarak her görüntünün 1 7 boyutunda özellik vektörleri elde edilmiştir. Tüm veri tabanı için elde edilen özellik vektörleri YSA ile sınıflandırılmıştır. Kullanılan veri tabanı yeni bir veri tabanı olmasına karşın Fourier temelli özellik çıkarma metodu görüntüleri detaylı bir şekilde analiz ederek sınıflandırmada başarı sağlamıştır. Elde edilen sınıflandırma sonuçları gerçek zamanlı uygulama sonuçları ile birlikte sonraki bölümde verilmiştir. Elde edilen başarılı hata tespit sonuçlarından sonra yuvarlak örgü makinesi üzerinde gerçek zamanlı hata tespiti gerçekleştirilmiştir. Yuvarlak örgü makinesi üzerinde çalışmalar yürütülürken zaman gereksinimi ortaya çıkacaktır. Fourier temelli özellik çıkarma metodunun prosedüründe herhangi bir kısıtlama yapılamadığı için YSA üzerinde harcanan zaman miktarının azaltılması yoluna gidilmiştir. YSA sınıflandırıcısı aldığı dataların bir kısmını eğitim bir kısmını da test işlemi için kullanmaktadır [25]. Şekil 5. Önerilen yönteminin akış diyagramı (Flow-chart of proposed method) 155

Dolayısıyla YSA üzerinde eğitim ve test olmak üzere iki aşamalı bir çalışma yürütülmektedir. Oluşturulan veri tabanı yuvarlak örgü makinesi üzerinde oluşturulduğu için gerçek zamanlı çalışma esnasında YSA nın tekrar eğitilmesine ihtiyaç kalmamaktadır. Bu nedenle gerçek zamanlı olmayan çalışmalara esnasında eğitilen YSA modeli gerçek zamanlı hata tespitinde kullanılabilecektir. Geliştirilen hata tespit yönteminin gerçek zamanlı olmayan kısmı ve örgü makinesi üzerinde yürütülen gerçek zamanlı kısmına ait işlem adımları Şekil 5 te verilmiştir. 4. SONUÇLAR VE TARTIŞMALAR (RESULTS AND DISCUSSIONS) Bu çalışmada kumaş hatası tespiti iki aşamalı bir şekilde yapılmıştır. İlk olarak veri tabanı üzerinde Fourier dönüşümü temelli özellik çıkarma metodu ile hata tespiti yapılmıştır. Hesaplanan özellik vektörleri YSA ile sınıflandırılarak yöntemlerin sınıflandırma başarısı gerçek zamanlı olmayan çalışmalarla gözlemlenmiştir. İkinci aşamada ise yuvarlak örgü makinesi üzerinde hatalı kumaş üretilerek sistem gerçek zamanlı olarak test edilmiştir. Tüm çalışmalar Intel İ7 işlemci ve 16GB ram belleğe sahip bir bilgisayarda Matlab 2014b programı kullanılarak yapılmıştır. Yürütülen çalışmalarda 2 katmanlı ve tek çıkış hücresine sahip geri beslemeli bir YSA modeli kullanılmıştır. Giriş katmanındaki nöron sayısı görüntü analiz metodunun elde ettiği özellik sayısına göre değişmektedir. Ancak gizli katmandaki nöron sayısı 10 olarak sabitlenmiştir. Kumaş veri tabanı üzerinde yapılan çalışmalarda görüntülerin %70 i eğitim, %15 i çapraz geçerlilik, %15 i ise test işlemi için kullanılmıştır. 4.1. Gerçek Zamanlı Olmayan Hata Tespiti (Non-Real Time Defect Detection) Kullanılan Fourier dönüşüm temelli doku analiz yöntemi güncel iki farklı doku analiz yöntemi ile karşılaştırılmıştır. Bu yöntemler karmaşık analiz 9 (Complex Response 8- CR8) ve Joint_Sort yöntemleridir [26]. CR8 yöntemi dönme bağımsız bir yöntem olup 38 tane farklı yön ve ölçekteki eş yönsüz filtre ile görüntülerin konvolüsyon işlemine tabi tutulması ile özellik vektörleri hesaplamaktadır. Joint_Sort yönteminde ise görüntüler üzerinde baskın olan yönelim bilgilerini bulmak için farklı çaplarda dairesel komşuluklar kullanılmaktadır. Her bir çaptaki komşu piksel değerleri elde edilerek sıralanıp baskın yön bilgisi tespit edilmektedir. Yavaş çalışmaları ve yüksek boyutlu özellik vektörüne sahip olmaları nedeniyle, her iki yöntem gerçek zamanlı işlemler için uygun değildir. Kumaş veri tabanı üzerinde yöntemlerin elde ettiği sınıflandırma başarıları ve diğer önemli parametreler Tablo 1 de verilmiştir. Tablo 1 den de görüleceği gibi Fourier dönüşümü temelli yöntem en yüksek sınıflandırma başarısına sahiptir. Tablo 1. Kumaş veri tabanı üzerinde sınıflandırma doğrulukları (Classification accuracies on fabric database) Yöntem Özellik vektörü boyutu Özellik çıkarma süresi (sn) Başarı Oranı (%) Joint_Sort 960 5,26 93,40 CR8 960 7,35 94,46 Fourier dönüşümü 7 0,001 95 Fourier dönüşümü temelli özellik çıkarma yöntemi düşük çalışma zamanına ve özellik vektörüne sahiptir. Bu nedenle gerçek zamanlı çalışmalarda hız açısından oldukça avantaj sağlayacaktır. Deneysel çalışmalarda kullanılan kumaş veri tabanı örgü makinesi üzerinde üretim esnasında oluşturulduğu için, yöntemin gerçek zamanlı hata tespitinde de benzer başarılı sonuçlar vereceği beklenmektedir. Bu çalışmalar sırasında eğitilen ve kaydedilen YSA modeli gerçek zamanlı çalışmalarda hata tespiti için kullanılmıştır. Dolayısıyla gerçek zamanlı çalışmalarda YSA eğitimine ihtiyaç duyulmamıştır. Kumaş veri tabanı üzerinde test edilen yöntemlerin sınıflandırma yetenekleri ROC (Receiver Operating Characteristic) eğrisi ile ölçülmüştür. ROC eğrisi yöntemlerinin hassasiyet ve kesinlik parametreleri arasındaki dengeyi yorumlamak için kullanılmaktadır. Kullanılan doku analiz yöntemlerinin başarısı ne kadar iyi ise ROC eğrisi o kadar yüksek duyarlılık bölgesine ve sola doğru kayar. Elde edilen ROC eğrileri Şekil 6 da verilmiştir. Daha önce yürütülen başka bir çalışmada 9165 adet kumaş görüntüsü içeren bir veri tabanı oluşturulmuş ve farklı görüntü analiz metotları ile Şekil 6. Gerçek zamanlı olmayan hata tespit yöntemlerinin ROC eğrileri: (a) Joint_Sort yöntemi (b) CR8 yöntemi (c) Fourier yöntemi (ROC curves of off-line defect detection method: (a) Joint_Sort method (b) CR8 method (c) Fourier method.) 156

hata sınıflandırma işlemi gerçekleştirilmiştir [12]. Daha önceki çalışmada kullanılan veri tabanı kapsam olarak daha az sayıda kumaş hatası tipi ve kumaş görüntüsü içermektedir. Bu çalışmanın önceki çalışmadan en önemli farkı veri tabanının daha kapsamlı hale getirilmesi ve hata tespit işleminin örgü makinesi üzerinde gerçek zamanlı olarak gerçekleştirilmesidir. 4.2. Gerçek Zamanlı Hata Tespiti (Real Time Defect Detection) Gerçek zamanlı çalışmalarda elde edilen başarılı sonuçlardan sonra yuvarlak örgü makinesi üzerinde üretim kontrolü yapılmıştır. Görüntü analiz yöntemi olarak başarısı ve çalışma hızı yüksek olan Fourier dönüşümü yöntemi kullanılmıştır. Tasarlanan bir ara yüz ile hata tespit yazılımının çalıştırılıp durdurulması sağlanmıştır. Kumaş operatörü yardımı ile sırasıyla sağlam kumaş üretimi, iğne hatası, likra kaçığı ve iplik hataları üretilmiş ve her bir hata türü için yöntem ayrı ayrı test edilmiştir. Her bir hata tespit uygulaması için örgü makinesi 30 saniye çalıştırılmıştır. Çizgi tarama kamerası örgü makinesi için optimal hızda (25kHz) çalıştırılarak 30 saniyede 2550 görüntü yakalamaktadır. Bu çalışmada operatöre bilgi vermek için kullanılan hata tespit yazılımının ekranında hatalı görüntüler görüntülenmektedir. Şekil 7 de geliştirilen gerçek zamanlı hata tespit sisteminin genel yapısı görülmektedir. İkinci uygulamada örgü makinesinden iki iğne çıkarılarak iğne kırığı hatası üretilmiş ve görüntüler kamera ile izlenmiştir. Yaklaşık 30 saniyelik üretimde üretilen tüm kumaş iğne hatası içerdiği için önerilen yöntem kameranın yakaladığı 2550 kumaş görüntüsünü hatalı olarak sınıflandırmış ve klasöre kaydetmiştir. Üçüncü hata tespit uygulaması likra kaçığı hatası ile ilgilidir. Aynı şekilde bu hata kumaş operatörü tarafından el ile üretilerek hatalı kumaş üretimi yapılmıştır. Kameradan gelen toplam 2550 kumaş görüntüsünün 2193 tanesi hatalı 357 tanesi ise hatasız olarak sınıflandırılmıştır. Buradaki hata tespit başarısı %86 dır. Likra hatası görsel olarak tespiti zor olan bir hata türüdür. Daha önce oluşturulan veri tabanında bu hata türü olmasına rağmen örnek sayısı az olduğu için sistemin başarısı düşmüştür. Yapılan son uygulama önerilen yöntemin iplik kopması hatasını yakalama başarısı test edilmiştir. Örgü makinesinde bu hata operatör tarafından oluşturulup görüntüler alınmaya başlanmıştır. Bu hata kumaş topu boyunca devam eden bir hatadır. Bu nedenle 30 saniye sonunda elde edilen 2550 görüntünün tamamında bu hata vardır. Önerilen yöntem %92 başarı ile hata tespiti yapabilmiştir. Yapılan gerçek zamanlı çalışmaların hata tespit sonuçları Tablo 2 de verilmiştir. Elde edilen sonuçlara bakıldığında önerilen yöntemin yüksek hata tespit başarısına sahip olduğu görülmektedir. Tablo 2. Gerçek zamanlı kumaş kontrolünde Fourier dönüşümü temelli yöntemin hata tespit doğruluğu (Defect detection accuracy of Fourier transform based method for realtime fabric inspection) İncelenen Kumaş Görüntü Sayısı Hatalı Olarak Etiketlenen Hatasız Olarak Etiketlenen Başarı Oranı (%) Hatasız 2550 0 2550 %100 İğne Hatası 2550 2550 0 %100 Likra Hatası 2550 2193 357 %86 İplik Hatası 2550 2346 204 %92 5. SONUÇLAR (CONCLUSIONS) Şekil 7. Gerçek zamanlı hata tespit sisteminin genel yapısı (Diagram of the real time defect detection system) İlk hata tespit uygulaması hatasız kumaş üretimi ile ilgili yapılmıştır. Örgü makineleri normal şartlarda hatasız kumaş ürettiği için geliştirilen sistem üretim esnasında çalıştırılmıştır. 30 saniye boyunca hatasız üretilen kumaş görüntüleri kamera ile yakalanmış ve hata kontrolü yapılmıştır. Kameradan alınan her bir görüntünün özellik vektörü hesaplanarak daha önce eğitilen YSA yardımıyla hata içerip içermediği test edilmiştir. Bu işlem tüm hata tespit çalışmalarında aynı şekilde yapılmıştır. Şekil 5 te gerçek zamanlı hata tespit çalışmalarının işlem adımları görülmektedir. Geliştirilen sistem herhangi bir hatalı kumaş tespit etmemiştir. Dolayısıyla önerilen yöntem hepsi hatasız görüntü olan 2550 kumaş görüntüsünü %100 doğrulukta hatasız olarak tanımlamıştır. Bu çalışmada yuvarlak örgü makinelerinde gerçek zamanlı hata tespiti yapabilen bir sistem geliştirilmiştir. Yürütülen çalışmalar gerçek zamanlı olmayan ve gerçek zamanlı olmak üzere iki aşama içermektedir. Gerçek zamanlı olmayan çalışmalarda kullanılan yöntemler test edilerek gerçek zamanlı hata tespit sisteminin alt yapısı oluşturulmuştur. Bu işlemler kapsamında ilk olarak örgü makinesi kullanılarak 11.000 görüntü içeren kapsamlı bir kumaş veri tabanı oluşturulmuştur. Fourier dönüşümü temeline dayanan özellik çıkarma metodu ile görüntülerin özellik vektörleri elde edilmiştir. YSA sınıflandırıcısı ile yapılan hata tespitinde başarılı sonuçlar elde edilmiştir. Ayrıca eğitilmiş bir YSA modeli kaydedilerek gerçek zamanlı işlemlerin hesaplama maliyeti düşürülmüştür. Sonraki adımda yuvarlak örgü makinesi üzerinde hata tespit çalışmaları yapılmıştır. Veri tabanında bulunan bazı kumaş hataları üretilerek yöntemin hata yakalama başarısı gerçek 157

zamanlı bir şekilde tespit edilmiştir. Gelecekte yapılacak çalışmalar ile farklı yöntem ve hata yakalama stratejileri geliştirilerek üretim kontrolü yapacak sistemler geliştirilebilir. Bunun ilk adımı veri tabanının kapsamının genişletilmesi olmalıdır. Ayrıca farklı doku analiz metotları birlikte kullanılarak daha ayırt edici özellik vektörlerinin elde edilmesi sağlanabilir. TEŞEKKÜR (ACKNOWLEDGEMENT) Bu çalışma Bilim, Sanayi, ve Teknoloji Bakanlığı San-Tez Projeleri programı tarafından desteklenmiştir (Proje Numarası: 0127.STZ.2013-1). REFERANSLAR (REFERENCES) 1. Ngan H.Y.T., Pang G.K.H., Yung N.H.C., Automated Fabric Defect Detection-A Review, Image and Vision Comput., 29, 442-458, 2011. 2. Hamdi A.A., Sayed M.S., Fouad M.M., Hadhoud M.M., Fully Automated Approach for Patterned Fabric Defect Detection, Fourth International Japan-Egypt Conference on Electronics, Communications and Computers (JEC-ECC), Cairo, 48-51, 31 Mayıs-2 Haziran 2016. 3. Jing J., Wang J., Li P., Li Y., Automatic Classification of Woven Fabric Structure by Using Learning Vector Quantization, Procedia Eng., 15, 5005-5009, 2011. 4. Tilocca A., Borzone P., Carosio S., Durante A., Detecting Fabric Defects with A Neural Network Using Two Kinds of Optical Patterns, Text. Res. J., 72, 545-550, 2002. 5. Li Y., Zhao W., Pan J., Deformable Patterned Fabric Defect Detection with Fisher Criterion-Based Deep Learning, IEEE Trans. Autom. Sci. Eng., 99, 1-9, doi: 10.1109/TASE.2016.2520955. 6. Tsang C.S.C., Ngan H.Y.T., Pang G.K.H., Fabric Inspection Based on the Elo Rating Method, Pattern Recognit., 51, 378-394, 2016. 7. Jayashree V., Subbaramn S., Hybrid Approach Using Correlation and Morphological Approaches for GFDD of Plain Weave Fabric, IEEE Control and System Graduate Research Colloquium (ICSGRC), 197-202, 2012. 8. Seker A.K., Peker A., Yuksek A.G., Delibas E., Fabric Defect Detection Using Deep Learning, 24th Signal Processing and Communication Application Conference (SIU), Zonguldak, 1437-1440, 2016. 9. Stivanello M.E., Vargas S., Roloff M.L., Stemmer M. R., Automatic Detection and Classification of Defects in Knitted Fabrics, IEEE Lat. Am. Trans.,14 (7), 3065-3073, 2016. 10. Selver M.A., Avşar V., Özdemir H., The Journal of The Textile Institute, 105 (9), 998-1007, 2014. 11. Li Y., Ai J., Sun C., Online Fabric Defect Inspection Using Smart Visual Sensors, Sensors, 13 (4), 4659-4673, 2013. 12. Hanbay K., Talu M.F., Ozguven O.F., Ozturk D., Fabric Defect Detection Methods for Circular Knitting Machines, IEEE 23th Signal Processing and Communications Applications Conference (SIU), 735-738, 16-19 May 2015. 13. Zhou Y.W., Song G.L., Fang M., The Automating Detecting of Stitch Distortion in Knitted Fabric by Image Processing Technology, International Conference on Control, Automation and Systems Engineering (CASE), 1-3, 2011. 14. Zhao D.X., Wang H., Zhu J.L., Li J.L., Research on a New Fabric Defect Identification Method, International Conference on Computer Science and Software Engineering, 814-817, 2008. 15. Ismail N., Syahrir W.M., Zain J.M., Hai T., Fabric Authenticity Method Using Fast Fourier Transformation Detection, International Conference on Electrical, Control and Computer Engineering (INECCE), 233-237, 2011. 16. Abou-Taleb H.A., Sallam A.T.M., On-line Fabric Defect Detection and Full Control in a Circular Knitting Machine, Autex Research Journal, 8 (1), 21-29, 2008. 17. Hanbay K., Talu M.F., Kumaş Hatalarının Online/offline Tespit Sistemleri ve Yöntemleri, Sakarya Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 18 (1), 49-69, 2014. 18. Han R., Zhang L., Fabric Defect Detection Method Based on Gabor Filter Mask, Intelligent Systems, Global Congress on Intelligent Systems, 184-188, 2009. 19. Jing J., Zhang H., Wang J., Li P., Jia J., Fabric Defect Detection Using Gabor Filters and Defect Classification Based on LBP and Tamura Method, J. Text. Inst., 104, 18-27, 2012. 20. Tong L., Wong W.K., Kwong C.K., Differential Evolution-based Optimal Gabor Filter Model for Fabric Inspection, Neurocomputing, 173, 1386-1401, 2016. 21. Kırıcı T.K., Marmaralı A., Online Fault Detection System for Circular Knitting Machines, Tekstil ve Konfeksiyon, 21 (2), 164-170, 2011. 22. Das B., Turkoglu I., Classification of DNA sequences using numerical mapping techniques and Fourier transformation, Journal of the Faculty of Engineering and Architecture of Gazi University, 31 (4), 921-932, 2016. 23. Cooley J.W., Tukey J.W., An Algorithm for the Machine Calculation of Complex Fourier Series, Math. Comput., 19, 297 301, 1995. 24. Akben S.B., Alkan A., Density-based feature extraction to improve the classifıcation performance in the datasets having low correlation between attributes, Journal of the Faculty of Engineering and Architecture of Gazi University, 30 (4), 597-603, 2015. 25. Kasım O., Kuzucuoglu A.E., Detection and classification of leukocyte cells from smear image, Journal of the Faculty of Engineering and Architecture of Gazi University, 30 (1), 95-109, 2015. 26. Guo Z., Li Q., Zhang, L., You J., Zhang D., Liu W., Is Local Dominant Orientation Necessary for the Classification of Rotation Invariant Texture?, Neurocomputing, 116, 182 191, 2013. 158