MEH535 Örüntü Tanıma 1. Örüntü Tanımaya Giriş Doç.Dr. M. Kemal GÜLLÜ Elektronik ve Haberleşme Mühendisliği Bölümü web: http://akademikpersonel.kocaeli.edu.tr/kemalg/ E-posta: kemalg@kocaeli.edu.tr
Değerlendirme 2
İçerik 1. Giriş (Introduction) (Classification and Regression Basics, Review of Probability and Random Variables, Linear Algebra) 2. Karar Teorisi (Decision Theory) (Likelihood Ratio Test, Error Probability, Bayes Risk, Bayes, Maximum a Posteriori and Maximum Likelihood Criterions, Minimum Error Rule, Discriminant Functions) 3. Denetimli Öğrenme (Supervised Learning) (VC Dimension, Noise, Multiple Class Learning, Regression, Model Selection and Generalization, Dimensions) 4. Parametrik Yöntemler (Parametric Methods) (Maximum Likelihood Estimation, Estimator's Bias and Variance, Bayes Estimator, Parametric Classification and Regression, Tuning Model Complexity, Model Selection Procedures) 5. Çok Değişkenli Yöntemler (Multivariate Methods) (Multivariate Data, Parameter Estimation, Multivariate Normal Distribution, Multivariate Classification, Multivariate Regression) 6. Boyut Azaltımı (Dimensionality Reduction) (Subset Selection, Principal Component Analysis, Linear Discriminant Analysis) 7. Kümeleme (Clustering) (Mixture Densities, k-means Clustering, Expectation Maximization Algorithm, Hierarchical Clustering) 8. Parametrik Olmayan Yöntemler (Non-Parametric Methods) (Non-Parametric Density Estimation: Histogram Estimator, Kernel Estimator, KNN Algorithm, Non-Parametric Regression) 9. Doğrusal Ayrımsama (Linear Discrimination) (Linear Model and Geometry of Linear Discriminant, Support Vector Machines, Kernel Functions) 10. Karar Ağaçları (Decision Trees) (Univariate Trees, Pruning, Rule Extraction from Trees, Multivariate Trees) 3
Kaynaklar Ethem Alpaydın, "Introduction to Machine Learning, Second Edition", The MIT Press, ISBN: 978-0-262-01243-0, 2010. Richard O. Duda, Peter E. Hart, David G. Stork, "Pattern Classification, 2nd Edition", Wiley Interscience, ISBN: 978-0471056690, 2000. S. Theodoridis, K. Koutroumbas, Pattern Recognition, 4th Edition, Academic Press, ISBN: 9781597492720, 2008. Keinosuke Fukanaga, Introduction to Statistical Pattern Recognition, 2nd edition, Academic Press, ISBN: 9780122698514, 1990. Ders notları: http://ehm.kocaeli.edu.tr/dersnotlari_data/?dir=kgullu/oruntu%20tanima 4
Makine Öğrenme Nedir? Örnek veri ya da geçmiş deneyimlerden bir başarım ölçütünü en iyileme Verilerden bilgisayarların veya her türlü yapay zeka makinelerin öğrenmesi için gerekli algoritmaları, yöntemleri, geliştirme süreçlerini inceleyen bilim Denetimli öğrenme (supervised learning) Sınıflandırma (classification) Bağlanım (regression) u Denetimsiz öğrenme (unsupervised learning) Destekli öğrenme (reinforcement learning) - 5
Örüntü Tanıma Nedir? Fiziksel nesne ya da olayı, önceden belirlenmiş kategorilere atama (Duda & Hart). Yüksek boyutlu uzayda yoğunluk fonksiyonlarını kestirme ve uzayı kategori ya da sınıf bölgelerine bölme (Fukunaga). Karmaşık işaretlere verilen belli örnekler ve bunlara ait doğru kararları kullanarak, gelecek yeni örnek dizileri için otomatik karar verme (Ripley). Ölçümlerin sınıflandırılması ya da tanımlanması ile ilgilenen bilim (Schalkoff). mfetiketi x gözlemlerine ω ismi verme süreci (Schürmann). Örüntü Tanıma, Bu nedir? sorusuna yanıt verme ile ilgilenir (Mors). x D wi 6
İlgili Alanlar ve Uygulamalar Uyarlamalı işaret işleme Makine Öğrenme Yapay sinir ağları Robotik ve görü Bilişsel bilimler Matematiksel istatistik Doğrusal olmayan optimizasyon Araştırmacı veri analizi Bulanık ve genetik sistemler Algılama ve kestirim teorisi Biçimsel diller Yapısal modelleme İmge işleme/bölütleme Bilgisayar görü Konuşma tanıma : Otomatik hedef tespiti Optik karakter tanıma - Sismik analiz İnsan ve makine tanılama Biyometrik tanıma Endüstriyel denetleme Finansal tahmin Tıbbi tanı Biyomedikal işaret analizi Uzaktan algılama 7
Elyazısı okuma İlgili Alanlar ve Uygulamalar 8
Parmak izi tanıma İlgili Alanlar ve Uygulamalar 9
Otonom araçlar İlgili Alanlar ve Uygulamalar 10
İlgili Alanlar ve Uygulamalar Bitki örtüsü sınıflandırma: 11
Bina tespiti: İlgili Alanlar ve Uygulamalar 12
İlgili Alanlar ve Uygulamalar Bina tespiti ve değişim algılama: 13
Plaka tanıma: İlgili Alanlar ve Uygulamalar 14
İris tanıma: İlgili Alanlar ve Uygulamalar 15
Örüntü Tanıma Süreci # 17 + - Ina yjwtmkamerapjndynmieeke0iai@ln.s 4 P P tgramygma 16
Örüntü Tanıma Süreci Detaylı Gösterim at cx Emus ' F tfitimadamasi.to 17
nonexn x± w ) Wo FI "# # : Ny wy nz wo ws ( diiwnlilytrme ) hqularizatien Nt w, XN 5±
Öznitelik (Feature): Herhangi bir ayırt edici durum, nitelik ya da karakteristik özellik. Sembolik (örn; renk) Nümerik (örn; uzunluk) Öznitelik - tanımlar: Öznitelik ve Örüntü Yet d * * e u Özniteliklerin birleşiminden oluşan d-boyutlu sütun vektörü: öznitelik vektörü (feature vector) 18
Öznitelik ve Örüntü Öznitelik vektörü tarafından tanımlanan d-boyutlu uzay: öznitelik uzayı (feature space) Öznitelik uzayında nokta şeklinde nesne gösterimi: saçılım çizimi (scatter plot) 19
Öznitelik ve Örüntü Örüntü (Pattern): Bireye ait karakteristik özellikler ya da özniteliklerin birleşimi x ve ω değişkenlerinden oluşan çift x: gözlemler ya da özniteliklerin oluşturduğu öznitelik vektörü ω: gözlemlerin arkasındaki kavram (etiket) örüntü: {x,ω} o. 20
Öznitelik Vektörü Nasıl Olmalı? Örneği farklı sınıflardan ayıracak yeteneğe sahip olmalı Aynı sınıftaki Eta örnekler benzer özniteliklere sahip olmalı 21
Öznitelik Vektörü Nasıl Olmalı? Farklı saçılım çizimleri:. 22
Sınıflandırma Sınıflandırıcının amacı, öznitelik uzayını sınıf etiketli karar bölgelerine ayırmak ' " ' * #E 4e ; Karar bölgeleri arasındaki sınırlar: karar sınırı (decision boundary) x öznitelik vektörü hangi karar bölgesine ait ise, örnek o sınıfa atanır - 23
x öznitelik vektörü Sınıflandırma ayırtaç fonksiyonlarının tümünde en büyük değeri üreten ω i sınıfına atanır: - test a{ amasl qyrtaaforhiynbg, aaaeiegitzgtgektsri 24
Sınıflandırma Örneği-1. is 1 1 25
Sınıflandırma Örneği-2 Kredilendirme: okay Gelir ve birikime göre müşteriye risk atama Ayırtaç: IF income > θ1 AND savings > θ2 - THEN low-risk ELSE high-risk 26
Sınıflandırma Örneği-3 Balık paketleme fabrikasında kameralı somon/deniz levreği sınıflandırma sistemi: " Süreç Akış Yönü 27
Sınıflandırma Örneği-3 Algılayıcı: Sınıflandırma alanına giren balığın görüntüsünü alan kamera sistemi Ön İşleme: Parlaklık seviyesini ayarlama, gürültü giderimi, ön plan çıkartımı Öznitelik Çıkarımı: Balık uzunluğu Sınıflandırma: Her iki balık türünden örnekler topla K Sınıflar için uzunlun dağılımlarını hesapla Sınıflandırma hatasını en küçükleyecek karar sınırını belirle 28
Sınıflandırma Örneği-3 Sınıflandırma hatası %40 ın altına düşmüyor. Ne yapmalıyız? Öznitelik çıkarma işlemine geri dönmeliyiz! Balık pulunun parlaklığını öznitelik olarak alırsak: 29
Sınıflandırma Örneği-3 Çoklu Öznitelik Durumu: İki öznitelik birleştirildiğinde başarım ~ % 95 30
Sınıflandırma Örneği-3 Sınıflandırma Başarımı Maliyet? Örnekte hatalı sınıflandırma oranını en küçükleyecek karar sınırının bulunması amaçlanmıştı. Ancak bu her problem için geçerli değildir. Örneğin; Satış fiyatı ve lezzet farklılığından dolayı somonu levrek olarak sınıflandırmak müşteride memnuniyet oluşturabilirken; Levreği somun olarak sınıflandırmak müşteri memnuniyetsizliği oluşturabilmektedir 31
Çoklu Öznitelik Daha fazla öznitelik eklemek daima sonuçları iyileştirir mi? Güvenilmeyen öznitelikler! Mevcut öznitelikler ile ilinti! Ölçüm maliyeti! Ölçümdeki gürültü! Çok yüksek boyutta çalışmak! 32
Genelleştirme Eğitim ile oluşturulan karar mekanizmasının fabrikadaki bantta yüksek başarımda çalışabilmesi gerekir. Yapay Sinir Ağı (YSA) kullanılarak eğitim başarımı ~ %99.9 lara çekildiğinde oluşan karar sınırı: ± Fabrikada bantta YSA ile elde edilen sınıflandırıcı kullanıldığında hatalı sınıflandırma oranı ~ %35 oranına çıkmaktadır! Neden? 33
Genelleştirme Farklı bir karar sınırı iyi sonuç verebilir mi? Karmaşık modeller karmaşık sınırlar oluşturabilir Genelleme! Hesapsal yük! Bellek gereksinimi! * % % 34
Bağlanım Örneği 2. el araba fiyatı x: araç km Y: fiyat y = wx+w k 7 ' *E 0 y = g (x θ ) g ( ) model, θ: doğru parametreleri 35
Bağlanım Örneği in 36
Farklı polinom dereceleri: Genelleştirme 0, 37
Genelleştirme Neden genelleştirme? Verinin ortalaması 2. dereceden uydurulan polinom Örnek noktaları 38
Tasarım Süreci 39
Örüntü Tanıma Yaklaşımları İstatistiksel Özniteliklerin istatistiksel modellenmesi temelinde yapılan örüntü sınıflandırma Yapısal Yapısal benzerlik ölçütleri temelli sınıflandırma Bu yaklaşım betimleme için de kullanılır Sinirsel Sinir ağının giriş örüntüsüne verdiği yanıt temelli sınıflandırma 40
Örüntü Tanıma Yaklaşımları İstatistiksel Yaklaşımlar Sınıf koşullu olasılık yoğunluk fonksiyonları temelinde tanımlanır Yapısal Yaklaşımlar Yapı, biçimsel gramer ya da ilişkisel betimlemeler (çizgeler) ile gösterilir Tipik olarak, karmaşık örüntülerin hiyerarşik olarak basit alt örüntülerden betimlenmesi şeklindedir Sinirsel Yaklaşımlar Ağın yanıtı, sinaptik ağırlıkların kuvveti ve bağlanırlığı ile tanımlanır Önsel bilgiye pek gerek duymaz Yeterli katman ve sinir ile YSA karmaşık karar bölgeleri oluşturabilir 41
İstatistiksel Yaklaşım - Örnek Boyut Azaltımı Yoğunluk Kestirimi 42
Yapısal Yaklaşım - Örnek Cümle: isim cümleciği -> fiil cümleciği 43
Sinirsel Yaklaşım - Örnek 44