MEH535 Örüntü Tanıma

Transkript

1 MEH535 Örünü Tanıma 4. Paramerik Sınıflandırma Doç.Dr. M. Kemal GÜLLÜ Elekronik ve Haberleşme Mühendisliği Bölümü web: hp://akademikpersonel.kocaeli.edu.r/kemalg/ E-posa: Paramerik Yoğunluk Kesirimi Paramerik Kesirim: Verilen eğiim kümesinden bir olasılıksal model kesirerek belirsizliği modelleme ve en iyi kararı verme problemi: Paramerik, yarı-paramerik ve paramerik olmayan yoğunluk kesirimi Paramerik sınıflandırmada örneklerden paramere kesirme (örn; Gauss modeli için or, değişini) X = { x } =1 N örnekleri x ~p(x) yoğunluğundan gelsin p(x θ) için bir yapı kabul edip X üzerinden θ yı kesirmek örn; N ( μ, σ 2 ) θ = { μ, σ 2 } paramereleri 2 1

2 Paramerik Yoğunluk Kesirimi Eğiim verisinden P(ω i ) ve P(x ω i ) sınıf yoğunluklarını kesirme problemi Eğer kesirilebilir ise P(ω i x) sonsalı hesaplanarak sınıf kararı verilebilir! En Büyük Olabilirlik Kesirimi (Maximum Likelihood Esimaion-MLE) Örnek veri kümesinin üm elemanları için olabilirliği en büyükleyen θ parameresi? 3 En Büyük Olabilirlik Kesirimi (MLE) Bağımsız ve eş dağılımlı (iid) örnek kümesi X = { x } =1 N x bilindik bir θ paramereli p(x θ) olasılık yoğunluğundan gelsin (x ~p(x θ)) Amaç: x nin olabildiğince p(x θ) dan örneklendiği θ parameresini bulmak x iid olduğundan, X kümesinin θ parameresi için olabilirliği (likelihood): l(θ X) = p(x θ) = p(x θ) Lecure Noes for E Alpaydın 2004 Inroducion o Machine Learning The MIT Press (V1.1) 4 2

3 En Büyük Olabilirlik Kesirimi (MLE) Veri kümesi hangi dağılımdan gelmiş olabilir? 5 En Büyük Olabilirlik Kesirimi (MLE) Log olabilirlik: L(θ X) = log l(θ X) = log p(x θ) MLE kesirici: θ * = argmax θ L(θ X) Örnek (Bernoulli D): iki durum x={0,1} P(x) = p x o (1 p o ) (1 x) L (p o X) = log p x o (1 p o ) (1 x ) dl (p o X)/dp o =0 MLE: p o = x / N Lecure Noes for E Alpaydın 2004 Inroducion o Machine Learning The MIT Press (V1.1) 6 3

4 En Büyük Olabilirlik Kesirimi (MLE) Örnek (Çok Terimli D): K>2 çıkı durumu P (x 1,x 2,...,x K ) = i p i x i L(p 1,p 2,...,p K X) = log i p i x i MLE: p i = x i / N Lecure Noes for E Alpaydın 2004 Inroducion o Machine Learning The MIT Press (V1.1) 7 En Büyük Olabilirlik Kesirimi (MLE) Gauss Dağılımı: px 2 1 x exp p(x) = N ( μ, σ 2 ) 1 x 2 exp p x Log Olabilirlik: L(μ,σ X) = -(N/2)log2π Nlogσ - (x -μ) 2 /2σ 2 μ ve σ 2 için MLE: m Lecure Noes for E Alpaydın 2004 Inroducion o Machine Learning The MIT Press (V1.1) N x s 2 x m 2 N 8 4

5 Kesirici Performansı Kesirici: d i = d(x i ) Yanlılık (Bias): b θ (d) = E[d] θ b θ (d) = 0 (yansız) Değişini (Variance): E[(d E[d]) 2 ] Or. Karesel Haa: r (d,θ) = E[(d-θ) 2 ] = (E[d]-θ) 2 + E[(d-E[d]) 2 ] = Bias 2 + Variance Lecure Noes for E Alpaydın 2004 Inroducion o Machine Learning The MIT Press (V1.1) 9 Kesirici Performansı Örnek: Oralama ve değişini kesiricilerinin yansızlığı m N x yansız s 2 x m 2 N yanlı 10 5

6 Bayes Kesirici θ parameresi ile ilgili önsel bilgi mevcu Bu bilgi kısılı sayıda örneke kesirim yaparken faydalı olabilir! θ, p(θ) önselli bir rassal değişken olsun Bayes kuralı: p(θ X) = p(x θ)p(θ)/p(x) Full: p(x X) = p(x θ) p(θ X) dθ Maximum a Poseriori (MAP): θ MAP = argmax θ p(θ X) Maximum Likelihood (ML): θ ML = argmax θ p(x θ) Bayes: θ Bayes = E[θ X] = θp(θ X)dθ Lecure Noes for E Alpaydın 2004 Inroducion o Machine Learning The MIT Press (V1.1) 11 Bayes Kesirici x ~N (θ,σ o2 ) ve θ~n (μ,σ 2 ) θ ML = m θ MAP = θ Bayes = E X N / 1/ N / 1/ / 1/ m N 0 Lecure Noes for E Alpaydın 2004 Inroducion o Machine Learning The MIT Press (V1.1) 12 6

7 Normal Dağılımlı Sınıflar için Bayes Sınıflandırıcıları: MAP karar kuralı: Çok Değişkenli Gauss Yoğunluğu (Mulivariae GD): MAP ayıraç fonksiyonu: 13 Sabi erimler aıldığında: Üsel ifadeden kurulmak için fonksiyonun logariması alındığında: Karesel ayıraç fonksiyonu (quadraic discriminan funcion) 14 7

8 DURUM-1: Öznielikler isaisiksel bağımsız ve değişiniler sabi (Σ i = σ 2 I) Göserim açıldığında: 15 Sabi x T x aıldığında: Ayıraç doğrusal olduğundan, karar sınırları (g i (x)=g j (x)) hiper düzlem (hyperplane) şeklindedir. Önseller eşi kabul edildiğinde En küçük uzaklık/en yakın oralama sınıflandırıcı (minimum disance/neares mean classifier) 16 8

9 En yakın oralama sınıflandırıcıda σ 2 = 1 alındığında uzaklık Euclidean uzaklığına dönüşmekedir. En yakın oralama sınıflandırıcı: 17 Örnek: 2-boyulu uzayda 3-sınıf problemi Sınıf bölgeleri 18 9

10 DURUM-2: Öznielikler isaisiksel bağımsız ve değişinileri farklı (Σ i = Σ, Σ: köşegen) x 2 [k] erimi sabi, aılabilir: 19 Ayıraç doğrusaldır Her eksenin mesafesi değişinisi ile normalize edilmişir Örnek: 20 10

11 DURUM-3: Değişiniler birbirinden, orak değişiniler sıfırdan farklı (Σ i = Σ, Σ: köşegen değil) log Σ erimi aıldığında: Karesel erim Mahalanobis Uzaklığı olarak adlandırılır. 21 Mahalanobis uzaklığı Σ -1 normunu kullanan bir vekör uzaklığıdır Σ -1 uzayda yayma fakörünü anımlar Σ = I durumunda Euclidean uzaklığına dönüşür 22 11

12 Ayıraçaki karesel erim açıldığında: x T Σ -1 x orak, aılabilir: Ayıraç doğrusal olduğundan karar sınırları hiper düzlemdir 23 Önsel olasılıklar eşi alındığında: Örnek: En küçük uzaklık (Mahalanobis) sınıflandırıcı 24 12

13 DURUM-4: Orak değişini marisleri farklı faka durum-1 deki yapıda (Σ i = σ i2 I) İfade karesel olduğundan karar sınırları da kareseldir (hyper-ellipses) 25 Örnek: 26 13

14 DURUM-5: Orak değişini marisleri farklı (Σ i farklı) Karar sınırları karesel: hiper-elips ya da hiper-parabol Ayıraçaki karesel göserim Mahalanobis uzaklığı ile oranılıdır 27 Örnek: 28 14

15 Sonuçlar: Normal dağılımlı sınıflar için Bayes sınıflandırıcı genel durumda karesel sınıflandırıcıdır Normal dağılımlı sınıflar için Bayes sınıflandırıcı eşi orak değişini marisi durumda doğrusal sınıflandırıcıdır En küçük Mahalanobis uzaklığı sınıflandırıcı en uygundur: Normal dağılımlı sınıflarda Eşi orak değişini marisinde Eşi önsellerde En küçük Euclidean uzaklığı sınıflandırıcı en uygundur: Normal dağılımlı sınıflarda Birim maris ile oranılı eşi orak değişini marisinde Eşi önsellerde 29 15