MEH535 Örüntü Tanıma. Karar Teorisi

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "MEH535 Örüntü Tanıma. Karar Teorisi"

Turgay Kutay
8 yıl önce
İzleme sayısı:

web: http://akademikpersonel.kocaeli.edu.

1 MEH535 Örüntü Tanıma 2. Karar Teorisi Doç.Dr. M. Kemal GÜLLÜ Elektronik ve Haberleşme Mühendisliği Bölümü web: E-posta: Karar Teorisi Doğru karar vermek 2 1

2 Karar Teorisi Olabilirlik Oran Testi Ele alınan bir x ölçümünü sınıflandırma problemi için kabul edilebilir bir sezgisel karar kuralı: Ölçülen x özniteliği tarafından sağlanan kanıtın daha benzer olduğu sınıfı seç Matematiksel olarak, her sınıfın P(ω i x) sonsal olasılığını bul ve içlerinden en büyük olasılığı veren sınıfı seç 2 sınıf problemi için karar kuralı: Daha sade şekilde: 3 Karar Teorisi Olabilirlik Oran Testi Bayes Kuralı uygulandığında P(x) kararda etkili olmadığından atılabilir! Λ(x) olabilirlik oranı (likelihood ratio); karar kuralı da olabilirlik oran testi (likelihood ratio test) olarak adlandırılır. Not: Eğer P(ω i x) sonsalı hesaplanmak isteniyor ise P(x) gereklidir. 4 2

3 Karar Teorisi Olabilirlik Oran Testi Örnek: Aşağıdaki sınıf koşullu olasılık yoğunlukları üzerinden LRT ile karar kuralı oluşturmak isteniyor (önseller eşit) LRT: İşaretler değiştirilip log alındığında: Sonuçta: 5 Karar Teorisi Olabilirlik Oran Testi Örnek: Önsel olasılıkların eşit olmadığı durum (P(ω 1 )= 2P(ω 2 ) ) LRT: Eşik sağa kaydı. Yorum? 1 x e x x10 2 e In x In2 x 4 x x x 4 x 10 2In

4 Karar Teorisi Hata Olasılığı İkili hipotez durumunda bölgeler ve kararlar (Van Trees): 7 Karar Teorisi Hata Olasılığı Karar kuralının performansı hata olasılığı (P[error]) ile değerlendirilir Sınıf koşullu olasılıkları: Örn; 2 sınıf probleminde: 8 4

5 Karar Teorisi Hata Olasılığı Eşit önsel olasılıklı 2 sınıf problemindeki karar kuralı için hata olasılığı: 9 Karar Teorisi Hata Olasılığı LRT karar kuralı ne derecede iyi? P[error], sonsal hata üzerinden ele alındığında En uygun karar kuralı, her x için P[error x] olasılığını en küçükleyecektir. ω j kararı verildiğinde her x noktasında P[error x ] değeri P[ω i x ] olasılığına eşittir ALT: Arbitrary Likelihood ratio Test 10 5

6 Karar Teorisi Hata Olasılığı Herhangi bir x değeri için LRT karar kuralı daima daha düşük P[error x ] e sahip olacaktır Dolayısıyla, x-ekseni üzerinden integral alındığında LRT daha düşük P[error] vermektedir. Verilen bir problem için en küçük hata olasılığı LRT ile elde edilir. Bu hata olasılığı Bayes Hata Oranı (Bayes Error Rate) olarak bilinir ve sınıflandırıcının yapabileceğinin EN İYİSİDİR 11 Karar Teorisi Bayes Riski Hatalı sınıflandırma cezası her zaman eşit olmayabilir. Örn; Kanser hastasına hasta değil tanısı koymak diğer durumla karşılaştırıldığında ciddi sorun oluşturacaktır. Farklı risk durumları C ij ile gösterilen bir maliyet fonksiyonu (cost func.) ile gösterilir C ij, ω j sınıfı doğru iken ω i sınıfına karar verme maliyetidir Bayes Riski (2-sınıf için): 12 6

7 Karar Teorisi Bayes Riski Bayes riskini en küçükleyecek karar kuralı ne olmalı? Risk: Olabilirlik 13 Karar Teorisi Bayes Riski Risk ifadesinde olabilirlik toplamı kullandığında Bayes riski: Tüm integraller R 1 bölgesinde tanımlandığında: 14 7

8 Karar Teorisi Bayes Riski Bayes riskini en küçükleme (ilk 2 terim R 1 de tanımlı değil, atılır): R 1 i seç eğer: LRT 15 Karar Teorisi Bayes Riski Örnek: 2-sınıf probleminde, Yoğunluklar? LR? için hata olasılığını en küçükleyen karar kuralı? 16 8

Karar Teorisi LRT Türevleri Bayes Ölçütü: En Büyük Sonsal (Maximum A Posteriori - MAP) Ölçütü: En Büyük Olabilirlik (Maximum Likelihood - ML) Ölçütü: 17 Karar Teorisi LRT Türevleri Neyman-Pearson

Örn; balık sınıflandırma probleminde somonların levrek olarak hatalı sınıflandırılması için devletin koyduğu %1 sınırını geçmeyecek şekilde diğer durumun hata olasılığını en küçükle Önsellerin

9 Karar Teorisi LRT Türevleri Bayes Ölçütü: En Büyük Sonsal (Maximum A Posteriori - MAP) Ölçütü: En Büyük Olabilirlik (Maximum Likelihood - ML) Ölçütü: 17 Karar Teorisi LRT Türevleri Neyman-Pearson Ölçütü: Algılama-kestirim teorisinde kullanılır ve LRT de bir sınıfın hata olasılığını sabit tutarak, diğer sınıfın hata olasılığını en küçüklemeye çalışır. Örn; balık sınıflandırma probleminde somonların levrek olarak hatalı sınıflandırılması için devletin koyduğu %1 sınırını geçmeyecek şekilde diğer durumun hata olasılığını en küçükle Önsellerin bilgisine ve bir maliyet fonksiyonuna gerek yoktur Minimax Ölçütü: Oyun teorisinde kullanılır ve Bayes ölçütünden çıkartılmıştır. En büyük Bayes riskini en küçüklemeyi hedefler Önsellerin bilgisine gerek yoktur ancak bir maliyet fonksiyonu gerekir 18 9

10 Karar Teorisi Minimum Hata Kuralı Çoklu Sınıf Problemi için hata olasılığını en küçükleyen karar kuralı: Doğru atama yapma olasılığı: Hata olasılığı: Hata olasılığını en küçükleme Doğru atama olasılığını en büyükleme: 19 Karar Teorisi Minimum Hata Kuralı P[correct] olasılığını en büyüklemek için integralinin her birinin en büyüklenmesi gerekmektedir Bu integral, en büyük P[ω i x] i veren ω i sınıfı seçilerek en büyüklenebilir 20 10

Karar Teorisi Minimum Hata Kuralı Çoklu sınıf problemi için en küçük Bayes riski: α i : ω i sınıfını seçme kararı α(x) : x özniteliklerini ω i : α(x) {α 1,α 2,, α c } sınıflarına eşleyen toplam karar

11 Karar Teorisi Minimum Hata Kuralı Çoklu sınıf problemi için en küçük Bayes riski: α i : ω i sınıfını seçme kararı α(x) : x özniteliklerini ω i : α(x) {α 1,α 2,, α c } sınıflarına eşleyen toplam karar kuralı olsun x i ω i sınıfına atama koşullu riski : α(x) karar kuralı ile ilişkilendirilen Bayes riski: 3 x 21 Karar Teorisi Ayırtaç Fonksiyonları g i (x), i=1,,c ayırtaç fonksiyonları ile sınıflandırma: Temel Karar Kuralları ve ayırtaç fonksiyonları: 22 11

Benzer belgeler

MEH535 Örüntü Tanıma

MEH535 Örüntü Tanıma MEH535 Örünü Tanıma 4. Paramerik Sınıflandırma Doç.Dr. M. Kemal GÜLLÜ Elekronik ve Haberleşme Mühendisliği Bölümü web: hp://akademikpersonel.kocaeli.edu.r/kemalg/ E-posa: [email protected] Paramerik