BAYES ÖĞRENMESİ BİLECİK ÜNİVERSİTESİ. Araş. Gör. Nesibe YALÇIN. Yapay Zeka-Bayes Öğrenme

Transkript

1 BAYES ÖĞRENMESİ Araş. Gör. Nesibe YALÇIN BİLECİK ÜNİVERSİTESİ Yapay Zeka-Bayes Öğrenme 1

2 İÇERİK Bayes Teoremi Bayes Sınıflandırma Örnek Kullanım Alanları Avantajları Dezavantajları Yapay Zeka-Bayes Öğrenme

3 BAYES TEOREMİ Bir olayın meydana gelmesinde birden fazla etkenin olması koşulunda, olayın hangi etkenin etkinliği ile ortaya çıktığını gösteren teoremdir. h h olayının önsel (marjinal olasılığı D D eğitim verisinin önsel olasılığı D h h olayı verildiğinde D nin koşullu olasılığı h D D eğitim verisi verildiğinde h nin koşullu olasılığı Yapay Zeka-Bayes Öğrenme 3

4 Alternatif iki hipotezi olan bir tıbbi teşhis problemini ele alalım. (1 Hasta, kanser ( Hasta, kanser değil Veriler, (pozitif ve ϴ (negatif olmak üzere iki sonucu olan laboratuar testlerinden oluşmaktadır. Tüm popülasyonun.008 lik kısmının bu hastalığa sahip olduğuna dair önsel bilgimiz var. Ayrıca laboratuar testi bu hastalığa dair eksik sonuçlar da verebilmektedir.test, hastalığın gerçekte var olduğu durumların %98 inde doğru pozitif sonuç, olmadığı durumların %97 sinde doğru negatif sonuç vermektedir. Diğer durumlarda ise test, hastalığın varlığına dair tam zıttı sonuçlar vermektedir: cancer0.008 cancer0.99 cancer 0.98 cancer0.03 ϴ cancer0.0 ϴ cancer0.97 Laboratuar testi pozitif olan bir hastanın olduğunu varsayarsak, bu hastayı kanser var şeklinde mi, yok şeklinde mi teşhis etmeliyiz? cancer cancer0.98* cancer cancer 0.03* cancer < cancer cancer Yapay Zeka-Bayes Öğrenme

5 BAYES SINIFLANDIRMA İstatistiksel bir sınıflandırıcıdır. İstatistikteki bayes teoremine dayanır. Örneklerin hangi sınıfa hangi olasılıkla ait olduklarını öngörür. Basit bir yöntemdir. Öğrenme zamanı yoktur, yani sınıflandırmadan önce bir başlangıç zamanı gerekmez. Her sınıflandırma için tüm veri kümesini işler. Yapay Zeka-Bayes Öğrenme 5

6 TENİS OYNAMA ÖRNEĞİ Gün Hava Durumu Sıcaklık Derecesi Nem Oranı Rüzgar Oynama Durumu D1 Güneşli Sıcak Yüksek Zayıf Hayır D Güneşli Sıcak Yüksek Şiddetli Hayır D3 Bulutlu Sıcak Yüksek Zayıf Evet D Yağmurlu Ilık Yüksek Zayıf Evet D5 Yağmurlu Serin Normal Zayıf Evet D6 Yağmurlu Serin Normal Şiddetli Hayır D7 Bulutlu Serin Normal Şiddetli Evet D8 Güneşli Ilık Yüksek Zayıf Hayır D9 Güneşli Serin Normal Zayıf Evet D10 Yağmurlu Ilık Normal Zayıf Evet D11 Güneşli Ilık Normal Şiddetli Evet D1 Bulutlu Ilık Yüksek Şiddetli Evet D13 Bulutlu Sıcak Normal Zayıf Evet D1 Yağmurlu Ilık Yüksek Şiddetli Hayır Yapay Zeka-Bayes Öğrenme 6

7 Hava durumu güneşli evet /5 güneşli hayır 3/5 bulutlu evet / bulutlu hayır 0 yağmurlu evet 3/5 yağmurlu hayır /5 Sıcaklık sıcak evet / sıcak hayır / ılık evet /6 ılık hayır /6 serin evet 3/ serin hayır 1/ Nem oranı yüksek evet 3/7 yüksek hayır /7 normal evet 6/7 normal hayır 1/7 Rüzgar şiddetli evet 3/6 zayıf hayır 3/6 zayıf evet 6/8 şiddetli hayır /8 evet 9/1 hayır 5/1 Yapay Zeka-Bayes Öğrenme 7

8 Yeni X Örneğinin Sınıflandırılması Yeni örnek X <yağmurlu, sıcak, yüksek, zayıf> evet X? yağmurlu evet sıcak evet yüksek evet zayıf evet evet 3/5 / 3/7 6/8 9/ hayır X? yağmurlu hayır sıcak hayır yüksek hayır zayıf hayır hayır /5 / /7 /8 5/ evet X>hayır X olduğundan örnek X in sınıfı evet olarak öngörülür. Yapay Zeka-Bayes Öğrenme 8

9 Dergi Harcaması Kol Saati Harcaması ÖRNEK Verilen tabloya göre Dergi HarcamasıEvet, Saat HarcamasıEvet Hayat SigortasıHayır, Kredi Kartı SigortasıHayır Cinsiyet? Hayat Sigortası Kredi Kartı Sigortası Cinsiyet Evet Hayır Hayır Hayır E Evet Evet Evet Hayır K Hayır Hayır Hayır Hayır E Evet Evet Evet Hayır E Evet Hayır Evet Hayır K Hayır Hayır Hayır Hayır K Evet Hayır Evet Evet E Hayır Evet Hayır Hayır E Evet Hayır Hayır Hayır E Evet Evet Evet Hayır K

10 ÖRNEK Dergi Harcaması Kol Saati H. Hayat Sigor. Kredi Kartı Sigortası Cinsiyet E K E K E K E K Evet Hayır Evet /6 3/ /6 / /6 3/ /6 1/ Hayır /6 1/ /6 / /6 1/ /6 3/ S1:CinsiyetERKEK, S:CinsiyetKADIN şeklinde sınıf olsun. X1,X,X3,X örnekler olsun. Buna göre X CinsiyetERKEK koşullu olasılığını hesaplamak gerekmektedir. Yapay Zeka-Bayes Öğrenme 10

11 1.ADIM: S1:CinsiyetERKEK için X CinsiyetERKEK cinsiyet E 3 5 BayesTeoremine göre: P ( h D D h h D Yapay Zeka-Bayes Öğrenme 11

12 .ADIM: S:CinsiyetKADIN için X CinsiyetKADIN Bayes Teoremine göre: cinsiyet K 5 SONUÇ:Bayes sınıflandırıcı bize, örneğin büyük olasılıkla erkek bir kredi kartı müşterisi olduğunu söylemektedir. Yapay Zeka-Bayes Öğrenme 1

13 SIFIR DEĞER SORUNU Dergi HarcamasıEvet, Saat HarcamasıEvet Hayat SigortasıHayır, Kredi Kartı SigortasıHayır Cinsiyet? [] Burada, Kredi Kartı SigortasıHayır olan kadınların sayısını 0 kabul edelim: x x x 1 3 S S S P ( x S DergiH. KolSaatiH. HayatSigor. Evet Cinsiyet P ( KrediKartSigor. 3 X Cinsiyet K Bu problemi aşmak için: n + ( k( p d + k Evet Cinsiyet Hayir Cinsiyet 1 K 3/ K Hayir Cinsiyet 0 0 / K 1/ K 0 / 0 k: 0 ile 1 arasında bir sayıdır, p ise hedef nitelik için mümkün değerlerin toplamının 1 kesirli kısmıdır. Yani p1/ olmaktadır. Yapay Zeka-Bayes Öğrenme 13

14 EKSİK VERİ Dergi HarcamasıEvet, Saat HarcamasıBilinmiyor Hayat SigortasıHayır, Kredi Kartı SigortasıHayır Cinsiyet? [] 8 X Cinsiyet E X Cinsiyet K 6 Cinsiyet E X Cinsiyet K X Burada, Saat Harcaması özelliğinin olasılık değeri 1 kabul edilerek ihmal edilmiştir. Her iki şartlı olasılık aynı derecede aynı derecede etkilendiğinden sonuç için problem olmaz. Yapay Zeka-Bayes Öğrenme 1

15 SAYISAL VERİLER Dergi Harcaması Kol Saati Harcaması Hayat Sigortası Kredi Kartı Sigortası Yaş Cinsiyet Evet Hayır Hayır Hayır 5 E Evet Evet Evet Hayır 0 K Hayır Hayır Hayır Hayır E Evet Evet Evet Evet 30 E Evet Hayır Evet Hayır 38 K Hayır Hayır Hayır Hayır 55 K Evet Hayır Evet Evet 35 E Hayır Evet Hayır Hayır 7 E Evet Hayır Hayır Hayır 3 E Evet Evet Evet Hayır 1 K Dergi HarcamasıEvet, Saat HarcamasıEvet Hayat SigortasıHayır, Kredi Kartı SigortasıHayır, Yaş5 Cinsiyet? [] Yapay Zeka-Bayes Öğrenme 15

16 Yaş verisinin normal dağıldığı varsayılarak, standart olasılık yoğunluk fonksiyonu kullanılır: 5 ( ( 5 ( ( Kadin Cinsiyet Yas P K Cinsiyet X P Erkek Cinsiyet Yas P E Cinsiyet X P SAYISAL VERİLER sapma std ortalama e x f x. :, : 1/( ( /( ( σ µ π σ σ µ /( 5 ( , 7.77, /( 5 ( , 7.69, ] /[( (5 ] /[( (5 e Kadin Cinsiyet Yas P x e Erkek Cinsiyet Yas P x π µ σ π µ σ 16 Yapay Zeka-Bayes Öğrenme

17 SAYISAL VERİLER X X Cinsiyet Cinsiyet E K Cinsiyet Erkek X.003 / X.0018 / X 5 Cinsiyet Kadin X.00 / X.0016 / X 5 SONUÇ: Bayes sınıflandırıcı bize, örneğin büyük olasılıkla 5 yaşında erkek bir kredi kartı müşterisi olduğunu söylemektedir. Yapay Zeka-Bayes Öğrenme 17

18 KULLANIM ALANLARI Metin sınıflandırma Konuşmacı tanıma sistemleri Şifre kontrolü uygulamaları Orta veya geniş eğitim kümesinin mevcut olması durumunda Örnekleri tanımlayan nitelikler, sınıflandırmadan bağımsız olarak verildiğinde Yapay Zeka-Bayes Öğrenme 18

19 Avantaj ve Dezavantajları Avantajları: - Kolay uygulanabilirlik - Üstün performans - Çoğu durumda iyi sonuçlar Dezavantajları - Varsayım: sınıf bilgisi verildiğinde nitelikler bağımsız - Gerçek hayatta değişkenler birbirine bağımlı - Değişkenler arası ilişki modellenemiyor. - Test verisinin uzun işlem zamanıdır. Çözüm: Bayes ağları Yapay Zeka-Bayes Öğrenme 19

20 Kaynaklar Wikipedia and Vikipedi Tom M. Mitchell. Machine Learning. McGraw Hill Roiger R. J., Geatz M. W., Data Mining: A Tutorial Based Primer, Addison Wesley 003 Yapay Zeka-Bayes Öğrenme 0