Veride etiket bilgisi yok Denetimsiz öğrenme (unsupervised learning) Neden gereklidir?

Transkript

1 MEH535 Örünü Tanıma 7. Kümeleme (Cluserng) Doç.Dr. M. Kemal GÜLLÜ Elekronk ve Haberleşme Mühendslğ Bölümü web: hp://akademkpersonel.kocael.edu.r/kemalg/ E-posa: Verde eke blgs yok Denemsz öğrenme (unsupervsed learnng) Neden gerekldr? Kümeleme Büyük ver kümelern ekeleme malye Sınıf ekeler blnmyor olablr (örn: uydu görünüsü) Büyük ver kümeler az sayıdak proop kümes le sıkışırılablr 2 1

2 Kümeleme Denemsz öğrenme: Yarı paramerk Sınıf ç farklılıkları gruplama Opk karaker anımada farklı 1 yazım şekller Ses anımada aynı kelmenn farklı elaffuzları Paramerk olmayan (sonrak konu) 3 Kümeleme Karışım Yoğunlukları (Mxure Denses): k x xg G p p P 1 G he bleşen/grup/küme, P ( G ) karışım oranları (önseller), p ( x G ) bleşen yoğunlukları Gauss karışımı p(x G ) ~ N ( μ, ) paramereler: Φ = {P ( G ), μ, } k =1 ekesz örnek X={x } (denemsz öğrenme) 4 2

3 Sınıf-Küme Deneml: X = { x,r } Sınıflar C =1,...,K K x xc C p p P 1 p ( x C ) ~ N ( μ, ) Denemsz: X = { x } Kümeler G =1,...,k k x xg G p p P 1 p ( x G ) ~ N ( μ, ) Φ = {P (C ), μ, } K =1 Φ = {P ( G ), μ, } k =1 PC ˆ S r r x m N r T r x m x m r Ekeler, r? 5 K-Oralama Kümeleme Very en y bemleyen k ade referans vekör bul (proop/kod kabı vekörler/kod kelmeler) Referans vekörler, m, =1,...,k En yakın (en benzer) referansı kullan: x m mn x m Gerçama haası E b k X b 1 m x m 1 f x m mn x m 0 oherwse 6 3

4 K-Oralama Kümeleme b 1 f x m mn x m 0 aks halde 7 K-Oralama Kümeleme Algorma: 8 4

5 K-Oralama Kümeleme Örnek: 9 ISODATA Ierave Self-Organzng Daa Analyss: K-oralama algormasının genşlelmş şekldr Küme sayısının oomak seçlmesne yönelkr Kullanıcı anımlı paramereler: Küme başına düşen en az örnek sayısı Yaklaşık senen küme sayısı Kümey parçalama çn gerekl saçılma parameres Küme brleşrme çn gerekl uzaklığı Brleşreblecek küme sayısının üs sınırı Algorma: 1. K-oralama kümeleme gerçekleşr 2. Brbrne benzemeyen örnekler çeren kümeler böl 3. Brbrne yakın farklı kümeler brleşr adıma g 10 5

6 Beklendk En Büyükleme (EM) Expecaon Maxmzaon (EM) Karışım model le Log olablrlk L X log px log p x G PG Gzl değşkenler: z,(blnmyor) Eksksz olablrlk: L c (Φ X,Z), x ve z blnyor 1 Eksk olablrlk: L(Φ X), yalnızca x blnyor k 11 E ve M adımları: Beklendk En Büyükleme (EM) Aşağıdak adımları ekrarla: 1. E-adımı: Mevcu Φ ve verlen X kullanılarak z y kesr 2. M-adımı: Bulunan z ve verlen X kullanarak yen Φ yı bul l E C 1 l Q l E-sep: Q L X, Z X, l M-sep: arg max Q dak arış, eksk olablrlğn arması anlamındadır (durma ölçüü: değşm yok!) l 1 l L X L X 12 6

7 Beklendk En Büyükleme (EM) Gauss Karışımlarında EM: z = 1 Eğer x G ye a se z = 1 kararı ver, aks halde 0 kararı (deneml öğrenmedek r eke) p(x G )~N(μ, ) kabulünü yap E-adımı: M-adımı: E z l X, l P G S l1 l px G, PG px G, PG l PG x, h h h l1 x m N h l1 l1 T h x m x m h Kesrlen ekeler (blnmeyen) üzernden paramere kesrm yap 13 Örnek: Beklendk En Büyükleme (EM) 14 7

8 K-Oralama Kümeleme Örnek: 15 Sıradüzensel Kümeleme K-oralama, ISODATA gb yaklaşımlar keskn küme sınırları Kümeler alında al kümelern bulunduğu ağaç yapısına sahp sıradüzensel (herarchcal) göserm Terch sebeb (örn; byolok sınıflandırma) Sıradüzensel Kümeleme. Toplamacı/Brleşrc (Agglomerave) Her br 1 örneğe sahp N küme le başla, her ynelemede 2 en yakın kümey brleşr, ek küme kalana kadar devam e (sngle lnk cluserng) Bölücü (Dvsve) Tek kümeden başlayarak bölme le N ek on küme elde edene kadar devam e Hesapsal yük: Brleşrc yaklaşım << Bölücü yaklaşım 16 8

9 Sıradüzensel Kümeleme Brleşrc Yaklaşım: Brbrne en yakın k küme bulunurken kullanılablecek uzaklık ölçüler: Sngle-lnk Complee-lnk 17 Sıradüzensel Kümeleme Göserm Ağaç göserm (dendrogram) Kümelern yapısını göseren kl ağaç yapısı Kümeler arasındak benzerlk (düşey eksende) Dendrogram 18 9

10 Sıradüzensel Kümeleme 19 10