Zahmetsiz örüntü tanıma: Nokta bulutlarının karşılaştırılması yoluyla veri-tabanlı ve parametresiz istatistiksel öğrenme

Transkript

1 Zahmetsiz örüntü tanıma: Nokta bulutlarının karşılaştırılması yoluyla veri-tabanlı ve parametresiz istatistiksel öğrenme Doç. Dr. Bilge Karaçalı Biyomedikal Veri İşleme Laboratuvarı Elektrik-Elektronik Mühendisliği Bölümü İzmir Yüksek Teknoloji Enstitüsü

2 Sunum akışı Örüntü tanıma: Güdümlü öğrenme Yarı-güdümlü öğrenme problemi Hipotezlere ait sonsal olasılıkların parametresiz bir yaklaşımla veriden kestirimi Uygulamalar Amino asit dizilerindeki işlevsel veya yapısal olarak özellikli bölgeler Uyarana özgün EEG beyin dalgaları Histoloji kesitlerinde kanserle ilintili bölgeler Karışık MiniBooNE nötrino verisindeki elektron nötrinoları

3 Örüntü tanıma Problem tanımı: Üzerinde bir karar verilmek istenen olguyu ifade eden x vektörü gözlem x X, gözlem uzayı Olguya sebep olan olası hipotezler H 1, H 2,..., H M farklı hipotezler farklı sınıflar Mümkün olduğu kadar az hata yapan sınıflandırıcı: f: X H 1, H 2,, H M En iyi çözüm: f x = arg max j p H j x En büyük sonsal olasılık ideal Bayes sınıflandırıcısı

4 Örüntü tanıma Güdümlü öğrenme: Sonsal olasılık fonksiyonları genelde/asla mevcut değildir Onun yerine hipotezlere ait örnekler mevcut olabilir x i, y i, x i X, y i H 1, H 2,, H M, i = 1, 2,, l Seçenek 1: olasılık fonksiyonlarının kestirimi Olasılık kestirimi bilgi değerlendirme açısından zorlu bir problemdir Seçenek 2: olasılık fonksiyonu kestirimine girmeden sınıflandırıcı kurgulama Olasılık dağılımlarının kestirimi, sınıflandırıcı kurgulamanın ara çözümüdür Doğru kararlar veren bir sınıflandırıcıyı kurgulamak için olasılık dağılımlarını çözümlemek gerekmeyebilir Güdümlü öğrenme

5 Örüntü tanıma Güdümlü öğrenme (devam): Amaç: eldeki x i, y i verisini kullanarak gelecekteki veriyi en başarılı bir şekilde ilgili hipotezlere ayıran bir sınıflandırıcıyı kurgulamak En yakın komşuluk sınıflandırıcıları Yapay sinir ağları Destek vektör makineleri... Gözlemler: Kurgulanan sınıflandırıcının başarısı seçilen yönteme olduğu kadar eldeki veriye de bağlıdır Her uygulamada bu şekilde tasnif edilmiş bir veri kümesi elde etmek mümkün olmayabilir Elle işaretlemenin zor olduğu durumlar otomatik görüntü bölütleme problemleri Çalışılan problem gereği sadece bir hipotezin/sınıfın örneklerinin derlenmiş olması protein dizilerindeki işlevsel bölgelerin bulunması Yarı-güdümlü öğrenme

6 Yarı-güdümlü öğrenme problemi Yarı-güdümlü öğrenme: Amaç: dağılımları örtüşen veri kümelerindeki örneklerden hangilerinin ilgili kümeye özgün olduğunun otomatik olarak belirlenmesi Yaklaşım: Her örnek için veri kümelerine ait sonsal olasılıkların parametresiz bir yöntemle kestirimi Bu sonsal olasılık değerlerine göre veri kümelerinin dağılımlarının örtüştüğü ve ayrıştığı bölgelerdeki örneklerin belirlenmesi

7 Yarı-güdümlü öğrenme problemi Problem tanımı: C 0 ve C 1 kümelerinde gruplanmış olarak verilen örnek kümesi {x i }, i = 1, 2,, l İlgili olasılık dağılımları p x C 0 = λ 0 p r x + 1 λ 0 p C0 x p x C 1 = λ 1 p r x + 1 λ 1 p C1 x p r x : her iki kümede de bulunan örneklerin geldiği ortak dağılım p C0 x : örnekleri sadece C 0 kümesinde bulunan dağılım p C1 x : örnekleri sadece C 1 kümesinde bulunan dağılım Veriler öyle bir şekilde ayrıştırılsın ki: Örtüşen örnekler: x i x i p r x =? C 0 kümesine özgün örnekler: x i x i p C0 x =? C 1 kümesine özgün örnekler: x i x i p C1 x =?

8 Yarı-güdümlü öğrenme problemi p C1 x C 0 p r x C 1 p C0 x

9 Yarı-güdümlü öğrenme problemi C 0 C 1 x i x i p r x =? x i x i p C0 x =? x i x i p C1 x =?

10 Yarı-güdümlü öğrenme problemi Sonsal olasılık kestirimi: Yarı-güdümlü öğrenme, {x i } veri kümesindeki her örnek için p C 0 x i ve p C 1 x i sonsal olasılıklarının eldeki veri kullanılarak kestirilmesine dayanır Bu kestirim en-yakın komşuluk sınıflandırıcısının sonuşurdaki davranışından faydalanarak herhangi bir parametrik dağılım modeli kullanılmadan ölçeklenebilir bir yöntemle yapılır

11 Yarı-güdümlü öğrenme problemi Sonsal olasılık tahmini (devam): En yakın komşuluk sınıflandırıcısı f X 0,1 f x; R n = y i, x i = arg min x j R n d x, x j d: X X II, gözlem uzayı üzerinde tanımlanmış olan metrik R n x i, y i, x i X, y i 0,1, i = 1,2,, l, içinde C 0 ve C 1 hipotezlerinden çekilmiş n er örnek içeren rastlantısal küme En-yakın komşuluk sınıflandırıcısının referans olarak kullandığı küme n yeterince büyük olduğunda: p C 1 x f x; R n = f x; R n p Rn R n dr n R n

12 Yarı-güdümlü öğrenme problemi Sonsal olasılık tahmini (devam): p Rn R n dağılımı eldeki veriyle örneklendiğinde p C 1 x 1 Z f x; R n Bu ifadede, Bir başka deyişle, R n x i,y i Z = l 0 l 1 n n l 0 = 1 y i = 0 i l 1 = 1 y i = 1 i en-yakın komşuluk sınıflandırıcısı eldeki veriden çıkarılabilen Z farklı R n ile tekrar tekrar işletilerek elde edilen sonuçların ortalaması ile p C 1 x kestirilebilir

13 Yarı-güdümlü öğrenme problemi Sonsal olasılık tahmini (devam): Bu sürecin sonucunda elde edilecek ortalama, çabuk ve pratik bir yöntemle bulunabilir Sıralı mesafeler ve ilgili örnekler belirlenmiş ise: d i = d x, x i d 1 < d 2 < < d l d i x i, y i, öyle ki d i = d x, x i Pr y = 1 = Pr f x; R n çözümlenebilir = 1 R n x i, y i olasılığı x 1 R n şartına göre Pr y = 1 = Pr y = 1 x 1 R n Pr x 1 R n + Pr y = 1 x 1 R n Pr x 1 R n = 1 y 1 = 1 Pr x 1 R n + Pr y = 1 x 1 R n Pr x 1 R n Pr x 1 R n olasılığı l, l 0, l 1 ve n cinsinden hesaplanabilir y 1 in değerine bağlı olacak şekilde

14 Yarı-güdümlü öğrenme problemi Sonsal olasılık tahmini (devam): Aynı çözümleme x 2 R n şartına göre Pr y = 1 x 1 R n olasılığı için tekrarlanabilir Bu işlemin ileriki olasılıklar için de sürdürülmesiyle Pr y = 1 ve Pr y = 0 için pratik bir hesaplama yöntemi ortaya çıkmış olur Pr y = 0 = 1 Pr y = 1 Bu işlem her bir x i örneği için x j, y j j i kümesi kullanılarak tekrarlandığında ve P C 1 x i Pr f x i ; R n = 1 R n x j, y j j i P C 0 x i = 1 P C 1 x i Pr f x i ; R n = 0 R n x j, y j j i sonsal olasılıkları hesaplanmış olur Böylelikle, x i, y i kümesi üzerinde statistiksel tanıma, P C 1 x i ve P C 0 x i olasılıkları üzerinden gerçekleştirilebilir Yarı-güdümlü öğrenme

15 Yarı-güdümlü öğrenme problemi Yarı-güdümlü öğrenme: Farklı gruplar halinde gözlenen veri kümesi Normal grup x karışık grup (anormallik tespit senaryosu) Test verileri x gözlenen veriler Zaman içerisinde tekrar edilen gözlemlere ait veriler... Her örnek üzerinde farklı grupların sonsal olasılıklarının kestirimi n parametresinin otomatik olarak belirlenmesi Her bir gruptaki örneklerden ilgili grubun sonsal olasılığının yüksek olduğu örneklerin tespiti C k grubuna özgün olan örnekler kümesi: x i x i C k, p C k x i > 1 α, α 1

16 Uygulamalar Amino asit dizilerindeki işlevsel veya yapısal olarak özellikli bölgelerin tespiti: Amaç: belirli bir yapısal/işlevsel özelliği taşıyan proteinlerin amino asit dizilerinde bu özellikle bağlantılı bölgelerin belirlenmesi Gözlemler: Açık veri tabanlarında bilinen proteinlerin amino asit dizilerinde bilinen birtakım yapısal/işlevsel özelliklere sahip bölgeler işaretlenmiş durumdadır Ancak veri tabanlarında, bilinen istatistiksel öğrenme yöntemlerinin uygulanabilmesi için gereken, ilgili özelliğe sahip olmadığı deneysel olarak kanıtlanmış bölgeler mevcut değildir Konuyla ilgili araştırmalarda bu tip özelliklerin tespiti çalışılmaktadır Veritabanlarına sadece olumlu anlamda bulgulanan özellikler sunulmaktadır Bulgulanamayan özellikler ise veritabanlarında yer almamaktadır Bu sorunun çözümlenebilmesi için örneklenebilmiş olan tek bir sınıfın varlığında ayrım yapabilecek bir yönteme ihtiyaç vardır

17 Uygulamalar Amino asit dizilerindeki işlevsel veya yapısal olarak özellikli bölgelerin tespiti (devam): Yaklaşım: UniProtKB veritabanından elde edilen bütün insan proteinlerine ait amino asit dizileri üzerinde insan proteini her bir amino asit bölgesinin fiziksel ve kimyasal özelliklerini yansıtan çok boyutlu profiller oluşturulup amino asitlerine paralel sayısal diziler oluşturup dalgacık dönüşümü uygulanması yoluyla ilgilenilen özelliğe sahip olduğu deneysel olarak belirlenmiş olan grup diğer grupla kıyaslanarak hem çalışılan özelliğin ortaya çıkışıyla bağlantılı bölgeler hem de diğer grup içerisinde ilgili yapısal/işlevsel özelliğe sahip olması en muhtemel proteinler belirlenebilir

18 Uygulamalar Amino asit dizilerindeki işlevsel veya yapısal olarak özellikli bölgelerin tespiti (devam): Sonuçlar: N-glikosilasyon bölgeleri N-glikosilasyon bölgesine ait 1944 boyutlu profil verisi 1939 doğrulanmış N-glikosilasyon bölgesi bilinmeyen bölge Olası yeni N-glikosilasyon bölgeleri tespit edildi DNA ya bağlanan proteinlere özgü bölgeler toplam amino asit bölgesine ait 380 boyutlu profil verisi DNA ya bağlanan proteinlerdeki bölge Kalan proteinlerden gelen bölge DNA ya bağlanan proteinlere özgü amino asit bölgeleri belirlendi Bu bölgelerin varlığına dayanarak DNA ya bağlanan proteinleri tespit yöntemi oluşturuldu ADA_HUMAN proteininin hidrofobisite endeksinin dalgacık dönüşümü ile elde edilen profil dizisi

19 Uygulamalar Uyarana özgün EEG beyin dalgalarının tespiti: Amaç: akan beyin dalgaları arasında farklı uyaranlarla bağlantılı örüntülerin belirlenmesi Gözlemler: Beyin-bilgisayar arayüzü uygulamalarında beyin dalgalarındaki değişimleri birtakım uyaranlarla ya da hareketlerle ilişkilendirmek amaçlanır Başarılı bir uygulama için sistemlerin uzun soluklu eğitim süreçlerinden geçirilmeleri gerekir Yüksek miktarda eğitim verisi toplanıp hangi anda gözlenen beyin dalgalarının hangi durumla ilişkilendirileceği çoklukla elle yapılan ayrıştırmalarla belirlenir Ancak farklı durumlarda gözlenen beyin dalgaları üzerinde tam bir ayrıştırma yapmaksızın, sadece ilgili durumlarda ortaya çıkan beyin dalgalarını otomatik olarak saptamak mümkündür

20 Uygulamalar Uyarana özgün EEG beyin dalgalarının tespiti (devam): Yaklaşım: Her kanaldan gelen akar sinyale dalgacık dönüşümüuygulanıp birleştirilerek çok-boyutlu anlık beyin dalgası verisi oluşturuldu Toplanan beyin dalgası verisine bağımsız bileşen analizi uygulanarak boyut azaltılması sağlandı Farklı görsel uyaranlar altında gözlenmiş olan beyin dalga verileri yarı-güdümlü öğrenmeyle karşılaştırılarak ilgili uyaranlara özgün beyin dalgaları tespit edildi EEG kanallarından birine uygulanan dalgacık dönüşümü ile farklı frekans aralığındaki bileşenlerin birbirinden ayrılması

21 Uygulamalar Histoloji kesitlerinde kanserle ilintili bölgelerin belirlenmesi: Amaç: içerisinde kanserli oluşumlar içeren doku kesitlerinde kanserle ilintili bölgelerin otomatik olarak işaretlenmesi Gözlemler: Uzman patologlar, doku kesitlerini görsel olarak inceleyerek doku kesitinde kanserli oluşumlar bulunup bulunmadığını saptamaktadırlar Aynı işi klasik istatistiksel öğrenme yöntemleriyle yapabilmek için kanserli bölgelerin birçok örnek kesitte elle işaretlenmesi gerekmektedir Elle işaretleme zordur (zaman, farklı uzmanların işaretlemelerindeki farklılıklar,...) Sonuç olarak kurgulanacak sistem farklı kanser türlerinde işe yaramamaktadır Kanserli oluşumlarla ilintili bölgeleri, sadece doku kesitlerinin temiz mi yoksa kanserli mi oldukları bilgisine dayanarak işaretlemek mümkündür

22 Uygulamalar Histoloji kesitlerinde kanserle ilintili bölgelerin belirlenmesi (devam): Yaklaşım: Çok sayıda kolon doku kesit örneği dijital mikroskoplar altında görüntülenerek bir görüntü veri tabanı oluşturuldu Her doku ketisi görüntüsü sıralı olarak örtüşen bölgelere ayrıldı ve her bölge için görünümü yansıtan vektör değerli profiller hesaplandı Kanserli kesit görüntülerinden gelen profiller diğerleriyle yarı-güdümlü öğrenme algoritmasıyla karşılaştırılarak kanserle ilintili bölgeler saptandı Kolon doku kesiti görüntülerinde kanserle ilintili bölgelerin işaretlenmesi

23 Uygulamalar Karma MiniBooNE nötrino verisindeki elektron nötrinolarının ayrıştırılması: Amaç: Sadece müon nötrinolarından oluşan bir veri seti kullanarak müon ve elektron nötrinolarından oluşan karma bir kümedeki elektron nötrinolarının otomatik olarak saptanması Gözlemler: Parçacık fiziği deneylerinde toplanan veriler bir takım olasılıksal etkilerle şekillenmektedir Altta yatan olasılık dağılımları, ölçmedeki belirsizlikler,... İstatistiksel yöntemler, bu olasılıksal etkiler altında çarpışma deneylerinde ortaya çıkan parçacıkların belirlenmesinde fayda sağlayabilir Her parçacık için birçok özelliğin toplantığı sayısal profiller üzerinde istatistiksel öğrenme yöntemleriyle ayrıştırma

24 Uygulamalar Karışık MiniBooNE nötrino verisindeki elektron nötrinolarının ayrıştırılması (devam): Yaklaşım: Veri kümesi: Toplam adet müon ve elektron nötrinolarına ait özniteliklerle oluşturulmuş 50 boyutlu vektör değerli profil verisi müon nötrinosuna karşılık elektron nötrinosu Toplanan öznitelikler arasında olay vuruş çokluğu, enerji, hesaplanan radyal konumu... Yarı-güdümlü öğrenme problemi adet müon nötrinosudan oluşan profil kümesi kullanılarak, Kalan nötrino arasından elektron nötrinolarının ayrıştırılması Karma küme %56 elektron nötrinosu, %44 müon nötrinosu Yüksek miktarlı veri için uyarlanan yarıgüdümlü öğrenme algoritması ile karma verideki elektron nötrinolar ayrıştırıldı Yarı-güdümlü öğrenme algoritmasının karma kümedeki elekton nötrinolarını ayrıştırma başarı eğrileri

25 Tartışma Yarı-güdümlü öğrenme veri kümelerini kıyaslayarak ilgili kümelere özgün olan verileri ayrıştırmaktadır Problemin kurgusuna bağlı olarak kendi kümelerine özgün olan ve olmayan örnekler üzerinden altta yatan probleme ait istatistiksel çıkarım yapmayı sağlamaktadır Ayrıştırılmak istenen verileri örnekleyen homojen kümelerin elde edilemediği durumlarda zahmetsiz ve başarılı tanıma sağlamaktadır Eldeki kümelerin ağırlıklı olarak farklı hipotezlere ait örneklerden oluşması yeterlidir Homojen veri kümeleri gerektirmemesi, klasik istatistiksel öğrenme yöntemlerinin uygulanamadığı örüntü tanıma problemlerini çözülebilir yapmaktadır Bu özellikleriyle yarı-güdümlü öğrenme, yüksek enerji fiziği deneylerinde karşılaşılan istatistiksel parça tanıma problemlerinde fayda sağlayabilir Yarı-güdümlü öğrenme algoritmasının Matlab (c) kodu için: