NONLINEAR CLASSIFIER COMBINATION FOR SIMPLE COMBINATION TYPES. Mehmet Umut Şen, Hakan Erdoğan

BASİT BİRLEŞTİRİCİ TİPLERİ İÇİN DOĞRUSAL OLMAYAN SINIFLANDIRICI BİRLEŞTİRME NONLINEAR CLASSIFIER COMBINATION FOR SIMPLE COMBINATION TYPES Mehmet Umut Şen, Hakan Erdoğan Sabancı Üniversitesi {umutsen,haerdogan}@sabanciuniv.edu ÖZETÇE birleştirme, doğruluk oranını arttırdığı ve sistemlerin daha gürbüz hale gelmesini sağladığı için son yıllarda üstünde durulan bir araştırma alanı olmuştur. birleştiricilerden doğrusal ve denetimli birleştiricilerin iyi doğruluk oranı verdikleri gösterilmiş, ancak doğrusal olmayan denetimli birleştiriciler üstünde çok durulmamıştır. Bu bildiride basit doğrusal birleştiricilerin doğrusal olmayan verisyonlarının kolay yoldan eğitilebilmesi için bir yöntem gösterilmiştir. Deneyler dört farklı veritabanında denenmiştir. Doğrusal olmayan birleştiricilerle doğruluk oranlarının arttırılabildiği gözlemlenmiştir. ABSTRACT Classifier combination has been an important research area because of their contribution to the accuracy and robustness. Supervised linear combiner types are shown to be strong combiners; but nonlinear types are not well investigated. In this work, we show a method to obtain non-linear versions of simple linear combiner types. Experiments are conducted on four different databases and results are examined. It is observed that we can obtain better accuracies with non-linear combinations for certain types.. Giriş toplulukları, tek bir sınıflandırıcı kullanmak yerine; birden fazla sınıflandırıcı kullanıp, bu sınıflandırıcıların çıktılarını en iyi şekilde birleştirme ilkesiyle çalışır. topluluklarının, tek bir sınıflandırıcıdan daha iyi sınıflandırma başarısı gösterdiği deneylerle desteklenerek kabul edilmiştir []. toplulukları oluşturulurken aynı sınıflandırıcının farklı parametreleri ve versiyonları veya farklı sınıflandırıcı türleri kullanılır. Başka bir seçenek de sınıflandırıcıya giren veritabanlarının farklı olmasıdır, bu durumda daha az eşlenik çıktılar elde edilir. Birinci seviye çıktılarının eşlenik olmaması, sınıflandırıcı çıktılarında birbirini tamamlayan bilgilerin olduğunu gösterir. Ancak, genel olarak, bu çıktılar daha az eşlenik oldukça, doğruluk oranları azalır []; bu da birleştirmeden sonra da düşük doğruluk oranına neden olur. Bu çalışmada, birinci seviye sınıflandırıcılarının nasıl oluşturulduğuyla ilgilenilmemiştir; ancak verilen birinci seviye çıktılarının, en iyi şekilde nasıl birleştirileceği problemi üstüne çalışılmıştır. Birinci seviye sınıflandırıcı çıktıları, veri örneklerinin sınıfları veya farklı sınıflara ait olma olasılıkları olabilir. Eğer direk sınıflar verilmiş ise, oylama kuralı [] gibi basit birleştiriciler kullanılabilir. Ardıl olasılık çıktıları için daha karmaşık birleştiriciler geliştirilmiştir. Biz de bu çalışmada, ardık olasılık çıktılarının birleştirilmesi problemini inceledik. birleştiriciler genel olarak sabit ve denetimli olarak iki kesime ayrılır. Sabit birleştiriciler için eğitim verisi kullanılmaz, belirli değişmez kurallar kullanılır. Bunlara örnek olarak toplam, çarpım, minimum veya maksimum kuralları verilebilir [4, ]. Denetimli birleştiriciler, eğitim veritabanını kullanarak birleştiriciyi öğrenmeyi amaçlamaktadır. Bu yöntemlerde, doğrusal birleştirici bile kullanılsa, birinci seviye sınıflandırıcılarının eğitimi için yığıtlı genelleme yapmanın gerekli olduğu bulunmuştur [5]. Yığıtlı genellemenin veritabanına fazla oturması problemini çözmek için de düzenlileştirmeli öğrenme yapılması gerekmektedir [6]. Denetimli birleşim, birinci seviye çıktılarını yeni öznitelik vektörleri olarak alıp, bu vektörler üstünden sınıflandırma veya bağlanım problemi çözmek olarak görülebilir [7]. Ancak bu özniteliklerin, sınıfların ardıl olasılıkları oldukları bilindiği için daha basit doğrusal ağırlıklı yöntemler geliştirilmiştir. Bunlardan en çok kullanılanı, her sınıflandırıcıya bir ağırlık vererek ardıl olasılıkların ağırlıklı ortalamasını alarak çalışır. [8] de,. tip,. tip ve. tip olarak adlandırılan üç farklı tipte doğrusal birleştirici tanımlanmıştır, biz de bu bildiride bu adlandırmaları kullandık. [9] da bu tipler bütünleyici bir çerçevede birleştirilerek, hepsi için tek bir öğrenme algoritması kullanılabilmesi sağlanmıştır. Doğrusal olmayan sınıflandırıcı birleştirme, üstünde çok durulmuş bir alan değildir. [7] de birinci seviye sınıflandırıcı çıktıları, çeşitli sınıflandırıcılara girdi olarak verilmiş ve doğrusal sınıflandırıcıların daha iyi sonuçlar verdiği görülmüştür. Ancak yukarıda bahsi geçen. tip ve. tip gibi değişik birleştirmelerin doğrusal olmayan halleri ile ilgili bir çalışma yapılmamıştır. Bu bildiride,. tip ve. tip için doğrusal olmayan birleştiriciler elde edilmiştir. Bunun için,. tip veya. tip birleştirmenin, özel bir şekilde bölütlenmiş veritabanı üstünde ikili sınıflandırıcılar eğitilerek yapılabileceği ve bu ikili sınıflandırıcılarda kernel hilesi kullanarak doğrusal olmayan birleştirmeye çevirilebileceği gösterilmiştir.. bölümde sınıflandırıcı birleştirme problemi tanımlanmış,. bölümde değişik tipte doğrusal birleştirme yöntemleri anlatılmıştır. 4. bölümde, veritabanı bölütleyerek ve ikili sınıflandırıcı kullanarak. tip ve. tip birleştirme yöntemleri tanımlanmıştır. 5. bölümde dört farklı veritabanı için yapılan deneyler anlatılmış ve 6. bölümde sonuç özetlenmiştir.. Problem Tanımı birleştirme probleminde, birleştiricinin girdileri, birincil sınıflandırıcılardan çıkan farklı sınıflara ait skorlardır. Herhangi bir veri örneği için, j ninci sınıflandırıcının i ninci sınıfa

ait skoruna p i j ve j ninci sınıflandırıcının skorlarını topladığımız vektöre p j dersek (p j = [ j, j,..., p n j ] T ); bu veri örneği için birleştiricinin girdisi f R mn vektörüdür: f = [p T, pt,..., pt m ]T. Burada n sınıf sayısı, m sınıflandırıcı sayısıdır. Birleştirme sonucu elde edilmesi gereken, n adet farklı sınıflara ait skorlardır; bunları r R n vektünde toplarsak ve birleştiriciyi g : R mn R n fonksiyonuyla gösterirsek: r = g(f). Eğer toplam veri örneği sayısına d, t. veri örneğinin birincil sınıflandıcılardan çıktısına f t ve sınfına y t dersek, sınıflandırıcı birleştirmedeki amaç, {(f t, y t)} d t= kullanarak g fonksiyonunu öğrenmektir. Test aşamasında, verilen bir veri örneğinin sınıfı, en yüksek skor veren sınıfa atanır: ŷ = arg max i [n] r i.. Doğrusal Birleştirme Doğrusal birleştiriciler için g fonksiyonu şu şekildedir: g(f) = W f + b. () Burada W R n mn matrisi ve b R n vektörü öğrenilmeye çalışılmaktadır; dolayısıyla öğrenilmesi gereken parametre sayısı mn + n dir ve bu kadar çok parametreyi öğrenmenin hem uzun zaman hem de çok sayıda veri örneği gerektirmesi nedeniyle daha basit doğrusal birleştiriciler geliştirilmiştir.... Tip Birleştirme. tip birleştirmeye, ağırlıklı ortalama yöntemi de denilmektedir. Bu birleştirme, her bir sınıflandırıcıya bir ağırlık vererek son değerleri bulur. j ninci sınıflandırıcının ağırlığına w j dersek, i ninci sınıfa ait birleştirilmiş değer, r i, şu şekilde elde edilir: r i = m w jp i j, i =,..., n. () j= Bu tip birleştirmede m farklı ağırlık değeri vardır. Bu birleştirme için, () deki formülasyonda b = 0 dır ve W matrisi şöyledir: W = [w I n w I n... w mi n]. () Burada I n, n n boyutunda birim matristir.... Tip Birleştirme ların performansları sınıflar arasında değişkenlik gösterebilir, bu sorgudan yola çıkılarak. tip birleştirme elde edilmiştir. Bu birleştirmede, sınıflandırıcıların ağırlıkları sınıftan sınıfa farklılık göstermektedir. j ninci sınıflandırıcının i ninci sınıfa ait ağırlığına wj i dersek, i ninci sınıfa ait birleştirilmiş değer, r i, şu şekilde elde edilir: r i = m wjp i i j, i =,..., n. (4) j= Bu tip birleştirmede, öğrenilmesi gereken ağırlık parametresi sayısı mn dir. Bu birleştirme için, () deki formülasyonda yine b = 0 dır ancak. tipten farklı olarak W nun alt matrislerinin diyagonalındaki elemanlar aynı değildir: W = [W W... W m]. (5) Burada i =... m için W i R n n matrisleri diyagonaldır.... Tip Birleştirme Bu birleştirme tipi, doğrusal birleştiricilerin en genel halidir. () deki W matrisinin bütün elemanlarını bulmayı amaçlamaktadır. Bu yöntem, birinci seviye çıktıları üstünden, çok sınıflı sınıflandırıcı eğitmeye denk gelmektedir. Bu birleştirme tipinin doğrusal olmayan halini elde etmek için, doğrusal olmayan bir sınıflandırıcı kullanmak yeterlidir.. tip ve. tip birleştirme,. tip birleştirmenin düzenlileştirilmiş hali olarak görülebilir, dolayısıyla. tipten daha iyi sonuçlar verebildikleri görülmüştür. Bu birleştirme tipinde öğrenilmesi gereken parametre sayısı,. tip ve. tip birleştirilerden çok daha fazla olduğu ve. ve. tip birleştiricilerin,. tip birleşirici ile kıyaslanabilir sonuçlar verebilmesi nedeniyle. tip birleştirici tercih edilmeyebilir. 4. Doğrusal Olmayan Birleştirme. ve. tip birleştirmelerde, farklı ağırlık değerlerini bulmak için f vektörünün farklı kısımları kullanılmaktadır. Aşağıda, veritabanını uygun şekilde bölütleyerek ve dönüştürülen veritabanı üstünde ikili sınıflandırıcılar eğiterek,. ve. tipte birleştiricilerin gerçeklenebileceği anlatılmıştır. Bu şekilde yapılan öğrenme ile de doğrusal olmayan. ve. tip birleştiriciler kolayca elde edilebilir. Ağırlıkları öğrenmek için kullanılacak sınıflandırıcı, düzenlileştirmeli ampirik risk enküçüklemesi yöntemi ile modellenebilir [0]. Bu yöntem, aşağıda verilen hedef fonksiyonunu küçükleyerek çalışır: φ(w) = d t= i= l(f t, y t, i, w) + λr(w). (6) Burada l kayıp fonksiyonudur, verilen bir w ile yapılan sınıflandırma hatasıyla orantılıdır. Farklı kayıp fonksiyonları kullanmak, farklı sınıflandırıcılara denk gelmektedir. R(w), düzenlileştirme fonksiyonudur, genellikle w nun herhangi bir normu olarak seçilir. Bu hedef fonksiyonu, aşağıdaki şekilde de yazılabilir: φ(w) = φ i(w) (7) i= Burada φ i(w) şu şekilde tanımlanmaktadır: φ i(w) = d t= l(f t, y t, i, w) + λ R(w). (8) n 4.. İkili lar Kullanarak. Tip Birleştirme. tip birleştirmede m farklı ağırlığı ( w = [w, w,..., w m] T ) öğrenmek için, [9] daki bütünleyici çerçeve kullanılabilir. Bu çerçeve kullanıldığında, bazı kayıp fonksiyonları için φ i( w ) fonksiyonunu küçüklerken sadece i. sınıfa ait girdiler kullanılır (p i j, j =,..., m) ve veri örneklerinin i. sınıfa ait olup olmadığına bakılır. Yani kayıp fonksiyonun girdileri şu şekilde olur: l( f i t, ỹt, i i w ). Burada, f t R m, i. sınıf için farklı sınıflandırıcılardan gelen verilerden oluşur: f i t = [pi, p i,..., p i m] T ve ỹt i {, +} değeri, t. veri örneğinin sınıfı i ise, diğer durumlarda - olarak tanımlanmıştır. Bu çerçeveye uyan kayıp fonksiyonlarından birisi En Küçük Kareler (EKK) kayıp fonksiyonudur, biz de bu çalışmada bu kayıp fonksiyonunu kullandık: l(f t, y t, i, w) = (ỹ i t f T t w). (9)

Bu kayıp fonksiyonunu, [9] daki gibi bağlama matrisi kullanarak. tip birleştirmeye uyarladığımızda, şu kayıp fonksiyonunu elde ederiz: l(f t, y t, i, w ) = (ỹ i t f T t A i w ) (0) = (ỹ i t f i tt w) () = l ( f i t, ỹi t, w ). () Burada A i R mn m,. tip birleştirme için bağlama matrisidir ve sabittir. (6) daki hedef fonksiyonu,. tip birleştirme için şu formu alır: φ( w ) = l( d f i t, ỹt, i w ) + λr( w ). () t= i= Bu hedef fonksiyonu da {{( f i t, ỹi t)} n i=} d t= veritabanını kullanarak ikili sınıflandırıcı öğrenmeye denk gelmektedir. Bu sınflandırıcıyı kernel (çekirdek) hilesi kullanarak, doğrusal olmayan bir duruma getirebiliriz, böylece. tip için doğrusal olmayan bir birleştirici elde etmiş oluruz. Test aşamasında ise doğru sınıf şu i şekilde bulunur: ŷ t = arg max i [n] f tt w. 4.. İkili lar Kullanarak. Tip Birleştirme. tip birleştirme için geliştirilen yönteme benzer bir yöntem, yine EKK kayıp fonksiyonu kullanılarak,. tip birleştirme için de geliştirilebilir. w vektörünü w = [w T, w T,..., w T n ] T olarak tanımlarsak (w i = [w, i w, i..., wm] i T ), EKK kayıp fonksiyonu ile (7) ve (8) şu hale gelir: φ i(w i) = d φ( w ) = φ i(w i) (4) i= (ỹt i f i tt wi) + λr(w i) (5) t= Burada düzenlileştirme fonksiyonunun şu durumu sağlaması gerekmektedir: R( w ) = n i= R(wi). Bunun için l veya l normu kullanılabilir. φ i(w i) fonksiyonları farklı i ler için birbirinden tamamen bağımsızdır, dolayısıyla (4) ı enküçükleyen çözüm, bütün i ler için φ i(w i) i de enküçüklemektedir. Dolayısıyla her bir sınıf için, { f i t, ỹt} i d t= veritabanı ile ikili sınıflandırıcı eğiterek w i bulunabilir. Bu ikili sınıflandırıcı için kernel hilesi kullanıldığında,. tip birleştirmenin doğrusal olmayan hali bulunmuş olur. Test aşamasında karar şöyle verilir: ŷ t = arg max i [n] f i tt wi. Bu şekilde yapılan birleştirme, çok sınıflı sınıflandırma probleminde bire-hepsi olarak geçen bir yönteme denk gelmektedir. 4.. İkili Sınıflandırma İçin Sınflandırıcı Seçimi Kullanılan kayıp fonksiyonu EKK olduğu için, bu çerçeveye uyan bir sınıflandırıcı seçilmesi uygundur. Bu amaçla En Küçük Kareler Destek Vektör Makineleri (EKK-SVM) [] seçilmiştir. Bu sınıflandırıcı, düzenlileştirilmiş ampirik risk enküçüklemesi çerçevesinde EKK kayıp fonksiyonu ve düzenlileştirme fonksiyonu olarak da l normu kullanmaya denk gelmektedir. Ancak, menteşe kayıp fonksiyonu yukarıda verilen varsayımları karşılamadığı halde, karşılaştırma amaçlı olarak Destek Vektör Makineleri kullanılarak da test yapılmıştır.. (y t = ). (y t = +). (y t = ) (a). Tip Birleştirme w w w (-) () İkili w (-) (b). Tip Birleştirme Şekil : sınıf ve sınıflandırıcı için. sınıfa ait bir veri örneğinin bölütlenmesi. Tablo : Deneylerde kullanılan veritabanları VT Eğitim Test Sınıf Öznitelik optdigit 8 797 0 64 satellite 445 000 6 6 segment 000 0 7 9 waveform 000 000 5. Deneyler Deneylerde, UCI havuzundan [] alınan 4 farklı veritabanı kullanılmıştır, bu veritabanları tablo de özetlenmiştir. farklı birinci seviye sınıflandırıcı kullanılmıştır. Bu sınıflandırıcılar şunlardır: Destek Vektör Makinaları (DVM) - doğrusal kernel, DVM-çokterimli kernel, DVM - ışınsal taban fonksiyon (ITF) kerneli, normal yoğunluk tabanlı doğrusal, karesel ve bağımsız öznitelikli sınıflandırıcıları, en yakın ortalama, k-en yakın komşu, genel kernel tabanlı, çok-terimli sınıflandırıcı, parzen sınıflandırıcısı, ikili karar ağacı, doğrusal yapay sinir ağları. Bu sınıflandırıcılar için prtools araç kiti kullanılmıştır []. Birinci seviye sınıflandırıcıları eğitirken -parçalı yığıtlı genelleme yöntemi yapılmıştır [5]. Bu yöntemin amacı, birinci seviye sınıflandırıcıları eğiten verilerin birleştiriciyi öğrenirken kullanılmasını, dolayısıyla da birleştiricinin veritabanına fazla oturmasını engellemektir. Bu yöntem, eğitim veritabanındaki başarı oranını azaltsa da; görülmemiş test verilerinde yüksek doğruluk oranı verme ihtimalini artırır. Bu yöntemde, eğitim veritabanı ikiye bölünür, parçadan da model oluşturulur. Her bir eğitim veri örneğinin ardıl değerleri (olasılıkları), kendisinin bulunmadığı parçadan eğitilen model ile test edilerek bulunur. Test verilerinin ardıl değerlerini bulmak için de bütün eğitim veri örneklerinden eğitilen model kullanılır.. ve. tip birleştiriciler için hem DVM, hem de EKK-DVM [] kullanılmıştır.. tip birleştirme için data bölütleme gibi hileler olmadığı için doğrudan DVM kullanılmıştır. Doğrusal olmayan sınıflandırma için iki farklı kernel fonksiyonu kullanılmıştır. Bunlardan biri çokterimli kernel fonksiyonudur ve şu şekilde tanımlanmıştır: k(x i, x j) = (x T i x j + ) d. Denenen diğer kernel fonksiyonu da ışınsal taban fonksiyon (ITF) kernel fonksiyonudur ve şu şekildedir: k(x i, x j) = exp( γ x i x j ). Birleştiricilerin en iyi parametrelerini bulmak için -katlı bağımsız geçerlilik sınaması yapılmıştır; ancak amacımız

sınıflandırıcı birleştirme olduğu için, ikili sınıflandırıcının doğruluk değeri yerine birleştiricinin doğruluk değeri baz alınmıştır. Denetimli birleştiricileri karşılaştırmak için eşit ağırlık yöntemi de (ortalama) denenmiştir. Tablo :. Tip birleştirme için sonuçlar VT DVM EKK-DVM DOĞ ÇOK ITF DOĞ ÇOK ITF optdigit 98. 98.05 97.7 98. 98. 96.94 satellite 89.85 89.45 89.40 90.05 90.05 87.75 segment 95.80 94.7 96.4 95.65 95.65 95.7 waveform 86.90 86.77 87. 86.6 86.6 86.80 Tablo :. Tip birleştirme için sonuçlar VT DVM EKK-DVM DOĞ ÇOK ITF DOĞ ÇOK ITF optdigit 97.05 97.05 95.94 98. 98. 98.05 satellite 87.5 89.0 89.60 87.80 87.80 87.40 segment 96.4 96.4 96.4 96.4 96.4 96.49 waveform 86.90 87.7 86.90 86.6 86.6 86.9. tip birleştirici sonuçları tablo de verilmiştir. Burada DOĞ, doğrusal birleştirici; ÇOK, çok terimli kernel fonksiyonu; ITF ise ışınsal taban fonksiyon kerneli anlamındadır. Bellek probleminden dolayı, optdigit ve satelite veritabanları ve EKK- DVM sınıflandırıcısı için, aynı olmayan ancak yaklaşık bir çözüm geliştirilmiştir.. tip birleştirmede veritabanında doğrusal olmayan birleştirmeyle en iyi sonuçların alınabildiği görülmüştür.. tip ve. tip birleştiricilerde, DVM kullanarak EKK- DVM ye göre daha iyi sonuçlar alınabildiği görülmüştür. Bu da daha önce yapılan varsayımın çok güçlü bir varsayım olmadığını; herhangi güçlü bir ikili sınıflandırıcının, () ve (5) teki koşulları sağlamadığı halde kullanılabileceğini göstermektedir. Her durumda eşit ağırlıkla birleştirmeden daha iyi sonuçlar alınabilindiği görülmektedir. Bu da denetimli birleştirmenin faydalı olduğunu göstermektedir.. tip birleştirme için doğrusal olmayan sınıflandırıcılar diğer iki tip birleştirmelere göre daha iyi çalışmaktadır. En yüksek doğruluk oranları, 4 veritabanı için de ITF kerneliyle elde edilebilinmiştir. Farklı tipte birleştiriciler birbirleriyle karşılaştırıldığında,. tip birleştirmenin, daha karmaşık olduğu halde diğer tiplere göre daha düşük doğruluk oranları verdiği görülmektedir. Bunun nedeni, birinci seviye sınıflandırıcı çıktılarının eşlenik olması olabilir. Birinci seviye sınıflandırıcıların girdileri veritabanının farklı alt kümeleri (veri örneği olarak veya öznitelik olarak) alınırsa,. veya. tipin daha iyi çalışması beklenebilir. 6. Sonuç ve Bilgiler Bu bildiride doğrusal olmayan sınıflandırıcı birleştirme problemi üstünde durulmuştur. Değişik tipte denetimli doğrusal birleştiriciler için, özel öğrenme algoritması kullanmadan, veritabanının değişik altkümeleri kullanılarak doğrusal olmayan hallerinin de elde edilebildiği ve genel olarak daha iyi sonuçlar alınabildiği gösterilmiştir. Tablo 4:. Tip birleştirme ve eşit ağırlık için sonuçlar VT EA DOĞ ÇOK ITF optdigit 96. 97.7 97.0 97.7 satellite 87.60 86.85 86.45 86.95 segment 9.67 96.0 94.5 96.79 waveform 86.6 87.00 86.86 87.00 birleştirme problemine özel bir kernel fonksiyonu geliştirerek doğruluk oranları arttırılabilir. Gelecek çalışmalarımızda bu konu üstünde de durmayı planlıyoruz. Bu çalışma TÜBİTAK ın bilimsel ve teknolojik araştırma projelerini destekleme programı çerçevesinde 07E05 numaralı Görsel-İşitsel Konuşma Tanımada Yeni Yaklaşımlar isimli proje tarafından desteklenmektedir. 7. KAYNAKÇA [] Ludmila I. Kuncheva, Combining Pattern Classifiers: Methods and Algorithms, Wiley-Interscience, 004. [] Gavin Brown, An information theoretic perspective on multiple classifier systems, in Proceedings of the 8th International Workshop on Multiple Classifier Systems, Berlin, Heidelberg, 009, MCS 09, pp. 44 5, Springer-Verlag. [] J. Kittler, M. Hatef, R.P.W. Duin, and J. Matas, On combining classifiers, Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 0, no., pp. 6 9, Mar. 998. [4] J.V. Kittler, Combining classifiers: A theoretical framework, PAA, vol., no., pp. 8 7, 998. [5] David H. Wolpert, Stacked generalization, Neural Netw., vol. 5, no., pp. 4 59, 99. [6] Sam Reid and Greg Grudic, Regularized linear models in stacked generalization, in MCS 09: Proceedings of the 8th International Workshop on Multiple Classifier Systems, Berlin, Heidelberg, 009, pp., Springer-Verlag. [7] Kai Ming Ting and Ian H. Witten, Issues in stacked generalization, J. Artif. Int. Res., vol. 0, pp. 7 89, May 999. [8] Naonori Ueda, Optimal linear combination of neural networks for improving classification performance, IEEE Trans. Pattern Anal. Mach. Intell., vol., no., pp. 07 5, 000. [9] H. Erdogan and M.U. Sen, A unifying framework for learning the linear combiners for classifier ensembles, in Pattern Recognition (ICPR), 00 0th International Conference on, aug. 00, pp. 985 988. [0] Yann Lecun, S. Chopra, R. Hadsell, F. J. Huang, and M. A. Ranzato, A Tutorial on Energy-Based Learning, MIT Press, 006. [] J.A.K. Suykens and J. Vandewalle, Least squares support vector machine classifiers, Neural Processing Letters, vol. 9, pp. 9 00, 999, 0.0/A:086860974. [] A. Asuncion and D.J. Newman, UCI machine learning repository, 007. [] Duin R.P.W., Juszczak P., Paclik P., Pekalska E., de Ridder D., Tax D.M.J., and Verzakov S., PRTools4., A Matlab Toolbox for Pattern Recognition, 007, Delft University of Technology.