C. Ünsalan and A. Erçl, "Comparson of feature selecton algorthms a new performance crtera for feature selecton", Proceedngs of IEEE SIU'98, pp. 60-65, ay 998, Kzlcahamam, Turkey (n Turksh Özntelk Seçme Yöntemlernn Karılatırılması ve Baarı Krter Cem ÜNSALAN Aytül ERÇL Boazç Ünverstes, Elektrk-Elektronk ühendsl Bölümü unsalan@boun.edu.tr Boazç Ünverstes, Endüstr ühendsl Bölümü ercl@boun.edu.tr Özetçe Sınıf blgsnn elde edlece özntelklern bazıları, bu blgy çermyor olablr. Bu özntelklern sınıflandırıcıya verlmeler br anlam fade etmeyece çn, sınıflandırma lemnden önce ayıklanmaları gerekr.sınıf blgsn çnde barındıran ve sınıflandırıcının n kolaylatıran özntelklern bulunması çn özntelk seçme yöntemler geltrlmtr. Bu çalımada, kullanılan özntelk seçme yöntemlerne ek olarak yen br özntelk seçme yöntem önerlmtr. Tüm özntelk seçme yöntemlernn baarılarını hesaplamak çn yen br yöntem geltrlmtr.. Gr Sınıflandırıcıya verlecek özntelk sayısı, tüm blemler denemeye elver delse, sınıflandırıcının n kolaylatıracak br ön leme gerek duyulur. Bu sayede sınıflandırma gücü olmayan özntelkler ayıklanablr. Özntelk uzayının boyutu arttıı zaman, sınıflandırıcı çn boyut lanet de sınıflandırıcının baarısını azaltıcı etk yapar. Bu nedenlerden ötürü özntelk seçme yöntemler kullanılır. Her öznteln elde edlmes toplam sstem çn fazladan br lem yükü demektr k bu da lem zamanını arttırır. Gerçek zamanlı uygulamalarda bu sorun da kullanılan özntelk sayısının sınırlandırılmasını gerektrr. Bu nedenle de özntelk seçme yöntemlerne htyaç duyulur. En öneml özntelk seçme yöntemlernden br dallanma ve sınırlama algortmasıdır. Bu algortma Narendra ve Fukunaga [] tarafından önerlmtr. Kttler [] dek özntelk seçme yöntemlern ncelemtr. Pudl et al. [3] sıralı ler kayan ve sıralı ger kayan seçme yöntemlern kullanmıtır.. Özntelk Seçme Yöntemler Bu bölümde kullanılan özntelk seçme yöntemler kısaca ele alınacaktır. Lteratürde kullanılan özntelk seçme yöntemler bunlarla sınırlı deldr.
. Entrop Ölçütü Entrop ölçütü öznteln çndek blg yardımı le seçm yapar. Bu nedenle özntelk br daılım gb ele alınıp, entrops bulunur. Entrop arttıkça sınıfların daha y ayrılablyor olduu kabul edlr. Entrop ölçütünü hesaplamak çn özntelk normalletrlr, öyle k tüm deerler sıfırın üstünde olsun ve toplam br etsn. verye sahp ft özntelnn entrops aaıdak eklde bulunablr: E ft ( ft ( log( ft ( ft( + mn( ft ( ft( + mn( ft. ekl Benzerl le Seçme Br öznteln ekl, verlern daılımı olarak alınablr, öyle k verler eldek tüm özntelkler çn aynı sıraya sahp olsun. ekl benzerl le seçmenn amacı, daılımları brbrne yakın olan özntelkler ayıklamaktır. Eer k özntelk brbrne yakın ekllere sahp seler, bu özntelklerdek ver daılımı da brbrne yakındır demektr. Bu özntelklerden brn atmak seçme blgsn azaltmaz. Eldek k özntelk çn benzerlk ölçüsü, bu k öznteln yumuatılmı ve normalletrlm ekller arasındak Eucld uzaklıı olarak alınır. Yumuatma lem ekl üzerndek gürültüyü azaltmak ve ekle br genellk vermek amacıyla yapılır. Benzerlk ölçüsü aaıdak gb hesaplanır: Aynı ndsne sahp, ft ve ft özntelkler çn: ft( + mn( ft ekl ft ft (... ( ft ( + mn( ft ekl ft ft ( ft ( + mn( ft toplam ver sayısıdır. ( ft ( + mn( ft... Bu k özntelk arasındak uzaklık aaıdak gb bulunur: uzaklk ft ( ft ( Brbrne benzeyen özntelkler bulmak çn, uzaklık ölçüsü üzerde hyerark kümeleme yapılır [4]. Seçlecek özntelk sayısı sonuç küme sayısını belrler, k bu da özntelkler arasındak benzerl dorudan belrler.
.3 Fsher n Ölçütü Lneer Ayırma Analz (LDA projeksyon algortmalarından brdr. Projeksyon sınıf ayrımını arttırmak çn yapılır, böylece yen uzayda sınıflandırma lem daha kolay yapılablr [4]. Bu uzayı bulablmek çn teratf olarak Fsher n geltrd ölçü arttırılmaya çalıılır. Bu ölçü: snflar aras uzaklk d snf ç daglm Fsher n ölçüsü k koulu salamaya çalıır: - Sınıf merkezler arası uzaklık ençoklanmalıdır. - Her sınıfın kend çndek daılımı en az düzeye getrlmeldr. Bu çalımada bu ölçü dorudan öznteln kaltesn belrtyor kabul edlmtr..4 Prncpal Component Analyss (PCA PCA eldek ver kümesn, yen ver uzayına geçrr, öyle k bu yen uzayda ver daılımındak sapma en y eklde korunsun. Eer geçrme lem daha düük boyutlu br uzaya yapılırsa, özntelk uzayının boyutu da azaltılmı olur. PCA ve yapay snr aları arasında ba bulmak çn aratırmalar yapılmıtır. Oja [5] tek br nöron kullanarak PCA yı uygulamıtır. Chen [6] uyarlanır PCA bulmak çn yapay snr alarını kullanmıtır. Damantaras ve Kung [7], ktaplarında PCA ve yapay snr alarını brletrmlerdr. 3. Özntelk Seçme Yöntemler çn Baarı Krter Kullanılan özntelk seçme yöntemler de baarıları ölçüsünde derecelendrlmeldr. Bu bölümde baarı derecelendrmes çn br yöntem geltrlmeye çalıılmıtır. Özntelk seçme yöntemler çn baarı derecesn aaıdak gb belrteblrz: Her sınıflandırıcı, yapısına göre öncel sınıf yapısı çn br tahmnde bulunur, k sınıflandırma baarısı bu tahmnle dorudan lgldr. Eer eldek özntelk kümes yeternce fazla ve farklı yapılara sahp sınıflandırıcı le denenrse, genel sınıflandırma sonucu bu özntelk kümes hakkında blg verr. Kullanılan sınıflandırıcı sayısını ne kadar arttırırsak, sınıflandırıcıların öncel tahmnlernden de o kadar baımsız br sonuç elde ederz. Bu çalımada, kullanıcı sayısını yeternce arttırmak yerne, öncel tahmnler farklı k sınıflandırma yöntem kullanılmıtır. Bu yöntemler Bayes sınıflandırıcısı ve KNN sınıflandırıcısıdır [4]. Bayes sınıflandırıcısı çn öncel sınıf daılımı Normal daılım olarak alınır. Der taraftan KNN sınıflandırıcısı çn br öncel sınıf daılımı kabul edlmez ve eldek ver kümesnden bu daılım bulunmaya çalıılır. Bu yüzden bu k yöntem statstksel ver analznde k farklı yaklaımı gösterr. Eldek ver kümes çn, eer k sınıflandırıcı da y sonuç verrse, buradan bu özntelk kümesnn kullanılan sınıflandırıcıdan baımsız olarak yeternce y olduu düünüleblr. Ya da br sınıflandırıcı y sonuç verrse, eldek özntelk kümesnn sınıflandırıcıya baımlı olarak y olduu düünüleblr. Özntelk seçme yöntemler le seçlen özntelkler bu yöntemle sınıflandırılınca, ortalama baarı da özntelk seçme yöntemnn baarısı hakkında blg verr. Baarı krter u eklde hesaplanır:
- Bayes sınıflandırıcısı ve KNN sınıflandırıcısı özntelk seçme yöntem tarafından eçlen özntelkler sınıflandırır ve sonuç yüzde olarak belrtlr. Burada k farklı baarı krter bulunablr. - Eer sınıflandırıcıdan baımsız baarı stenyorsa, her k sınıflandırma sonucunun ortalaması ve standart sapması hesaplanır. Ortalama, ortak sınıflandırma yüzdesn, standart sapma da bu k sınıflandırıcının sınıflandırmada ne kadar anlatıını belrtr. Ortak sınıflandırma yüzdes ve anlama aırlıklı olarak toplanır ve özntelk kümes çn baarı dereces bulunur. - Eer sınıflandırıcıya baımlı baarı stenyorsa, her k sınıflandırma sonucundan en yüksek olanı alınır ve bu özntelk çn baarı dereces kabul edlr. v- Özntelk seçme yöntemnn baarısını bulablmek çn, yeternce çok özntelk uzayından seçme yapılır ve her uzaydak baarı toplanıp, ortalaması alınır bu da özntelk seçme yöntemnn baarısını verr. Baarı krtern formül halnde yazmak stersek: Dyelm k: C m (f Bayes sınıflandırıcının özntelk seçme yöntem le seçlen özntelk f çn doru sınıflandırma yüzdesn versn. C k (f KNN sınıflandırıcının özntelk seçme yöntem le seçlen özntelk f çn doru sınıflandırma yüzdesn versn. Ortalama doru sınıflandırma: C m( f + Ck ( f µ Anlama veya doru snıflandırma standart sapması: σ 4. Deney ( C m ( f µ + ( Ck ( f µ Eer özntelk seçme yöntem N özntelk kümes çn denenmse: N Basar ( w µ + w σ N Baarı krter yöntemn test etmek çn dört deney set hazırlanmıtır. Bu setlern özellkler sırasıyla: Set, rs ver kümesdr. Fsher tarafından kullanılmıtır ve dört boyutlu uzayda üç sınıf barındırır, öyle k br sınıf der k sınıftan dorusal olarak ayrılablr deldr. Set, en kötü durum olarak alınmıtır. Brbryle çakıan Normal daılıma sahp k sınıf, bu ksn kapsayan normal daılıma sahp br üçüncü sınıfın çnde alınmıtır. Özntelk uzayı üç boyutludur. Set3, k boyutlu k özntelk kümes brletrlerek elde edlmtr. Brnc kümede br sınıf normal olarak daılmıtır ve knc sınıf bu sınıfı çevreleyecek eklde ve yarıçapı normal daılıma sahp daresel br yapıya sahptr. Iknc küme de normal daılıma sahp ve çakıan k kümenn brlemnden oluur.
Set4, PCA algortmasının en zayıf olduu özntelk uzayıdır. k sınıf, en çok sapmaya sahp k boyutta tamamen çakıır ve en az sapmaya sahp üçüncü botutta dorusal olarak ayrılablr. Bu deney setler le lgl daha gen blg referanslarda bulunablr [8]. Aaıdak tabloda herbr özntelk seçme yöntem tarafından seçlen özntelk kümesnn sınıflandırma sonuçları yüzde olarak verlmtr. Her özntelk seçme yöntemnden k tane özntelk seçmes stenmtr. Set Set Set3 Set4 Tablo 4. Sınıflandırma Sonuçları Entrop Fsher ekl B. PCA Bayes 80.00 97.33 94.67 89.33 KNN 77.33 94.67 97.33 94.67 Bayes 44.00 45.33 45.33 39.56 KNN 64.44 59.56 59.56 57. Bayes 79.00 79.00 73.00 53.00 KNN 69.00 69.00 94.50 00.00 Bayes 50.50 00.00 00.00 58.50 KNN 47.50 00.00 00.00 54.00 Aaıdak tabloda, özntelk seçme yöntemler çn sınıflandırıcıdan baımsız baarı dereceler bulunmutur. Tablo 4. Sınıflandırıcıdan Baımsız Baarı Entrop Fsher ekl B. PCA Set 78.56 95.89 95.89 9.79 Set 53.40 5.88 5.88 47.63 Set3 73.60 73.60 8.89 74.6 Set4 48.88 00.00 00.00 56.07 Baarı 63.6 80.34 8.66 67.53 Aaıdak tabloda, özntelk seçme yöntemler çn sınıflandırıcıya baımlı baarı dereceler bulunmutur. Tablo 4.3 Sınıflandırıcıya Baımlı Baarı Entrop Fsher ekl B. PCA Set 80.00 97.33 97.33 94.67 Set 64.44 59.56 59.56 57. Set3 79.00 79.00 94.50 00.00 Set4 50.50 00.00 00.00 58.50 Baarı 68.49 83.97 87.85 77.57 Bu sonuçlara göre Fsher n özntelk seçme yöntem ve ekl Benzerl le seçme yöntem brbrlerne yakın ve yüksek baarı dereceler almılardır. Bu sonucu test etmek çn gerçek ver kümes br sonrak adımda kullanılacak ve bu kümeden seçlen özntelkler LVQ sınıflandırıcısı le sınıflandırılıp baarı krter hakkında daha salıklı blg elde edlecektr. Gerçek ver kümes çelk yüzey üzernden, farklı mge leme yöntemler le elde edlen özntelkler kullanılarak yapılacaktır. Kullanılan mge leme yöntemler verlen
referansta daha y görüleblr [9].Her doku analz yöntemnden elde edlen özntelk kümes, özntelk seçme yöntemler kullanılarak, hyerark br yapıda üç özntele ndrlmtr [8]. Bu özntelkler LVQ le sınıflandırılıp k sınıf blgs, paslı yüzey ve kumlanmı yüzey, elde edlmtr. Sınıflandırma sonucu baarı aaıdak tabloda verlmtr. Her doku analz yöntemnden elde edlen özntelk sayısı da bu tabloda belrtlmtr. Tablo 4.4 Özntelk Seçme Yöntemlern Gerçek Ver le Karılatırma Doku Analz Yöntem Top. Özn. Entrop Fsher ekl B. PCA Gr Düzey E Oluum atrs 30 %97.0 %96. %9.58 %77.6 arkov Rassal Alanları 5 %88.0 %90.5 %86.50 %85.5 mgenn Hstogramı 0 %97.8 %97.45 %98.05 %97.0 k Boyutlu Fourer Dönüümü 0 %9.34 %98.6 %86.74 %90.5 Wavelet Dönüümü 79 %88.44 %97.93 %58.03 %5. Gabor Dönüümü 30 %5.34 %98.05 %5.34 %5.34 Radon Dönüümü 0 %88.56 %99.5 %9.58 %80.54 Yüzey Younluu Yaklaımı 40 %96.84 %8.85 %97.0 %93.9 Tablo 4.4 den görülece üzere Fsher n özntelk seçme ölçüsü sekz set üzernden altısında en yüksek sınıflandırma baarısını elde etmtr. Bunu ekl Benzerl le seçlen özntelkler zlemektedr. Burada belrtlmes gereken husus, özntelk seçmnn hyerark olarak yapılmı olmasıdır [8]. Sonuç Bu bldrde, kullanılan özntelk seçme yöntemlerne ek olarak yen br özntelk seçme yöntem geltrlmtr. ncelenen tüm özntelk seçme yöntemlernn baarı derecelern bulmak çn yen br yöntem geltrlmtr. Bu yöntem gerçek ver kümes le test edlmtr. Elde edlen sonuç, baarı krternn yeternce y derecelendrme yapablddr. Kaynakça [] Narendra P.., Fukunaga K. A Branch and Bound Algorthm for Feature Subset Selecton IEEE Trans on Computers, vol. c-6,no 9 pp 97-9, 977 [] Kttler J., Feature Selecton and Extracton Handbook of Pattern Recognton and Image Processng T. Y. Young and K. S. Fu (edtors Academc Press Inc., London, 986 [3] Pudl P.,Novovcova J., Kttler J. Floatng Search ethods n Feature Selecton Pattern Recognton Letters,vol.5, pp 9-5, 994 [4] Duda R. O. and Hart P. E., Pattern Classfcaton and Scene Analyss, New York: John Wley & Sons,(Prelmnary Edton,996 [5] Oja E., A smplfed Neuron odel as a Prncpal Component Analyzer J. ath. Bol. vol 5, pp 67-73, 98 [6] Chen L. H., Chang S. An Adaptve Learnng Algorthm for Prncpal Component Analyss IEEE Trans on Neural Networks, vol 6,no 5 pp 55-63, 995 [7] Damantaras K. I., Kung S. Y. Prncpal Component Neural Networks New York: Wley Internatonal Pub., 996 [8] Ünsalan C., Erçl E. Classfcaton of Rust Grades on Steel Surfaces Part Boazç Ünverstes Teknk Rapor, FBE-IE-0/98-0, 998
[9] Ünsalan C., Erçl E. Classfcaton of Rust Grades on Steel Surfaces Part Boazç Ünverstes Teknk Rapor, FBE-IE-/97-6, 997