T.C. SELÇUK ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ BİLGİ SİSTEMLERİNE FARK FONKSİYONU TABANLI ÖZELLİK SEÇME YÖNTEMİNİN GELİŞTİRİLMESİ MEHMET HACIBEYOĞLU OKTORA TEZİ Blgsayar Mühendslğ Analm alını Mart-0 KONYA Her Hakkı Saklıdır
ÖZET OKTORA TEZİ BİLGİ SİSTEMLERİNE FARK FONKSİYONU TABANLI ÖZELLİK SEÇME YÖNTEMİNİN GELİŞTİRİLMESİ MEHMET HACIBEYOĞLU Selçuk Ünverstes Fen Blmler Ensttüsü Blgsayar Mühendslğ Analm alı anışman: Prof. r. Ahmet ARSLAN 0, 94 Sayfa Jür Prof. r. Ahmet ARSLAN Prof. r. Şrzat KAHRAMANLI oç. r. Mehmet ÇUNKAŞ Yrd. oç. r. Mesut GÜNÜZ Yrd. oç. r. Gülay TEZEL Blg sstemlernde özellk seçmenn amacı şart özellklernn orjnal kümes le aynı sınıflandırma aşarısı sağlayan özellklern r veya rkaç tane mnmal alt kümesn ulmaktır. Genellkle r ver kümes özellklern rden fazla mnmal alt kümelerne sahp olalr ve unların hepsn ulmak r NP-hard (elrsz polnomal-zor) prolemdr. Bu yüzden r ver kümesne at olan özellklern r veya rkaç mnmal alt kümesn ulan sezgsel algortmalar gelştrlmştr. Fakat u algortmaları kullanmak en y çözümü kaçırma rskn de eraernde getrmektedr. Çünkü özellklern ulunan alt kümes azen en y küme olmayalr. Bu yüzden, özellklern en y alt kümesn ulmak stendğnde u ş çn yegâne olan fark fonksyonu taanlı özellk seçme yaklaşımı kullanılır. Fakat maalesef u yaklaşıma dayanan algortmalar ellek taşmasından dolayı şn trmeden sonlanırlar. Bu algortmalar çn ellek taşmasının see fark fonksyonun dsjunktf normal forma çevrlrken üstel olarak artan hafıza karmaşıklığıdır. Bu yüzden, u çalışmada, dsjunktf normal formun orjnal fark fonksyonundan değl ndrgenmş fark fonksyonundan elde edlmes yöntem gelştrlmş ve u yolla karmaşıklık kend kareköküne kadar azaltılmıştır. Böylece, k aşamadan oluşan lojk fonksyon taanlı r özellk seçme yöntem gelştrlmştr. Brnc aşamada ver kümesnn doğruluk talo görüntüsü kullanılarak ndrgenmş fark fonksyonu oluşturulur, knc aşamada se elde edlen ndrgenmş fark fonksyonu teratf olarak ölünerek dsjunktf normal forma çevrlr ve öylece şlenmekte olan ver kümesne at özellklern mnmal alt kümeler elde edlr. Gelştrlen özellk seçme yöntem u özellğ sayesnde dğer özellk seçme yöntemler le şlenemeyen ver kümelern de aşarı le şlenelmektedr. Anahtar Kelmeler: Blg sstemler, Boole fonksyonu, fark fonksyonu, fonksyonel parçalama, özellk seçme, özellk ndrgeme, ver kümeler. v
ABSTRACT Ph. THESIS EVELOPMENT OF ISCERNIBILITY FUNCTION BASE FEATURE SELECTION METHO IN INFORMATION SYSTEMS MEHMET HACIBEYOĞLU THE GRAUATE SCHOOL OF NATURAL AN APPLIE SCIENCE OF SELÇUK UNIVERSITY THE EGREE OF OCTOR OF PHILOSOPHY IN COMPUTER ENGINEERING Advsor: Prof. r. Ahmet ARSLAN 0, 94 Pages Jury Prof. r. Ahmet ARSLAN Prof. r. Şrzat KAHRAMANLI Assoc. Prof. r. Mehmet ÇUNKAŞ Asst. Prof. r. Mesut GÜNÜZ Asst. Prof. r. Gülay TEZEL The goal of feature selecton n nformaton systems s to fnd the mnmal suset of condton feature set that has the same classfcaton power as the orgnal condton feature set. Usually one dataset may have a lot of mnmal suset of attrutes and fndng all of them s known as an NP-hard prolem. Therefore, when only one mnmal suset of attrute s reured, some heurstc for fndng only one or a small numer of possle mnmal suset of attrutes s used. But n ths case there s a rsk that the est mnmal suset of attrutes would e overlooked. When the est soluton of a feature selecton task s reured, the dscernlty functon-ased approach, generatng all mnmal suset of attrutes, s used. But unfortunately dscernlty functon-ased feature selecton programs fal due to overflow the computer s memory. Ths s the ntractale space complexty of the converson of a dscernlty functon to dsjunctve normal form. Thus, n ths study, we developed a method that otaned dsjunctve normal form from mnmzed dscernlty functon whch the value computatonal complexty s reduced the suare root of the orgnal converson. Based on these facts, we developed a two-step logc functon ased feature selecton method. The frst stage, developed method derves mnmzed dscernlty functon from the truth tale mage of a dataset. The second stage fnds all mnmal suset of attrutes of a dataset y teratvely parttonng the dscernlty functon so that the part to e converted to dsjunctve normal form. ue to ths property, t can process most of datasets that can not e processed y other dscernlty functon ased programs. Keywords: Attrute reducton, Boole functon, datasets, dscernlty functon, feature selecton, functonal parttonng, nformaton systems. v
ÖNSÖZ oktora çalışmamı yapalmem çn, kapılarını ana güvenle açan, her zaman gönülden destekleyen ve lg rkmlern enmle paylaşarak ana yol gösterc olan saygı değer hocalarım Prof. r. Ahmet ARSLAN ve Prof. r. Şrzat KAHRAMANLI YA çok teşekkür ederm. Tezm hazırlarken her türlü yardımlarını esrgemeyen eksklerm görüp tez çalışmamı yleştrmem sağlayan oç. r. Mehmet ÇUNKAŞ a teşekkür ederm. Bu tez hazırlamamda ana çok yardımcı olan eşm ve aleme ayrıca ana yen fkrler vererek tezm hazırlamamda yardımları dokunan çalışma arkadaşlarıma teşekkür ederm. Mehmet HACIBEYOĞLU KONYA-0 v
İÇİNEKİLER ÖZET... v ABSTRACT... v ÖNSÖZ... v İÇİNEKİLER... v SİMGELER VE KISALTMALAR... x. GİRİŞ.... ÖZELLİK SEÇMENİN LİTERATÜREKİ YERİ... 4 3. VERİ KÜMELERİNE ÖZELLİK SEÇME İŞLEMİNE BOOLE FONKSİYON YAKLAŞIMI... 9 3.. Ver kümelerne Boole fonksyonu yaklaşımı... 9 3.. Br ver kümesnn Boole fonksyonu olarak yorumlanması... 9 3.3. Br ver kümesnn doğruluk talo görüntüsünün elde edlmes... 3.4. Br ver kümes çn fark fonksyonunun elde edlmes... 4 3.4.. Fark fonksyonunun ndrgenmes... 6 3.5. Br ver kümesnn doğruluk talo görüntüsünden ndrgenmş fark fonksyonunun elde edlmes... 6 3.6. Bt taanlı fade formunda ulunan ndrgenmş fark fonksyonunun dsjunktf normal forma çevrlmes le özellklern mnmal alt kümelernn elde edlmes... 5 3.6.. Bt taanlı fadelern genşletlmes... 5 3.6. Bt taanlı fadelerden oluşan ndrgenmş fark fonksyonun dsjunktf normal forma çevrlmes esnasında gereksz termlern oluşmasının engellenmes... 7 3.7. Boole fonksyon yaklaşımlı özellk seçme yöntemnn çok değerl ver kümelerne uyarlanması... 34 3.8. Boole fonksyon yaklaşımlı özellk seçme yöntem le yapılan deney sonuçları 49 4. İNİRGENMİŞ FARK FONKSİYONUNU İSJUNKTİF NORMAL FORMA ÇEVİRME KARMAŞIKLIĞININ EĞERLENİRİLMESİ... 54 4.. İndrgenmş fark fonksyonunun dsjunktf normal forma çevrlmes sürecnde karşılaşılan en kötü hafıza karmaşıklığı... 54 4.. İndrgenmş fark fonksyonunun dsjunktf normal forma çevrlmes esnasında oluşan en kötü zaman karmaşıklığı... 56 5. İNİRGENMİŞ FARK FONKSİYONUNUN İTERATİF OLARAK BÖLÜNMESİYLE ÖZELLİKLERİN MİNİMAL ALT KÜMELERİNİN BULUNMASI... 59 5.. İndrgenmş fark fonksyonun öl ve yönet (dvde and conuer) stratejs le küçük parçalarla çözülecek hale getrlmes... 59 5.. Fark fonksyonu matrs... 65 v
5.3. Fark fonksyonu matrsnn dsjunktf normal forma çevrlmes... 67 5.4. Fark fonksyonu matrsn parçalayarak özellklern mnmal alt kümelernn tamamını elde eden algortma... 68 5.5. ÇEVİR_FM algortmasının en kötü hafıza karmaşıklığının hesaplanması... 76 6. ENEYSEL SONUÇLAR... 78 7. SONUÇ... 8 KAYNAKLAR... 85 EKLER... 90 ÖZGEÇMİŞ... 94 v
SİMGELER VE KISALTMALAR Smgeler : Brleşme şlem : Lojk çarpma operatörü & : Lojk tsel AN operatörü : Lojk tsel OR operatörü : Lojk tsel XOR operatörü : Önersel OR operatörü : Önersel AN operatörü Kısaltmalar BT_ BT_ mn BTİ CNF NF EKHK EKZK FM mn M KTT ÖLT ÖMAK : Bt taanlı fark fonksyonu : İndrgenmş t taanlı fark fonksyonu : Bt taanlı fade (t ased clause) : Konjunktf normal form : sjunktf normal form : En kötü hafıza karmaşıklığı : En kötü zaman karmaşıklığı : Fark matrs (dscernlty matrx) : Fark fonksyonu : İndrgenmş fark fonksyonu : Fark fonksyonu matrs : Kod taanlı term : Önersel lojk toplam (propostonal logc form) : Özellklern mnmal alt kümes x
. GİRİŞ Günümüzde lgsayar ve letşm teknolojlerndek gelşmelere ağlı olarak ver depolama şlemlernn hacm ve yoğunluğu hızla artmaktadır. Fnans sektörü, haerleşme sektörü, sağlık sektörü ve kamu uygulamaları aşta olmak üzere rçok alanda verler ver taanlarında saklanmaktadır. Br ver taanı r veya rden fazla ver kümesnden oluşalr. Br ver kümes, V N S K N O L ojelern (nesnelern) sonlu kümes, S A M j j, şeklnde gösterlr. Burada, şart özellklernn sonlu kümes ve K karar özellğdr. Her r şart özellğ r A j ( O ) kümesne, karar özellğ se r K( O L ) L sonlu değer sonlu değer kümesne sahptr. Burada A j ( O ), A j şart özellğnn O ojes çn değer ve K ( O ) se K karar özelğnn O ojes çn değerdr. Genel olarak, r lg sstem,,,, L M ) j satırında O Aj( O ojesn ve j,,, M sütununda A j özellğne at A j ( O ) değer kümesn ulunduran r ver kümesdr (Skowron, 990; Swnarsk, 00). Ver kümes çersndek faydalı verlern ulunması, verlern analz edlmes, verlerden gelecekle lgl tahmn yapılması g şlemler sağlayacak olan ağlantı ve kuralların aranması ve ver modeller çıkartılması çn ver madenclğ yöntemler kullanılmaktadır. Ver madenclğ ver taanı, statstk ve çoğunlukla makne öğrenmes algortmalarını kullanmaktadır. Br ver kümesndek özellk sayısının artması le verlern toplanma sürec, verlern saklanması ve verlern makne öğrenmes algortmaları le şlenmesnde htyaç duyulan zaman ve hafıza mktarları üstel olarak artar. Ver madenclğnde karşılaşılalecek u g stenmeyen durumları önlemek çn ver kümeler özellk seçme denlen r ön şleme ta tutulmaktadır. Özellk seçme şlemnn amacı, r V ver kümesn tanımlayan S orjnal özellkler kümesnde ulunan özellklerden gerekl, öneml ve anlamlı olanları seçerek V ver kümesne at özellklern mnmal alt kümesn (ÖMAK) ulmaktır. Br ÖMAK orjnal özellklern toplam sayısından daha az sayıda özellğe sahp olmakla eraer orjnal V ver kümesn aynı aşarıda sınıflandıralmektedr (Lu ve Yu, 005; Wang ve ark., 007; Jensen ve Shen, 007). L
Genellkle r ver kümes r veya daha fazla ÖMAK a sahp olalr ve unlar çersnde en az sayıda özellğe sahp olana Reduct adı verlr (Komorowsk ve ark., 999). Özellk seçme şlem, r orjnal ver kümesnde ulunan gereksz (fazla) özellkler slp ver kümesn sadeleştrr. Özellk seçme şlem sonucunda aşağıdak avantajlar elde edlr: Orjnal ver kümesnde ulunan gereksz özellkler slndğ çn ver kümesnn oyutu azalır. Ver kümes oluşturmak çn gerekl olan ver toplama şlem azalır. Boyutu küçülen ver kümes daha ast şeklde tanımlanalr, görüntülenelr ve anlaşılalr. Ver depolamak çn gerekl olan hafıza mktarı azalır. Makne öğrenmes ve ver madenclğ algortmalarının çalışma süreler ve çalışırken htyaç duydukları hafıza mktarları azalır. Makne öğrenmes ve ver madenclğ algortmalarının sonuçları daha aşarılı ve anlaşılalr r hale gelr. Bu avantajlardan dolayı, özellk seçme, ver madenclğ veya makne öğrenmesn kapsayan rçok alanda kullanılalr. Bunlar: resm madenclğ, ver sınıflandırması, görüntü tanıma, karar destek sstemler, müşter lşkler yönetm, saldırı tespt sstemler, gen analz, ekonom tahmn, hava tahmn, lg ednm ve keşf, hata teşhs, hastalık teşhs vs. dr. N adet özellğe sahp r ver kümesnde ayrıntılı arama yaklaşımıyla (exhaustve search approach) elde edlelecek özellklern mnmal alt kümeler sayısı N N N tanedr. Bu da özellk seçme şlemnn N e ağlı olarak üstel r hesaplama karmaşıklığına (zaman ve hafıza karmaşıklığına) sahp olduğunu gösterr. Bu yüzden r ver kümesndek özellk sayısı arttıkça özellk seçme şlemnn htyaç duyduğu hesaplama karmaşıklığı da üstel olarak artacaktır. Eğer özellk seçme şlem sonucu olarak sadece r veya rkaç ÖMAK stenyorsa, u amaçla sezgsel (heurstc) algortmalar kullanılalr. Fakat u r rsk de eraernde taşımaktadır. Çünkü sezgsel olarak ulunan ÖMAK at olduğu ver kümesn tanımlayan en etkl veya aşarılı ÖMAK olmayalr. Bu durumda r ver kümesne at ütün ÖMAK ları
3 ulmak ve unlar çersnden en aşarılı veya etkl olanı seçmek gerekr. Br ver kümesne at ütün ÖMAK lar ancak fark fonksyonu (dscernlty functon) taanlı özellk seçme yöntemler le ulunalr. Fark fonksyonu () taanlı özellk seçme programları temel olarak k faktörden dolayı lgsayar hafızasını taşırır ve hata verr. Bunlardan rncs çok üyük ver taanları çn n çok üyük oyutlarda oluşması, r dğer se n dsjunktf normal forma (NF) çevrlrken gerekl hafıza mktarının özellk sayısı le üstel olarak artmasıdır. Fakat genellkle rnc aşamada oluşturulan nn rçok term gerekszdr ve u gereksz termler nn NF ye çevrlmes şlem sırasında geçc sonuçlar oluşturur ve kullanılan hafıza mktarını arttırır. Bu seepten dek gereksz termler slerek elde edlen ndrgenmş ve u nn NF ye çevrlme şlem orjnal ye göre daha ast ve hızlı olacaktır. Bu seeplerden dolayı, u tez çalışmasında fark fonksyonu taanlı r özellk seçme yöntem gelştrlmştr. Bu yöntemde öncelkle herhang r ver kümesnn doğruluk talosu kullanılarak o ver kümesne at nn ndrgenmş hal elde edlr. Elde edlen ndrgenmş haldek teratf olarak ölünür. Her terasyondak ölme şlem sonrasında elde edlen ölünmüş NF ye çevrlr ve çevrm esnasında geçc sonuçların oluşması engellenr. Bütün terasyonlar sonunda r ver kümesne at ütün ÖMAK lar elde edlmş olur. Gelştrlen metot dğer taanlı yöntemlere göre çok daha az hafızaya htyaç duyarak özellk seçme şlemn çok daha kısa sürede gerçekleştrr. ahası, dğer taanlı özellk seçme programları tarafından şlenemeyen ver kümeler de u yöntemle şlenelr. Yapılan u tez çalışması 7 ölümden oluşmaktadır. Brnc ölümde özellk seçmenn amacı, avantajları ve özellk seçme şlemnde karşılaşılan sorunlardan ahsedlerek u sorunları çözmek çn gelştrlen yöntem açıklanmıştır.. ölümde özellk seçme le lgl lteratürde yapılan çalışmalar hakkında lg verlmştr. 3. ölümde r lg sstemnn kl doğruluk talo görüntüsü yardımıyla ndrgenmş fark fonksyonun () elde edlmes ve u kullanılarak r ver kümesne at ÖMAK ların oluşturulması anlatılmıştır. 4. ölümde ndrgenmş nun dsjunktf normal forma çevrlmes esnasında oluşan hesap karmaşıklığı değerlendrlmştr. 5. ölümde ndrgenmş nn dsjunktf normal forma çevrlmes esnasında oluşan hesap karmaşıklığının azaltılalmes çn fark fonksyon matrs (M) kullanarak gelştrlen yöntem anlatılmıştır. 6. ölümde yapılan deneylern sonuçları gösterlmştr. 7. ölümde se yapılan tez çalışmasının sonuçları kısaca özetlenerek çalışmanın gelştrlmes çn çeştl önerlerde ulunulmuştur.
4. ÖZELLİK SEÇMENİN LİTERATÜREKİ YERİ Br ver kümes çn özellk seçme, 970 l yıllardan er araştırılan ve gelştrlen makne öğrenmes algortmaları ve ver madenclğ çnde sıklıkla kullanılan r ver önşlemedr. Özellk seçme şlemnde herhang r ver kümesndek orjnal özellklerden öneml ve gerekl olan özellkler çeren ÖMAK seçlr. Özellk seçme şlem tmnde seçlen ÖMAK çersnde gereksz ve önemsz özellkler ulunmaz ve öylece makne öğrenmes algortmalarının öğrenme aşamasındak vermlğ artar ve öğrenlen sonuçların daha anlaşılalr olması sağlanır (Blum ve Langley, 997; ash ve Lu, 997; Kohav ve John, 997). Son yıllarda gen analz, görüntü şleme ve müşter lşkler yönetm g rçok alanda kullanılan ver taanlarının hem örnek hem de özellk sayıları hızla artmıştır. Bu ver taanlarındak hızlı üyüme, rçok makne öğrenme algortmasının ölçeklenelrlğnde ve öğrenmesnde öneml prolemler oluşturur. Mesela, üyük ver taanlarında (yüzlerce ve nlerce özellklerden oluşan ver kümeler) yüksek oranda ulunan gereksz ve önemsz özellkler makne öğrenmes algortmalarının performansını düşürmektedr. Bu seepten dolayı günümüzde özellk seçme yüksek oyutlu ver kümeler le çalışan makne öğrenmes algortmaları çn htyaç duyulan öneml r konu halne gelmştr. Bu amaçla üyük ver kümelern ndrgemek çn araştırmacılar tarafından her hang r ver taanındak öneml ve gerekl verler çeren r veya az sayıda ÖMAK oluşturan sezgsel özellk seçme algortmaları gelştrlmştr. Sezgsel özellk seçme algortmalarını temel olarak üç grupta sınıflandırılalr. Bunlar: fltre metotlar (flter method), sarma metotlar (wrapper method) ve melez metotlardır (hyrd methot) (as,00; L ve ark 005; Chouchoulas,00; Kohav ve John, 997; Yu ve Lu,003; Hall 998; Swnarsk, 00). Fltre metotlar, ver kümesnn her r özellğne statstksel ölçütlere göre çalışan değerlendrme fonksyonları yardımıyla puan verr. eğerlendrme fonksyonları uzaklık ölçümler, lg ölçümler, ağımlılık ölçümler ve tutarlılık ölçümler g ölçümlern r veya rkaçını kullanır. Fltre metotlar eğtm ver kümes üzernde çalışarak her r özellğn puanını ayrı ayrı hesaplar. Sonuç olarak elde edlen puanlar arasından en yüksek puana sahp özellkler ÖMAK ı oluşturur (Gheyas ve Smth, 00). Sıklıkla kullanılan fltre metotları t-test (Hua ve ark., 008), ch-suare test (Jn ve ark., 006), Wlcoxon Many-Whtney test (Lao ve ark., 007), karşılıklı lg (mutual nformaton) (Peng ve ark., 005), Pearson korelasyon katsayıları (Pearson correlaton
5 coeffcents) (Besada ve uch, 008) ve temel leşenler analzdr (prncpal component analyss) (Rocch ve ark., 004). Fltre metotlar sarma metotlara göre daha hızlı çalışmasına rağmen genellkle ver kümesnde ulunan gereksz ve önemsz özellklern elrlenmesnde ve rrleryle etkleşm çersnde olan özellk gruplarının elrlenmesnde çok aşarılı değldr. Buna ek olarak fltre metotlarda ÖMAK ı oluşturacak özellklern seçmnde kullanan gerekl ve gereksz olanları rrnden ayıran eşk değernn nasıl elrlendğ tam olarak kesnlk kazanmamıştır. Bu seeplerden dolayı fltre metotlar tarafından seçlen ÖMAK genellkle sarma metotlar tarafından seçlen ÖMAK a göre daha az etkl veya aşarılıdır. Sarma metotlarda ÖMAK elrlenrken r sınıflandırıcıdan veya öğrenme algortmasından faydalanılır. Sarma metotlarla seçlen ÖMAK ın uygunluğu orjnal ver kümes üzernde çalıştırılması planlanan öğrenme algortması veya sınıflandırıcı tarafından test edlerek elrlenr. Bu yüzden sarma metotlarda k seçm kıstasına ağımsız kıstas adı verlr. Mesela sınıflandırma şlemne sokulacak ver kümes çn özellk seçme şlemnde k uygunluk kıstası sınıflandırma doğruluk oranı (classfcaton accuracy) veya r kümeleme şlemne sokulacak ver kümes çn özellk seçme şlemndek uygunluk kıstası kümeleme ylğ değer (cluster goodness) olarak elrlenelr (Somol ve ark., 007). Genellkle sarma metotlar fltre metotlarına göre daha yavaş çalışmalarına rağmen daha y performans serglerler. Sarma metotlar arama stratejlerne göre k grua ayrılırlar: açgözlü (greedy) sarma metotlar ve rasgele/tahmn (randomzed/stochastc) sarma metotlar. Açıkgözlü sarma metotlar dğer sarma metotlara göre daha az şlemc zamanı kullanırlar. Sıralı gerye doğru seçm (Cooter ve ark., 00) ve sıralı lerye doğru seçm (Colak ve Isk, 003) en çok kullanılan açıkgözlü tepe tırmanma arama stratejs (greedy hll-clmng search strategy) algortmalarındandır. Sıralı gerye doğru seçm algortmasının aşlangıcında ÖMAK orjnal ver kümesndek ütün özellkler çerr ve algortma lerledkçe en az umut veren özellkler ÖMAK tan çıkarılır. Eğer ÖMAK ta kalan özellklerden rnn daha çıkarılmasıyla değerlendrme kıstası olarak kullanılan öğrenme algortmasının performansı daha önceden elrlenen eşk değernn altına düşerse algortma sonlanır. Sıralı gerye doğru seçm algortması tekdüzelk varsayımına dayanır (Yang ve Honavar, 998). Yan sıralı gerye doğru seçm algortmasının çalışması sonunda elde edlen varsayılan performans u ver taan çn en az sayıda özellkle elde edlmş olan en y performanstır. Elde edlen ÖMAK a yen r özellk eklense le elde edlecek olan performans elde edlmş olan varsayılan
6 performanstan daha y olamaz (Swnarsk, 00). Fakat u varsayım şüpheldr çünkü arama uzayının çok genş olması sıralı gerye doğru seçm algortmasına çeştl zorluklar getrr. Çünkü gerçekte her hang r ver kümesnn özellk uzayının artması le sıralı gerye doğru öğrenme algortmasının tahmn aşarısı azalır. Böylece sıralı gerye doğru seçm algortması yüksek oyutlu r ver kümesyle karşılaştığı zaman slnecek her hang r özellğn sonucu tam olarak nasıl etkleyeceğn elrleyemeyelr ve öylece gerekl ve öneml r özellğ algortmanın lk döngülernde slnelr. Buna karşılık, sıralı lerye doğru seçm algortmaları oş ÖMAK le aşlar ve sınıflandırma aşarısında hçr gelşme olmayana kadar en umut verc özellkler ynelemel olarak ÖMAK a ekler. İlk adımda en umut verc özellk seçlrken, undan sonrak adımlarda seçlmş özellkler le en y rlktelğ sağlayıp sınıflandırma aşarısını arttıran özellk seçlerek ÖMAK a eklenr. Sıralı gerye doğru seçm ve sıralı lerye doğru seçm algortmalarının en öneml prolem tek yönlü arama yapmalarıdır. Bu proleme çözüm ulmak çn Pudl ve ark. (994) özellk seçmede değşen sıralı arama algortmasını sunmuşlardır. Bu algortma her ynelemede ÖMAK a r eleman ekler veya r elemanı ÖMAK tan çıkartır. Fakat daha sonra yapılan deneysel çalışmalara göre değşen sıralı arama algortması sıralı lerye doğru seçm algortmasından daha etkl değldr (Bensch ve ark., 005) ve 00 özellkten daha fazla özellğ çeren ver kümeler çnse uygun değldr (Ng ve ark., 997). Sıralı arama algortmalarında r özellğn ÖMAK a eklenmes veya çıkarılması sadece o özellğ etklemez o an çn ÖMAK ta var olan tüm özellkler etkler. Bu seepten dolayı r özellğn ÖMAK a eklenmesnn veya çıkarılmasının ne kadar uygun olup olmayacağı kesn olarak açıklanamaz. Bu da sıralı arama algortmalarının en temel prolemdr. Tahmn sarma metotlar genş ölçekl komnasyon prolemlernn çözümü çn kullanılan karınca kolon optmzasyonu, genetk algortmalar, parçacık sürüsü optmzasyonu ve tavlama enzetm (smulated annealng) g algortmalardır (Yang ve Honavar, 997; Vera ve ark., 007; Wang ve ark., 007; Ronen ve Jaco, 006). Bu tp algortmalar r özellğn gerekllğn ve dğer özellkler le etkleşmn etkl r şeklde elrler ve una göre ÖMAK ı oluşturur. Fakat u tp algortmaların dezavantajı hesaplama karmaşıklığının çok fazla olmasıdır (Gheyas ve Smth, 00). Son senelerde rçok araştırmacı hem fltre ve hem de sarma metotların ortak avantajlarını kullanalmek çn melez (hyrd) sezgsel özellk seçme algortmaları gelştrmşlerdr. Tan ve ark. (006) t-statstcs algortmasını ve genetk algortmayı çeren, Shazzad ve Park (005) korelasyon taanlı özellk seçme algortmasını ve
7 genetk algortmayı çeren, Yan ve Yuan (004) temel leşenler analz ve karınca kolon optmzasyonu algortmalarını çeren, Svagamnathan (007) yapay snr ağları ve karınca kolon optmzasyonu algortmalarını çeren ve Ose-Bryson ve ark. (003) ch-suare ve çok amaçlı optmzasyon algortmalarını çeren Fatourech ve ark. (007) ve Huang ve ark. (006) karşılıklı lg algortması (mutual nformaton) ve genetk algortmayı çeren melez sezgsel özellk seçme yaklaşımları gelştrmşlerdr. Melez metotların temelnde yatan fkrde fltre metotlar le orjnal özellk kümesnden en az öneme sahp olan özellkler slnerek r özellk havuzu oluşturulur. aha sonra sarma metotlar oluşturulan u özellk havuzunu kullanarak ÖMAK ı seçer. Sezgsel özellk seçme algortmaları le seçlen ÖMAK ların sayısı genellkle r veya rkaç taneden fazla değldr. Fakat r ver taanına at faklı ÖMAK lar o ver taanının kullanılacağı makne öğrenmes veya ver madenclğ algortmaları çn farklı etkler veya aşarı oranları gösterelr. Yan sezgsel algortmalar tarafından seçlen ÖMAK en etkl veya aşarılı olan ÖMAK olmayalr (Hall ve Holmes, 003). Bu prolem çözmek çnde r ver taanına at ütün ÖMAK ları ulmak ve unlar çersnden en uygun veya aşarılı olanı seçmek gerekldr. Buda sadece taanlı özellk seçme algortmaları tarafından yapılalr. taanlı özellk seçme algortmaları y NF ye çevrerek r ver kümesne at ütün ÖMAK ları ulur ve u şlem r NP-hard prolemdr. Bu yüzden hesaplama karmaşıklığı da çok üyüktür (Jensen ve Shen, 004; Skowron ve Rauszer, 99; Chen ve ark., 008). Günümüze kadar taanlı özellk seçme konusunda rçok çalışma yapılmasına rağmen u çalışmaların çok azında u yöntemn hesaplama karmaşıklığının azaltılması üzernde durulmuştur. Özellkle Ohrn ve ark. (998) taanlı Johnson azaltıcı (Johnson reducer) (Johnson, 974) olarak da adlandırılan r algortma açıklamışlardır. Bu algortmaya göre ayırt edc matrste en yüksek frekansa sahp özellk, ÖMAK a eklenmekte ve çersnde u özellğ çeren dğer ütün satırlar den slnmektedr. çersndek ütün satırlar slndğ zaman algortma sonlanmakta ve elde edlen ÖMAK algortmanın sonuç değern vermektedr (Jensen ve Shen, 007). Benzer r yaklaşımla Wang ve Wang (00) ÖMAK ı teratf olarak ulmaktadır. Bu yaklaşımın her terasyonunda de en yüksek frekansa sahp özellk seçlmekte ve u özellğ çeren ütün elemanlar ayırt edc matrsten slnmektedr. Algortma ÖMAK ı ulana kadar devam etmektedr. Her k metotta taanlı özellk seçme yöntemler olmasına rağmen sezgseldrler. Çünkü sonuç olarak elde edlen ÖMAK ın en uygun ÖMAK olup olmadığını kesn olarak spatlanamaz. Starzyk ve ark.
8 (000) özellk seçme şlemn hızlandıralmek çn güçlü sıkıştırılalrlk (strong compresslty) kavramını ortaya atmışlardır. Bu kavram yardımıyla ndrgenmş oluşturmuşlar ve genşleme algortması (expanson algorthm) adını verdkler algortma le herhang r ver kümesne at ütün ÖMAK ları daha hızlı ulduklarını söylemşlerdr. Fakat Wang ve ark. (007) u yaklaşımın sadece küçük ver kümelernde etkl oluğunu savunmuştur. Tan ve ark. (007) yen r reduct seçme algortması sunmuşlardır. Bu algortmanın temel Boole uzayındak keskl oyut ndrme prolemlernn gerçek uzaydak sürekl optmzasyon prolemlerne dönüştürülmesdr. Yapılan deneysel çalışmalar da u yaklaşımın namk Reduct (Bazan, 998; Bazan, 994) ve Genetk Reduct (Vntero, 000) yaklaşımlarından daha hızlı çalıştığı spatlamıştır.
9 3. VERİ KÜMELERİNE ÖZELLİK SEÇME İŞLEMİNE BOOLE FONKSİYON YAKLAŞIMI 3.. Ver kümelerne Boole fonksyonu yaklaşımı h Grşler sayısı n çıkışları sayısı se m olan r Boole fonksyonu n m : B Y şeklnde gösterlr. Burada {0, } urada uzayıdır. B n n grş komnasyonları uzayı, B ve Y {0,,*}. Hatırlatalım k, Y 3 m m se çıkış komnasyonları n B uzayındak her hang r komnasyon mnterm olarak smlendrlr. m durumunda fonksyonu tek çıkışlı r fonksyon olur. Tek çıkışlı r fonksyonun grş komnasyonları kümes doğrular kümes denlen S ON (), yanlışlar kümes denlen S O () ve önemszler kümes denlen S C () kümelerne ayrılır. Blndğ g, n değşken çn n kadar mnterm mümkündür. Bu mntermlerden her rn r x olarak gösterrsek S ON (), S O () ve S C () kümeler formal olarak aşağıdak g tanımlanalr: x 0 n SON ( ) : x B ve( x) (3.) n SO ( ) x : x B ve( x) (3.) S C n ( ) B S ( ) S ( ) (3.3) ON O Eğer r fonksyonu çn S C () durumunda o fonksyon tam elrlenmş fonksyon olarak, S C () durumunda se söz konusu fonksyonu natamam elrlenmş fonksyon olarak tanımlanır. İlerde, S ON () kümesndek mntermler oğru-mnterm, S O () kümesndek mntermler Yanlış-mnterm ve () kümesndek mntermler se Önemsz-mnterm olarak adlandırılacaktır (Şrzat ve ark., 0). S C 3.. Br ver kümesnn Boole fonksyonu olarak yorumlanması Br özellk seçme prolemn r Boole fonksyonu olarak ele alalmek çn, karar özellğne A, A, A n şart özellklernn fonksyonu olarak akılır, yan r ver
0 kümes r f A, A, A ) fonksyonu şeklnde temsl edlr. Eğer r ver ( n kümesn karakterze eden ütün özellkler kl değerl (nary valued) olursa u ver kümes n değşkenl r Boole fonksyonu le temsl edlelr. Bu şeklde tanımlanalen ver kümeler, u tez çalışmasında, kl değerl ver kümeler olarak adlandırılacaktır. Fakat şu unutulmamalıdır k genellkle r ver kümesnde ulunan herhang r özellk kden fazla değere sahp olalr. Bu tp özelklere çok değerl özellk ve u tp özellkler çeren ver kümelerne se çok değerl ver kümeler adı verlr. Boole fonksyonunu çok değerl özellkler olan r ver kümesne uygulayalmek çn söz konusu özellklern değerlernn aşağıdak g kodlanması gerekr.. A j özellğnn aldığı ütün farklı değerler çeren r V j kümes oluşturulur. Bu V j kümesndek değerler kl koda çevrelmek çn kaç tn gerekl olduğu n j log V j formülü le hesaplanır.. İkl olarak n j adet tle kodlanmış özellk değerlern çeren yan kümesnn kl kodlu hal olan E j kümes oluşturulur. 3. Brnc ve knc adımlar ütün özellkler çn tekrarlanır: j,,3, n. V j değer 4. Karar değşkennn ütün farklı değerlern çeren r V d kümes oluşturulur. Bu V d kümesndek değerler kl koda çevrelmek çn karar değşkennn kaç tle fade edleceğ d log V formülü le hesaplanır. d 5. İkl olarak d adet tle kodlanmış karar değşkenn çeren V d kümesnn kl kodlu hal olan almaz. E d kümes oluşturulur. Burada 0 d kodu V d kod kümesnde yer Örnek olarak Çzelge 3. de gösterlen çok değerl ver kümesnn A 5( Feet ) özellğnn ve karar özellğnn kl koda çevrlmesn gösterelm.
Çzelge 3.. Örnek ver kümes Har A Teeth A Eye A 3 Feather A 4 Feet A 5 Eat A 6 Mlk A 7 Fly A 8 Swm A 9 Anmal Yes Ponted Forward No Claw Meat Yes No Yes Tger/Cheetah Yes Blunt Sde No Hoff Grass Yes No No Graffe/Zera No No Sde Yes We Fsh No No Yes Pengun No No Sde Yes Claw Gran No Yes Yes Alatross No No Sde Yes Claw Gran No No No Ostrch No No Forward Yes Claw Meat No Yes No Eagle A özellğ çn değer kümes V5 { Claw, Hoff, We} şeklnde oluşturulur. Bu özellkte 5 V 5 3 değer olduğundan dolayı u özellğ kl koda çevrmek çn n 5 log 3 adet t gerekldr. Sonuç olarak V5 { Claw, Hoff, We} kümes E {00,0,0 5 } olarak kl kodlanır. Bu özellğn değerler t le kodlandığı çn A 5 özellğnn A 5 ve A 5 olmak üzere k adet alt özellğ ulunur. karar özellğnn değer kümes V { Tger / Cheetah, Graffe / Zera, Pengun, Alatross, Ostrch, Eagle } şeklnde oluşturulur. Karar özellğnde V 6 değer olduğundan dolayı karar özellğn kl koda çevrmek çn d log (6 ) 3 adet t gerekldr. Sonuç olarak V kümes E {00,00,0,00,0,0} şeklnde kl kodlanır. E kümesndek elemanların her r 3 t le fade edldğ çn karar özellğ, ve 3 alt fonksyonlarından oluşur. Yukarıdak örnek ze çok-değerl özellkler olan r ver kümesnn özellklernn değerlernn kl koda çevrlmesyle, kl değerl r ver kümes oluşturulaleceğn göstermştr. Bu oluşturulan ver kümesne Boole fonksyonun doğruluk talosu olarak akılalr. Sonuç olarak, ütün ver kümelerne Boole fonksyonlar tarafından temsl edlelecek ve üzernde şlem yapılalecek nesneler olarak akılalr. 3.3. Br ver kümesnn doğruluk talo görüntüsünün elde edlmes Boole fonksyonların göstermdek temel ver yapısı doğruluk talosudur. Her Boole fonksyon r doğruluk talosunun k sütunu le temsl edlr. Brnc sütun mntermler sütunudur. Bu sütunun her satırında SON ( ) SO ( ) kümesndek mntermlerden r tanes ulunur. İknc sütun se fonksyon (karar) sütunudur (Şrzat ve
ark., 0). Bu sütunun her satırında fonksyonun satırın rnc sütununda ulunan mntermden aldığı karar değer yazmaktadır. Br ver kümes lgl doğruluk talosuna aşağıdak g çevrlr:. Karar özellkler ve şart özellğ değerler kl kodlanır.. Şart özellklernn değerlernn kl kodları rleştrlerek her ojeye at mntermler oluşturulur. 3.. adımın sonucu ver kümesnn doğruluk talo görüntüsü olarak ntelendrlr. Örnek 3.: Çzelge 3. de tüm özellkler kl değerl olan örnek r ver kümes (Tavangavel ve ark., 005) gösterlmştr. Ojeler Çzelge 3.. Örnek kl değerl ver kümes Şart özellkler Weght oor A A Sze A3 Cylnder A4 U Low Com 4 Hgh U Low 4 Su 6 Low U3 Low 4 Com 4 Hgh U4 Hgh Com 6 Low U5 Hgh 4 Com 4 Low U6 Hgh 4 Su 6 Low U7 Low Su 6 Low Karar özellğ Mleage Bu talodak şart özellklernn ve karar özellğnn değerler aşağıdak g kl kodlara çevrlr: V V V V V { Low, Hgh} E {,4} E {,0} { Com, Su} E3 3 { 4,6} E4 4 d {0,} {0,} {0,} { Low, Hgh} E {0,} d Bu kodlamalara dayanarak, aynı satırda ulunan şart kodları rleştrlerek Çzelge 3. de verlen ver kümesnn doğruluk talosu gösterm Çzelge 3.3 dek g oluşturulur.
3 Çzelge 3.3. Çzelge 3. dek kl değerl ver kümesnn doğruluk talosu gösterm Mntermler Fonksyon A A A3 A4 T 0 0 0 T 0 0 0 T3 0 0 0 0 T4 0 0 T5 0 0 0 0 T6 0 0 T7 0 0 Bu taloya dayanarak ölüm 3. de anlatılan S ON (), S O () ve S C () kümeler aşağıdak denklemlere göre oluşturulur: S ON ( ) T : ( T) (3.4) S O ( ) T : ( T) 0 (3.5) n 0, T M SC ( ) (3.6) Burada n şart özellklernn sayısı n n 0, ve M se ver kümesndek ojelern sayısıdır. 3.4, 3.5 ve 3.6 denklemlern Çzelge 3.3 e uygulayarak aşağıdak kümeler elde ederz. S ON S O S T, T 000,0000 ( ) 3 T, T, T, T, T 00,0,000,0, 0 ( ) 4 5 6 7 ( ) 4 7 0, 000, 000, 00, 00,00,00,00,0, C T Genelde üyük ver kümeler çerelecekler ojelern sadece çok az r kısmını ulundururlar. Yan r ver kümesndek şart özellklernn sayısı ve şart özellklern alaleceğ değerlern sayısı da artarsa S C () nn SON ( ) S ( ) e olan oranı da artar. Bu se üyük ver kümelerndek özellk seçme şlem esnasında, S C () kümelern şlemek çok fazla hesaplama karmaşıklığına seep olacaktır anlamına gelmektedr. Bunun yerne S O () kümesn kullanmak özellk seçme şlemn kolaylaştıracak ve daha az hesaplama karmaşıklığı yaratacaktır. Bu seepten undan O
4 sonra doğruluk talosuna dayanan şlemlerde S ON () ve S O () kümeler kullanılacaktır. 3.4. Br ver kümes çn fark fonksyonunun elde edlmes S U, C g r ver kümesnn var olduğunu düşünelm. Burada U u u ojeler kümes, C a a, u m özellğdr. Her Burada a j u, a j özellğnn özellkler kümes, se karar, a j C özellğnn alaleceğ değerler kümes a u a n V m a j j dr. u ojesnde aldığı değer ve m se ver kümesndek toplam oje sayısıdır. Bu S ver kümesnn fark matrs (FM) m m oyutunda r matrstr. Bu matrsn her r grş değern oluşturan H k, u ve u k ojelernn rrnden farklı olduğu özellklern lojk toplamıdır ve aşağıda gösterldğ g elde edlr (egang ve ark. 007; Jensen ve Shen, 007; Skowron,990, Skowron ve Rauszer,99; Komorowsk ve ark., 999). H k,, n, k,, m a : a ( u ) a ( u ) & d d, j (3.7) j j j k k enklem 3.7 de tanımlanan clause) aşağıdak g tanımlanır: H k önersel lojk toplamı (ÖLT) (propostonal logc H k h kj h h h h k k kj kn (3.8) enklem 3.8 e göre eğer a u ) a ( u ) se hkj a j ve a u ) a ( u ) se j( j k j( j k h kj 0 dır. enklem 3.8 dek ÖLT de ulunan fadelern rleştrlmesyle r ver kümesnn s elde edlelr. Bunu yapan algortma şekl 3.. de gösterlmektedr (Skowron ve Rauszer, 99, Komorowsk ve ark., 999, Jensen ve Shen, 007; Swnarsk ve A. Skowron,003).
5 ÖLT_FM_OLUŞTUR (U, m, n) { FM = For = to m- { For k = + to m { H k = If d d k { For j = to n { If a j (u ) a j (u k ) then h a { kj j H k H k h kj } } F= F H k } Şekl 3.. } Return (F) } } Şekl 3.. Önersel lojk toplamda fark matrs oluşturan algortma Şekl 3. de gösterlen algortmanın hafıza karmaşıklık değer O ( m ) ve zaman karmaşık değer O( n m ) dr (Wang ve ark., 007; Brayton ve ark., 984). Ancak O( n m ) olan zaman karmaşıklığı paralel şleme yöntemler yardımıyla O ( m ) ye düşürülelr.
6 Örnek 3.: Çzelge 3. dek ver kümesnn sn elde edelm. ÖLT_FM_OLUSTUR algortması kullanılarak elde edlen aşağıdak ÖLT dek elemanlardan oluşur. H H H A A, H4 A A4, H5 A A, H6 A A A3 A4, 3 A4 A, H3 A3 A4, H34 A A A4, H35 A, H36 A A3 A4, 7 3 A4 37 A A3 A4 Bu elemanların rleştrlmesyle oluşan aşağıdak g gösterlr: k H k H H H H H H H H H 4 5 6 7 3 34 35 36 H37 3.4.. Fark fonksyonunun ndrgenmes Genellkle, elde edlen çersnde gereksz (aşkaları tarafından yutulan) leşenler ulunalr. Bu leşenler a a a lojk kuralını kullanarak sadeleştrlr. Bu kurala göre H 3 leşen H, H 7 ve H 37 leşenlern, H 35 leşen se H 4, H 5, H 6, H 34 ve H 36 leşenlern yutar. Böyleye ndrgenmş de H3 A3 A4 ve H35 A leşenler kalır. Burada önce n tamamının oluşturulması ve daha sonra oluşturulan çersndek gereksz termlern slnmes, algortmanın hesaplama karmaşıklığını arttırmaktadır. Bu olumsuzluğu önlemek çn nn oluşturulması esnasında gereksz elemanlar ye eklenmeden slnmeldr. Btsel lojk şlemlere dayanan u çözüm yöntem aşağıda verlmştr. 3.5. Br ver kümesnn doğruluk talo görüntüsünden ndrgenmş fark fonksyonunun elde edlmes Buradak amaç, r ver kümesne at ndrgenmş y tsel şlemler kullanarak ver kümesnn doğruluk talo görüntüsünden elde etmektr. Bunun çn ÖLT de yazılan 3.8 denklemnn aşağıdak g r t taanlı fades (BTİ) yazalr: B k (3.9) k k kj kn
7 Bu durumda kj aşağıdak g elde edlr. a ( u ) a ( u ) se ve a ( u ) a ( u ) se 0 (3.0) j j k kj j j k kj 3.8 ve 3.9 denklemler karşılaştırılırsa, denklem 3.9 da lojk OR (V) operatörünün ırakıldığı görülür. Her hang r BTİ u şeklde daha sıkışık ve daha ast r göstermle fade edlelr. Ancak her hang r BTİ y r lojk şleme sokmadan önce, BTİ nn komşu komponetler arasındak şaretler dkkate alınmalıdır. Br ÖLT nn BTİ ye çevrlmesnde veya BTİ nn ÖLT ye çevrlmes aşamasında, 3.8 ve 3.9 denklemler arasındak lşk aşağıdak ver yapısı le elrlenr: Struct_ÖLT-BT{Unsgned a :; Unsgned a :; ;Unsgned a n :;} (3.) Bunun manası şudur k, eğer r a j özellğ ÖLT çersnde ulunuyorsa, BTİ de j. tn değer dr ve eğer a j özellğ ÖLT çersnde ulunmuyorsa, BTİ de j. tn değer 0 dr. Yan, eğer BTİ de j. tn değer se ve eğer BTİ de j. tn değer 0 se a j özellğ ÖLT çersnde ulunur a j özellğ ÖLT çersnde ulunmaz. Yukarıda, alt ölüm 3.3 de her hang r kl kodlu ver kümesnn r doğruluk talosu le gösterleleceğ ve u doğruluk talosundak her U ojesnn r T mnterm fade edleleceğ açıklanmıştı. Buradan denklem 3.9 da fade edlen U k ojeler arasındak Bk farkı ast r şeklde aşağıdak g elde edlelr. U ve B k T T (3.) k Mesela, Çzelge 3. dek U ve U ojeler Çzelge 3.3 de T ve T mntermler olarak fade edlmşlerdr. enklem 3. ye göre u ojeler arasındak farklar aşağıdak g ulunalr. B T T 000 00 0
8 U ve U ojeler arasındak fark olarak elde edlen u BTİ nn ÖLT karşılığı denklem 3. de tanımlanan yapıya göre aşağıdak g olacaktır. H A A 3 A4 Yukarıda, alt ölüm 3.3 de kl değerl r ver kümesnn doğruluk ON talosundak mntermlern karar değşkenne göre S ( ) T : ( T) O S ( ) T : ( T) 0 ON ve O kümelerne ölüneceğ anlatılmıştı. Bu kümeler dkkate alınarak denklem 3. aşağıdak g yenden yazılır. B k ON O T T,, M ve k,, M (3.3) k M Burada M SON ( ), S ON kümesnde ulunan elemanların toplam sayısı, SO ( ) se S O kümesnde ulunan elemanların toplam sayısıdır. enklem 3.3 le elde edlen BTİ ler aşağıdak kümede rleştrlr. Bu kümeye t taanlı fark fonksyonu (BT_) adı verlr. M M B k k BT _ ( ) (3.4) enklem 3.4 de k şlem sonrasında BT _ ( ) fonksyonundak toplam leşen sayısı BT _ ( ) M M kadar olur. BT _ ( ) fonksyonu aşağıdak g e çevrlr (Jensen ve Shen, 007; Komorowsk ve ark., 999). M M 0 : Bk BT _ ( ) ( ) (3.5) k Burada lojk çarpmanı, 0 se BTİ lern ÖLT ye dönüştürülmes gerektğn smgelemektedr. enklem 3.4 ve 3.5 den anlaşılaleceğ g BT _ ( ) kümes n t taanlı temsldr. Fakat genellkle BT _ ( ) fonksyonunda fazla BTİ ler de ulunalr. Bunların BT _ ( ) fonksyonundan slnmesyle BT _ ( )
9 fonksyonunu M M olan eleman sayısı Q M M ye düşer. Örnek olarak, Çzelge 3.4 de UCI makne öğrenmes amarındak r çok ver kümesne at tüm BTİ ler çeren orjnal BT _ ( ) fonksyonları ve gereksz BTİ lern slnmes le ndrgenmş BT _ mn ( ) fonksyonlarının karşılaştırılması gösterlmektedr. Çzelge 3.4. BT _ ( ) le BT _ mn ( ) n karşılaştırılması Ver kümes Özellk / Oje sayısı BT_ BT_ mn BT_/BT_ mn Anneal 38/798 38003 55 578,8 Australan 4/690 37705 3 0335 Irs 4/50 75 6 86,5 Monk 6/4 766 3 54 Monk 7/69 496 6 366 Monk3 6/ 738 4 845,3 aetes 8/68 408 5 935, Hearth 3/70 3635 68 534 Zoo 7/0 5050 4 360,7 Lymn 8/48 0878 54 70,6 Statlog 4/000 499500 309 66,5 Chess 36/396 5 0 6 9.76 0 5 Vote 6/435 94395 5 693 Mushroom /84 3 0 6 30. 0 6 Ionesphere 33/35 645 35 6.3 Shuttle 9/43500 946 0 6 8 8 0 6 Sonar 60/08 58 004 0.7 Spectf 44/87 739 096 8.9 na 57/06 5565 759.0 985 0 6 7833 9.5 0 6 Yukarıda, alt ölüm 3.4 te verlmş olan ÖLT_FM_OLUŞTUR algortması le m ojel r ver kümes çn elde edlecek r nn leşenlernn toplam sayısı FM 0.5 ( m m) dr (Wang ve ark., 007; Chen ve ark., 008; Yao ve Zhao, 009). Çzelge 3.4 te u değer BT _ sütununda gösterlmektedr. Çzelge 3.4 te ulunan BT _ sütunu se ndrgenmş BT _ ( ) nn yan BT _ ( ) n mn mn leşen sayısını göstermektedr. Burada Çzelge 3.4 e akarak orta ve üyük ölçekl ver kümeler çn BT _ ( ) le BT _ mn ( ) arasındak eleman sayısının oranının yüzlerden mlyonlara kadar çıkaleceğn söyleyelrz. Yukarıda denlenlerden anlaşılacağı g, BT _ ( ) n elde edlp daha sonra ndrgenmes yerne BT _ mn ( ) n drek olarak doğruluk talosundan elde edlmes özellk seçme şlemnn daha hızlı çalışması ve daha az hafızaya htyaç duyması açısından elverşl olacaktır. Bu şlem se denklem 3.3 tarafından üretlen her yen
0 BTİ nn BT _ ( ) çersnde var olan BTİ ler le karşılaştırılarak fazla BTİ lern tespt edlp slnmesyle gerçekleştrlr. Bu yaklaşımı gerçekleştren BT_ mn _OLUŞTUR() algortması Şekl 3. de gösterlmştr. BT_ mn _OLUŞTUR() (S ON (), S O (), M,M ) { BT_ ()={} N ; BT_ () = For = to M { For k= to M { } } } B=T ON T O k BT İNİRGE() (BT_ (), B) Return (BT_ mn ()= BT_ ()) Şekl 3.. Bt taanlı ndrgenmş fark fonksyonunu oluşturan algortma BT_ mn _OLUŞTUR() algortmasındak alt prosedür BT İNİRGE() en son üretlen B BTİ sn BT _ ( ) kümes çersndek dğer BTİ lerle karşılaştırır. Bu karşılaştırma sonunda mümkün olalecek üç durum vardır:. BT _ ( ) kümesndek BTİ lerden g j BT _ ( ), j={,,, BT _ ( ) } en az r tanes yen oluşturulan B y yutar.. BT _ ( ) kümesndek BTİ lerden g j BT _ ( ) hç r yen oluşturan B y yutamaz. 3. BT _ FM ( ) kümesndek BTİ lerden g j BT _ FM ( ) en az r tanes yen oluşturan B tarafından yutulur.
Burada X ve Y BTİ ler çn eğer X X & Y se X Y y yutar ve eğer Y X & Y se Y X yutar. Bu yutma şlemyle BT _ ( ) fonksyonunun ndrgenş haln ulan BT İNİRGE() alt prosedürü Şekl 3.3 de gösterlmştr. BT İNİRGE() (BT_(), B) { Whle j BT_() { () Select g j BT_() () G=B&g j (3) If G=g j Then (4) Return (BT_(), BT_() ) Else (5) If G=B Then (6) BT_() =BT_() g j ; BT_()= BT_() -; j=j+ } (7) BT_() =BT_() B; BT_() = BT_() + Return (BT_(), BT_() ) } Şekl 3.3. Bt taanlı fark fonksyonunu ndrgeyen alt algortma BT İNİRGE() algortmasında yen üretlen BTİ B, BT _ ( ) fonksyonundak tüm leşenler le karşılaştırılır. Eğer B, BT _ FM ( ) kümesnde ulunan herhang r BTİ tarafından yutulursa BT _ ( ) kümes değşmez ve BT _ mn ( ) olarak ger döndürülür (BT İNİRGE() algortmasının., 3. ve 4. adımları). Fakat dğer durumda B nn yuttuğu ütün leşenler BT _ ( ) fonksyonundan slnr ve B leşen BT _ ( ) fonksyonuna eklenr ve yen BT _ ( ) fonksyonu BT _ mn ( ) olarak ger döndürülür (BT İNİRGE() algortmasının 5. ve 6. adımları). Eğer u k durumdan her hang r gerçekleşmezse B,
BT _ ( ) fonksyonun yen leşene olarak fonksyona eklenr ve yen BT _ ( ) kümes BT _ mn ( ) olarak ger döndürülür (BT İNİRGE() algortmasının 7. adımı). Her zaman BT _ mn ( ) BT _ ( ) olacağı çn, BT _ mn ( ) n eleman sayısı Q M M olacaktır. Buna göre de denklemler 3.4 ve 3.5 aşağıdak g aştan yazılalr: B Q BT _ ( ) (3.6) BT _ Q mn ( ) 0 : B BT _ ( ) (3.7) BT_ mn _OLUŞTUR() algortmasında yapılan analzlere göre, algortmanın polnomal en kötü durumlu (worst-case) hafıza ve zaman karmaşıklığı sırasıyla O ( M ) 4 ve O ( M ) değerndedr. Örnek 3.3: Çzelge 3. dek ver kümesnn BT _ mn ( ) fonksyonunu elde edelm. Bunun çn alt ölüm 3.3 gösterlen örnekte elde ettğmz S ON () ve () kümelern kullanacağız. Aşağıdak örnekte r BTİ tarafından yutulan dğer BTİ lern üzer çzlmştr. S O Grş verler: ( ) 000, 0000 S ON S O ( ) BT _ ( ) 00,0,000,0, 0 Bu değerlere göre BT _ mn ( ) n adım adım oluşturulması aşağıda anlatılmaktadır. İterasyon : T 000 S ( ) ON, BT _ ( ) ON.. T 00 O B T ON TO 000 00 0
3 ),0) ( _ )( ( ) ( _ BT İNİRGE BT BT ) ( _ BT ={{},0}{0}.. 0 O T 00 0 000 O T ON T B ),00) ( _ )( ( ) ( _ BT İNİRGE BT BT ) ( _ BT ={{0},00}{0}.3. 000 3 O T 00 000 000 3 O T ON T B ),00) ( _ )( ( ) ( _ BT İNİRGE BT BT ) ( _ BT ={{0,00},0}{0,00,00}.4. 0 4 O T 0 000 4 O T ON T B ),) ( _ )( ( ) ( _ BT İNİRGE BT BT ) ( _ BT ={{0,00,0},}{0,00,00}.5. 0 5 O T 0 0 000 5 O T ON T B ),00) ( _ )( ( ) ( _ BT İNİRGE BT BT ) ( _ BT ={{0,00,0},00}{00,00,00} İterasyon : ) ( 0000 S T ON ON, 00,00,00 ) ( _ BT.. 00 O T 00 00 0000 O T ON T B ),00) ( _ ( ) ( _ BT İNİRGE BT BT ) ( _ BT ={{00,00,00},00}{00,00,00}.. 0 O T 0 0 0000 O T ON T B ),0) ( _ )( ( ) ( _ BT İNİRGE BT BT ) ( _ BT ={{00,00,00},0}{00,00,00}
4 3.3. T 000 O B 3 T ON TO 0000 000 000 BT _ ( ) BT İNİRGE ( )( BT _ ( ),000) BT _ ( ) ={{00,00,00},000}{00,000} 4.4. T 0 O B 4 T ON TO 0000 0 0 BT _ ( ) BT İNİRGE ( )( BT _ ( ),0) BT _ ( ) ={{00,000},0}{00,000} 5.5. T 0 O B 5 T ON TO 0000 0 0 BT _ ( ) BT İNİRGE ( )( BT _ ( ),0) BT _ ( ) ={{00,000},0}{00,000} Çzelge 3.. de verlen talodak ver kümesnden elde edlen BT _ mn ( ) kümes aşağıdak gdr. BT _ mn ( ) 00,000 BTİ formunda elde edlen BT _ mn ( ) denklem 3. dek ver yapısına göre ÖLT ye çevrlerek elde edlen ( ) aşağıdak gdr. mn ÖLT / BTİ 00, A 3 A4 mn ( ) 000 A Bu örnek taanlı yaklaşımlar kullanılarak gerçekleştrlseyd yukarıda anlatılan alt ölüm 3.4 dek örnekte olduğu g, M M 5 0 adet leşenden meydana gelecekt. Fakat gelştrlen yöntemle sadece k leşenden oluşan r ( ) fonksyonu elde edld. Yan, gelştrlen yöntemle, u ver kümesnn mn nn oluşturulmasında gerekl olan hafıza mktarı 5 kat oranında azaltıldı.
5 3.6. Bt taanlı fade formunda ulunan ndrgenmş fark fonksyonunun dsjunktf normal forma çevrlmes le özellklern mnmal alt kümelernn elde edlmes 3.6.. Bt taanlı fadelern genşletlmes enklem 3.7 e göre konjunktf normal formda (CNF) ulunan BT _ mn ( ) n NF ye çevrlelmes çn her BTİ y leşenlerne ayırarak genşletmek gerekr. Yalnız şu unutulmamalıdır k, her BTİ rden fazla değernde t çerelr ve u değerndek her t orjnal ver kümesnde r özellğe karşılık gelmektedr. Bu seeplerden dolayı BTİ ler gelşgüzel veya steğe ağlı olarak leşenlerne ayrılamazlar. Eğer öyle r ayırma şlem gerçekleşrse BTİ lerde ulunan lglerde ozulma veya ekslme olalr. Bu yüzden BTİ ler öyle r şeklde leşenlerne ayrılmalıdırlar k üzerlernde taşıdıkları lgler r kaya uğramamalıdır. Bu ayırma şlem çn BTİ lern t ağırlık değernden faydalanılacaktır. Br BTİ nn t ağırlık değer, BTİ nn arındırdığı değernde olan t sayısı kadardır ve t ağırlık W olarak gösterlr (Şrzat ve ark., 0). Mesela, 0000 ( değer B ) B BTİ snn t ağırlık değer W ( B) 3 tür. Ayırma şlem sonrasında B BT _ mn ( ) BTİ lern ayrılmış fadeler E B ) şeklnde gösterlecektr. Ayrılmış E B ) larının her ( rnn t ağırlık değer her zaman dr. E( B ) Pr ( B ) : d,,, N (3.8), ( Burada Pr( B ), B un pozsyonuna göre projeksyonu, d se. tn değerdr. Bu şeklde r genşleme sonrasında elde edlecek yen BTİ lern hepsnn ağırlıkları W ( B) değernde olacaktır. Örnek olarak B 00 ve B 00 BTİ lernn E B ) ve E B ) şeklnde genşletlmes aşağıda gösterlmştr. ( ( Pr (00) d Pr (00) 00 E ( B ) 3 Pr (00) d Pr (00),Pr (00) 000,000 E ( B ) 4
6 enklem 3.8 çn anlatılan BTİ lern genşlemes dkkate alarak denklem 3.7 aşağıdak g yenden yazılalr. NF BB ( ) Q E( B ) (3.9) Burada B BT _ mn ( ) ve tsel OR operatörüdür. enklem 3.7 le denklem 3.9 karşılaştırıldığı zaman, denklem 3.7 de kullanılan önersel rleştrme operatörü yerne denklem 3.9 da tsel OR operatörünün kullanıldığı görülmektedr. Çünkü k önersel fadenn rleştrlmes şlem, genşletlmş BTİ kümeler çn sadece tsel OR operatörü kullanılarak gerçekleştrlelr. Ayrıca, denklem 3.7 dek BTİ lern genşletlmesyle ( ) n NF elde edlmş olur. Bu yüzden denklem 3.9 da mn BT _ mn ( ) yerne NF ( BB ) yazılmıştır. Örnek 3.4: Bu örnekte yukarıda örnek 3.3 de elde edlmş olan BT _ FM mn ( ) kümes NF () ye çevrlerek Çzelge 3.. de verlen ver kümesnn ÖMAK larının tamamının ulunması adım adım anlatılmaktadır. BT kümes denklem 3.8 e göre aşağıdak _ mn. ( ) B, B 00,000 g genşletlr. Pr (00) d Pr (00), Pr (00) 000,000 E ( B ) 3 4 Pr (000) d Pr (000) 000 E ( B ) 3. enklem 3.9 kullanılarak ver kümesnn NF BB () s elde edlr. NF BB ( ) E( B ) E( B ) E( B ) 000,000 000 00,00 3. Elde edlmş olan BTİ formundak NF BB () aşağıdak ver yapısına uygun olacak şeklde ÖLT ye çevrlerek Çzelge 3.. de gösterlen ver kümesnn ÖMAK ları elde edlr. NF BB () kümesndek her r elemanın değerne sahp her t Çzelge 3.. dek ver kümesnn r özellğn göstermektedr. Struct_NF_ÖMAK{Unsg A:; Unsg A:; Unsg A3:; UnsgA4:} (3.0)
7 Elde NF BB () kümesndek elemanlar denklem 3.0 dek ver yapısına göre aşağıdak g ÖMAK lara çevrlr. ÖMAK NF/ÖMAK 00,00 A, A3, A, A4 Sonuç olarak ÖMAK larıdır., A 3 A ve A, A 4 kümeler Çzelge 3.. de verlen ver kümesnn 3.6. Bt taanlı fadelerden oluşan ndrgenmş fark fonksyonun dsjunktf normal forma çevrlmes esnasında gereksz termlern oluşmasının engellenmes Yapılan deneylerde, CNF den NF ye çevrme şlem sırasında gerekl termlerden çok lüzumsuz termlern oluştuğu görülmüştür. Mesela, 0 tane term ve her termn 5 lteral ulundurduğu r CNF nn NF ye çevrme şlemnde, lk k termn çarpılması sonucu oluşacak lüzumsuz term sayısı ken çevrlme şlem sonunda u sayı Z 0 9 Y 5 5 9535 kadar yükselelr. Bu örneğe akarak gereksz termlern oluşmasının engellenmesnn ne kadar öneml olduğunu söyleyelrz. NF BB () nn oluşturulması aşamasında gereksz termlern tespt edlmes ve u tespt edlen termlern NF BB () den çıkartılması denklem 3.9 ın teratf olarak gerçekleştrlmesyle yapılır. F 0 0 N F F E( B ),, Q (3.) NFBB F Gereksz termlern engellenmes çn kullandığımız F F E( B ) formülünün hesaplanmasında F ve E B ) arasında olan aşağıdak lşk kullanılır. F A B y F A, B ( ve E B ) C ( y se E B ) C, ( olarak ele alalım. Burada her A, B F termnn t ağırlık değer k n arasındadır ve her C E( B ) se ağırlık değer r olan ayrılmış termdr. A, B F değerlernn, C E( B ) değerler le lojk rleşme şlem yapılması sonrasında elde edlecek olan,
8 sonuçların gerekl veya gereksz termler olup olmadığı aşağıdak kurallara göre elrlenr. Bu kurala göre elrlenen termlere erken tespt edlen lüzumsuz termler adı verlr. Eğer A C A veya A A se F E( B ) ( A B) ( C ) Eğer B C B veya B B se A BC B F E( B ) ( B A) ( C ) B AC A (3.) Eğer A C A veya A A ve B C B veya B B se F E( B ) A B enklem 3. ye göre F de ulunan en az r tane leşen a F, a E( B ) a eştlğn sağlıyorsa F F E( B ) şlem ndrgenelr. Bu durumu tespt eden denklem aşağıda gösterlmştr. n 0 a F : a & B a E( B ) a (3.3) Yukarıdak denkleme göre a F ve a & B 0 se a B şlemnden r tane t dzs oluşur ve u t dzs u yolla oluşan dğer t dzlern yutar. Bu yüzden N a & B 0 şartını sağlayan ütün a F leşenler sonuç değernn r parçasıdır ve E B ) le şleme sokulmalarına da gerek yoktur. Bu şeklde oluşan parçaları ( toplamak çn aşağıda tanımlanan V kümes kullanılır (Hacıeyoğlu ve ark., 0). a F x & B n V 0 (3.4) F kümesnn kalan kısmı le aşağıdak denklemde gösterlen oluşturulur (Hacıeyoğlu ve ark., 0). V kümes V F V (3.5)
9 enklem 3.5 den elde edlen E B ) kümes aşağıdak denklemde gösterldğ g V kümes le lojk OR şlemne sokulur (Hacıeyoğlu ve ark., 0). ( T V E( B ) (3.6) Geç tespt edlen gereksz termler denklem 3.6 ün çalıştırılması le elrlenelr. Bu şlem sonrasında oluşan termlern gereksz term olup olmadıkları aşağıda gösterlen denkleme göre elrlenr. enklem 3.7 kullanılarak tespt edlen gereksz termler NF BB () kümesnden slnr (Hacıeyoğlu ve ark., 0). T T w j v V : v w v (3.7) j Burada w j v j e, j V v, e E( B ), j,,, V ve,,, E( B ) dr. Örnek 3.5: Bu örnekte Jensen ve Shen (007) den alınan ndrgenmş üzernde erken ve geç tespt edlen gereksz termlern oluşması engellenerek NF ye çevrme şlem gerçekleştrlecektr. mn ( ) (a c f ) ( d) (a d e f ) (d e) Bu fonksyonu, BTİ lerden oluşan r kümeye çevrmek çn aşağıda tanımlanan ver yapısı kullanılır. STRUCT_BTİ{Unsg a:;unsg :;Unsg c:;unsg d:;unsg e:;unsg f:} (3.8) enklem 3.8 dek yapı kullanılarak, aşağıdak g çevrlr. fonksyonu BT _ mn ( ) kümesne mn STRUCT_BTİ B (a c f ) STRUCT_BTİ B ( d ) 0000 00
30 B B STRUCT_BTİ 3 (a d e f ) STRUCT_BTİ 4 (d e ) BT 0000 00 B, B, B, B 00, 0000,00, 0000 _ FM mn 3 4 BT _ FM mn ( ) fonksyonun gereksz leşenlernn oluşması engellenerek NF ye çevrlme şlem aşağıda anlatılmaktadır. Bu şlem 4 terasyon sonucunda gerçekleşmektedr. İterasyon : =; B =00; F 0 ={{0} 6 }={000000}; V =; V ={{0} N }.. F 0 kümes çndek ütün a F0 lar B le lojk AN şlemne sokulur: a & B = 000000 & 00 = {0} 6.. F 0 kümes denklemler 3.4 ve 3.5 ye göre aşağıdak g k kümeye ayrılır: V ={a F 0 : a & B {0} n } V =F 0 V V = V =F 0 -V ={a }= {000000}.3. enklem 3.6 dak T V E( ) kullanılarak elemanlar rer rer B oluşturulur. Her yen oluşturulan eleman V kümesnn elemanlarıyla karşılaştırılır. V kümesnn elemanları tarafından yutulan elemanlar T kümesnden slnr. E(B ) ={00000, 00000, 00000, 00000} T V E( ) = {000000} {00000, 00000, 00000, 00000}={00000, B 00000, 00000, 00000}. T kümesndek hçr eleman V kümesndek elemanlar tarafından yutulmamıştır..4. F V T kümes hesaplanır. F {00000, 00000, 00000, 00000} = {00000, 00000, 00000, 00000}