Kredi Kart Taleplerinin De erlendirilmesinde Grup ve Bireysel Kredi Puanlama Modellerinin Karfl laflt r lmal Bir Analizi

Kredi Kart Taleplerinin De erlendirilmesinde Grup ve Bireysel Kredi Puanlama Modellerinin Karfl laflt r lmal Bir Analizi Hüseyin NCE* Bora AKTAN** Özet Kredilendirme, bankac l n en temel ifllevi olmakla birlikte ayn zamanda en riskli faaliyetlerinden biridir. Bu nedenle bankalar n, kredilendirme faaliyetlerini verimli ve kredilerin geri dönmemesinden do abilecek zararlar en az düzeyde tutulabilecek flekilde yürütmeleri gerekir. Bankalar, bu sebeple, son y llarda ayr flt rma analizi, logit ve probit modelleri ya da s n flama ve regresyon a açlar ve yapay sinir a lar gibi çeflitli teknikler yard m ile kredilendirme faaliyetlerinde h zl ve sa l kl karar verilmesini sa layan kredi puanlama sistemini kullanmaktad rlar. Bu çal flman n amac, grup modelleri ile bireysel kredi puanlama modellerin performanslar n n karfl laflt r lmas d r. Bu amaç do rultusunda, yapay sinir a lar ve karar a açlar teknikleri kullan larak gelifltirilmifl bireysel modeller ile Bagging ve Adaboost teknikleri ile elde edilmifl grup modelleri kullan lm flt r. Yap lan analiz ve de erlendirmeler sonucu grup kredi puanlama modellerinin bireysel modellere üstünlük sa lad görülmüfltür. Anahtar Kelimeler: Bankac l k, Banka Kredileri, Kredi Puanlama, Yapay Sinir A lar, S n fland rma ve Regresyon A açlar, Grup Modelleri JEL S n flamas : G21, G32, C44, C45 Abstract - A Comparative Analysis of Individual and Ensemble Credit Scoring Techniques in Evaluating Credit Card Loan Applications One of the main tasks of a bank is to lend money. As a financial intermediary, one of its roles is to reduce lending risks. Bank lending is an art as well as a science. Success depends on techniques used, knowledge and on an aptitude to assess both credit-worthiness of a potential borrower and the merits of the proposition to be financed. In recent years, banks have increasingly used credit-scoring techniques to evaluate the loan applications they receive from consumers. Credit-scoring techniques are usually based on discriminant models or related techniques, such as logit or probit models or neural networks, in which several variables are used jointly to set up a numerical score for each loan applicant. This study explores the performance of both individual models by using neural networks, and classification and regression trees and ensemble models by using Bagging and Adaboost techniques. Experimental studies using real world data sets have demonstrated that the ensemble models outperform the other credit scoring models. Keywords: Banking, Bank Lending, Credit-Scoring, Neural Networks, Classification and Regression Trees, Ensemble Models JEL Classification: G21, G32, C44, C45 * Doç. Dr., Gebze Yüksek Teknoloji Enstitüsü, flletme Fakültesi, flletme Bölümü ** Yrd. Doç. Dr, Yaflar Üniversitesi, ktisadi ve dari Bilimler Fakültesi, Finansman Bölümü BDDK Bankac l k ve Finansal Piyasalar Cilt:4, Say :1, 2010 75

1. Girifl Kredilendirme bankac l n en temel ifllevi olmakla beraber ayn zamanda en riskli faaliyetlerinden biridir. Tasarruf sahiplerinden toplad mevduat kredi olarak kulland ran ve ülke ekonomileri aç s ndan büyük önem tafl yan bankalar n güvenilir, etkin ve verimli bir flekilde çal flmalar zorunlu olup, tahsis edilen kredilerin yasal faizleriyle birlikte bankalara geri dönüflü sistemin vazgeçilmez bir özelli idir (Seval, 1990; Berk, 2001; Blochlinger ve Leipold, 2006; Ayd n, 2006; Akgüç, 2007). Son y larda özellikle ticari bankalar, tüketici kredisi pazar ndaki h zl büyüme ve zorlu rekabet flartlar dolay s yla kredilendirme kararlar nda baflvurular n potansiyel riskini tespit edebilmek amac yla gerek finansal kurumlar n kendileri ve gerekse de araflt rmac lar taraf ndan gelifltirilmifl çeflitli de erleme modellerini yayg n olarak kullanmaya bafllam fllard r. (Ayd n, 2006; Vojtek ve Kocenda, 2006; Çinko, 2006; Zhao, 2007; Bodur ve Teker, 2005; Avery, Calem, v.d., 2004; Crook ve Banasik, 2004; Jacobson ve Roszbach, 2003; Karan ve Arslan, 2008; Ince ve Aktan, 2009). Önceleri, bankalar kredilendirme kararlar n verirken yaln zca finansal analistler taraf ndan ortaya konmufl ilke ve kurallardan faydalan rlard. Zaman içinde kredi talebinde bulunan kifli ya da kurum say s büyük bir h zla artt ndan hem ekonomik hem de insan gücü aç s ndan söz konusu talepleri de erlendirmek hemen hemen imkans z hale gelmeye bafllam flt r. Bu flekilde, gerek verimlilik gerekse insan zafiyetleri göz önüne al nd nda süratli ve bir o kadar da sa l kl kararlar n verilebilmesi için gerek finansal kurumlar gerekse de akademisyenler taraf ndan birçok say sal yöntem gelifltirilmifltir. Kredi kararlar n desteklemek için gelifltirilen istatistiksel metotlar, parametrik olmayan istatistiksel metotlar, yapay zeka yaklafl mlar na dayanan teknikler önerilmifltir (Thomas, 2000). Lee, Chiu, v.d., (2006) bu tekniklerin amac n, kredi için baflvuranlar borcunu ana para ve faiziyle geri ödeyebilecek durumda olan ödeme gücü yüksek kredi grubu veya büyük olas l kla geri ödeyemeyece i için reddedilen ödeme gücü zay f kredi grubu olarak ay rmak olarak belirtmektedir. Çinko (2006), kredi kart de erleme ifllevinin, geçmifl bilgilerden yararlan larak kredinin tahsis edilip edilmeyece i karar n n ortaya ç kar lmas dolay s yla, bunun klasik bir karar verme problemi olarak düflünülmesi gerekti i, bu sebepten dolay da gerçekte kredi de erlemenin bir çeflit veri madencili i (data-mining) oldu unu vurgulamaktad r. Kredi de erleme problemleri temel olarak daha genel ve genifl olarak tart fl lan s n fland rma problemleri içinde yer al r (Lee, Chiu, v.d., 2002). S n fland rma problemleri karar alma deste i, finansal tahminleme, doland r c l k ve sahtekarl klar n saptamas, pazarlama stratejisi, süreç kontrolü ve ilgili di er alanlarda genifl uygulama olana- na sahip olmas nedeniyle uzun zamand r ifl hayat nda önemli rol oynamaktad r (Chen, Han, v.d., 1996; Fayyad, Piatetsky-Shapiro, v.d., 1996; Lee, Chiu, v.d., 2006). S n fland rma problemleri istatistiki metotlardan yapay zeka algoritmalar na kadar de iflen farkl teknikler kullanarak çözülebilir. Kredi puanlama modellerini oluflturur- 76 Hüseyin nce, Bora Aktan

ken regresyon, do rusal ve do rusal olmayan ayr flt rma analizleri, logit ve probit modelleri içeren istatistiksel metotlardan genifl ölçüde faydalan lm flt r (Vojtek ve Koãenda, 2006; Lee, Chiu, v.d., 2002; Lee, Chiu, v.d., 2006). Uygulamada en popüler yöntemler do rusal ayr flt rma analizi, lojistik regresyon ve bunlar n türevleridir. Bu yöntemler di erlerine nazaran daha kolayd r ve hali haz rda yorumlanabilir basit sonuçlar verir. Fakat bu yöntemlerin kredi puanlama hesab uygulanmalar nda baz s n rlamalar söz konusudur. Öncelikle, bu yöntemler yüksek ölçülü girdilerle ve küçük örnek boyutlar yla ilgili problemlerde etkili de ildir. En önemlisi, bu teknikler do rusal ayr labilirlik ve normallik varsay mlar na dayan r. Dahas, model sürecine otomasyon uygulamak ve sürekli güncellenen bir ak fl sa lamak oldukça zordur. Yang a göre (2007), çevre ve popülasyon zaman içinde de ifltikçe statik modeller genelde bu duruma adapte olamazlar. Bu yüzden, bu tür modeller taslaklar ndan tekrar yap land r lmal d r. Bu klasik yöntemlere ek olarak, yapay zeka teknikleri kredi baflvurular n de erleme amac yla uygulanm flt r. Uygulamac lar ve araflt rmac lar kredi puan için, k- en yak n komflu (Henley ve Hand, 1996), karar a açlar (Lee, Chiu, v.d., 2006; Martens, Baesens, v.d., 2007), yapay sinir a lar (Lee, Chiu, v.d., 2002; Malhotra ve Malhotra, 2002; West, 2000), genetik programlama (Ong, Huang, v.d., 2005) ve destek vektör makinas modellerini (Martens, Baesens, v.d., 2007) içeren de iflik teknikler gelifltirmifllerdir. Lee, Chiu, v.d. (2006), bu tekniklerin, ba ml ve ba ms z de iflkenlerin karmafl k do rusal olmayan ba lant lar gösterdi i ayr flt rma analizleri ve lojistik regresyonda alternatif olarak kullan labilece ini öne sürmüfllerdir. Di er taraftan, yukar da say lan ve yapay zeka tekniklerini içeren bireysel kredi de- erleme modellerinin bir kombinasyonu olan gruplama tekniklerinin ard nda yatan fikir, her bir bileflen modelinin özelliklerini, veri kümesinde bulunan farkl örnekleri yakalamak için kullanmakt r. Hem teorik hem ampirik çal flmalar, do ruluklar art rmak için gruplanman n etkili bir yol olabildi ini göstermektedir (Pal, 2007). Bankac l k Düzenleme ve Denetleme Kurumu (BDDK) nun Kas m 2008 verilerine göre, dünyada geliflmekte olan piyasalar içinde yer alan ülkemiz bankac l k sektörünün 370.782 milyon TL ye yükselen toplam kredileri içinde kredi kartlar dahil tüketici kredilerinin 118.710 milyon TL (toplam kredilerin %32 si) lik bir hacime ulaflt, di er taraftan, içinde bulundu umuz ve ABD de bafllayarak küresel bir boyut kazanan kredi krizi (credit crunch) göz önüne al nd nda, kredilendirme kararlar n n ülke ekonomileri aç s ndan ne denli büyük bir önem arz etti ini bir kez daha ortaya ç kmaktad r. Çal flman n bu girifl bölümünden sonra kinci Bölüm de k saca kredilendirme kararlar nda kullan lan kredi puanlama (credit scoring) modelleri ile ilgili bir yaz n taramas yap larak yapay sinir a lar (neural networks), karar a açlar (decision trees) ve grup tekniklerinin (ensemble techniques) k sa bir özeti gözden geçirilecektir. Ayr fl- Kredi Kart Taleplerinin De erlendirilmesinde Grup ve Bireysel Kredi Puanlama Modellerinin Karfl laflt r lmal Bir Analizi 77

t rma analizi (discriminant analysis), lojistik regresyon (logistic regression), yapay sinir a lar ve s n fland rma ve regresyon a açlar (classification and regression trees) kullan larak yap lan kredi puanlama hesaplamalar n n bulgular Üçüncü Bölüm de tart fl lmaktad r. Son olarak, Dördüncü Bölüm çal flman n sonuç bölümünü oluflturmaktad r. 2. Araflt rma Yöntemi ve Yaz n Taramas Bireylerin/firmalar n finansal yükümlülü ünü beklendi i gibi yerine getirip getiremeyeceklerini tahmin etmek amac yla nicel ve nitel analizler yard m yla bir tak m kredi de erleme modelleri gelifltirilmifltir. Kredi de erleme modelleri kredi talebinde bulunanlar etkileyebilecek öznel ve nesnel faktörleri araflt r r. Bu Aflamada, kredi de erleme modelleri yaz n deste i ile k saca aç klanacakt r. Bilgi bilimine (Chen ve Liu, 2004), önemli katk lar olan yapay zeka teknikleri kredi puanlama hesab nda da uygulanabilir. Karar a açlar, yapay sinir a lar, genetik programlama ve k- en yak n komflu gibi baz yapay zeka teknikleri uygulamac lar ve araflt rmac lar taraf ndan kredi baflvurular n n de erlendirilmesi için gelifltirilmifltir (Malhotra ve Malhotra, 2002; West, 2000; Ong, Huang, v.d., 2005; Lee, Chiu, v.d., 2006; Lee ve Chen, 2005; Lee, Chiu, v.d., 2002). Bu çal flmada, yapay sinir a lar, s - n fland rma ve regresyon a açlar ve grup tekniklerine dayanan kredi de erleme modelleri gelifltirip karfl laflt r lacakt r. 2.1. Yapay Sinir A lar Yapay sinir a lar mühendislik, ticaret, öngörü alanlar yla ilgili bir çok problemi çözmede yayg n olarak kullan lm fl (Vellido, Lisboa, v.d., 1999; Lee, Chiu, v.d., 2006) finansta kredi puanlama hesaplar ile ilgili problemlere de uygulanm flt r (Lee, Chiu, v.d., 2006; Lee, Chiu, v.d., 2002). Nispeten basit ifllemli elementlerin (nodüllerin) yüksek derecede birbirine ba l a lar kullan larak girdileri istenilen ç kt lara dönüfltüren algoritmik prosedür olan Yapay Sinir A lar (YSA), do rusal olmayan regresyon ve s n fland rma modelleridir. Yapay sinir a hücresinde temel olarak d fl ortamdan ya da di er nöronlardan al nan veriler yani girdiler, a rl klar, toplama fonksiyonu, aktivasyon fonksiyonu ve ç kt lar bulunmaktad r. D fl ortamdan al nan veri, a rl klar arac l yla nörona ba lan r ve bu a rl klar ilgili girdinin etkisini belirler. Toplam fonksiyonu ise net girdiyi hesaplar; net girdi, girdilerin a rl kl toplam na eflittir. Aktivasyon fonksiyonu ifllem süresince net ç kt y hesaplar ve bu ifllem ayn zamanda nöron ç k fl n verir. Genelde aktivasyon fonksiyonu do rusal olmayan (non-lineer) bir fonksiyondur (Ince, 2006). A topolojisi sinir hücrelerinin organizasyonlar n ve ba lant türlerini verir. Hücreler bir seri katman üzerinde farkl katmanlardaki farkl hücrelerle ba lant l olacak flekilde ayarlan r. Girifl katman denilen ilk katman girdileri al r. Tek gizli katmanl bir yapay sinir a 78 Hüseyin nce, Bora Aktan

örne i fiekil 1 de verilmifltir (Crook, Edelman, v.d., 2007). Uygun a topolojisi (ör., gizli katmandaki gizli nöron say s ) afla daki eflitlikle sa lanabilir: h = n +m + α, α [1,10] (1) h, gizli birimlerin say s, n ve m s ras yla girdi ve ç kt lar n say s d r. fiekil 1: Üç Katmanl Bir YSA Girdi Katman Orta (Gizli) Katman Ç kt Katman Yapay sinir a lar, ileri beslemeli ve geri beslemeli a lar olarak farkl kategorilere ayr labilir. leri beslemeli a larda nöronlar sadece bir önceki katmandan girdi al p s - radaki katmana ç kt gönderebilirler. Çok katmanl yapay sinir a (MLP) e itmek için geri beslemeli algoritma (back propagation, BP) kullan r. En uygun a rl bulmak için, BP a hatas n en aza indirmeye çal fl r. Ö renme oran olarak adland r lan ad m büyüklü ü e itim bafllamadan önce belirlenmelidir. Bu oran s f r ile bir aras nda bir de erdir. Ö renme oran bu algoritma için çok önemlidir çünkü düflük de erler optimuma ulaflma öncesinde ifllem sürecini yavafllatmaya e ilimliyken daha büyük de- erler a da sapmalara sebep olur ve yak nsama yapamaz. Geri besleme algoritmas - n n baz varyasyonlar yerel minimuma ulaflma, a r kovaryans ve yapay sinir a nda bulunan detayl bilginin fazla ifllenmesi gibi zorluklar n üstesinden gelmek için önerilmifltir (Haykin, 1994; 1998). 2.2. Karar A açlar Karar a açlar, çeflitli pazarlama uygulamalar (müflteri iliflkileri yönetimi, do rudan postalama), insan kaynaklar yönetimi (geçmiflte iflletmeye en faydal olan bireylerin özelliklerini kullanarak ifle alma süreçlerinin belirlenmesi), t p (t bbi gözlem verilerinden yararlanarak en etkin kararlar n verilmesi), hangi de iflkenlerin sat fllar etkiledi inin belirlenmesi, üretim yönetimi gibi uygulamalarda kullan lmaktad r (Akp - nar, 2000). Bunun yan nda Shen, v.d. (2007), kredi kart verileri ile sahtecilik tespiti için yap lan s n fland rma modeli çal flmas nda karar a açlar n n etkin olarak kullan ld n ve olumlu sonuçlar ortaya koydu u gözlemlemifltir. Yap lan bir baflka çal flma- Kredi Kart Taleplerinin De erlendirilmesinde Grup ve Bireysel Kredi Puanlama Modellerinin Karfl laflt r lmal Bir Analizi 79

da, bankan n sahtecilik tespit sistemi karar a ac teknikleri üzerinde gelifltirilmifl olup sistem sonuçlar oldukça baflar l olmufltur (Lee, Chiu, v.d., 2002; Lee, Chiu, v.d., 2006). Veri madencili i tekniklerinden biri olan karar a açlar firmalar n bilançolar - n n incelenmesinde kullan lm fl ve tahmin do rulu u olarak tatmin edici sonuçlar ortaya koymufltur (Kirkos, Spathis, v.d., 2007). Bunun yan nda ileride kavramsal olarak aç klanaca üzere grup, Bagging ve Boosting algoritmalar n n uygulamalar nda da karar a açlar teknikleri kullan lm flt r. Karar a ac, tümevar msal muhakeme kullanarak s n fland rma modeli oluflturmadaki farkl yöntemlerden biridir. Basit kural serileri uygulayarak oluflturulan verinin bölümlenmesini gösteren a aç fleklinde bir yap modeli oluflturur. Bu kurallar parçalanman n tekrar ifllemi yoluyla tahminlemede kullan labilir. Lee, Chiu, v.d. (2005) ne göre, karar a ac teorisi kredi de erleme için oldukça uygundur ve genifl alanda kullan l r. ID3, C4.5, S n fland rma ve Regresyon A açlar (CART) ve CHAID karar a açlar algoritmalar öngörü ve s n fland rma için kullan lm flt r. ID3 algoritmas Quinlan (1993), taraf ndan karar a ac üretmek için önerilmifltir. Bilgi kazanc teorisine dayan r. ID3 karar a açlar n branfllamaya nitelik olarak en uygun bilgi kazanc n belirler ki bu flekilde oluflturulan a açlar basit yap l olurlar (Zhao, 2007). Edinilen bilgi tüm veri setinin haricinde belli bafll nitelikler kullanarak karar a ac n n dü ümleri taraf ndan oluflturulan alt-a açlar n entropi katsay s ile hesaplanabilir. ID3 ün sak ncas edinilen bilgiyi nitelik seçmek için kural olarak kullanmas d r çünkü dalland rma daha yüksek nitelik de erleri üzerinde meyilli olacakt r. Bu olumsuzlu u ortadan kald rmak için ID3 ün bir uzant s ve revizyonu olan C4.5 önerilmifltir (Chang ve Chen, 2008). C4.5 algoritmalar bilgi kazanc -oran n niteli i bölümlemek için kullan r. Büyük boyutlardaki veri seti üzerinde çal flmak için C4.5 karar a ac algoritmas revize edilerek C5 algoritmas gelifltirilmifltir (Chang ve Chen, 2008). Buna ek olarak, h z aç s ndan C4.5 tan daha h zl d r ve haf za kullan m nda daha etkilidir. (Tso ve Yau, 2007) ya göre, C5 in C4.5 algoritmas na göre flu avantajlar vard r: (1) nominal parçalar için dü üm birlefltirme opsiyonu yoktur, (2) yanl fl s n fland rma maliyeti belirlenebilir; (3) destekleme ve çapraz-de erlendirme özellikleri mevcuttur; ve (4) a açlardan kural setleri oluflturmak için algoritmalar daha geliflmifltir. Bu algoritmalar n yan s ra, baz araflt rmac lar baflka karar a açlar teknikleri sunmufllard r. Bunlardan biri istatistiksel bir metot olan ve S n fland rma ve Regresyon A ac olarak bilinen Breiman, Friedman, v.d. (1984), taraf ndan gelifltirilen karar a ac tekni idir. Bu hem regresyon problemlerinin çözümü hem de s n fland rma için kullan lan tekrarlanan bir bölümlemedir. Temel olarak bir nesneyi iki veya daha çok popülasyonda s n fland rmak için kullan l r. S n fland rma ve Regresyon A ac algoritmas afla daki gibi üç aflamada özetlenebilir (Chang ve Chen, 2008): 1- Bu aflamada, tekrarlanan bölümleme tekni i de iflken seçmek ve ay rma ölçütü kullanarak noktalar ay rmak için kullan l r. Birçok bozukluk ve farkl l k ölçü- 80 Hüseyin nce, Bora Aktan

sü kullanarak en iyi belirleyici seçilir (Gini, ikiflerli, s ral ikiflerli ve en küçük kareler sapmas ). Bu ölçülerin nas l hesaplanaca ile ilgili detayl bilgiye Breiman, Friedman, v.d. (1984) dan ulafl labilir ki burada amaç, hedef de iflkene ba l olarak olabildi ince homojen veri alt setleri oluflturmakt r. 2- Büyük bir a aç tan mland ktan sonra, S n fland rma ve Regresyon A ac minimum maliyet karmafl kl n kapsayacak flekilde fazlal klar ç karma prosedürü uygular. Fazlal klar ç karma prosedürü, geliflmifl en büyük a açtan bafllay p tek bir a aç dü ümü kalana kadar süren bir ifllem içinde iç içe geçmifl a aç alt setleri temin eder. 3- Son aflamada, en düflük çapraz-de erli veya hata kriteri kullanarak en uygun a aç seçilir. 2.3. Gruplama (Ensemble) Teknikleri Ensemble n sözlük anlam ; birlik, grup, tak m d r. Oza, (2006) ensemble birkaç farkl yöntem ile yap lan tahminlerin kombinasyonunu veren fonksiyon fleklinde tan mlamaktad r. Bu yöntemde kar fl k bir hesaplama önce basit hesaplamalara bölünür. Sonra elde edilen çözümlerin birlefltirilmesiyle karmafl k sorun çözülür. Gruplama (ensemble) tekniklerinin ard nda yatan fikir, her bir bileflen modelinin tek özelliklerini, veri kümesinde bulunan farkl örnekleri yakalamak için kullanmakt r. Bir komisyonun üyelerini seçerken kullan lan temel mant k ile ensemble olufltururken kullan lan ayn d r (Oza, 2006). Komisyonun her bir üyesi kendi alan nda mümkün oldu u kadar yetenekli olmal, fakat üyeler birbirini tamamlay c olmal. E er üyeler birbirini tamamlay c olmazsa ve her konuda ayn fikirdeyseler, bu durumda bir komisyon oluflturmaya gerek yoktur ve tek bir üye yeterlidir. E er üyeler birbirini tamamlay c olursa, bu durumda bir veya birkaç üye hata yapt nda di er üyelerin bu hatay düzeltme olas l daha fazlad r. Hem teorik hem ampirik çal flmalar, do ruluklar art rmak için gruplanman n etkili bir yol olabildi ini göstermektedir. Özgün çal flmalar nda Bates ve Granger (1969), farkl tekniklerin do rusal bir kombinasyonunun, bireysel tekniklerden daha küçük bir hata varyans verece ini göstermifllerdir. O zamandan bu yana, pek çok araflt rmac gruplama veya bileflik tahminler üzerinde çal flmalarda bulunmufltur. Makridakis, Anderson, v.d. (1982), farkl tek modellerin birlefltirilmesinin, tahmin do rulu unu art rmada genel uygulama haline geldi ini bildirmifltir. Sonras nda, Pelikan, De Groot, v.d. (1992), zaman serileri tahmin do rulu unu art rmak amac yla, farkl ileri-beslemeli sinir a lar n toplamay önermifltir. Sürekli ba ml de iflkenli tahmin problemleri için grup tekniklerinin baz lar, do rusal grubu (örn.; basit ortalama a rl kl ortalama), y lmal regresyon ve do rusal olmayan grubu (örn, sinir a merkezli) içermektedir (Benediktsson, Sveinsson, v.d., 1997; Yu, Wang, v.d., 2005; Perrone ve Cooper, 1993; Breiman, 1996). Kredi Kart Taleplerinin De erlendirilmesinde Grup ve Bireysel Kredi Puanlama Modellerinin Karfl laflt r lmal Bir Analizi 81

Hansen, McDonald, v.d. (1992), birkaç yapay sinir a ndan oluflan bir grup kullan larak bir yapay sinir a modelinin genellefltirme kapasitesinin önemli ölçüde art r - labilece ini bulgulam flt r. Ço u zaman, s n fland rma problemlerinden dolay, yeni örnekleri tasnif etmek için genel anlamda ço unluk oylamas na (majority voting) göre, bir grup sistemi birtak m yollarla bireysel s n flama kararlar n birlefltirmektedir. Temel düflünce, bir tak m modelleri (uzmanlar ) e itmek ve oy kullanmalar na izin vermek. Ço unluk oylamas yönteminde, bütün ba ms z modellere ayn derecede önem verilmektedir. Modelleri birlefltirmenin bir di er flekli, ba ms z modellerin yetersiz ölçüde önemle e itildi i a rl kl oylama yoludur. Bu, baz a rl klar ba ms z modeller taraf ndan verilen tahmine ba lay p birlefltirmekle gerçekleflmektedir. Olmeda ve Fernandez (1997), bir genetik algoritman n ba ms z modellerin optimum kombinasyonunu belirledi i genetik algoritma merkezli bir grup sistemi ortaya koymufllard r; bu flekilde do ruluk maksimuma ç kar lm flt r. Zhou, Wu, v.d. (2002), gruplanan yapay sinir a lar modeli üzerinde kapsaml bir çal flma yürütmüfl ve bir grup oluflturmak için bir tak m sinir a lar n kullanman n tüm sinir a lar n kullanmaktan daha iyi oldu unu öne sürmüfltür. Bunun yan s ra, sinir a lar n n grubun parças haline gelmesi için sinir a lar mevcut dizisinden seçiminde kullan labilecek bir yaklafl m önermifllerdir. Ayr ca genetik algoritma, a rl klar bileflen a lar na atamak için kullan lm flt r. fiekil 2: Grup Sistem Tasar m Yapay Sinir A lar (YSA) Karar A açlar (KA) Bulan k Sistemler (DENFIS) Destek Vektör Makinalar (DVM) Regresyon Çubuklar (MARS) Belirli bir veri kümesi için bir ak ll teknik türü di erini geçmekte ve farkl bir veri kümesi kullan ld nda sonuçlar tamamen z t olabilmektedir. Hiçbir ço unlu u kay- YSA-KA-DENFIS- DVM-MARS Ç kt Notlar: YSA: Neural Networks, KA: Decision Trees, DENFIS: Dynamic evolving neuro-fuzzy inference system, DVM: Support Vector Machines MARS: Multivariate adaptive regression splines. 82 Hüseyin nce, Bora Aktan

betmemek ve ak ll tekniklerin avantajlar n toplamak için bir grup, her birine mutlak öncelik düzeyi verilmesiyle bütün ba ms z ak ll tekniklerin ç kt lar n kullanmakta ve bir hakem yard m yla ç kt sa lamaktad r. Bu çal flmada, farkl yap daki yapay sinir a lar modelleri, karar a açlar grupland r larak performanslar bireysel modeller ile karfl laflt r lacakt r. 3. Uygulama Grup ve yapay sinir a lar, karar a açlar gibi bireysel teknikler kullan larak gelifltirilen kredi de erleme modellerinin performanslar n karfl laflt rmak için bir finansal kurumdan al nan kredi kart verileri kullan lm flt r. Veri seti sekiz tane aç klay c de iflken ve bir tane ba ml de iflken içermektedir. Aç klay c de iflkenler s ras ile cinsiyet, yafl, medeni durumu, e itim durumu, meslek, gelir, müflteri türü ve baflka bankalardan ald kredi kart say s d r. Ba ml de iflken ise müflterinin kredi durumunu (iyi veya kötü) gösteren de iflkendir. Veri setinde 1422 müflterinin bilgileri bulunmaktad r. Bunlar içerisinden, veri setinin yaklafl k %70 i yani 990 müflteri rassal olarak seçilmifl ve model parametrelerini tahmin etmek için e itim seti olarak geri kalan k s m ise, modellerin performans n de erlendirmek için kullan lm flt r. lk olarak yapay sinir a ve karar a ac modeli oluflturulacak ve bunlarla ilgili elde edilen sonuçlar verilecek, daha sonra ise grup teknikleri ile oluflturulan modelden ç kacak sonuçlar ile karfl laflt r lacakt r. Çal flmada kullan lan yapay sinir a için optimum verimi sa layacak topolojiyi belirlemedeki en önemli sorun gizli katmanda bulunan nöron say s n n belirlemektedir. Lee, Chiu, v.d. (2002) e göre kompleks sistemler tek gizli katmanl yapay sinir a ile modellenebilir. Crook, Edelman, v.d. (2007), gizli katmandaki nöron say s n belirlemek için Denklem 1 de verilen formülü önermifllerdir. Ayr ca, optimum topolojiyi oluflturmak için genetik algoritmalarda önerilmektedir. Bu çal flmada gizli katman say s ve nöron say s n belirlemek için genetik algoritmalardan faydalan lm flt r (Ong, Huang, v.d., 2005). Neurosolution yaz l m kullan larak en uygun topoloji seçilmifltir. Gizli katmandaki nöron say s 13 olarak belirlenmifltir. Algoritman n sonuca ulaflma kriteri olarak hata kareleri ortalamas n n karekökü (RMSE) 0.0001 den küçük veya iterasyon say s 5000 seçilmifltir. Tablo 1, e itim ve test seti için elde edilen tahmin sonuçlar n göstermektedir. Söz konusu tabloda görüldü ü gibi e itim ve test seti için do ru tahmin etme oran s ras ile %65.9 ve %66.9 olarak elde edilmifltir. E itim setinde iyi kredi puan na sahip 165 müflteri kötü krediye sahip müflteri olarak s n fland r lm flt r. Ayr ca kötü kredi puan na sahip 173 müflteri iyi kredi puan na sahip olarak s n fland r lm flt r. Test setinde ise, iyi kredi puan na sahip 74 müflteri kötü kredi puan na sahip olarak ve kötü kredi puan na sahip 69 müflteri iyi kredi puan na sahip olarak s n fland r lm flt r. Kredi Kart Taleplerinin De erlendirilmesinde Grup ve Bireysel Kredi Puanlama Modellerinin Karfl laflt r lmal Bir Analizi 83

Tablo 1: E itim ve Test Seti için YSA Kullan larak Elde Edilen S n fland rma Sonuçlar Tahmin Tahmin Gerçek Kötü Kötü 329(%67) 165(%33) 143(%66) 74(%34) Kötü 173(%35) 323(%65) 69(%33) 146(%67) Kredi de erlendirme modeli olarak CHAID karar a ac tekni i seçilmifltir. Bu model en çok kullan lan tekniklerden birisidir. Elde edilen sonuçlar Tablo 2 de verilmifltir. Buna göre, e itim ve test seti için do ru tahmin etme oran s ras ile %67.1 ve %62.4 tür. E itim setinde iyi kredi puan na sahip 232 müflteri kötü kredi puan na sahip müflteri olarak s n fland r lm flt r. Ayr ca kötü kredi puan na sahip 105 müflteri iyi kredi puan na sahip olarak s n fland r lm flt r. Test setinde ise, iyi kredi puan na sahip 102 müflteri kötü kredi puan na sahip olarak ve kötü kredi puan na sahip 48 müflteri iyi kredi puan na sahip olarak s n fland r lm flt r. Tablo 2: E itim ve Test Seti için Karar A açlar Kullan larak Elde Edilen S n fland rma Sonuçlar Tahmin Tahmin Gerçek Kötü Kötü 270(%54) 232(%46) 107(%51) 102(%49) Kötü 105(%20) 416(%80) 48(%20) 142(%80) Araflt rmac lar çeflitli türlerde gruplama modeli önermifllerdir (Zhou, Wu, vd., 2002; West, Dellana, v.d., 2005). Bu çal flmada Adaboost ve Bagging teknikleri kullan larak gelifltirilmifl kredi de erleme modelleri kullan lacakt r. Bu teknikler ile ilgili ayr nt l bilgi (Tsai ve Wu, 2008; Zhou, Wu, v.d., 2002; West, Dellana, v.d., 2005) bulunabilir. 1 1 Bagging Bootstrap Aggregating kelimelerinin birlefliminden oluflmufltur. Uygulanmas kolay ve iyi sonuçlar veren bir algoritmad r (bkz Breiman, 1996). Özellikle veri say s az ise kullan l r. Farkl e itim veri alt kümeleri, yenisiyle de ifltirme (replacement) yöntemi ile e itim setinden elde edilir. Her bir veri alt kümesi farkl s n fland r c lar e itmek için kullan l r. Yapay sinir a lar ve karar a açlar nda kolayl kla uygulanabilirler. Boosting ise, Schapire (1990) in tan mlad bir algoritmad r. Bagging te oldu u gibi boosting te de ensemble oluflturan s n fland r c lar verilerin tekrar örneklenmesi (resample) yöntemi ile elde edilmekte ve daha sonra ço unluk oylar ile birlefltirilmektedir. Boosting te tekrar örnekleme ile her bir ard fl k s n fland r c için en çok ö retici e itim seti elde edilmeye çal fl l r. 1997 y l nda boosting algoritmalar ndan en çok kullan lan olan AdaBoost algoritmas ( bkz. Freund and Schapire, 1997) gelifltirilmifltir. 84 Hüseyin nce, Bora Aktan

Destek vektör makinalar, yapay sinir a lar ve karar a açlar kullan larak oluflturulan Adaboost ve bagging gruplama modelleri oluflturulmufltur. Destek vektör makinalar ile oluflturulan Bagging ve Adaboost modeli di erlerinden daha iyi sonuç vermifltir. Tablo 3 ve 4 bu modeller kullan larak elde edilen bulgular göstermektedir. Tablo 3: E itim ve Test Seti için Bagging Metodu Kullan larak Elde Edilen S n fland rma Sonuçlar Tablo 3 de görüldü ü gibi e itim ve test seti için do ru tahmin etme oran s ras ile %87.5 ve %70.9 tür. E itim setinde iyi kredi puan na sahip müflterilerin %11 i kötü kredi puan na sahip müflteri olarak s n fland r lm flt r. Ayr ca, kötü kredi puan na sahip müflterilerin %14 ü iyi kredi puan na sahip müflteri olarak s n fland r lm flt r. Test setinde ise, iyi kredi puan na sahip 61 müflteri kötü kredi puan na sahip olarak ve kötü kredi puan na sahip 63 müflteri iyi kredi puan na sahip olarak s n fland r lm flt r. Tablo 4: E itim ve Test Seti için Adaboost Metodu Kullan larak Elde Edilen S n fland rma Sonuçlar Tahmin Tahmin Tahmin Gerçek Kötü Kötü 439(%89) 55(%11) 156(%72) 61(%28) Kötü 68(%14) 422(%86) 63(%30) 147(%70) Tahmin Gerçek Kötü Kötü 438(%89) 56(%11) 135(%62) 82(%38) Kötü 63(%14) 427(%86) 33(%33) 141(%67) Adaboost metodu da Bagging tekni ine benzer sonuçlar vermifltir. E itim ve test seti için do ru tahmin etme oranlar s ras ile %87.9 ve %64.6 olarak hesaplanm flt r. Buna ek olarak, e itim setinde iyi kredi puan na sahip müflterilerin %11 i kötü kredi puan na sahip müflteri olarak s n fland r lm flt r. Ayr ca kötü kredi puan na sahip müflterilerin %14 ü iyi kredi puan na sahip müflteri olarak s n fland r lm flt r. Test setinde ise, iyi kredi puan na sahip 82 müflteri kötü kredi puan na sahip olarak ve kötü kredi puan na sahip 33 müflteri iyi kredi puan na sahip olarak s n fland r lm flt r. Kredi Kart Taleplerinin De erlendirilmesinde Grup ve Bireysel Kredi Puanlama Modellerinin Karfl laflt r lmal Bir Analizi 85

kinci olarak bireysel modeller ile gruplama modelleri karfl laflt r lm flt r. Yukar da verilen bilgilerde de görülece i gibi gruplama tekni i ile oluflturulan modeller bireysel tekniklerden daha iyi sonuç vermifltir. Bunun en temel nedeni, gruplama modellerinin birden fazla bireysel teknik içermesinden kaynaklanan ve dolay s yla hatal sonuç bulma olas l ndaki düflüfltür. 5. Sonuç Kredi puanlama, s n fland rma yöntemlerinin yard m ile kredilendirme sürecinde daha süratli ve sa l kl karar verilmesini sa lamaktad r. Bu makalede grup teknikleri ile oluflturulan kredi de erleme modelleri ile bireysel kredi de erleme modelleri karfl laflt r lm flt r. Özellikle, ticari bankalar aras ndaki rekabetin oldukça yo un olmas sebebiyle kredi de erleme bu kurulufllar için hayati öneme sahiptir. Her geçen gün daha fazla finansal hizmet veren kurumlar daha etkin ve verimli stratejiler gelifltirmek için çaba sarf etmekte, bu nedenle, farkl yap da kredi de erleme modelleri gelifltirmeye çal flmaktad rlar. Bu amaçla, bilgi teknolojisi ve modelleme tekniklerindeki geliflmeler daha ileri modelleri oluflturmaya olanak sa lamaktad r. Geleneksel tekniklerin yerini, yapay zeka teknikleri veya melez kredi de erleme modelleri alm flt r. Bu çal flman n amac, gruplama modelleri ile bireysel kredi de erleme modellerin performanslar n n karfl laflt r lmas d r. Bu amaç do rultusunda, yapay sinir a lar ve karar a açlar teknikleri kullan larak gelifltirilmifl bireysel modeller ile Bagging ve Adaboost tekni i ile elde edilmifl gruplama modelleri kullan lm flt r. Yap lan analiz ve de erlemeler sonucu grup kredi de erleme modellerinin bireysel modellere üstünlük sa lad bulgulanm flt r. 86 Hüseyin nce, Bora Aktan

Kaynakça 1. Akgüç, Ö.. (2007). Banka Yönetimi ve Performans Analizi. Aray fl Bas m ve Yay nc l k: stanbul. 2. Akp nar, H.. (2000). Veri Tabanl Bilgi Keflfi ve Veri Madencili i..ü. flletme Fakültesi Dergisi, 29 (1): 1-22. 3. Avery, R. B., Calem, P. S. ve Canner, G. B.. (2004). Consumer Credit Scoring: Do Situational Circumstances Matter? Journal of Banking and Finance, 28:835-856. 4. Ayd n, N. (Ed.). (2006). Bankac l k Uygulamalar. Anadolu Üniversitesi Yay n, No. 1711. 5. Bates, J.M. ve Granger, C.W.J.. (1969). The Combination of Forecasts. Operational Research Quarterly, 20 (4): 451 468. 6. Bankac l k Denetleme ve Düzenleme Kurumu, (2009) Ayl k Bülten Ocak 2009. www.bddk.org.tr. 7. Benediktsson, J. A., Sveinsson, J. R., Ersoy, O. K. ve Swain, P. H.. (1997). Parallel Consensual Neural Networks. IEEE Transactions on Neural Networks, 8:54-64. 8. Berk, N.. (2001). Bankac l kta Pazara Yönelik Kredi Talebi, Beta Bas m Yay n: stanbul. 9. Blochlinger, A. ve Leippold, M.. (2006). Economic Benefit of Powerful Credit Scoring. Journal of Banking and Finance, 30: 851-873. 10. Bodur, C. ve Teker, S.. (2005). Credit Scoring of Companies: Application to the ISEM Companies. TÜ Dergisi/b, 2(1): 25-36. 11. Breiman, L., Friedman, J. H., Olshen, R. A. ve Stone, C. J.. (1984). Classification and Regression Trees. Wadsworth and Brooks/Cole, Montery. 12. Breiman, L.. (1996). Bagging Predictors. Machine Learning, 24 (3):123-140. 13. Chang, C. L. ve Chen, C. H.. (2008). Applying Decision Tree and Neural Network to Increase Quality of Dermatologic Diagnosis. Expert Systems with Applications, 3(6): 4035-4041. 14. Chen, M. S., Han, J. ve Yu, P. S.. (1996). Data Mining: An Overview From a Database Perspective. IEEE Trans. Knowledge Data Engineering, 8(6): 866 883. 15. Chen, S. Y. ve Liu, X.. (2004). The Contribution of Data Mining to Information Science. Journal of Information Science, 30(6): 550-558. 16. Çinko, M.. (2006). Kredi Kart De erlendirme Tekniklerinin Karfl laflt r lmas. stanbul Ticaret Üniversitesi Sosyal Bilimler Dergisi, 5 (9): 143-153. 17. Crook, J. ve Banasik, J.. (2004). Does Reject Inference Really Improve the Performance of Application Scoring Models? Journal of Banking and Finance, 28: 857-874. 18. Crook, J. N., Edelman, D. B. ve Thomas, L. C.. (2007). Recent Developments in Consumer Credit Risk Assessment. European Journal of Operational Research, No.183. Kredi Kart Taleplerinin De erlendirilmesinde Grup ve Bireysel Kredi Puanlama Modellerinin Karfl laflt r lmal Bir Analizi 87

19. Fayyad, U., Piatetsky-Shapiro, G. ve Smyth, P.. (1996). The KDD Process for Extracting Useful Knowledge From Volumes of Data. Communications of the ACM, 39: 27 34. 20. Freund, Y. ve Schapire, R. E.. (1997). Decision-Theoretic Generalization of on-line Learning and application to Boosting. Journal of Computer and System Sciences, 55 (1): 119-139. 21. Hansen, J., McDonald J. ve Slice, J.. (1992). Artificial Intelligence and Generalized Qualitative Response Models: an Empirical Test on Two Audit Decision-Making Domains. Decision Science, 23:708 723. 22. Haykin, S.. (1994). Neural Networks. Macmillan College Publishing Company Inc, New York. 23. Haykin, S.. (1998). Neural Networks: A Comprehensive Foundation. 2e. Prentice Hall, Upper Saddle River, NJ. 24. Henley, W. E. ve Hand, D. J.. (1996). Ak-Nearest Neighbor Classifier for Assessing Consumer Credit Risk. Statistician, 44 (1): 77 95. 25. Ince, H.. (2006). Yapay Sinir A lar n n Portföy Yönetiminde Kullan lmas. ktisat flletme ve Finans, 21 (4): 114-126. 26. Ince, H. ve Aktan, B.. (2009). A Comparison of Data Mining Techniques for Credit Scoring in Banking: A Managerial Perspective. Journal of Business Economics and Management, 10(3): 233-240. 27. Jacobson, T. ve Roszbach, K.. (2003). Bank Lending Policy, Credit Scoring and Value at Risk. Journal of Banking and Finance, 27: 615-633 28. Karan, M. B. ve Arslan, O.. (2008). Consumer Credit Risk Factors of Turkish Households, Bank and Bank Systems, 3(1): 42-57. 29. Kirkos, E., Spathis, C. ve Manolopoulos, Y.. (2007). Data Mining Techniques for the Detection of Fraudulent Financial Statements. Expert Systems with Applications, 32 (4): 995-1003. 30. Lee, H., Jo, H. ve Han, I.. (1997). Bankruptcy Prediction Using Case-Based Reasoning, Neural Networks and Discriminant Analysis. Expert Systems with Applications, 13: 97 108. 31. Lee, T. S., Chiu, C. C., Lu, C. J. ve Chen, I.F.. (2002). Credit Scoring Using the Hybrid Neural Discriminant Technique. Expert Systems with Applications, 23: 245 254. 32. Lee, T. S. ve Chen, I. F.. (2005). A Two-Stage Hybrid Credit Scoring Model Using Artificial Neural Networks and Multivariate Adaptive Regression Splines. Expert Systems with Applications, 28: 743 752. 33. Lee, T. S., Chiu, C. C., Chou, Y. C. ve Lu, C. J.. (2006). Mining the Customer Credit Using Classification and Regression Tree and Multivariate Adaptive Regression Splines. Computational Statistics and Data Analysis, 50: 1113 1130. 34. Makridakis, S., Anderson, A., Carbone, R., Fildes, R., Hibdon, M., Lewandowski, R., Newton, J., Parzen, E. ve Winkler, R.. (1982). The Accuracy of Extrapolation (time series) Methods: Results of a Forecasting Competition. Journal of Forecasting, 1 (2): 111-153. 88 Hüseyin nce, Bora Aktan

35. Malhotra, R. ve Malhotra, D. K.. (2002). Differentiating Between Good Credits and Bad Credits Using Neuro-Fuzzy Systems. European Journal of Operational Research, 136(1): 190 211. 36. Martens, D., Baesens, B., Van Gestel, T. ve Vanthienen, J.. (2007). Comprehensible Credit Scoring Models Using Rule Extraction From Support Vector Machines. European Journal of Operational Research, 183(3): 1466-1476. 37. Olmeda, I. ve Fernandez, E.. (1997). Hybrid Classifiers for Financial Multicriteria Decision Making: The Case of Bankruptcy Prediction. Computational Economics, 10: 317 335. 38. Ong, C. S., Huang, J. J. ve Tzeng, G. H.. (2005). Building Credit Scoring Models Using Genetic Programming. Expert Systems with Applications, 29(1): 41 47. 39. Oza, N. C.. (2006). Ensemble Data Mining Methods, Encyclopedia of Data Warehousing and Mining. Idea Group Reference, pp.448-452. 40. Quinlan, J. R.. (1993). C4.5: Programs for machine learning. Morgan Kaufman, San Francisco, CA. 41. Pal, M.. (2007). Ensemble Learning with Decision Tree for Remote Sensing Classification. Proceedings of World Academy of Science Engineering and Technology, 26(December): 735-737. 42. Pelikan, E., De Groot, C. ve Wurtz, D.. (1992). Power Consumption in West-Bohemia: Improved Forecasts Decorrelating Connectionist Networks. Neural Network World, No.2, 701-712. 43. Perrone, M. P. ve Cooper, L. N. (1993). When Networks Disagree: Ensemble Methods for Hybrid Neural Netwoks. Neural Networks for speech and Image Processing, Chapman Hall, 126 142. 44. Schapire, R. E.. (1990). The Strength of Weak Learnability. Machine Learning, 5(2): 197-227. 45. Shen, A., Tong, R. ve Deng, Y.. (2007). Application of Classification Models on Credit Card Fraud Detection. School of Management, Graduate University of the Chinese Academy of Sciences, China, 1-4 46. Seval, B.. (1990). Kredilendirme Süreci ve Kredi Yönetimi..Ü. flletme Fakültesi, Muhasebe Enstitüsü Yay n No.59: stanbul. 47. Thomas, L. C.. (2000). A Survey of Credit and Behavioral Scoring: Forecasting Financial Risk of Lending to Consumers. International Journal of Forecasting, 16: 149 172. 48. Tsai, C. F. ve Wu, J. W.. (2008). Using Neural Network Ensembles for Bankruptcy Prediction and Credit Scoring. Expert Systems with Applications, 34(4): 2639 2649. 49. Tso, K. F. G. ve Yau, K. K. W.. (2007). Predicting Electricity Energy Consumption: A Comparison of Regression Analysis, Decision Tree and Neural Networks. Energy, 32: 1761 1768. 50. Vellido, A., Lisboa, P. J. G. ve Vaughan, J.. (1999). Neural Networks in Business: A Survey of Applications (1992 1998). Expert Systems with Applications, 17: 51 70. Kredi Kart Taleplerinin De erlendirilmesinde Grup ve Bireysel Kredi Puanlama Modellerinin Karfl laflt r lmal Bir Analizi 89

51. Vojtek, M. ve Koãenda, E.. (2006). Credit Scoring Methods. Finance a úvûr- Czech Journal of Economics and Finance, 56: 152-167. 52. West, D.. (2000). Neural Network Credit Scoring Models. Computers and Operational Research, 27: 1131 1152. 53. West, D., Dellana, S. ve Qian, J.. (2005). Neural Network Ensemble Strategies for Financial Decision Applications. Computers & Operations Research, 32: 2543 2559. 54. Yang, Y.. (2007). Adaptive Credit Scoring with Kernel Learning Methods. European Journal of Operational Research, 183(3): 1521-1536. 55. Yu, L., Wang, S. Y. ve Lai, K. K.. (2005). A Novel Non-Linear Ensemble Forecasting Model Incorporating GLAR and ANN for Foreign Exchange Rates. Computers and Operations Research, 32 (10): 2523 2541. 56. Zhao, H.. (2007). A Multi-Objective Genetic Programming Approach to Developing Pareto Optimal Decision Trees. Decision Support Systems, 43: 809 826. 57. Zhou, Z. H., Wu, J. ve Tang, W.. (2002). Ensembling Neural Networks: Many Could be Better Than All. Artificial Intelligence,137 (1-2):239-263. 90 Hüseyin nce, Bora Aktan