Kredi Risk Değerlendirme

Transkript

1 Kredi Risk Değerlendirme Birol Yüceoğlu, Migros T.A.Ş. Yeh ve Lien (2009) tarafından kredi riskini değerlendirmek amacıyla kullanılan bir veri setini kullanacağız. Veri setinde eksik değerler veri setine benim tarafından yerleştirildi. Orijinal veri setini linkten indirebilirsiniz: ( Etiketli bir veri setiyle çalışacağımız için güdümlü öğrenme tekniklerinden yararlanacağız. Neler yapacağız? Güdümlü öğrenme kullanarak ve müşterilerin 6 aylık örüntülerine bakarak kredi ödemesinde sıkıntı olacak müşterileri tahmin edeceğiz. Veri setini inceleyerek yeni öznitelikler türeteceğiz. Kullandığımız yöntemlerin başarısını inceleyeceğiz. Veri setini (train, test) okutarak başlayalım

2 In [1]: #Paketleri yükleyelim %matplotlib inline import pandas as pd import numpy as np import matplotlib.pyplot as plt from IPython.display import display,html #Veri setlerini okutalım ve inceleyelim df_train = pd.read_excel('credit_scoring_train.xls') df_test = pd.read_excel('credit_scoring_test.xls') print("veri çerçevesinin ilk satırları") display(df_train.head()) print("öznitelikler") for i in df_train.columns: print(i)

3 Veri çerçevesinin ilk satırları CUSTOMER_ID LIMIT_BAL SEX EDUCATION MARRIAGE AGE PAYMENT_1 PAYMENT_2 PAYMENT_3 PAYMENT_ Male NaN Married Female NaN Single Female NaN Single Male NaN Single Male Gradschool Single rows 25 columns Öznitelikler CUSTOMER_ID LIMIT_BAL SEX EDUCATION MARRIAGE AGE PAYMENT_1 PAYMENT_2 PAYMENT_3 PAYMENT_4 PAYMENT_5 PAYMENT_6 REMAINING_AMOUNT_1 REMAINING_AMOUNT_2 REMAINING_AMOUNT_3 REMAINING_AMOUNT_4 REMAINING_AMOUNT_5 REMAINING_AMOUNT_6 PAYMENT_AMOUNT_1 PAYMENT_AMOUNT_2 PAYMENT_AMOUNT_3 PAYMENT_AMOUNT_4 PAYMENT_AMOUNT_5 PAYMENT_AMOUNT_6 default

4 Veri Sözlüğü Veride aşağıdaki kolonlar yer almaktadır: CUSTOMER_ID: Müşteriye özel ID. LIMIT_BAL: Kredi limiti. SEX: Cinsiyet (Male, Female). EDUCATION: Eğitim (Gradschool, University, Highschool). MARRIAGE: Medeni durum (Married, Single). AGE: Yaş (year). PAYMENT_1 - PAYMENT_6: Ay bazında geçmiş ödemelerdeki gecikme (1 - Eylül 2005, 6 - Nisan 2005 olacak şekilde). REMAINING_AMOUNT_1 - REMAINING_AMOUNT_6: Kalan borç miktarı (1 - Eylül 2005, 6 - Nisan 2005 olacak şekilde). PAYMENT_AMOUNT_1 - PAYMENT_AMOUNT_6: Önceki ödemeler (1 - Eylül 2005, 6 - Nisan 2005 olacak şekilde). default: Çıktı değeri, borcun zamanında ödenip ödenmediği (0 = Zamanında, 1 = Geç) Önce sayısal kolonlara bakarak eksik değer olup olmadığına bakalım.

5 In [2]: print("veri çerçevesinin boyutları: " + str(np.shape(df_train))) print("öznitelik kolonlarının özeti") print(df_train['limit_bal'].describe()) print(df_train['age'].describe()) print(df_train[[i for i in df_train.columns if 'REMAINING_AMOUNT' in i]].describe()) print(df_train[[i for i in df_train.columns if 'PAYMENT' in i]].describe())

6 Veri çerçevesinin boyutları: (19800, 25) Öznitelik kolonlarının özeti count mean std min % % % max Name: LIMIT_BAL, dtype: float64 count mean std min % % % max Name: AGE, dtype: float64 REMAINING_AMOUNT_1 REMAINING_AMOUNT_2 REMAINING_AMOUNT_3 \ count e+04 mean e+04 std e+04 min e+05 25% e+03 50% e+04 75% e+04 max e+06 REMAINING_AMOUNT_4 REMAINING_AMOUNT_5 REMAINING_AMOUNT_6 count mean std min % % % max PAYMENT_1 PAYMENT_2 PAYMENT_3 PAYMENT_4 PAYMENT_5 \ count mean std

7 min % % % max PAYMENT_6 PAYMENT_AMOUNT_1 PAYMENT_AMOUNT_2 PAYMENT_AMOUNT_3 \ count e mean e std e min e % e % e % e max e PAYMENT_AMOUNT_4 PAYMENT_AMOUNT_5 PAYMENT_AMOUNT_6 count mean std min % % % max Kredi limiti ve yaş kolonlarında eksik değerler oldğunu görüyoruz. Bu gözlemleri analizden çıkarabilir ya da eksik değerleri kendimiz doldurabiliriz. Burada hangisini tercih edeceğimiz eksik gözlem sayısı ve özniteliğin önemine göre değişebilir. Yaş için bir değer kullanarak eksikleri giderelim. bunun için ortalama ya da median değeri kullanılabilir. Kredi limiti için de öneminden dolayı bu kolonu eksik olan müşterileri analizden çıkaralım Eksik değerleri doldurmak için scikit-learn'deki Imputer fonksiyonunu kullanalım.

8 In [3]: print("veri çerçevesinin silme işleminden önceki boyutları: " + str(np.shape(df_train))) # LIMIT_BAL değeri boş olan kolonları siliyoruz df_train = df_train[df_train['limit_bal'] >0] print("veri çerçevesinin silme işleminden sonraki boyutları: " + str(np.shape(df_train))) #AGE kolonunu median değeriyle dolduruyoruz. Missing değer ve strategy (nasıl dolduracağımız) bilgisini verel im. from sklearn.preprocessing import Imputer imp = Imputer(missing_values='NaN', strategy='median') df_train['age'] = imp.fit_transform(df_train['age'].values.reshape(-1,1)).ravel() print("eksik değerler silindikten sonra özniteliklerin özetleri") print(df_train['age'].describe()) print(df_train['limit_bal'].describe()) Veri çerçevesinin silme işleminden önceki boyutları: (19800, 25) Veri çerçevesinin silme işleminden sonraki boyutları: (19797, 25) Eksik değerler silindikten sonra özniteliklerin özetleri count mean std min % % % max Name: AGE, dtype: float64 count mean std min % % % max Name: LIMIT_BAL, dtype: float64 Şimdi de kategorik değişkenler içeren kolonları inceleyelim.

9 In [4]: print(df_train[['sex', 'EDUCATION', 'MARRIAGE']].describe()) SEX EDUCATION MARRIAGE count unique top Female University Single freq Eğitim ve medeni durumla ilgili kolonlarda eksik değerler var. Müşterinin finansal durumuyla ilgili bilgi içerebileceği için ve eksik değerlere sahip müşteri sayısı fazla olduğu için bu kolonların değerlerinin eksik olduğunu belirtelim. Bunu yapmak için eksik değerli kolonları 'MISSING' anahtar kelimesiyle belirtelim. In [5]: #Boş olan değerleri istediğimiz değerle doldurmanın bir diğer yolu da fillna kullanmak df_train['education'].fillna('missing_edu', inplace = True) df_train['marriage'].fillna('missing_mar', inplace = True) display(df_train['education'].head()) 0 MISSING_EDU 1 MISSING_EDU 2 MISSING_EDU 3 MISSING_EDU 4 Gradschool Name: EDUCATION, dtype: object Artık her müşterinin medeni durumu Single, Married, MISSING_MAR değerlerinden birine sahip. Ancak bu kolonu hala tahmin için kullanmamaız mümkün değil. Bunu yapmak için kolonu nümerik değerlere çevirmemiz gerekiyor. Burada sıklıkla yapılabilen bir hata her bir durum için bir sayı atamaktır (0 = married, 1 = single, 2 = MISSING_MAR gibi). Bunun yerine takma değişkenler (dummy variable) kullanabiliriz. Her bir değer için ayrı bir kolon oluşturulup ikili değerlerle gözlemlerin ait olduğu değer belirtilir. bu amaçla pandas altında get_dummies fonksiyonunu kullanabiliriz.

10 In [6]: # EDUCATION kolonunu 4 adet dummy değişkene çeviriyoruz. df_education = df_train[ 'EDUCATION' ] df_education = pd.get_dummies(df_education) display(df_education.head()) # MARRIAGE kolonunu 3 adet dummy değişkene çeviriyoruz. df_marriage = df_train[ 'MARRIAGE' ] df_marriage = pd.get_dummies(df_marriage) display(df_marriage.head()) Gradschool Highschool MISSING_EDU University MISSING_MAR Married Single Artık yapmamız gereken bütün bu yaptıklarımı bir araya getirip train ve test veri setlerini oluşturmak. Bu amaçla ID, EDUCATION, MARRIAGE kolonlarını çıkararak yeni oluşturduğumuz veri çerçeveleriyle önceki ver çerçevesini birleştireceğiz. Aynı işlemi SEX kolonu için de yapacağız.

11 In [7]: #Kullanmayacağımız kolonları siliyoruz df_train.drop(['customer_id', 'EDUCATION', 'MARRIAGE'], axis=1, inplace=true) #Veri çerçevelerini birleştiriyoruz df_train = pd.concat([df_train, df_education, df_marriage], axis=1) #Kategorik değişkenleri dummye çevirmenin bir başka yolu df_train['male'] = (df_train.sex == 'Male')*1 df_train['female'] = (df_train.sex == 'Female')*1 df_train.drop('sex', axis=1, inplace=true) display(df_train.head()) LIMIT_BAL AGE PAYMENT_1 PAYMENT_2 PAYMENT_3 PAYMENT_4 PAYMENT_5 PAYMENT_6 REMAINING_AMOUNT_ rows 30 columns Son olarak yeni öznitelikler türetelim. Müşterilerin kredi limitleri oldukça önemli bir bilgi gibi duruyor. Büyük olasılıkla yaşlandıkça limitiniz de artacak. 'LIMIT_PER_AGE' adlı bir kolonla limiti yaşa bölerek yeni bir değişken oluşturalım. Bu sayede aynı limite sahip iki müşteriden daha genç olanını ayırdedebileceğimiz bir değişken oluşturuyoruz. Genç ve yüksek limitli bir müşteri daha cazip bir müşteri olabilir. Aynı zamanda bankaya olan borcunuzla maddi durumunuzun da ilişkisini kurmak yararlı olabilir. Aynı borca sahip iki müşteriden limiti daha yüksek olan daha az riskli bir müşteri olabilir. REMAINING_AMOUNT_1 kolonunu LIMIT_BAL kolununa bölerek yeni bir değişken türetelim. In [8]: #Yeni değişkenler oluşturuyoruz. df_train['limit_per_age'] = df_train['limit_bal'] / df_train['age'] df_train['relative_remaining_amount'] = df_train['remaining_amount_1'] / df_train['limit_bal']

12 Aynı adımları test verisi için de yapalım. In [9]: df_test = pd.read_excel('credit_scoring_test.xls') df_test['age'] = imp.transform(df_test['age'].values.reshape(-1, 1)).ravel() df_test['education'].fillna('missing_edu', inplace = True) df_test['marriage'].fillna('missing_mar', inplace = True) df_education = df_test[ 'EDUCATION' ] df_education = pd.get_dummies(df_education) df_marriage = df_test[ 'MARRIAGE' ] df_marriage = pd.get_dummies(df_marriage) df_test.drop(['customer_id', 'EDUCATION', 'MARRIAGE'], axis=1, inplace=true) df_test = pd.concat([df_test, df_education, df_marriage], axis=1) df_test['limit_per_age'] = df_test['limit_bal'] / df_test['age'] df_test['relative_remaining_amount'] = df_test['remaining_amount_1'] / df_test['limit_bal'] df_test['male'] = (df_test.sex == 'Male')*1 df_test['female'] = (df_test.sex == 'Female')*1 df_test.drop('sex', axis=1, inplace=true) df_test = df_test[df_train.columns] Sınıflandırma ve Değerlendirme Bu aşamada gradient boosting yöntemini kullanacağız (sklearn.ensemble.gradientboostingclassifier). In [10]: #Hedef değişkenleri (default adlı kolon) veri çerçevesinden ayırıyoruz. y_train = df_train.default y_test = df_test.default df_train.drop('default', axis=1, inplace=true) df_test.drop('default', axis=1, inplace=true)

13 Şu an için modelin parametreleriyle oynamıyoruz. Şimdi modeli kuralım. In [11]: #Modeli kurup eğitiyoruz from sklearn.ensemble import GradientBoostingClassifier gbc = GradientBoostingClassifier() gbc.fit(df_train,y_train) Out[11]: GradientBoostingClassifier(criterion='friedman_mse', init=none, learning_rate=0.1, loss='deviance', max_depth=3, max_features=none, max_leaf_nodes=none, min_impurity_decrease=0.0, min_impurity_split=none, min_samples_leaf=1, min_samples_split=2, min_weight_fraction_leaf=0.0, n_estimators=100, presort='auto', random_state=none, subsample=1.0, verbose=0, warm_start=false) Sonuçları değerlendirelim.

14 In [12]: # Modeli değerlendirelim. Bunun için doğruluk ve eğri altı alana bakalım from sklearn.metrics import accuracy_score, roc_auc_score, roc_curve, confusion_matrix print('gradient Boosting') print('accuracy') print(accuracy_score(y_test, gbc.predict(df_test))) print('auc score') print(roc_auc_score(y_test, gbc.predict_proba(df_test)[:,1])) print('confusion Matrix') df_confusion = pd.dataframe(confusion_matrix(y_test, gbc.predict(df_test))) df_confusion.columns = ['Predicted not default', 'Predicted default'] df_confusion.index = ['Actual not default', 'Actual default'] display(df_confusion) Gradient Boosting Accuracy AUC score Confusion Matrix Predicted not default Predicted default Actual not default Actual default Eğri altı alanı görselleştirelim. Kredisini ödeyemeyecek müşterilerin %80'ini tahmin etmek istersek ödeyecek müşteriler için ne kadarlık bir hata payımız oluyor?

15 In [13]: a_gbc, b_gbc, c_gbc = roc_curve(y_test,gbc.predict_proba(df_test)[:,1]) plt.figure(figsize=(10,10)) plt.plot(a_gbc,b_gbc, c='black', label = 'Gradient Boosting', linewidth = 3) plt.title('area Under Curve', fontsize = 16) plt.ylabel('true positive rate', fontsize = 14) plt.xlabel('1 - True negative rate', fontsize = 14) plt.legend(loc = 4) plt.show()

16

17 Eğri altı alan true positive rate (borcunu ödeyemeyeceği doğru bilinen müşteri yüzdesi) ile true negative rate (borcunu ödeyeceği doğru bilinen müşteri yüzdesi) arasındaki ilişkiyi gösterir. True positive rate 0 ise true negative rate 1 oluyor (Herkes ödeyecek şeklinde bir tahmine denk geliyor). Diğer uca bakarsak, herkesi ödeyemeyecek şeklinde tahmin ettiğimizde ödeyecek müşterilerin tamamını yanlış sınıflandırmış oluyoruz. Borcunu ödeyemeyecek müşterilerin %75'ini bilmek istersek borcunu ödeyemeyecek müşterilerde %35 civarında yanlış tahmin yapmamız gerekiyor. Fine Tuning Scikit-learndeki classifier yöntemleri için bir çok parametre seçme opsiyonumuz var. Genelde varsayılan parametreler oldukça başarılı sonuçlar verse de parametrelerle oynamak sonuçları iyileştirebilir. Biz de iterasyon sayısını (n_estimators), modeli oluşturan karar ağaçlarının derinliklerini (max_depth) ve yaprak düğümlerindeki en az gözlem sayısını (min_samples_leaf) değiştirerek başlayalım. Değerlendirme için eğri altı alan değerini kullanacağız. Parametreleri denemek için Grid Search modülünü kullanalım. Bu modülü kullanarak belirleyelim.

18 In [14]: from sklearn.model_selection import GridSearchCV from time import time # Grid search ile denenecek model parametreleri ve değerleri parameters = {"max_depth": [3, 10], "min_samples_leaf": [20, 100], "n_estimators": [50]} # Kullanacağımız model gbc = GradientBoostingClassifier() #Grid search modelini oluşturuyoruz grid_search = GridSearchCV(gbc, param_grid=parameters, scoring = 'roc_auc') start = time() #Modeli eğitiyoruz grid_search.fit(df_train, y_train) print("gridsearchcv took %.2f seconds for %d candidate parameter settings." % (time() - start, len(grid_search.grid_scores_))) GridSearchCV took seconds for 4 candidate parameter settings. C:\Users\byuceoglu\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\model_selection\_search.py:74 7: DeprecationWarning: The grid_scores_ attribute was deprecated in version 0.18 in favor of the more elabora te cv_results_ attribute. The grid_scores_ attribute will not be available from 0.20 DeprecationWarning) In [15]: print(grid_search.best_estimator_) print(roc_auc_score(y_test, grid_search.best_estimator_.predict_proba(df_test)[:,1])) GradientBoostingClassifier(criterion='friedman_mse', init=none, learning_rate=0.1, loss='deviance', max_depth=3, max_features=none, max_leaf_nodes=none, min_impurity_decrease=0.0, min_impurity_split=none, min_samples_leaf=100, min_samples_split=2, min_weight_fraction_leaf=0.0, n_estimators=50, presort='auto', random_state=none, subsample=1.0, verbose=0, warm_start=false)

19 Özniteliklerin Değerlendirilmesi Gradient Boosting için kullanacağımız parametreleri belirledikten sonra modeli bu parametrelerle kurup önemli öznitelikleri belirleyelim. Bu amaçla feature_importances_ değerlerine bakacağız.

20 In [16]: gbc= GradientBoostingClassifier(n_estimators=50, max_depth=3, min_samples_leaf=100) gbc.fit(df_train, y_train) # Özniteliklerin önemi feature_importance = gbc.feature_importances_ df_features = pd.dataframe(feature_importance) df_features.columns = ['Importance'] df_features.index = df_train.columns # Maximum 100 olacak şekilde ağırlıklandırıyoruz feature_importance = * (feature_importance / feature_importance.max()) sorted_idx = np.argsort(feature_importance) pos = np.arange(sorted_idx.shape[0]) +.5 plt.figure(figsize=(10,10)) plt.barh(pos, feature_importance[sorted_idx], align='center') plt.yticks(pos, df_train.columns[sorted_idx]) plt.xlabel('relative Importance') plt.title('variable Importance') plt.show()

21 Bizim oluşturduğumuz öznitelikler oldukça yukarılarda çıktı. Eğitim ve cinsiyetle ilgili değişkenler ise genelde alt sıralarda En önemli değişken ise 1 önceki ayın ödemesindeki gecikme.

22 References Yeh, I. C., & Lien, C. H. (2009). The comparisons of data mining techniques for the predictive accuracy of probability of default of credit card clients. Expert Systems with Applications, 36(2),