Karar ağaçları overfitting e karşı çok hassastır. Birkaç alternatif karar ağacı oluşturulur ve sonuçta oylama yapılarak karar verilir.

Transkript

1 Entropy Bir veri setindeki bozukluğu ifade eder. pi her sınıf için etiketlenen verilerin oranını gösterir. karar ağaçlarında kullanılır. Karar ağaçları (Decision Tree) Makine öğrenmesi kullanılarak, sınıflamaya karar vermek için bir akış şeması oluşturulabilir. Supervized Learning'in bir başka türüdür. Çıktı olarak bir karar ağacı verir. Geçmişe ait işe alım verilerine dayanarak özgeçmişleri filtrelemek için bir sistem oluşturmak istenebilir. Nasıl Çalışır Her adımda bir sonraki adımdaki verilerin entropisini en aza indirgemek için bölümlemede kullanılacak öznitelik bulunur. ID3 Algoritması bir karar ağacı algoritmasıdır. Bu bir greedy (aç gözlü) algoritmasıdır. Sonuca en yaklaştıranı seçen bir algoritmadır. Random Forests Karar ağaçları overfitting e karşı çok hassastır. Birkaç alternatif karar ağacı oluşturulur ve sonuçta oylama yapılarak karar verilir. # YÜKLENMESİ GEREKEN YAZILIMLAR # pip install pydotplus # sudo apt-get install graphviz import numpy as np import pandas as pd from sklearn import tree # csv dosyasını okuduk df = pd.read_csv('eskicalisanlar.csv') df.head() # Algoritmamız verileri sayısal istediği için bizim belirlediğimiz sözlükler # yardımıyla verileri sayısal verilere çevirdik. d={'y':1, 'N':0} df['hired'] = df['hired'].map(d) df['employed?'] = df['employed?'].map(d)

2 df['top-tier school'] = df['top-tier school'].map(d) df['interned'] = df['interned'].map(d) d={'bs':0, 'MS':1, 'PhD':2} df['level of Education'] = df['level of Education'].map(d) # Bizim giriş ve çıkış değişkenlerimizi belirlememiz gerekmektedir. y = df['hired'] # çıktı features = ['Years Experience', 'Employed?', 'Previous employers', 'Level of Education', 'Top-tier school', 'Interned'] x = df[features] # girdiler # Model oluşturuyoruz model = tree.decisiontreeclassifier() # Bir modeli kurmak için sklearn kütüphanesinin fit metodunu kulanmamız gerekir. model = model.fit(x, y) from IPython.display import Image from sklearn.externals.six import StringIO import pydotplus as pyd dot_data = StringIO() tree.export_graphviz(model, out_file=dot_data, feature_names=features) graph = pyd.graph_from_dot_data(dot_data.getvalue()) Image(graph.create_png()) from sklearn.ensemble import RandomForestClassifier # Arkaplanda karar mekanizması için 10 tane ağaç oluşturduk. clf = RandomForestClassifier(n_estimators=10) clf = clf.fit(x,y)

3 print(clf.predict([[10,2,4,0,0,0]])) print(clf.predict([[10,0,4,0,0,0]])) Çıktı: [1] [0] Ensemble Learning Topluluk algoritması Birden fazla model kurulup sonuç oylanır. Sonucu en çok birbirine benzeyen algoritmayı sonuç olarak kullanır. Random Forests algoritması ensemble learning i kullanmak için bagging(önyükleme toplama) kullanır. Boosting(artırma) önceki modellere bakar yanlış sınıflandırılmış veri varsa onları doğru sınıfa koyarak öğrenmeyi artırır. Stacking Support Vector Machines (Destek vektör makinesi) Çok boyutlu veri varsa elimizde bu algritmanın kullanılamsı önerilir. Öyle bir doğru çizeyim ki o doğru verielri doğru bir şekilde ayırsın ve sınıflandırsın Farklı kernel fonksiyonları kullanılabilir. import numpy as np def createclustereddata(n,k): # N veri sayisi, k küme sayısı # np.random.seed(10) pointspercluster = float(n) / k x = [] y = [] for i in range(k): # Dağılımlar yapıldı incomecentroid = np.random.uniform( , ) agecentroid = np.random.uniform(20.0,70.0) for j in range(int(pointspercluster)): x.append([np.random.normal(incomecentroid, ), np.random.normal(agecentroid, 2.0)])

4 y.append(i) x = np.array(x) y = np.array(y) return x, y import matplotlib.pyplot as plt (x, y) = createclustereddata(100, 5) plt.figure(figsize=(8,6)) # figür büyüklüğünü ayarlar. Burada figür büyüklüğümüz 8x6 olarak ayarlandı. plt.scatter(x[:,0], x[:,1], c = y.astype(np.float)) # Grafiğimiz çizildi plt.show() from sklearn import svm, datasets c= 1.0 # penaltı değeri svc = svm.svc(kernel='linear', C=c).fit(x,y) # modelimizi kurduk def plotpredictions(clf): xx, yy = np.meshgrid(np.arange(0,250000, 10), np.arange(10,70,0.5)) # xx ve yy isminda 2 tane matris oluşturduk. z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) # Elimizdeki 2 matrisi z isminde bir değişkene tek boyutlu olarak atadık # Burada ravel komutu çok boyutlu dizileri tek boyuta düşürür. plt.figure(figsize=(8,6)) # Figür boyutumuzu 8x6 inch olarak belirledik. z = z.reshape(xx.shape) plt.contourf(xx, yy, z, cmap = plt.cm.paired, alpha=0.8) # contourf komutu sınır çizgilerini belirlememizi sağlar. plt.scatter(x[:,0], x[:, 1], c= y.astype(np.float))

5 plt.show() plotpredictions(svc)