Hafta 09 -Topluluk Yöntemleri - Boyut Azaltma - Anomali Tespiti

Transkript

1 Hafta 09 -Topluluk Yöntemleri - Boyut Azaltma - Anomali Tespiti BGM Siber Güvenlik için Makine Öğrenme Yöntemleri Bilgi Güvenliği Mühendisliği Yüksek Lisans Programı Dr. Ferhat Özgür Çatak ozgur.catak@tubitak.gov.tr İstanbul Şehir Üniversitesi Bahar

2 İçindekiler 1 Topluluk Yöntemleri (Ensemble) Giriş Bagging meta-estimator Random Forest AdaBoost AdaBoost 2 Boyut Azaltma Temel Bileşen Analizi Doğrusal diskriminant analizi 3 Anomali Tespiti Gaussian Distribution One-class SVM

3 İçindekiler 1 Topluluk Yöntemleri (Ensemble) Giriş Bagging meta-estimator Random Forest AdaBoost AdaBoost 2 Boyut Azaltma Temel Bileşen Analizi Doğrusal diskriminant analizi 3 Anomali Tespiti Gaussian Distribution One-class SVM

4 Topluluk Yöntemleri Ensemble Methods Topluluk Yöntemleri Briden fazla modeli birleştirerek makine öğrenimi sonuçlarını iyileştirmektedir. Tek bir modele kıyasla daha iyi tahmin performansının üretilmesini sağlar. Topluluk yöntemleri, çeşitli makine öğrenme tekniklerini tek bir tahmin modelinde birleştiren meta algoritmalardır.

5 Bagging Meta-Estimator I Bootstrap Aggregation Bagging Orjinal veri kümesinden rassal örnekler alıp farklı sınıflandırıcılar oluşturulması. Temel bir sınıflandırma algoritması kullanılır. Bootstrap: Aynı örneklerin kullanılması bootstrap features: Aynı niteliklerin kullanılması sklearn.ensemble.baggingclassifier

6 Bagging Meta-Estimator II Bootstrap Aggregation Şekil: Bagging -

7 Lab Lab-1

8 Random Forest I Random Forest A random subset of the features. Farklı başlangıç düğümleri oluşturulmaktadır. feature bagging sklearn.ensemble.randomforestclassifier Varsayılan nitelik sayısı: p Diğerleri log2: log 2 (n features) float: int(max features n features) int Bootstrap (default=true): Nitelikler tekrar kullanılacak mı?

9 Random Forest II

10 Lab Lab-2

11 AdaBoost I Boosting Nitelik gösterimlerinin (feature representations) otomatik olarak seçimi Optimizasyon tabanlı yaklaşım choose a representation choose a loss minimize the loss Tanımlar Zayıf öğrenme (weak learning) algoritması Güçlü sınıflandırıcı (Strong classifier) Boosting: Zayıf sınıfladırıcıların ağırlıklı birleştirimi kullanılarak güçlü sınıflandırıcı hipotez oluşturulması

12 AdaBoost II Girdi veri kümesi : x R n, etiketler y { 1, 1} Feature functions: φ j : R n { 1, 1} Ağırlık vektörü: θ = [θ 1 θ 2 ] Güçlü sınıflandırıcı h θ (x) = sign θ j φ j (x) (1) j=1

13 AdaBoost I Adaptive Boosting Algorithm 1: AdaBoost Data: Egitim veri kümesi: X R m n, etiket vektörü: y { 1, 1}, ensemble sayısı: T Result: Güçlü sınıflandırıcı hipotez: h θ 1 w (0) 1 for i = 1,, m ; m 2 for i = 1 T do /* Veri kümesi X ile zayıf hipotez h t oluştur. */ 3 h t train model(x) ; /* Hipotezin ağırlıklı hata toplamını hesapla */ 4 ɛ t = n i=1 (w i I(h t (x) y i ); ( ) 5 α t = 1 ln 1 ɛt ; 2 ɛ t /* zayıf hipotezi α ile Ensemble a ekle */ 6 F t (x) = F t 1 (x) + αf t (x) ; 7 w (t+1) = 1 wt w t e y i α t h t (x i ) // Ağırlıkları güncelle

14 AdaBoost II Adaptive Boosting

15 Lab Lab-3

16 İçindekiler 1 Topluluk Yöntemleri (Ensemble) Giriş Bagging meta-estimator Random Forest AdaBoost AdaBoost 2 Boyut Azaltma Temel Bileşen Analizi Doğrusal diskriminant analizi 3 Anomali Tespiti Gaussian Distribution One-class SVM

17 Temel Bileşen Analizi I Principal Component Analysis (PCA) PCA Bir veri kümesinde bulunan temel bileşenlerin (principal components) bulunmasıdır. Temel bileşenler: verilerdeki temel yapıdır. Varyansın en çok olduğu yönleri bulmaktadır. PCA yeni boyutlar bulmaktadır. Birbirinden bağımsız (linearly independent) Dikgen (orthogonal) PCA PCA: 2 adet eigenvector bulacaktır. Herbir eigenvector uzunluğu eigenvalue ile bulunur.

18 Doğrusal diskriminant analizi I Linear Discriminant Analysis LDA PCA e çok benzer bir algoritmadır. PCA sadece varyansı artıran component axes bulnaktadır. LDA ek olarak, sınıflar arasında uzaklığı maksimize etmeye çalışmaktadır.

19 Doğrusal diskriminant analizi II Linear Discriminant Analysis Adımlar Her bir sınıf için d boyutlu ortalama vektörünü hesapla Scatter matrix (in-between-class and within-class scatter matrix) Eigenvectors and eigenvalues of scatter matrix En yüksek k eigenvalue ait eigenvector kullanılarak girdi matrisi X, k boyuta indirilir.

20 Lab Lab-4

21 İçindekiler 1 Topluluk Yöntemleri (Ensemble) Giriş Bagging meta-estimator Random Forest AdaBoost AdaBoost 2 Boyut Azaltma Temel Bileşen Analizi Doğrusal diskriminant analizi 3 Anomali Tespiti Gaussian Distribution One-class SVM

22 Gaussian Distribution I from scipy.stats import norm In [21]: norm.pdf(177,180,2) Out[21]: In [22]: norm.pdf(178,180,2) Out[22]: In [23]: norm.pdf(179,180,2) Out[23]: In [24]: norm.pdf(180,180,2) Out[24]: In [25]: norm.pdf(181,180,2) Out[25]: In [26]: norm.pdf(182,180,2) Out[26]: In [27]: norm.pdf(183,180,2) Out[27]:

23 Gaussian Distribution II Gaussian Distribution Bir fonksiyon tarafından tanımlanabilen tanıdık bir çan şeklinde eğridir. N (µ, σ 2 ) Gauss dağılımı ortalama ve varyans ile ifade edilmektedir. µ: ortalama (eğrinin ortası) σ: standart sapma (eğrinin genişliği) p(x; µ, σ 2 ) = 1 σ (2π) e 1 2 ( x µ σ ) 2 (2) µ = 1 m m x (i) (3) i=1 σ 2 = 1 m m i=1 ( x (i) µ) 2 (4)

24 Gaussian Distribution III Algoritma D = {x (i),, x (m) } where x R n and D R m n Independence Assumption: p(x) = p(x 1 ; µ 1, σ1)p(x 2 2 ; µ 2, σ2) 2 p(x n; µ n, σn) 2 n = p(x j ; µ j, σj 2 ) j=1 (5)

25 Lab Lab-5

26 One-class SVM One-class SVM Unsupervised SVM karar sınırını maksimize etmeye çalışmaktadır. Bütün örnekler +1 orjin uzakta bir nokta ise -1 olacak şekilde yapılmaktadır. sklearn.svm.oneclasssvm

27 Lab Lab-6