İSTATİSTİKSEL DARALTICI (SHRINKAGE) MODEL VE UYGULAMALARI * A Statistical Shrinkage Model And Its Applications*

Transkript

1 Ç.Ü. Fen Bilimleri Enstitüsü Yıl:010 Cilt:-1 İSTATİSTİKSEL DARALTICI (SHRINKAGE) MODEL VE UYGULAMALARI * A Statistical Shrinkage Model And Its Applications* Işıl FİDANOĞLU İstatistik Anabilim Dalı Fikri AKDENİZ İstatistik Anabilim Dalı ÖZET Bu çalışmada Bridge, LASSO ve Ridge tahmin ediciler verilerek, içilişki problemi incelenmiş, büzülme ve ayar parametreleri irdelenmiştir. Uygun bir veri kümesi ile tahmin ediciler karşılaştırılmıştır. Anahtar Kelimeler : Ridge regresyon, LASSO, Bridge tahmin edicileri, Daraltıcı modeller ABSTRACT In this study, Bridge, LASSO and Ridge estimators are given, collinearity problem is inspected, tuning and shrinkage parameters are examined. The estimators were compared with an appropriate set of data. Key Words : Ridge regression, LASSO, Bridge estimators, Shrinkage models Giriş y X (1) lineer regresyon modelini düşünelim. Burada, y ; n 1 tipinde rastgele yanıtlar vektörü, X ; n p tipinde tasarım matrisi, ; p 1 tipinde regresyon parametrelerinin vektörü, ; n 1 tipinde rastgele hatalar vektörü ~ (0; ) iid N dir. Amacımız; (1) nolu modeldeki yı tahmin etmektir. Bunun için T RSS y X y X = T * Yüksek Lisans Tezi-MSc. Thesis 138

2 Ç.Ü. Fen Bilimleri Enstitüsü Yıl:010 Cilt:-1 kareler toplamı kullanılır ve minimum yapan bulunur. nın en küçük kareler tahmin edicisi 1 ˆ T T OLS X X X y dir. ˆOLS ; Gauss-Markov koşulları altında en iyi lineer yansız tahmin edicidir (BLUE). Ancak yansızlık ve minimum varyans ˆOLS için her zaman yeterli değildir. 1. Regresyon matrisi X tam ranklı değilse, tahmin edici tek değildir. Aslında hata kareler toplamını minimum yapan pek çok tahmin edici vardır.. Regresyon matrisi X de yaklaşık içilişki problemi varsa EKK tahmin edici yine yansızdır fakat ˆ T 1 Var X X varyansı büyük olur. OLS Örneğin iki açıklayıcı değişkenli basit regresyon problemini düşünelim. y x x 1 1 Buradaki ~ N(0; ) dağılımına sahiptir. Regresörler arası içilişkinin etkilerini örnekte gösterelim. Kolaylık için x 0, x 1, 1, ve ile regresyon vektörleri x 1 ve tahmin edicisinin varyans-kovaryans matrisi 1 x yi standartlaştırıyoruz. ˆ ˆ ˆ OLS 1 ve Var Var ˆ 1 1 OLS X X ˆ 1 1 r 1 r r 1, 1, 1 r 139

3 Ç.Ü. Fen Bilimleri Enstitüsü Yıl:010 Cilt:-1 dir. x 1 ve x açıklayıcı değişkenleri ilişkisiz ise, ilişkili ise Var ˆ çok büyük olacaktır. Tablo 1. Korelasyon katsayıları ile artan varyans r Var ˆ Var ˆ 1 fakat x 1 ve x LASSO ve Ridge Regresyon Tahminleri LASSO ve Ridge regresyon, tahminleri dengelediği için Büzülme Modelleri olarak adlandırılırlar. LASSO ve Ridge regresyon farklı cezalandırma kullanırlar. Tibshirani (1996) En Küçük Mutlak Büzülme ve Operatör Seçimini (LASSO, Least Absolute Shrinkage And Selection Operator); t koşulu ile min y X y X olarak vermiştir. LASSO, EKK tahmin edicisi ˆOLS yi sıfıra büzebilir ve böylece bazı değerleri için ˆ 0 olabilir. Ridge regresyonun amaç fonksiyonu (Hoerl ve Kennard, 1970) n m m yi 0 xi R i1 1 1 dir. Problemin çözümü min 1 R ˆ T T rdg X X I X y dir. Varyansı R > 0 için ˆOLS den daha küçüktür. 140

4 Ç.Ü. Fen Bilimleri Enstitüsü Yıl:010 Cilt:-1 Var( ˆ ) ( X X I) X X ( X X I) 1 1 rdg R R Var( ˆ ) ( X X ) ols 1 L ve R parametreleri büzülme miktarını kontrol eder ve sıfır veya daha büyük değerler seçilmelidir. Eğer parametre 0 ise; EKK gibi LASSO ve Ridge regresyonun sonuçları da aynıdır Ridge regresyonun büzülme etkisini örneklendirelim. İki açıklayıcı değişkenli bir lineer regresyon problemini düşünelim. Ridge tahmin edicinin varyansı 1 1 ˆ 1 r 1 r 1 r Var( rdg ) r 1 r 1 r 1 yanlılık 1 ˆ 1 r 1 r 1 1 Bias( rdg ) r 1 r 1 ve hata kareler ortalaması ile verilir. MSE Var( ˆ ) ( ˆ Bias ) Tablo. Ridge tahmin edicinin varyansı, yanlılık ve MSE değerleri Var bias r Var bias Var bias Var bias MSE MSE MSE MSE bias ve MSE değerleri gerçek (1 1) ile hesaplanmıştır. 141

5 Ç.Ü. Fen Bilimleri Enstitüsü Yıl:010 Cilt:-1 Yukarıdaki tabloda ya göre bias nin artışı görülmektedir. (Bias), bias( ˆ ) (1 r) olarak hesaplanmıştır ( 1 1 özel durumu için). Varyans değerlerinde arttıkça azalma görülmektedir. MSE değeri ise; =0 dan 1 e giderken azalmakta; =1 den 5 veya 10 a giderken artmaktadır. Bridge Tahmin Edicileri kısıtı ile min y X y X 0 ile t ifadesini minimum yapan ˆn değerine Bridge tahmin edici denir (Frank ve Friedman, 1993; Fu, 1998). iken çok iyi bilinen Ridge tahmin edici, 1 iken LASSO tahmin edici adını alır (Tibshirani, 1996). Şekil 1 de t 1 için parametre uzayında oriin çevresinde farklı tahminler gösterilmiştir (Frank ve Friedman, 1993). Bridge Tahmin Edicinin Yapısı 1 verilmişken Bridge regresyonun çözümünde aşağıdaki iki problem dikkate alınır (Fu, 1998). 1 ve t 0 verilmişken t koşulu ile min RSS 1 ve 0 verilmişken min RSS () (3) Bu problemin ikisi de denktir. İki problem de aynı çözümü paylaşır. (3) problemi regresyon gibi yorumlanabilir. ceza ve ayar parametresi ile cezalı 14

6 Ç.Ü. Fen Bilimleri Enstitüsü Yıl:010 Cilt:-1 Şekil 1. İki boyutlu parametre uzayında Bridge regresyonun sınırlandırıldığı bölge (Fu,1998) 143

7 Ç.Ü. Fen Bilimleri Enstitüsü Yıl:010 Cilt:-1 () yi düşünürsek, G, X, y,, RSS olsun. 0 da fonksiyonu diferansiyellenebilir olmadığından, 0 da G nin ye göre kısmi türevini alabiliriz. RSS S (, X, y) G olsun. 0 alındığında ve 1 d(,, ) sign( ) S1(, X, y) d( 1,, ) 0 S p(, X, y) d( p,, ) 0 (4) yazılabilir (Fu, 1998). Bridge Tahmin Edicinin Varyansı 1 Bridge tahmin edici, (4) ün tek çözümü olduğundan ve yaklaşık olarak sıfıra eşit olmadığından, varyansı 1 1 ˆ ˆ ( ) ˆ Var X X D X Var y X X X D (5) y0 y0 Delta metodu kullanılarak (4) ten çıkarılır.aşağıda özel durum verilmiştir. 1. OLS regresyon, 0 D ˆ fonksiyonu sıfır matrisi olur. Böylece. ˆ ( ) 1 1 Var X X X Var y X X X 144

8 Ç.Ü. Fen Bilimleri Enstitüsü Yıl:010 Cilt:-1. Ridge regresyon,. I birim matris ve D ˆ ˆ ( ) ) 1 1 Var X X I X Var y X X X I Bu ridge tahmin edicinin varyansı, Var ˆrdg e eşittir. I olmak üzere LASSO bazı ˆ 0 yaptığı için delta metodu uygulanamaz. Buna rağmen bootstrap ve ackknife metodu (Shao ve Tu, 1995) varyans hesaplamada kullanılabilir. Lineer Regresyon Modeli ve Uygulama 40 gözlemli ve 5 açıklayıcı değişkenli Y x x x x x (6) basit modelinin simülasyonunda Bridge model ile OLS, LASSO ve Ridge i N 0, dir. İçilişkide büzülme etkisini sınamak için karşılaştıralım. ~ güçlü lineer korelasyonlu X matrisi seçilir. Doğru model 0 katsayısını içerdiğinde LASSO Ridge den daha iyi ve doğru model küçük fakat sıfır olmayan parametreler içerdiğinde de LASSO Ridge den daha kötü performans gösterdiğinden; Gerçek değerinin iki kümesi, 0 katsayılı modeldeki büzülme etkisini sınaması için seçilir. Sıfır içeren ve küçük katsayılı fakat sıfır içermeyen modeller: (a) modeli için 0 0 0, 0, 0.5, 0, 1 T ve (b) modeli sabit terimi ile true sabit terimi ile 0.5, 3, 1.0,.5, 9 T dir. için 0 0 true 145

9 Ç.Ü. Fen Bilimleri Enstitüsü Yıl:010 Cilt:-1 Tablo kez tekrarlayan simülasyonla model karşılaştırılması Model (a) EKK Bridge LASSO Ridge (0.071) (0.071) (0.071) (0.071) (0.074) (0.046) (0.046) (0.069) (0.087) (0.060) (0.060) (0.083) (0.081) (0.080) ( (0.080) (0.837) (0.366) (0.366) (0.196) (0.843) (0.375) (0.375) (0.04) MSE (0.061) (0.059) (0,059) 1.1 (0.057) Model (b) EKK Bridge LASSO Ridge (0.757) 0.003(0.757) (0.757) (0.757) (0.860) (0.783) (0.791) (0.783) (0.789).956 (0.768).987 (0.773).913 (0.730) (0.811) (0.769) (0.779) (0.757) (0.837) (4.715) (4.877) (1.610) 9.05 (7.86) (4.883) (5.04) 6.57 (1.819) MSE (5.97) (5.50) (5.5) (5.70) Tablo 3; parametre tahminleri, parantezlerde standart hataları, EKK in, Bridge, LASSO ve Ridge modellerin MSE değerlerini gösterir. (a) modelinde; Bridge ve LASSO sonra da Ridge en küçük MSE değerini elde eder. İçilişki nedeniyle EKK en büyük MSE ye sahiptir. (b) modelinde; En küçük MSE ye sırasıyla Ridge, Bridge, LASSO ve EKK sahiptir. 146

10 Ç.Ü. Fen Bilimleri Enstitüsü Yıl:010 Cilt:-1 Sonuçlar Yukarıdaki örnekte görülüyor ki, Bridge regresyon EKK tahminlerini büzer; küçük varyans ve küçük MSE elde edilir. Bridge tahmin edici, LASSO ve Ridge tahmin ediciye kıyasla ve EKK tahmin ediciye göre daha iyi performans gösterir. Gerçek parametresi 0 ı içerdiğinde LASSO Ridge den daha iyi, sıfır olmayan fakat küçük parametreler içerdiğinde ise Ridge regresyon LASSO dan daha iyi performans gösterir. Kaynaklar FRANK, I. E. ve FRİEDMAN, J. H., A Statistical View of Some Chemometrics Regression Tools, Technometrics 35: FU, W. J., Penalized Regressions: The Bridge Versus The LASSO, J. Computational and Graphical Statistics, 7: HOERL, A. E. ve KENNARD, R. W., Ridge Regression: Biased Estimation For Nonorthogonal Problems, Technometrics, 1: SHAO, J. ve TU, D., The Jackknife and Bootstrap, Springer New York. TİBSHİRANİ, R., Regression Shrinkage And Selection Via The LASSO, J. Roy. Statist. Soc., Ser. B, 58: