ÇUKUROVA ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ

Transkript

1 ÇUKUROVA ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ YÜKSEK LĠSANS TEZĠ Işıl FĠDANOĞLU ĠSTATĠSTĠKSEL DARALTICI (SHRINKAGE) MODEL VE UYGULAMALARI ĠSTATĠSTĠK ANABĠLĠM DALI ADANA, 009

2 ÇUKUROVA ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ ĠSTATĠSTĠKSEL DARALTICI (SHRINKAGE) MODEL VE UYGULAMALARI Işıl FĠDANOĞLU YÜKSEK LĠSANS TEZĠ ĠSTATĠSTĠK ANABĠLĠM DALI Bu tez.../.../... Tarhnde Aşağıdak Jür Üyeler Tarafından Oybrlğ/ Oyçokluğu Ġle Kabul Edlmştr. İmza... İmza.... İmza.... Prof. Dr.Fkr AKDENİZ Prof. Dr.Olcay ARSLAN Prof. Dr. Altan ÇABUK DANIŞMAN ÜYE ÜYE Bu tez Ensttümüz İstatstk Anablm Dalında hazırlanmıştır. Kod No: Prof. Dr. Azz ERTUNÇ Ensttü Müdürü İmza ve Mühür Not: Bu tezde kullanılan özgün ve başka kaynaktan yapılan bldrşlern, çzelge, şekl ve fotoğrafların kaynak gösterlmeden kullanımı, 5846 sayılı Fkr ve Sanat Eserler Kanunundak hükümlere tabdr.

3 ÖZ YÜKSEK LİSANS İSTATİSTİKSEL DARALTICI (SHRINKAGE) MODEL VE UYGULAMALARI Işıl FİDANOĞLU ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ İSTATİSTİK ANABİLİM DALI Danışman: Prof. Dr. Fkr AKDENİZ Yıl: 009, Sayfa: 83 Jür: Prof. Dr. Fkr AKDENİZ : Prof. Dr. Olcay ARSLAN : Prof. Dr. Altan ÇABUK Brdge Regresyon, 1 koşulu le penalty (ceza) fonksyonu, cezalı regresyonun özel türüdür. Brdge tahmn edcs; 1 çn atış metodu ya da 1 çn düzeltlmş Newton-Raphson metodu le cezalı skor denklemlernn çözülmes sonucu elde edlr. Brdge tahmn edc, yanlılığı braz gözden çıkarma le küçük varyanslar verr ve böylece doğrusal regresyon modelnde mevcut açıklayıcı değşkenler arasında lşk olduğunda, küçük hata kareler ortalaması ve küçük hata tahmn elde edlr. Cezalandırma kavramı; ortak lkelhood fonksyonlarının oluşuna rağmen, cezalandırmanın uygulanmasını sağlarken, cezalı skor denklemler le genelleştrlr. Cezalandırma, genelleştrlmş lneer modeller (GLM) ve genelleştrlmş tahmn denklemlernden (GEE) sonra uygulanır. Ceza parametres ve düzen (ayar) parametres ; genelleştrlmş çapraz geçerllk test (GCV) le seçlr. Yarı-GCV; cezalı genelleştrlmş tahmn denklemler çn parametre seçmeye gelştrlr. Anahtar Kelmeler: Brdge Regresyon, Cezalı Genelleştrlmş Tahmn Denklemler, LASSO, Rdge regresyon I

4 ABSTRACT MSc THESIS A STATISTICAL SHRINKAGE MODEL AND ITS APPLICATIONS Işıl FİDANOĞLU DEPARTMENT OF STATISTICS INSTITUTE OF NATURAL AND APPLIED SCIENCES UNIVERSITY OF ÇUKUROVA Supervsor: Prof. Dr. Fkr AKDENİZ Year: 009 Pages: 83 Jury : Prof. Dr. Fkr AKDENİZ : Prof. Dr. Olcay ARSLAN : Prof. Dr. Altan ÇABUK Brdge regresson, a specal type of penalzed regresson of a penalty functon wth 1 s consdered. The Brdge estmator s obtaned by solvng the penalzed score equatons va the modfed Newton-Raphson method for 1 or the Shootng method for 1. The Brdge estmator yelds small varance wth a lttle sacrfce of bas. And thus acheves small mean squared error and small predcton error when collnearty s present among regressors n a lnear regresson model. The concept of penalzaton s generalzed va the penalzed score equatons, whch allow the mplementaton of penalzaton regardless of the exstence of ont lkelhood functons. Penalzaton s then appled to generalzed lnear models and generalzed estmatng equatons (GEE). The penalty parameter and the tunng parameter are selected va the generalzed cross-valdaton (GCV). A quas-gcv s developed to select the parameters for the penalzed GEE. Key Words: Brdge regresson, LASSO, Rdge regresson, Penalzed Generalzed Estmatng Equatons II

5 TEŞEKKÜR Çukurova Ünverstes, Fen Edebyat Fakültes, İstatstk Anablm dalında Yüksek Lsans tez olarak hazırlanan bu çalışma Prof. Dr. Fkr Akdenz danışmanlığında gerçekleştrlmştr. Bu tezn başlangıcından btşne kadar sahp olduğu engn blg ve deneymn benden esrgemeyen, değerl zamanını bana ayıran sevgl hocam ve danışmanım Prof. Dr. Fkr Akdenz e sonsuz teşekkür ederm. Ayrıca eğtm ve öğretm hayatım boyunca benden madd ve manev katkılarını esrgemeyen aleme teşekkürlerm br borç blrm. III

6 İÇİNDEKİLER SAYFA ÖZ... I ABSTRACT... II TEŞEKKÜR... III İÇİNDEKİLER... IV TABLOLAR LİSTESİ... VI ŞEKİLLER LİSTESİ... VII KISALTMALAR... VIII 1. GİRİŞ Grş Daraltıcı Modellerde Bazı Temel Blgler Büzücü Regresyon Tahmnler LASSO ve Rdge Regresyon Tahmnler Brdge Tahmn Edcler nın Seçm BRİDGE REGRESYON Grş Brdge Tahmn Edcnn Yapısı Brdge ve LASSO Tahmn Edcler çn Algortmalar Brdge Tahmn Edcnn Varyansı Büzülme Etksnn Gösterm Ortonormal Matrs çn Brdge Regresyon Bayesç Pror Olarak Brdge Ceza Ayar Parametres ve t Arasındak İlşk CEZALI SKOR DENKLEMLERİ Grş Genelleştrlmş Tahmn Denklemler ve Lkelhood Yarı-Lkelhood ve Yarı-Skor Fonksyonları Cezalı Skor Denklemler Cezalı Skor Denklemler çn Algortmalar 46 IV

7 4. CEZALI GEE Grş Genelleştrlmş Tahmn Denklemler Cezalı GEE BÜZÜLME PARAMETRESİNİN SEÇİMİ Grş Çapraz Geçerllk ve Genelleştrlmş Çapraz Geçerllk Test GCV le ve Parametrelernn Seçm Cezalı GEE çn Yarı GCV SİMÜLASYON ÇALIŞMALARI Lneer Regresyon Model Karmaşık Lneer Regresyon Model SONUÇ VE ÖNERİLER Sonuçlar Önerler KAYNAKLAR.. 74 ÖZGEÇMİŞ EKLER (Tanım ve Matlab Kodları).. 79 V

8 TABLOLAR LİSTESİ SAYFA Tablo 1.1. Korelasyon katsayıları le artan varyans... 3 Tablo 1.. Rdge tahmn edcnn varyansı, yanlılık ve MSE değerler... 7 Tablo.1. Ortonormal X çn Brdge tahmn edcler ve standart hatalar... 4 Tablo.. Ortonormal olmayan X çn Brdge tahmn edcler ve standart hatalar... 6 Tablo kez tekrarlayan smülasyonla model karşılaştırılması Tablo 6.. Farklı değerler çn MSE r ve PSE r nn ortalama ve standart hataları... 7 VI

9 ŞEKİLLER LİSTESİ SAYFA Şekl 1.1. İk boyutlu parametre uzayında t=1 çn Brdge regresyonun sınırlandırıldığı bölge... 9 Şekl.1. nın farklı değerler çn RHS fonksyonunun farklı şekller Şekl.. Algortmalar Şekl.3. Sabt 0 çn Brdge regresyonların büzülme etks... 8 Şekl le Bayesç pror olarak Brdge ceza Şekl le Bayesç pror olarak Brdge ceza... 3 Şekl.6. p ve 1 c özel durumu çn t grafğ Şekl 5.1. GCV le ve parametrelernn seçm Şekl 5.. Yarı- GCV le ve parametrelernn seçm... 6 VII

10 KISALTMALAR CV EKK GCV GEE GLM IRLS LHS ML MLE MNR MSE OLS PCR PSE RHS RSS : Çapraz GeçerllK Test (Cross-Valdaton) : En Küçük Kareler : Genelleştrlmş Çapraz Geçerllk Test (Generalzed Cross-Valdaton) : Genelleştrlmş Tahmn Denklemler (Generalzed Estmaton Equatons) : Genelleştrlmş Lneer Modeller : Yenden Ağırlıklandırılmış En Küçük Kareler : Sol kısımdak fonksyon (Left Hand Sde) : Maksmum lkelhood : Maksmum lkelhood tahmncs (Maxmum Lkelhood Estmator) : Düzeltlmş Newton-Raphson (Modfed Newton-Raphson) : Hata Kareler Ortalaması (Mean Squares Error) : En Küçük Kareler (Ordnary Least Squares) : Temel Bleşenler Regresyonu (Prncpal Component Regresson) : Öntahmn Hata Kareler Ortalaması (Predcted Squares Error) : Sağ kısımdak fonksyon (Rght Hand Sde) : Hata Kareler Toplamı (Resdual Sum of Squares) VIII

11 1. GĠRĠġ IĢıl FĠDANOĞLU 1. GİRİŞ 1.1. Grş Halk sağlığı çalıģmalarında ya da brçok uygulamalı blm dalında araģtırmacılar, yanıt (response) değģkenler ve açıklayıcı değģkenler arasındak lģklerle lglenrler. Örneğn göğüs kanser çalıģmasında, nüfusta kanser artıģındak olasılığın hastanın det, yaģı, boyu ve ağırlığı gb bazı potansyel rsk faktörlerne bağlı olup olmadığını blmek sterler. Ġstatstksel analzlern amacı, meydana gelen olaya öneml katkıda bulunması nedenyle rsk faktörlern belrlemektr. Çok nadr, olasılık teors ve statstksel modelleme merkezl olan analz, regresyon dedğmz statstksel süreç boyunca yürütülür. Regresyon analz, rsk faktörlernn bulunması çn blg sağlar ve böylece blmsel kararlar alarak araģtırmacılara yardımcı olur. Bazı çalıģmalarda açıklayıcı değģkenlerde doğrusal lģk mevcuttur, bazıları dğerlerne doğrusal olarak bağlıdır. Buna çlģk denr. Açıklayıcı değģkenler arasındak çlģknn varlığı regresyon modellernde genģ varyasyona ve belrszlğe neden olduğundan, model parametrelernn tahmn büyük varyansa sahp olur ve model üzerndek öntahmn çok zayıf olur. Bu yüzden modeller araģtırmacıların htyaçlarına uygun olmaz. Bu tezde çlģk problem araģtırılmıģ ve statstksel metot olan Brdge cezalandırma teknğ önerlmģtr. Ayrıca statstksel smülasyonlar gösterlmģ ve bu metot tahmn ve öngörü bakımından y çalıģmıģtır. 1.. Daraltıcı Modellerde Bazı Temel Blgler y X (1.1) lneer regresyon modeln düģünelm. Burada, y ; n 1 tpnde rasgele yanıtlar vektörü, X ; n p tpnde tasarım matrs, ; p 1 tpnde regresyon 1

12 1. GĠRĠġ IĢıl FĠDANOĞLU parametrelernn vektörü, ; 1 n tpnde rasgele hatalar vektörü ~ d N(0; ) dr. Amacımız; (1.1) nolu modeldek yı tahmn etmektr. Bunun çn RSS y X y X = T kareler toplamı kullanılır ve mnmum yapan bulunur. nın en küçük kareler tahmn edcs ve 1 ˆOLS X X X y Var 1 ˆOLS X X dr. Yan herhang br lneer yansız tahmn edc ˆ çn; ˆ Ay, E( ˆ ) ve Var ˆ ˆ OLS Var dr. Bu nedenle ˆOLS ; Gauss-Markov koģulları altında en y lneer yansız tahmn edcdr (BLUE). Ancak yansızlık ve mnmum varyans ˆOLS çn her zaman yeterl değldr. 1. Regresyon matrs X tam ranklı değlse, tahmn edc tek değldr. Aslında hata kareler toplamını mnmum yapan pek çok tahmn edc vardır.. Regresyon matrs X de yaklaģık çlģk problem varsa EKK tahmn edc yne yansızdır fakat 1 Var X X ˆOLS Hata kareler ortalaması (MSE) varyansı büyük olur. ˆ MSE E ( ) ( ˆ ) bas( ) Var( ˆ ) Var( ˆ ) dr. Örneğn k açıklayıcı değģkenl bast regresyon problemn düģünelm. y x x 1 1

13 1. GĠRĠġ IĢıl FĠDANOĞLU Buradak ~ N(0; ) dağılımına sahptr. Regresörler arası çlģknn etklern örnekte gösterelm. Kolaylık çn x 0, x 1, 1, ve 1 le regresyon vektörler x 1 ve x y standartlaģtırıyoruz. Örneklem korelasyon katsayısı r x 1 x ve x1 x 1 1 x r 1 x xx x r 1 x1 x x dr. Böylelkle ˆ ˆ ˆ OLS 1 tahmn edcsnn varyans-kovaryans matrs ve Var Var ˆ 1 1 OLS X X ˆ 1 1 r 1 r r 1, 1, 1 r dr. x 1 ve x açıklayıcı değģkenler lģksz se, yan 0 ve x lģkl se ˆ Var ˆ 10.6 dır. r se, Var ˆ 1 fakat x 1 Var çok büyük olacaktır. Örneğn r 0.95 çn Tablo 1.1. Korelasyon katsayıları le artan varyans r Var ˆ Hata kareler ortalaması tahmnn doğruluğunu yansıttığından, büyük MSE kötü tahmn anlamına gelr. X te çlģk varsa, ˆOLS ye dayalı öntahmn çok kötü performans verecektr. Örneğn açıklayıcı değģkenl öntahmn hata kareler 3

14 1. GĠRĠġ IĢıl FĠDANOĞLU ortalamasını (PSE) düģünelm. OLS tahmn edcs ˆ le x noktada öntahmn hatasının beklenen değer, y * * gb keyf br * * ˆ E PSE E y x * * * x ˆ E x ˆ bas x ˆ * * Var x 1 * * 1 x X X x olur. Buradak * ; öntahmn noktasındak rasgele hata, ; rasgele hataların varyansıdır. Böylece PSE değer * x vektörünün konumuna bağlıdır. T Özel olarak yüksek çlģkl X X dag( ) alalım. E( PSE) 1 x 1000x * * 1 dr. * x «* 1 yeterldr. Aks halde yüksek çlģk yüzünden ĢĢrlmĢtr. max 1, x se hatanın öntahmn * x nn faktörü büyük ölçüde Çoklu çlģk, Hoerl ve Kennard (1970a,b), Lawson ve Hansen (1974), Seber (1977), Sen ve Srvastava (1990), Frank ve Fredman (1993), Hockng (1996) de detaylı olarak ncelenmģtr Büzücü Regresyon Tahmnler LASSO ve Rdge Regresyon Tahmnler LASSO ve Rdge regresyon, tahmnler dengeledğ çn Büzülme Modeller olarak adlandırılırlar. LASSO ve Rdge regresyon farklı cezalandırma kullanırlar. y X lneer regresyon model çn her br bleģen 4

15 1. GĠRĠġ IĢıl FĠDANOĞLU y m x, =1,,,n 0 1 olsun. Tbshran (1996) En Küçük Mutlak Büzülme ve Operatör Seçmn (LASSO, Least Absolute Shrnkage And Selecton Operator); t koģulu le mn y X y X olarak vermģtr. LASSO, EKK tahmn edcs ˆOLS bazı değerler çn ˆ 0 olablr. LASSO regresyonun amaç fonksyonu y sıfıra büzeblr ve böylece n m m y x mn 0 L Ct (), t ye bağlı ve den bağımsız poztf br sabt olmak üzere, Tbshran (1996) ortonormal X matrs çn LASSO tahmn edcsn OLS OLS lasso sgn Ct, =1,,,p ˆ ( ) ˆ ( ) ˆ ( ) () olarak vermģtr. t parametres genelleģtrlmģ çapraz geçerllk test (GCV) le optmze edlr. LASSO sadece 0 a büzen değl, aynı zamanda y tahmn sağladığı da smülasyon çalıģmalarından görülmektedr (Fu, 1998). Rdge regresyonun amaç fonksyonu n m m y 0 x R dr. Problemn çözümü mn 1 R ˆ T T rdg X X I X y 5

16 1. GĠRĠġ IĢıl FĠDANOĞLU yanlı rdge tahmn edcs, R 0 olduğunda ˆOLS tahmn edcsne büzülür. dr. ˆrdg Buradak, yanlılık/ayar parametresdr. Varyansı küçüktür. R > 0 çn ˆOLS den daha Var( ˆ ) ( X X I) X X( X X I) 1 1 rdg R R Var( ˆ ) ( X X) OLS 1 L ve R parametreler büzülme mktarını kontrol eder ve sıfır veya daha büyük değerler seçlmeldr. Eğer parametre 0 se; EKK gb LASSO ve Rdge regresyonun sonuçları da aynıdır. Parametre seçm CV (çapraz geçerllk test) veya bootstrap le olur. Öntahmn hatasını mnmze edecek Ģeklde seçlmeldr. Rdge ve LASSO regresyon PCR (Temel BleĢenler Regresyonu) ve değģken seçmne alternatftr. Rdge regresyon, regresyon modelndek tüm x değģkenlern kullanırken, LASSO regresyon sadece x değģkenlernn br alt kümesn kullanır. Her k model de, en y model bulmak çn parametre seçmne bağlıdır (Hoerl ve Kennard, 1970a; Tbshran, 1996; Varmuza ve Flzmoser, 009). Daraltıcı modeller le lgl çok sayıda çalıģma bulunmaktadır. Knght ve Fu (000), LASSO tpl tahmn edclern asmptotk özellklern çalıģmıģ; Fan ve L (001), lneer regresyonda cezalı lkelhood metotlarını çalıģmıģtır ve LASSO, Rdge ve Brdge bunun özel durumlarıdır. Huang (003), LASSO tahmn edcsnn öntahmn hatasını vermģ ve LASSO tahmn edcy genelleģtrmģtr. Yuan ve Ln (004), Grup LASSO yu; Tbshran ve ark. (005), BrleĢtrlmĢ LASSO yu (Fused-LASSO) önermģlerdr. Zou ve Haste (005), Brdge tahmn edcler çalıģmıģ ve buradan yola çıkarak Elastc-Net tahmn edclern önermģlerdr. Wang, L ve Tsa (007), DüzeltlmĢ LASSO önermģ ve bunun çn algortma vermģtr. Huang ve ark. (008), 0 1 le Brdge regresyonun asmptotk özellklern çalıģmıģtır. Rdge ve LASSO regresyon çn amaç fonksyonlarındak tek fark, regresyon katsayılarını farklı cezalandırma yoludur. Rdge regresyon L normu (regresyon 6

17 1. GĠRĠġ IĢıl FĠDANOĞLU katsayılarının kareler toplamı) le cezalandırılırken, LASSO regresyon L 1 normu (regresyon katsayılarının mutlak değer toplamı) le cezalandırılır. Rdge regresyonun büzülme etksn örneklendrelm. Ġk açıklayıcı değģkenl br lneer regresyon problemn düģünelm. Rdge tahmn edcnn varyansı 1 1 ˆ 1 r 1 r 1 r Var( rdg ) r 1 r 1 r 1 yanlılık 1 ˆ 1 r 1 r 1 1 Bas( rdg ) r 1 r 1 ve hata kareler ortalaması le verlr. MSE Var( ˆ ) ( ˆ Bas ) Tablo 1.. Rdge tahmn edcnn varyansı, yanlılık ve MSE değerler r Var bas MSE Var bas MSE Var bas MSE Var bas MSE bas ve MSE değerler gerçek (1 1) le hesaplanmıştır. 7

18 1. GĠRĠġ IĢıl FĠDANOĞLU x 1 ve x lģksz se, yan r 0 se, 1 çn Var ˆ ( rdg ) 1 (1 ) çn Var( ˆ ) 1 den daha küçüktür. Eğer x 1 ve x lģkl se, örneğn OLS r 0.9 se, 1 çn Var( ˆ ) 0.15, 0 çn Var( ˆ ) 5.6 dan çok rdg OLS daha küçüktür. Yukarıdak tabloda ya göre bas nn artıģı görülmektedr. (Bas), bas ( ˆ ) (1 r) olarak hesaplanmıģtır ( 1 1 özel durumu çn). Varyans değerlernde arttıkça azalma görülmektedr. MSE değer se; =0 dan 1 e gderken azalmakta; =1 den 5 veya 10 a gderken artmaktadır. LASSO regresyon katsayıları y nn br fonksyonu olarak yazılamaz. Kuadratk programlama le optmze edlerek çözümü bulunablr (Tbshran, 1996) Brdge Tahmn Edcler AĢağıdak cezalı hata kareler toplamını n P n ( ) ( ) 1 1 L y x ya da eģdeğer olarak kısıtı le mn y X y X 0 le t yı mnmum yapan ˆn değerne Brdge tahmn edc denr (Frank ve Fredman, 1993; Fu, 1998). ken çok y blnen Rdge tahmn edc, 1 ken LASSO tahmn edc adını alır (Tbshran, 1996). ġekl 1.1 de t 1 çn k boyutlu parametre uzayında orn çevresnde farklı tahmnler gösterlmģtr (Frank ve Fredman, 1993) 8

19 1. GĠRĠġ IĢıl FĠDANOĞLU Şekl 1.1. İk boyutlu parametre uzayında Brdge regresyonun sınırlandırıldığı bölge (Fu,1998) 9

20 1. GĠRĠġ IĢıl FĠDANOĞLU 1.4. nın Seçm Rdge ve LASSO nun performansı OLS den daha y olmasına rağmen X de çlģk olduğunda Frank-Fredman (1993) ve Tbshran (1996) bazı durumlarda LASSO nun Rdge regresyondan, bazı durumlarda da Rdge regresyonun LASSO dan daha y performans gösterdğne dkkat çekmģlerdr. Bunu bulablmek çn bazı sorular sormuģlardır: En y performans çn ne olmalıdır? Optmal değer nasıl seçlmel? Bu sorulara cevap çn, =1 LASSO veya = Rdge seçm gb, verye dayanarak seçlen optmal değerne terch edlen bazı teknkler gelģtrlmeldr. Bu tezde özellkle kısıtı le mn y X y X 1 ve t üzernde çalıģılmıģtır. Bölüm de herhang sabt 1 olan Brdge tahmn edcy çözmek çn yen algortmalar gelģtrlmes ve Brdge tahmn edcnn yapısı çalıģılmıģtır. LASSO tahmn edcy daha bast ve daha kolay hesaplayablmek çn yen algortmalar gelģtrlmģtr. Brdge tahmn edcnn varyansı elde edlmģtr. Lneer regresyonun bast br örneğ le Brdge regresyonun büzülme etks tanımlanmıģtır ve ortonormal regresyon matrs durumu çn teork olarak sınanmıģtır. Brdge ceza fonksyonu Bayesç pror gb çalıģır. Bölüm 3 te genelleģtrlmģ lneer modeller (GLM), lkelhood fonksyonları, yarı lkelhood yenden gözden geçrlmģtr. Brdge regresyon, genelleģtrlmģ lneer modellere genģletlmģtr. Cezalı skor denklemlern açarak ortak lkelhood fonksyonlarının bağımsızlaģması, cezalandırmayı genelleģtrmģtr. Cezalı skor denklemlern çözen algortmalar gelģtrlmģtr. Bölüm 4 te longtudnal (boylamasına) çalıģmalarda genelleģtrlmģ tahmn denklemler (GEE) ve cezalı skor denklemler tarafından genelleģtrlmģ tahmn denklemlerne cezalandırma uygulanmıģtır. Bölüm 5 te çapraz geçerllk test (CV) ve genelleģtrlmģ çapraz geçerllk test (GCV) metotları ncelenmģtr. Büzülme parametres ve ayar parametres GLM çn GCV le seçlmģtr. 10

21 1. GĠRĠġ IĢıl FĠDANOĞLU Yarı-GCV, cezalı GEE çn ve seçmek çn elde edlmģtr. Bölüm 6 da smülasyon çalıģmalarından Brdge model le dğer büzülme modeller: büzülmesz, LASSO ve Rdge karģılaģtırılmıģtır. Bölüm 7 de sonuç ve önerler verlmģtr. Ekte se matematksel spatlar, tanım ve MATLAB kodları verlmģtr. 11

22 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU. BRİDGE REGRESYONLAR.1. Grş Bölüm 1 de kısaca regresyonlar ve büzülme modeller tanıtılmıģ, özellkle de Brdge regresyonlar ele alınmıģtır. Brdge regresyonlar önermeye rağmen, henüz tahmn edcler üzernde çalıģılmamıģtır. Frank ve Fredman (1993) ın belrttğ gb elde edlen en y sonuç çn optmal değer seçm yöntem çalıģması önemldr. Bu bölümde Brdge regresyon ve tahmn edcler çalıģılmıģtır. Herhang >1 verlmģken Brdge tahmn edcs çözümü çn düzeltlmģ Newton-Raphson metodu (MNR) verlmģ ve br algortma tasarlanmıģtır. Br de LASSO tahmn edc çözen AtıĢ metodu ve bunun çn yen br algortma tasarlanmıģtır. Brdge tahmn edcnn varyansı delta metodu le elde edlmģtr. Büzülme etks ortonormal regresyon matrs tp çn teork olarak spatlanmıģ ve bast br örnekle gösterlmģtr... Brdge Tahmn Edcnn Yapısı 1 verlmģken Brdge regresyonun çözümünde aģağıdak k problem dkkate alınır (Fu, 1998). 1 ve t 0 verlmģken t koģulu le mn RSS 1 ve 0 verlmģken mn RSS (.1) (.) Bu problemn ks de denktr. Yan 0 çn t 0 ın var olması veya ters olarak t 0 çn 0 ın var olmasıdır. Ġk problem de aynı çözümü paylaģır. (.) problem ceza ve ayar parametres le cezalı regresyon gb yorumlanablr. 1

23 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU (.) y düģünürsek, G, X, y,, RSS olsun. Ökld normu, G dr. Böylece G fonksyonu mnmze edlr. Yan dır. ˆ arg mn G, X, y,, 0 da fonksyonu dferansyelleneblr olmadığından, 0 da G nn ye göre kısm türevn alablrz. RSS S (, X, y) ve 1 d(,, ) sgn( ) G olsun. 0 alındığında S1(, X, y) d( 1,, ) 0 (.3) S p(, X, y) d( p,, ) 0 yazılablr (Fu, 1998). Br sonrak bölümde görülebleceğ gb (.) nn çözümü bz (.3) e götürecektr. (.3) ün nasıl çözüldüğünü göreblmek çn, y x x 1 1 doğrusal regresyon modeln düģünelm. Hata kareler toplamı 1 1 dr. G fonksyonunun RSS y x x aldığımızda, (.3) tek 1 x 1 y 1x 1 x 1 sgn 1 1 x y 1x 1 x sgn denklemler olur. ( ) 0 ( ) 0 ye göre kısm türevlern 13

24 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU.3. Brdge ve LASSO Tahmn Edcler çn Algortmalar 1 ve 0 verlmģken Brdge regresyonun çözümü çn (.3) problem le baģlayalım. AĢağıda sadece Gauss yanıt değģkenler çn metot göstermemze rağmen, Ġteratf Yenden AğırlıklandırılmıĢ EKK (IRLS) yöntem le yanıt değģkenn dğer brçok türü çn algortmalar uygulanablr., harç dğer l ler çeren p 1 vektör olmak üzere,, le olsun. (.3) ün. denklemn düģünelm. S,, X, y d(,, ) (.4) (.4) denklemnn solundak fonksyon LHS x x x x x y sabt çn xx poztf eğm le nn lneer br fonksyonudur. (.4) denklemnn sağındak fonksyon RHS 1 sgn( ) de lneer değldr. ġekl.1 farklı değerler çn farklı RHS fonksyonunu göstermektedr. RHS fonksyonu 0 dıģında >1 çn sürekl dferansyelleneblr ve monoton azalandır. 1< < çn 0 da dferansyelleneblr değldr. =1 çn 0 da boy sıçraması le br heavysde fonksyondur. Bu nedenle (.4) denklem >1 çn tek çözümdür ya da çözümü yoktur. >1 verlmģken Brdge tahmn edcy hesaplamak çn Newton-Raphson metodu kullanılmıģtır. Ancak < verlmģken 0 da d fonksyonu 14

25 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU dferansyelleneblr olmadığından, çözüm yakınsama le elde edlmeye çalıģılmıģtır. (.3) ün. denklemnn tek çözümü çn teratf çözüm le genelde >1 çn aģağıdak düzeltlmģ Newton-Raphson metodu gelģtrlmģtr (Fu, 1998). >1 Brdge çn Düzeltlmş Newton-Raphson (MNR) Algortması (1). ˆ ˆ 0 ˆ ˆ ˆ OLS 1,,..., p le baģla. (). m. adımda, her br 1,,p ˆ 0. çn S0 S 0, ˆ,, X y olsun. S0 0 se Dğer durumlarda se, (.4) denklemnn ˆ tek çözümü çn Newton-Raphson metodu uygula. se, ġekl. de gösterldğ gb tam orn ve çözüm arasındak noktada ( S, d kesģm) teğet çzgsn braz değģtrerek d fonksyonunu düzelt. Bu nokta kye bölme metodu le bulunablr. ˆ tek çözümü çn, değģtrlmģ d fonksyonu le (.4) denklemne Newton-Raphson metodu uygulanır. Tüm ˆ lar bulunduktan sonra yen tahmn edc ˆ ˆ ˆ ˆ m 1,,..., p Ģeklndedr. (3). ˆm br noktaya yakınsayıncaya kadar. adımı tekrarla. Uyarılar 1. 0 ˆ baģlangıç değer çn, her zaman OLS tahmn edc ˆOLS kullanılablr.. p n olduğunda, X tam ranklı değlse herhang br genel tahmn 0 ˆ nın baģlangıç değer olarak kullanılablr. 3. DüzeltlmĢ Newton-Raphson (MNR) algortmasından, Brdge tahmn edc, bazı ler çn ˆ 0 yapıyorsa, ˆ brg de ˆ S 0, brg, X, y fonksyonunu 0 yapar. Bu, 15

26 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU ˆ brg ( p 1) boyutlu vektörün ( p ) boyutlunun yerne geçmes anlamına gelr k bu da 0 ölçümlüdür. Bu nedenle ˆ nın yaklaģık olarak sıfır değern almadığı sonucuna varılır. 16

27 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Şekl.1. nın farklı değerler çn RHS fonksyonunun farklı şekller. Kesk çzgl çzgl se S, düz d fonksyonudur. Her br grafktek düşey eksen uzunlukludur (Fu, 1998) 17

28 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU LASSO çn yen br algortma olan AtıĢ metoduna geçelm (Fu, 1998). (1). p 1. (.3) problemn x x x y sgn( ) 0 (.5) olarak yazalım. 0 ˆ nın lk tahmn OLS tahmn edc le baģla. ġekl. de gösterldğ gb yatay eksende ˆ ( 0,0) noktasından x x eğm yönünde at. Eğer sağ üsttek gb br noktaya denk gelyorsa ( d ), ya da sağ alttak gb br alt noktaya denk gelyorsa ( d ) (.5) denklem tek çözüme sahptr, bast kapalı br forma sahptr ve LASSO tahmn edcsne eģttr. Eğer sol alt Ģeklde olduğu gb herhang br noktaya denk gelmyorsa, (.5) denklemnn çözümü yoktur. LASSO tahmn edc çn ˆ 0 olur. (). p 1. 0 ˆ nın lk değer OLS tahmn edc le baģla. m. adımda, (1) kullanarak ˆ sabt çn ˆ ları güncelleyerek ˆm yı hesapla. ˆm br noktaya yakınsayana kadar terasyona devam et. LASSO çn Atış Algortması (1). ˆ ˆ 0 ˆ ˆ ˆ OLS 1,,..., p le baģla. (). m. adımda, her br 1,,p kolonu olmak üzere S0 S0, xx ˆ S0 S0, xx 0, S0 hesapla. Tüm ˆ çn S0 S 0, ˆ,, X y ları bulduktan sonra ˆ ˆ ˆ ˆ m 1,,..., p olsun ve x, X n. bul. (3). ˆm br noktaya yakınsayana kadar. adımı tekrarla. 18

29 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Şekl.. Algortmalar. Kesk çzgl noktalı çzg le teğete göre şekl: S0 S, düz çzgl se d fonksyonudur. Sol üsttek şekl: d nn değşm; Sağ üsttek şekl: S0 ; Sol alttak ; Sağ alttak şekl: S0, çözüm noktalı çzg le gösterlmştr (Fu, 1998) 19

30 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU.4. Brdge Tahmn Edcnn Varyansı 1 Brdge tahmn edcnn varyansı 1 1 ˆ ˆ ( ) ˆ Var X X D X Var y X X X D (.6) y0 y0 Delta metodu kullanılarak (.3) ten çıkarılır. f f Var f ( y) Var( y) y y y0 y0 Buradak y 0, örnek uzaydak her br noktadır. Varyans tahmn, tahmn edcs le Var(y) yerne koyarak elde edlr. F ( ˆ,, ) ( ˆ S X y d,, ) olmak üzere F ( F1, F,..., Fp ) olsun. Böylece (.3) ten F 0 olur. Gauss dağılımı çn ve F X y F X X D ˆ ˆ Burada D ˆ 1 dag ˆ ve böylece D ˆ dag ˆ. Bu da d( ˆ,, ) nın ˆ ya göre 1 türevnn köģegen elemanlarından oluģan matrstr. 0

31 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Kapalı fonksyon türev teorem le ˆ F y ˆ 1 F y 1 T ˆ T X X D X 1 T X X D ˆ X T Böylece, bulduğumuz sonuçları Delta metodunda yerne koyduğumuzda; Var ˆ ˆ ˆ Var( y) y y y0 y0 ˆ ( ) ˆ T X X D X T Var y X T X T X D 1 1 dr. Bu Ģeklde (.6) denklem elde edlr. AĢağıda özel durum verlmģtr. 1. OLS regresyon, yan 0. ˆ ˆ ( ) D fonksyonu sıfır matrs olur. Böylece 1 1 Var X X X Var y X X X. Rdge regresyon, yan. I brm matrs ve D ˆ ˆ ( ) ) 1 1 Var X X I X Var y X X X I Bu rdge tahmn edcnn varyansı, Var ˆrdg e eģttr. I olmak üzere LASSO bazı ˆ 0 yaptığı çn delta metodu uygulanamaz. Buna rağmen bootstrap ve ackknfe metodu (Shao ve Tu, 1995) varyans hesaplamada kullanılablr. 1

32 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU.5. Büzülme Etksnn Gösterm Bölüm. ve.3 te Brdge regresyon çn tahmn edc ve algortmalar,.4 te Brdge tahmn edcnn varyansı verlmģtr. Bu bölümde Brdge (LASSO) tahmn edcnn nasıl çözüleceğ le lgleneceğz. Bast örneklerle de Brdge tahmn edcnn büzülme etks gösterlecektr. Ortonormal X matrs le örnek 40 gözleml bast doğrusal regresyon modeln y x x x olarak düģünelm. Rasgele hatalar ~ N(0, ) olarak dağılsın. Ortonormal X matrsnn kolonları x vektörler x 0, 1,,..., p le standartlaģtırılsın ve xx l 1, 0, l l olsun. Kolaylık çn 0 0 ve 1 dyelm. Y yanıtının 40 gözlem, 1 1,, 3 5 gerçek değerler le üretlsn. Sabtte büzülme etks olmadığından, sabt y 0 merkezleģtrme le slnr. 0 ve 1 çn (.3) ün her br denklem, 1,,..., p çn x y x x x sgn 0 1 x y sgn 0 olur. Sonra çözüm 1 çn MNR, 1 çn AtıĢ metodu le hesaplanır. 1 çn (.6) varyans formülü le standart hatalar hesaplanır. Bootstrap metodu (Efron ve Tbshran, 1993) 1 çn standart hataları hesaplamak çn kullanılır.

33 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Tablo.1 de farklı büzülme fonksyonları çn tahmn ve standart hatalar verlmģtr. 1 LASSO çn, parametre tahmn ve standart hata sabt çn artan le monoton büzülmey gösterr. Ancak 1 çn 3 ˆ nın standart hatası, le monoton azalan trend göstermez. = 0 da 0.163, = 10 da 0.157, = 100 de e eģttr. 0 çn LASSO standart hataları nedenyle, yarı parametrk bootstrap metodu le hesaplanır. 3

34 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Tablo.1. Ortonormal X çn Brdge tahmn edcler ve standart hatalar (Fu, 1998) 4

35 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Ortonormal olmayan X matrs le örnek 40 gözleml, benzer y x x x modeln düģünelm. X regresyon matrs ortonormal değl ve korelasyon matrs Corr( X ) dr. x 0, x 1 le X n x kolonları standartlaģtırılsın. Kolaylık çn 0 0 ve 1 dyelm. Y yanıtının 40 gözlem, 1, 3, 3 1 gerçek değerler le üretlsn. Sabt termde büzülme etks olmadığından, sabt y 0 merkezleģtrme le slnr. 0 ve 1 çn (.3) ün her br denklem 1,,..., çn x y x x x sgn 0 p olur. Sonra çözüm 1 çn M-N-R, 1 çn AtıĢ metodu le hesaplanır. 1 çn standart hatalar bootstrappng metodu le hesaplanır. Tablo. de farklı büzülme fonksyonları çn tahmn ve standart hatalar verlmģtr. 1 LASSO çn standart hataları bootstrap örneğ le hesaplanır (Fu, 1998). 5

36 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Tablo.. Ortonormal olmayan X çn Brdge tahmn edcler ve standart hatalar (Fu, 1998) 6

37 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU.6. Ortonormal Matrs çn Brdge Regresyon Br öncek bölümde ortonormal matrs X çn Brdge regresyon örneğnde büzülme etks verlmģtr. Bu bölümde ortonormal matrs X çn Brdge regresyon teork olarak çalıģılacak ve farklı değerler çn farklı büzülme etkler gösterlecektr. X x ortonormal matrs çn, xx l 1, 0, l l olsun. 1,,..., p çn p bağımsız denklem 1 sgn (.7) x y 0 (.3) problemnden görüleblr. Çözüm, 1 çn MNR, 1 çn AtıĢ metodu le hesaplanır. nın farklı değerlernn büzülme etks çn, Brdge ve OLS tahmn edc karģılaģtırılır. Hçbr koģul olmadan, kolaylık çn x ve nn alt nds y kaldıralım. (.7) denklem 1 xy sgn( ) olarak yazılablr. Sağ taraftak lk term OLS tahmn edcye eģttr. Ġknc term büzülmeye neden olandır. Böylece büzülme etksn yansıtır. 1 ˆ ˆ ˆ ( ˆ brg OLS brg sgn brg ) 7

38 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Şekl.3. Sabt 0 çn Brdge regresyonların büzülme etks. Tam çzg Brdge tahmn edc, keskl çzg OLS tahmn edcs (Fu, 1998) 8

39 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Brdge regresyonun büzülme etksn göstermek çn, Fu (1998) makalesnden alınan ġekl.3 te; Brdge tahmn edc ˆbrg nn tam değernn grafğ ve OLS tahmn edc karģılaģtırılmıģ, tam değer grafklendrlmģtr. nın küçük değerler, küçük parametreler sıfıra büzmeye meyll ken, büyük değerl Brdge regresyon, küçük parametreler tutma eğlmndedr. Bu yüzden doğru model küçük fakat sıfır olmayan parametreler çeryorsa, büyük değer le Brdge y performans gösteryorken, LASSO kötü performans gösterr. Doğru model sıfır parametrelern çeryorsa LASSO y performans gösterrken, büyük değerl Brdge kötü performans verr..7. Bayesç Pror Olarak Brdge Ceza Bu bölümde,..., 1 p Brdge ceza fonksyonu parametresnn Bayes pror dağılımı olarak çalıģılacaktır. Bayes bakıģ açısından, Brdge ceza fonksyon mn RSS, 1 Y ~ C exp RSS nın log-posteror dağılımını maksmze etmek gb kabul edlr (C br sabt). Böylece Brdge ceza,,..., 1 p 1 parametresnn pror dağılımı C0 exp nın logartması gb kabul edlr. Buradak C0 0 olan normalleģtrlmģ br sabttr. 1,,..., p parametreler karģılıklı bağımsız ve özdeģ dağılmıģlardır. Alt nds y çıkarır ve sadece nın proru C exp 0 Bast cebr le le çalıģırız Exp d 9

40 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU, gama fonksyonudur. Böylece nın olasılık yoğunluk fonksyonu , Exp 1 1 dr. Buradak 1, yoğunluğun pencere boyutu kontrollerdr. Özellkle olduğunda, Gauss dağılımına sahpse, Y nn posteror dağılımı da Gauss dağılımıdır. Bu, Rdge regresyon çn Rdge tahmn edcnn özel br durumudur. ve nın farklı değerlernn ceza fonksyonlarını karģılaģtırmak çn, ġekl.4 ve.5 de gösterldğ gb yoğunluk fonksyonu grafğ çzlr. nın büyük değerler, merkezde = 0 çevresnde toplanır ve böylece yoğunluk daha az yayılırken ġekl.4 tek gb nın küçük değerler daha çok kuyruk kısmında toplanır ve böylece yoğunluk genģ pencere boyutundadır yan yoğunluk daha fazla yayılır. ġekl.5 tek gb nın genģ değerler çn, 1 olduğundan, değģmeyen pencere boyutu 1 den küçük olur ve artarken çok hızlı br Ģeklde 1 e yaklaģır. nın küçük değerler = 0 da en üst nokta le = 0 a çok yakın brçok küme koyarken, nın genģ değerlernde kümeler düz br Ģeklde dağılma eğlmndelerdr. = ken yoğunluk Gauss dağılımıdır. nın küçük değerler çn; büyük regresyon parametrel küçük değerl Brdge ceza ya da sıfır olmayan fakat küçük parametrel büyük değerl Brdge ceza model terch edlr. nın büyük değerler çn; sıfır çeren regresyon parametrel küçük değerl Brdge ceza ya da sıfır olmayan fakat küçük parametrel büyük değerl Brdge ceza model terch edlr. Bu sonuç ortonormal regresyon matrs çn söyledğmz sonuç le aynı anlamdadır. 30

41 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Şekl.4. = 0.5 le Bayesç pror olarak Brdge ceza (Fu, 1998) 31

42 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Şekl.5. = 10 le Bayesç pror olarak Brdge ceza (Fu, 1998) 3

43 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU.8. Ayar Parametres ve t Arasındak İlşk Bölüm.1 de problem 1 ve nn denklğnden bahsetmģtk. Yan 0 verlmģken br t 0 varken (.1) ve (.) nn aynı sonuçları paylaģtığı söylenmģt. Bu bölümde ortonormal X matrsnn özel durumu çn ve t arasındak lģkye bakacağız. 1 verlmģken (.1) n sınırlı alanı ġekl 1.1 dek gb kapalı br formdadır. Böylece Brdge tahmn edc sınırından elde edlr. Bu, sabt 0 çn t, anlamına gelr. Ortonormal X matrs le, (.3) ün p bağımsız denklem 1 x y sgn (.8) ( ) 0 ˆ xy OLS, olduğundan OLS tahmn edcnn. koordnatıdır. Brdge tahmn edc ˆ ˆ 1, ˆ ˆ,..., p, 1 ˆ ˆ ˆ ˆ OLS, sgn( ) 0 eģtlğn sağlar. c ˆ OLS, ve Brdge tahmn edcnn OLS tahmnne oranı s ˆ c olsun. Böylece ˆ ˆ ˆ c t( ) c s (1 s ). 33

44 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Buradak s, (.8) denklemnden s s s c 0 denklemnn çözümü le hesaplanır. Böylece t, yukarıdak formülde s nn yerne koyulmasıyla hesaplanır. Özel durum olarak c c ve s s den bağımsız sabtler olmak üzere p t c s 1 s. ġekl.6; 1, 1.5,,10 farklı sabtler çn p le c 1 özel durumu çn, hesaplanmıģ t fonksyonunu göstermektedr. Bu, t ve arasındak brebr uyumu gösterr. Bu durum çn, LASSO ˆ 0 çn nın baģlangıç değer 0 dr. Herhang 0 ˆ 0 ı verr. ġekl.6 dan sabt 1 çn, t nın monoton azalan br fonksyon olduğu görülür. 1 çn tüm ˆ 0 ları, 1 çn 0 tüm ˆ 0 ları büzer. Bu nedenle t 0 dır. 34

45 . BRĠDGE REGRESYONLAR IĢıl FĠDANOĞLU Şekl.6. p ve c 1 özel durumu çn t grafğ (Fu, 1998) 35

46 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU 3. CEZALI SKOR DENKLEMLERİ 3.1. Grş Bölüm de Brdge tahmn edclern bazı teork sonuçları elde edlmģtr ve (.3) le Brdge tahmn edcler çn çözüme genel yaklaģım, yan 1 çn MNR metodu ve 1 çn AtıĢ metodu gelģtrlmģtr. Bu bölümde teork olarak cezalı skor denklemler tanıtıldı ve böylece cezalandırma kavramı genelleģtrld. Cezalı skor denklemler çn algortmalar IRLS le MNR ve AtıĢ metodu le verlmģtr. Ġlk olarak GLM, lkelhood fonksyonlar ve yarı lkelhood ncelenmģtr. 3.. Genelleştrlmş Lneer Modeller ve Lkelhood Brçok uygulamalı blmde, yanıt sürekl olmayablr. Yanıt; kl ver, sayım vers ve derecelendrlmģ ver (acının dereces: yok, haff, orta, Ģddetl) olablr ve bu durumda y x x p p gb br lneer model uygun olmayablr. Nelder ve Wedderburn (1979), yanıt değģkenn brçok sınıfı çn lneer regresyon modellernn doğal yayılımı olan GLM tanıtmıģtır. GLM de hatalar çn normal dağılım varsayımı gerektrmez. GLM, açıklayıcı değģkenlern doğrusal yapısını cevap değģkenn beklenen değerne bağlayan br bağıntı (lnk) fonksyonu kullanır (McCullagh ve Nelder, 1989; Dobson, 1990). GLM yöntemnde verlern ornal dağılımı üstel (exponental) formda yazılır, parametre tahmnler de maksmum lkelhood (ML) veya yarı lkelhood (quas-lkelhood) yöntemleryle elde edlmektedr. Bazı durumlarda gözlem değerler ( y ) normal dağılımlı olmayablr. GLM, standart doğrusal modellerle verlern ornal dağılımını esas alarak ML yöntem le parametre tahmn yapar. GLM de, gözlem değerlernn olasılık yoğunluk fonksyonu 36

47 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU f y l,, y exp y b a c y, Ģeklnde olmakta ve a, b ve c dağılımın ne olduğunu belrlemektedr. Burada θ doğal (natural) ve ölçek (scale) parametres olmaktadır. Ayrıca y ve, y > 0 ve > 0 Ģeklnde sınırlandırılır. Örneğn Posson dağılımını ele alalım. Bu dağılıma at herhang br gözlem değernn olasılık fonksyonu, P Y e y / y y! bçmnde verlmektedr ve bu olasılık fonksyonunun log-lkelhood fonksyonu, GLM kullanılarak, ; log log! l y y y bçmnde verlr. Burada, termler karģılaģtırdığımızda; y c y ve 1 log!, log, b, a olmaktadır (Dobson, 1990; Lttell ve ark., 1996). Br GLM n 3 bleģen vardır. 1) Rasgele BleĢen: EY sahptrler. Y Y1, Y,..., Y n nun bleģen karģılıklı bağımsız ve ortalama, Var varyanslı üstel alenn özdeģ dağılımına ) Sstematk BleĢen: x1, x,..., x p değģkenler, p x 1 lneer predktörünü gösterr. 3) Rasgele ve Sstematk bleģenler arasındak bağıntı: g 37

48 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU olur. Burada g(.) monoton dferansyelleneblr fonksyondur ve lnk fonksyon olarak adlandırılır. Böylece GLM; pp g E Y x x olarak yazılablr. Yanıtların ve kanonk lnk fonksyonlarının en çok kullanılanları; g brm lnkl Gauss yanıt, g log 1 log lnkl Posson sayılarıdır. 1,,..., p fonksyonuna dayalı logt lnkl Bnom yanıt ve g log T parametrel sonuç, lkelhood Y L L, ; y f y ;, fonksyonudur ve maksmum lkelhood tahmn edcs (MLE) ˆmle, ˆ mle arg max L olarak tanımlanmıģtır. MLE tahmn edcs ˆmle, aģağıdak Newton-Raphson metodu, Fsher metodu veya IRLS metodu le hesaplanır. tutarlıdır. Büyük örneklem test le, MLE ˆmle düzen koģulları altında asmptotk olarak Burada ; ˆ 0, n l T le tanımlı Fsher blg matrs ve l L 1 log log-lkelhood fonksyonudur. 38

49 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU MLE ˆmle çözümü çn l log-lkelhood fonksyonunun türevn alırız. ˆmle ; ye göre kısm l 1 0 (3.1) l p 0 denklemlern sağlamalıdır. l l lkelhoodun skor denklemler olarak adlandırılır. Newton-Raphson Metodu l sonrasını önemsemezsek; ve skor denklemlernn Taylor sersn alır ve karesel termden l l l 0 T ˆ mle ˆ mle ˆmle 1 l l T (3.) Böylece; 1 ˆ ˆ l l m1 m T ˆ ˆ m m (3.3) teratf çözümü le ˆmle hesaplanır. Ġterasyon, ˆ tahmn ya da sapma ; ˆ ; max ; ˆ m m D y l y l y 39

50 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU yakınsayıncaya kadar devam ettrlr. ve genellkle y ye eģttr. max ;doymuģ modeln yanıtının ortalamasıdır Fsher Skor Metodu Newton-Raphson metodunda (3.) denklemndek gözlenen blg matrs l l T yerne, beklenen blg matrs T koyalım. Buradak ; parametrenn gerçek değerdr. MLE ˆmle çn çözüm, aģağıdak Fsher skor metodu le elde edlr. ˆ mle 1 l l T (3.4) l T ; yardımıyla ya bağlıdır. Bu, hesaplamaları kolaylaģtır. Eğer Y, kanonk lnk fonksyonlu üstel alenn dağılımının br sonucu se, gözlenen ve beklenen Fsher blg matrsler özdeģtr. Böylelkle Fsher skor metodu Newton- Raphson metodu le benzerdr (McCullagh ve Nelder, 1989; Haste ve Tbshran, 1990). İteratf Yenden Ağırlıklandırılmış En Küçük Kareler (IRLS) Metodu Green (1984), lnk fonksyonun lneer yayılmasının alınmasıyla MLE hesaplamak çn aģağıdak IRLS metodunu önermģtr. ( ) ( ) '( ) g y g y g ( y ) ; lneer predktör, V ( ); ortalamalı Y nn varyansı olmak üzere, düzeltlmģ bağımlı değģken z ( y ) / V ( ) kanonk lnkler çn tanımlanmıģtır. MLE 40

51 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU tahmn edc, V ( ) ağırlıklı X matrsnde z nn regress edlmesyle hesaplanablr. IRLS yöntem aģağıdak gb özetleneblr. IRLS Yöntem 1. 0 ˆ baģlangıç tahmn le baģla.. X ˆ ve ( ) ( ),..., ( ) V dag V1 1 V n n ağırlıklarını hesapla. 3. DüzeltlmĢ bağımlı değģken z V ( ) 1 y tanımla. 4. Yen tahmn ˆ oluģturmak çn V ( ) ağırlıklı X matrsnde z y regress et. 5. Yakınsama elde edlnceye kadar -4 adımlarını tekrarla. IRLS yöntemnn Newton-Raphson veya Fsher Skor metoduna göre avantaı; AğırlıklandırılmıĢ EKK yöntem kullanmasıdır. AğırlıklandırılmıĢ EKK standart yöntemdr ve brçok statstksel yazılımlarda tanımlanması kolaydır Yarı-Lkelhood ve Yarı-Skor Fonksyonları Son bölümde kısaca GLM ve üstel alenn dağılımlarını gözden geçrmģtk. Olasılık fonksyonu açıkça belrtldğnde, lkelhood fonksyonu kurulablr ve MLE kolayca hesaplanablr. Ancak bazı durumlarda tam olasılık dağılımını ve böylece ortak lkelhood fonksyonunu açıkça belrtmek gerekl değldr, veya ortak lkelhood fonksyonunu açıkça belrtmek mümkün değldr. Wedderburn (1974) olasılık dağılımında GLM e genģletlen yarı-lkelhoodu önermģtr. Rasgele değģkenn V ( ) varyansına htyacı olan yarı-lkelhood, ortalamanın blnen fonksyonudur. Üstel aleden açıkça belrtlmekszn dağılımıdır. Tek boyutlunun yarı-skoru y U(, y) (3.5) V ( ) olarak tanımlanmıģtır. 41

52 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU U(, y), lkelhood fonksyonun skor fonksyonlarının 3 temel özellğn sağlar. E U (, y) 0 Var U (, y) 1 V ( ) U E 1 V ( ) Böylelkle (3.5) denklemnn ntegral y t Q(, y) dt (3.6) y V() t varsa, log-lkelhood fonksyonunun benzer özellklerne sahptr. Yarı-lkelhood çn aģağıdak duruma bakacağız. 1. Bağımsız Gözlemler: Gözlemler bağımsız olduğundan, varyans-kovaryans matrs dyagonaldr. V dag V1 1 V n n ( ) ( ),..., ( ) Buradak V1, V,..., V n fonksyonları özdeģtr. (3.5) le gösterlen yarı-skor, (3.6) dak yarı-lkelhood fonksyonudur. Yarı-lkelhood fonksyonu Q(, y), GLM dek loglkelhood fonksyonu olarak rol oynar. Yarı-lkelhood tahmn edcye dayanan sonuç, U (, ) 0 1 y (3.7) U (, ) 0 p y yarı-skor denklemlern sağlar. 4

53 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU GLM n MLE sne benzer yarı-lkelhoodun tahmn edcs Fsher Skor metodu, ˆ m1 ˆ U m E 1 U yardımıyla hesaplanablr. Ayrıca bu tahmn edc asmptotk olarak da tutarlıdır. Yan, düzen koģulları altında dr. 1 ˆ ˆ 0, ( ) n N I. Bağımlı Gözlemler: Gözlemler bağımlı olduğundan, varyans-kovaryans matrs V ( ) dyagonal değldr. Genelde yarı-skor,..., T U U1 U p, U r ( ) U s ( ) s r eģtszlğne sahptr. Bu, yarı-skor U(, y) le tanımlı vektörün path bağımlı olduğu anlamına gelr. Böylece kısm türev varsa yarı-skor olan Q(, y) skaler fonksyonu yoktur. Böylelkle (3.6) dak Q(, y) ntegral path bağımlıdır ve y tanımlanmamıģtır. Sonuç, Q(, y) ye dayalı olamaz. Daha önce bahsedldğ gb log-lkelhood fonksyonlarının 3 ana özellğn sağlayan U(, y) yarı-skor fonksyonu terch edlr. Asmptotk yakınsama, oldukça karmaģık durumlar altında da sağlanır (McCullagh 1991). U(, y) yarı-skor fonksyonunun kısm türevnn beklenen değer smetrk olduğundan ve kısm türevnn olmadığından, McCullagh (1991), smetrk kısm türevler le br ana term ve asmetrk kısm türev le br küçük gürültü term olarak U nun terme ayrıģımının olasılığına dkkat çekmģtr. AyrıĢım, blg kaybı olmadan lk termn yarı-lkelhoodu aracılığıyla, yarıskor U(, y) nn çalıģmasına zn verr. L ve McCullagh (1994) potansyel 43

54 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU fonksyonlar ve tutucu tahmn fonksyonları çalıģmıģtır. Tahmn fonksyonları smetrk kısm türeve sahp olan tutucu tahmn fonksyonlarının alt uzayında tahmn fonksyonları tasarladılar, böylece bu tahmn fonksyonları br yarı-lkelhood fonksyonuna sahptr. Yarı-lkelhood, tahmn fonksyonunun potansyel fonksyonu gb adlandırılır. Denklemler parametre tahmn edclern sağlayan tahmn fonksyonları, fonksyonların genģ kapsamlı br sınıfıdır. Yarı-skor fonksyonlar, tahmn fonksyonlarının özel br sınıfıdır. y de doğrusaldır ve asmptotk olarak tutarlı tahmn edc sağlarlar. Potansyel fonksyonlar, sıradan log-lkelhood fonksyonlar gb asmptotk olarak benzer özellklere sahplerdr. Böylece, yarı-skor denklemlernn mümkün çoklu çözümlernden, stenlen hesaplamaya yardımcı olur Cezalı Skor Denklemler Br öncek bölümde GLM, lkelhood fonksyonlar, skor fonksyonlar ve yarılkelhoodu nceledk. Uyarı: (.3) problem ve çözümü, ortak lkelhood fonksyonlarından bağımsızdır. Cezalandırma kavramı ve tahmn edcs, ortak lkelhood fonksyonlarından bağımsız olarak genelleģtrlr (Fu, 1998). Cezalı skor denklemlern 1 S1, X, y 1 sgn( 1) 0 (3.8) 1 S p, X, y p sgn( p ) 0 kabul edelm. 44

55 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU Tanım 1: (Cezalı Skor Denklemler) S Jakoban koģulu poztf yarı tanımlı olan S fonksyonlu (3.8) eģtlğ, Brdge ceza le cezalı skor denklemler olarak adlandırılır (Fu, 1998). Tanım : (Brdge Tahmn Edc) 0 ve 1 olsun. Brdge tahmn edcs ˆ(, ) olarak tanımlansın. (3.8) eģtlğnn tek çözümü, 1 ˆ(, ) nın lmt LASSO tahmn edc ˆ(,1 ) olarak tanımlanır (Fu, 1998). Uyarılar 1. Cezalı skor denklemler kavramı genelde g nn br cezası çn sürdürüleblr. Buradak g, düzgün konveks fonksyondur.. Brdge (LASSO) tahmn edcs, ortak lkelhood fonksyonlarından bağımsızdır. Ortak lkelhood fonksyonlarının bulunmadığı durumlarda uygulanablr. Sapmayı mnmze eden cezalı skor denklemlerne yaklaģım, cezalandırmaya klask yaklaģım le karģılaģtırılır. Yan Log( lk), + ceza fonksyonu gb. Böyle br genelleģtrme, regresyon problemlernde ortak lkelhood fonksyonlarının yokluğunda karģılaģılacak zorlukları önlemek çn çok önemldr, yüksek lģkl açıklayıcı değģkenler nedenyle cezalandırma stenlr. Çok öneml br uygulama da, genelde ortak lkelhood fonksyonu olmadığında genelleģtrlmģ tahmn denklemlerne bu yöntem uygulanır. Brdge (LASSO) tahmn edc çn cezalı GEE çözümü le açıklayıcı değģkenler arasında çlģk verldğnde daha y öntahmnler elde edleceğ, algortmalar çn Bölüm 4 te, smülasyon sonuçları çn Bölüm 6 da görülecektr. 45

56 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU 3.5. Cezalı Skor Denklemler çn Algortmalar Bölüm 3.4 te cezalı skor denklemlerne teork olarak grģ yapıldı. Bölüm.3 te Brdge çözümü çn MNR ve AtıĢ algortmaları verld. Bu algortmalar Gauss yanıtları çn uygulanablr. Gauss olmayan yanıtlar çn se aģağıdak IRLS yöntem uygulanır. IRLS yöntemyle Brdge (LASSO) tahmn edcler çn Algortma 1. 0 ˆ baģlangıç değer le baģla.. Genel tahmn ˆ ya bağlı düzeltlmģ değģken z y, 1 z X ˆ V y olarak tanımla. 3. W V 1 olmak üzere WX üzernde Wz nn lneer regresyonuna MNR (AtıĢ) metodunu uygula, ˆ yı güncelle. 4. ˆ nın yaklaģımı elde edlnceye kadar. ve 3. adımlarını tekrarla. Burada, eğer ortak lkelhood fonksyonu yoksa Jacoban koģulu sağlandığı sürece Brdge (LASSO) tahmn edc elde etmek çn MNR metodu ya da AtıĢ metodu uygulanableceğne dkkat edlmeldr. Algortmaların Yakınsaması: 0 verlyor. S poztf tanımlı se; 46

57 3. CEZALI SKOR DENKLEMLERĠ IĢıl FĠDANOĞLU 1. MNR algortması; 1 çn (.3) ün Brdge tahmn edcsne yakınsar.. AtıĢ algortması; 1 çn (.3) ün LASSO tahmn edcsne yakınsar. ġmdye kadark yapılan çalıģmalara göre; MNR ve AtıĢ algortmaları çok hızlı yakınsar ve IRLS yöntem le brleģtrleblr. 47

58 4. CEZALI GEE IĢıl FĠDANOĞLU 4. CEZALI GEE 4.1. Grş Halk sağlık çalıģmalarında araģtırmacılar, uzun zamanı kapsayan gözlemler sersn ncelerler. Örneğn nefes darlığı le lgl çalıģmalarda, çalıģmadak konuların her br, br yıl gb belrl br zaman dlm çn kontrol edld. Konunun nefes darlığı le lgl durumu, her zyarette havanın kaltes, mevsm, sıcaklık, nem gb bazı etkenlerle brlkte ncelend. AraĢtırmacıları asıl lglendren, çok sık olarak nem ve sıcaklık gb açıklayıcı değģkenlerle, astım durumu gb yanıt değģken arasında lģk bulundu. Bu tarz çalıģmalar, longtudnal (boylamasına) çalıģmalar olarak adlandırılan özel statstksel ayardır ve amaç, açıklayıcı değģkenlerde yanıtın zaman trendnn bağımlılığını teģhs etmektr. Son 0 yıldır, longtudnal çalıģmalar brçok sağlık araģtırmacıları ve statstkçler tarafından lg çekmektedr ve longtudnal çalıģmaların uygulamaları tıbb, çevresel ve pskolok çalıģmalar gb pek çok araģtırmada bulunablr (Lard ve Ware, 198; Lang ve ark., 199). Longtudnal çalıģmalarda statstksel metotlar rasgele etk modeller, koģullu Markov zncr modeller ve GEE metodunu çerr (Dggle ve ark., 1993). Bu bölümde GEE metodu ve açıklayıcı değģkenler arasında lģk olduğunda cezalı skor denklemlerne yaklaģım le cezalandırma kullanma üzernde durulmuģtur. 4.. Genelleştrlmş Tahmn Denklemler Kategork verlern analznde tekrarlamalı ölçümler olduğu zaman genellkle genelleģtrlmģ tahmn denklemler (GEE) kullanılarak analz yapılmaktadır. GEE yaklaģımı (Lang ve Zeger, 1986) GLM n br açılımıdır. GEE, breyler üzernde uzun döneml elde edlen gözlemler (longtudnal data) çn br yaklaģım sağlamaktadır. GEE kl veya sayıma dayalı olarak elde edlen cevap değģkenlernn analz edlmesnde deal br yöntemdr. GEE de uygun br çalıģılan (workng) korelasyon matrs tanımlanarak analz yapılmaktadır. ÇalıĢılan korelasyon matrs 48

59 4. CEZALI GEE IĢıl FĠDANOĞLU tüm breyler çn aynı olan a blnmeyen parametre vektörüne bağlıdır (Davs, 00). GEE ortak dağılımın tam olarak tanımlanmasına gerek duyulmadan, tahmn denklemlernn elde edldğ yarı parametrk br yöntemdr. Bunun yerne marnal dağılımlar çn yalnızca olablrlğ ve her br breyden elde edlen tekrarlanmalı ölçümlern vektörü çn br çalıģılan kovaryans matrs tanımlar (Davs, 00; Lang ve Zeger, 1986). ÇalıĢılan korelasyon matrs her br breyn tekrarlanmalı ölçümler çn hesaplanır. GEE yaklaģımında her br denek br küme olarak adlandırılır. Farklı kümeler çn elde edlen gözlemlern bağımsız, aynı küme çn elde edlen gözlemlern se brbryle lģkl olduğu düģünülür. GEE yöntem, etknlğ arttırmak amacıyla bu lģky de dkkate alan tahmn teknğdr. Söz konusu lģk R a le gösterlen n n boyutlu smetrk matrsle fade edlr. Bu matrse aynı zamanda üzernde çalıģılan lģk matrs de denlr. Matrse bu smn verlmesnn br neden, bu lģknn yanlıģ tanımlanmıģ olma olasılığından kaynaklanmaktadır. Yarı-lkelhood fonksyonunu GEE ye uygulayablmek amacıyla, yanıt vektörünün ortalama ve kovaryansı düģünülmeldr. Buna göre yarı-lkelhood yaklaģımında üzernde çalıģılan kovaryans matrs eģtlk (4.1) de olduğu gb hesaplanır: V A R ( a) A (4.1) 1/ 1/ Burada; A ; n n boyutlu köģegen matrsn ( A dag a '' ), R a ; üzernde çalıģılan lģk matrsn göstermektedr. (4.1) eģtlğnde denekler t zamanlarında t kez gözlenmģlerdr. Buna göre vektörü aģağıdak gb tanımlanmıģ olsun: 1,..., n olmaktadır. Farklar S y (4.) 49

60 4. CEZALI GEE IĢıl FĠDANOĞLU (4.3) le verlen denklem çalıģılan kovaryans matrsdr. K 1 D V S 0 (4.3) T 1 β nın tahmn edlmes çn GEE, GLM e benzer olarak, n 1 T V y 1 0 bçmnde yazılablr. Y nn kovaryans matrs, V A R( a) A 1/ 1/ bçmnde tanımlanablr. ' D d a ( ) d A X t t t A dag d x T t dag a '' ( ) S y a ' ( ) d Buradan Burada; a ' ( ) olduğu anlaģılır. T D olarak tanımlanan vektörü ( 1,,..., n ), V ; (4.1) eģtlğnde tanımlanan kovaryans matrsn, 1,..., K olmak üzere denekler göstermektedr. GEE yöntemnde regresyon katsayıları tahmnler olasılıklar oranı yardımıyla hesaplanmakta ve yorumlar bu tahmnlere göre yapılmaktadır. GEE yaklaģımında, tutarlı ve asmptotk normal dağılım özellklern sağlayan regresyon katsayı tahmnlern ya da tutarlı varyans tahmnlern elde edeblmek çn 50

61 4. CEZALI GEE IĢıl FĠDANOĞLU çalıģılan korelasyon matrsnn doğru belrlenmes gerekmektedr. Brm sayısının çok fazla olduğu durumlarda asmptotk özellkler sağlanır, tutarlı ve etkn tahmnler elde edleblr. Bu gb durumlarda ble korelasyon yapısının doğru tahmn edlmes etknlkte artan br kazanca neden olur (Yazıcı, 001). GEE yöntemnde bütün denekler çn aynı korelasyon yapısının benmsenmģ olması Ģart değldr. Sabt br korelasyon yapısının benmseneblmes, sadece eksk gözlemlern tamamen rassal olması durumunda gerçekleģecektr. Dolayısıyla uygulamada her br denek çn gözlem sayısı eģt olmadığından, eksk gözlemlerde rassallığın sağlanması koģulu le bu lģknn tüm denekler çn sabt olduğu varsayılır. EĢtlk (4.1) dkkate alınarak R( a ) aģağıdak gb yazılablr (Lpstz ve ark. 1974; Lpstz ve Ftzmaurce, 1996): R a A V A t A V A 1t 1 1 1t t t t t A V A (4.4) Burada; Ra matrs (K-1)x(K-1) boyutludur. Matrsn köģegen elemanları gözlemler arasındak lģky göstermektedr. GEE nde yer alan farklı korelasyon yapıları Ģunlardır: Yapılandırılmamış korelasyon: Genel olarak kümelerdek gözlem sayıları çok azken, eksk gözlem bulunmaması durumunda uygun korelasyon yapısı yapılandırılmamıģ (unstructured) korelasyon yapısıdır. Örneklem yeternce büyük olduğunda yapılandırılmamıģ korelasyon yapısı kullanıldıysa tahmnler tutarlı olacaktır. Dğer taraftan aynı denemelerde yanıt değģken çok farklı değerler alıyorken yne yapılandırılmamıģ korelasyon kullanılmasında fayda vardır. 51

62 4. CEZALI GEE IĢıl FĠDANOĞLU Bağımsız korelasyon yapısı: Örneklemde yer alan brm sayısı çok fazla olduğunda değģkenler arasında bağımsızlık varsayımı kullanılablr. Bu durumda dkkat edlmes gereken; eksk gözlemlern mümkün olduğunca az sayıda ve tamamen rassal olmasıdır. Brm sayısı az ancak her br kümedek tekrarlı gözlem sayısı fazla olduğu durumlarda da doğru korelasyon yapısının belrlenmes le etknlkte braz kazanç sağlanablr. Bu durumda yne uygun korelasyon yapısı bağımsız korelasyon yapısıdır. YaĢ gb zamana bağlı eģ değģkenler varken bağımsız korelasyon yapısı kullanılarak elde edlen tahmnler, dğer korelasyon yapısı varken elde edlen tahmnlere göre daha az etkndrler. Bağımsız korelasyon yapısı aģağıdak gb tanımlanır: 1 eğer R, 0 d.d R( ) Korelasyon yapısı tanımlanırken bağımsızlık varsayımı dkkate alındığından burada herhang br parametrenn tahmn edlmesne gerek yoktur. Değştrleblr (exchangeable) korelasyon yapısı: GEE nde en çok kullanılan korelasyon yapılarından brdr. Korelasyon yapısının belrlenmes aģağıdak eģtlk le lgldr: k a 5

63 4. CEZALI GEE IĢıl FĠDANOĞLU Bu eģtlğkte k=0 olması durumunda kullanılan korelasyon yapısı değģtrleblr korelasyon yapısı olarak adlandırılır (Zeger ve Lang, 1986). Br dğer fade le olmak üzere boylamasına çalıģmanın tüm değģkenlerne lģkn korelasyonun brbrne eģt olduğu söylenr. Bu durum çoğu zaman boylamasına verlerde gözlemlern çok kısa aralıklarla elde edldğ durumlarda gerçekleģeblr. Tekrarlı gözlemlern olduğu durumlarda gözlemlern elde edlmesnde mantıklı br sıra söz konusu değlse yne değģtrleblr korelasyon yapısı uygundur. Tüm gözlemlerde korelasyonun aynı olduğu değģtrleblr korelasyon yapısı aģağıda verldğ gbdr: R, 1 eğer d.d. R a 1 a a a 1 a a a 1 Bütün değģkenler çn korelasyon katsayılarının eģt olduğu düģünüldüğünden tahmn edlmes gereken parametre sayısı 1 dr. Otoregresf korelasyon yapısı: Longtudnal ver analznde çoğunlukla verlern ard arda gözlemlenmes nedenyle brnc dereceden otoregresf korelasyon meydana gelr. Bu durum k a denklemnde k=1 olması le fade edlr. GEE nde çok sık kullanılan korelasyon yapılarından brdr. gbdr. Otoregresf korelasyon yapısı çn çalıģılan korelasyon matrs aģağıda olduğu 53

64 4. CEZALI GEE IĢıl FĠDANOĞLU R, 1 eğer - d.d. R a 1 1 t 1 t t 1 t 1 Br öncek korelasyon katsayısı da dkkate alındığından elde edlen parametre sayısı 1 dr. Bu 4 tp korelasyon yapısından baģka; M-bağımlı korelasyon yapısı, sabt korelasyon yapısı, üssel korelasyon yapısı adı altında baģka korelasyon yapıları da vardır. Ancak bu korelasyon yapılarının kullanımı dğerlerne oranla daha azdır. Hang korelasyon yapısının kullanılacağına karar verlrken benmsenen yollardan br, uygun görülen brkaç korelasyon yapısını denemek ve daha sonra model temell varyansa en yakın deneysel varyansı veren korelasyon yapısını seçmektr (Yazıcı, 001). Br GEE düģünelm. Lneer regresyonlardak gb, ç lģknn potansyel problem de oluģur. Yan, eğer genelleģtrlmģ tahmn denklemlerndek açıklayıcı değģkenler lneere yakınsa, tahmn edcye dayalı öntahmnler kötü performans gösterecektr. Böylece cezalandırma, öncek bölümde gösterldğ gb stenr. Ancak cezalandırmanın klask yaklaģımı, örneğn Brdge regresyon, Bölüm 3 tek gb ortak lkelhood fonksyonlarının varlığı gerekr. Cezalı skor denklemler yaklaģımı, cezalandırmayı geneller ve cezalı skor denklemler ortak lkelhood fonksyonlarına bağlı olmadığından, GEE de çlģk problemn kullanmak çn teknkler sağlar ve IRLS yöntem uygulanablr. AĢağıda genelleģtrlmģ tahmn denklemlerne cezalı skor denklemler uygulanacak ve daha y tahmn ve öntahmn elde etmek çn cezalı GEE çözülecektr. 54

65 4. CEZALI GEE IĢıl FĠDANOĞLU 4.3. Cezalı Genelleştrlmş Tahmn Denklemler Longtudnal çalıģmalarda GEE genģ alanlarda kullanılır. GEE tahmn edcs asmptotk tutarlı ve yeterl olmasına rağmen açıklayıcı değģkenlern çlģkl olması durumunda karģılanablr. Özellkle açıklayıcı değģkenlern fazla sayılı olduğu durumlarda karıģıktır. Bu, (4.3) ün parametre tahmn edcs ˆ ya bağlı tahmn ve öntahmn doğruluğu sorununa neden olur. Cezalandırmanın, lneer regresyonda çlģk problemn ele alma teknklern kanıtladığı blnr. Cezalandırmaya klask yaklaģım, ceza fonksyonlu modeln sapmasını mnmze eder. Örneğn L ortak lkelhood fonksyonu se, Brdge ceza çn cezalandırma problem mn log L dr. Ancak genelde GEE çn ortak lkelhood fonksyonu L bulunmaz. GEE ne cezalandırma uygulamak çn ortak lkelhood fonksyonuna bağlı olmayan özel teknkler gerekldr. AĢağıda GEE ne Brdge ceza uygulanmıģtır. S, X, y d,, S, X, y d,, 0 p (4.5) p 1 d,, sgn, S ler GEE nn (-) tahmn fonksyonları veya ortak lkelhood fonksyonunun (-) skor fonksyonlarıdır. Cezalı skor denklemler yaklaģımı le GEE cezalandırılablr. Açıklayıcı değģkenler arasında çlģk olduğunda daha y öntahmn ve küçük varyans elde etmek çn cezalı GEE, GEE tahmn edclern 0 a büzer. Cezalı GEE tahmn 55

66 4. CEZALI GEE IĢıl FĠDANOĞLU edcsnn çözümü çn aģağıdak yöntem zlenr (Lang ve Zeger, 1986) ve IRLS yöntemnde AğırlıklandırılmıĢ EKK e cezalandırma uygulanır. Cezalı GEE çn Algortma 1. ˆ 0 baģlangıç değer le baģla.. ġmdk tahmn ˆ ya bağlı sapan rezdüler veya Pearson kullanan Ra ( ) çalıģılan korelasyon matrsn ve a, parametrelern tahmn et. 3. DüzeltlmĢ bağımlı değģken ˆ z D S tanımla. 4. MNR (AtıĢ) metodunu kullanarak ˆ V ağırlıkları le X üzernde z nn regresyonuna cezalandırma uygulayarak, sabt 0, 1 çn ˆ tahmn edcsn güncelle. 5. ˆ da yakınsama elde ednceye kadar.- 4. adımlarını tekrarla. Brdge (LASSO) tahmn edcler çn cezalı GEE çözümü le, açıklayıcı değģkenler arasında çlģk olduğunda, daha y tahmn ve öntahmn elde edlr. 56

67 5. BÜZÜLME PARAMETRELERĠNĠN SEÇĠMĠ IĢıl FĠDANOĞLU 5. BÜZÜLME PARAMETRELERİNİN SEÇİMİ 5.1. Grş Regresyon problemlernde, (1) Verye y uyum sağlamak () Bast ya da açıklanablr br model korumak kurallarına uygun olarak model seçmek gerekldr. Ġlknde mümkün olduğu kadar çok açıklayıcı değģkenle model açıklanmak stenrken; kncsnde, statstksel olarak anlamlı olmayan açıklayıcı değģkenlern modelde olmaması stenmektedr. Ancak çok fazla sayıda açıklayıcı değģken varsa, aynı zamanda hem (1) hem de () y sağlayan y model seçmek genelde zordur. Çok sık olarak, çok açıklayıcı değģkenl genģ modele sahp olunmaktadır. Bu modellerde asıl problem over-fttng (aģırı-uyum) dr. Over-fttng (aģırı uyum), modeller gereğnden fazla açıklayıcı değģken çeryorsa ortaya çıkar ve verlen tüm ver noktalarında, ver modele aģırı uyum sağlar. Öntahmnde model çok kötü performans gösterr. 5.. Çapraz Geçerllk Test ve Genelleştrlmş CV Stone (1974), over-fttng problemn kullanmak çn çapraz geçerllk testn (CV) önermģtr. Her defasında br gözlem noktasını dıģarıda bırakarak model seçer ve gerye kalan ver noktaları le model oluģturarak dıģarıda bırakılan gözlemlerde ortalama öngörü hatasını mnmze eder. Yan; ve n 1 CV y ˆ y n ˆ yˆ x T 1 olmak üzere 57

68 5. BÜZÜLME PARAMETRELERĠNĠN SEÇĠMĠ IĢıl FĠDANOĞLU mn CV dr. ˆ, x, y dıģında dğer gözlemlere dayalı modeln tahmndr ve, model seçm çn ayar parametresdr. Model uydurma ve seçmlernde CV metodunun brçok uygulaması vardır. Özellkle Stone (1974), Haste ve Tbshran (1990), Wahba (1990), Shao (1993) ve Zhang (199) de bulunablr. Craven ve Wahba (1979), düzeltme parametresn optmze etmek çn lneer düzeltme splneler çn GCV y önermģtr. Y g modelnn gˆ A( ) y lneer operatörü çn GCV I A y n tr I A / n formudur. GCV nn br avantaı, n kere tahmn hesaplamaya gerek yoktur. DıĢarıda kalan her br nokta, çapraz geçerllk test çn seçlr. Tam modeln toplam sapmasını (RSS), örneklem boyutunu ve modeln serbestlk derecesn hesaplamaya yeter. Böylelkle hesaplama olarak daha az masraflıdır ve S+ gb programlama dller le hesaplanablr (Fu, 1998) GCV le ve Parametrelernn Seçm ve ceza parametreler seçmek çn, Craven ve Wahba nın GCV yöntem kullanılır. Ġlk olarak; (.3) ten lneer regresyon modelnn Brdge tahmn edcs T T X X D X y (5.1) eģtlğn sağlar. Modeln p, parametrelernn efektf (etkl) sayısını, Craven ve Wahba modeln serbestlk derecesnde ceza etksn vermģtr. 58

69 5. BÜZÜLME PARAMETRELERĠNĠN SEÇĠMĠ IĢıl FĠDANOĞLU T T p, tr X X X D X n 1 0 Buradak D, p p tpnde, ˆ 0 D 1,..., p çn 0, ˆ 0 elemanlarının dyagonal matrs, n 0 ; 1 çn ˆ 0 olan ˆ nın sayısıdır. GCV, n boyutlu çn; GCV RSS ˆ n 1 p, / n (5.) olarak tanımlanmıģtır. (5.) eģtlğ n RSS ˆ n p, olarak da yazılablr ve modeln ger kalan serbestlk dereces üzernde, ortalama hata kareler mktarı anlamına gelr. ve parametreler seçmek çn, 0 ve 1 çzgs üzernde her br (, ) çft çn GCV hesaplanır. ve, ġekl 5.1 dek gb GCV nn mnmum değernn elde edlmesyle seçlr. GenelleĢtrlmĢ lneer modellerde, Gauss-olmayan yanıt değģkenler çn hata kareler toplamı anlamlı olmadığından GCV düzeltlr. log Lk, sapma yerne; GCV dek hata kareler toplamı (RSS) kullanılır. Lk yanıt değģkenn ortak lkelhood fonksyonudur. 59

70 5. BÜZÜLME PARAMETRELERĠNĠN SEÇĠMĠ IĢıl FĠDANOĞLU Şekl 5.1. GCV le ve parametrelernn seçm (Fu, 1998) p, parametresnn efektf sayısı çn özel durum dkkate alınır Modele hçbr ceza uygulanmaz. p, proeksyon matrsnn zdr ve lneer modelde parametrelern sayısı p ye eģttr..»1 ve 1. LASSO parametreler büzdüğünden ve ˆ 0 olduğundan, yeter kadar büyük çn, D dag (0) ve n0 p dr. Tüm ˆ 0 olduğunda; model boģ (null) modeldr. Böylece model parametrelernn efektf sayısı 0 a eģttr. Bu da p, p p 0 demektr. Dğer durumlarda p, 0 dan büyüktür ve modeldek parametre sayısı p den küçüktür Cezalı GEE çn Yarı-GCV GCV metodu, genelleģtrlmģ lneer modeller çn ve parametrelern seçmekte kullanılır. Ancak 4. bölümde üzernde durulduğu gb genelde GEE çn ortak lkelhood fonksyonları yoktur. Genelde GCV metodu cezalı GEE ne uygulanamaz. Bu nedenle düzeltme uygulanmalıdır. 60

71 5. BÜZÜLME PARAMETRELERĠNĠN SEÇĠMĠ IĢıl FĠDANOĞLU Cezalı GEE nde GCV metodunu genelleģtrmek çn korelasyon yapısı dahl edlmeldr. Korelasyonun yapısı dahl edlmes le GLM dek gb GCV nn aynı etks elde edleblr. GLM çn GCV de kullanılan sapma, sapma hatalarının kareler toplamıdır. Korelasyon nedenyle sapma, GEE nde doğru anlama sahp olmamasına rağmen, sapma hataları sgn y ˆ log L y kt kt kt kt ˆ olarak her br gözlem noktasında hesaplanablr. Buradak L y kt ˆ kt, marnal dağılımına dayalı Y kt gözlemnn lkelhoodudur. ĠlĢkl gözlemler çn ağırlıklı sapma D w,, bağımsız gözlemler çn sapmaya benzer etk elde etmek çn sapma rezdülerne korelasyon dahl edlmesyle aģağıdak gb verlr. K D, r R ( a) r T 1 w k k k k 1 Buradak r k, k. bleģenn sapma hata vektörüdür. nk n k boyutlu Rk ( a ), Ģleyen korelasyon matrsdr. Yarı-GCV; GCV q D w n 1 p, / n, (5.3) olarak tanımlanır. Buradak n, Y kt lģkl gözlemlern serbestlk derecesnn efektf sayısıdır ve n k K nk 1 R ( a) k olarak tanımlanır. Rk () a, Rk ( a ) ( ) nn tüm elemanlarının toplamıdır. GEE nn korelasyon yapısı ne Pearson rezdüler ne de sapma rezdüler le tahmn edlebldğnden, sapma rezdülere sırayla korelasyon yapısı dahl etmek tavsye edlr. 61

72 5. BÜZÜLME PARAMETRELERĠNĠN SEÇĠMĠ IĢıl FĠDANOĞLU Şekl 5.. Yarı-GCV le ve parametrelernn seçm (Fu, 1998) Parametre seçm yöntem, GLM dek le aynıdır. Yan her br sabt (, ) çft çn Brdge (LASSO) tahmn edc ˆ(, ) hesaplanır, sonra p (, ) parametresnn efektf sayısı hesaplanır. Böylece yarı-gcv, sapma rezdüler le (5.3) ün kullanılmasıyla hesaplanır ve Ra ( ) korelasyon matrs, cezalı GEE çn IRLS yöntemnn son adımından elde edlr. ve parametreler ġekl 5. de gösterldğ gb yarı-gcv nn mnmze olduğu noktanın üstünde seçlr. 6

73 5. BÜZÜLME PARAMETRELERĠNĠN SEÇĠMĠ IĢıl FĠDANOĞLU Uyarılar 1. D w, y ağırlıklı sapma olarak düģünelm. Bağımsız gözlemler çn korelasyon matrs Ra ( ) brm matrs olduğunda sapmayı azaltır. Bu nedenle yarı- GCV, GCV ye ndrgenr.. ĠlĢkl gözlemlern serbestlk derecelernn efektf sayısı, Ra ( ) korelasyon matrsne bağlıdır. ve nın farklı değerler, farklı tahmnlere ve Ra ( ) nın farklı değerlerne neden olduğundan, n de ve gb farklıdır. Ancak serbestlk derecesnn efektf sayısı, gözlemler ve bleģen çn esas olduğundan, n; ve dan bağımsız olmalıdır. Bu nedenle farklı ve ya göre yarı-gcv hesaplamak çn sabt n kullanılmalıdır. 0 dan n n tahmnn kullanmak tavsye edlr. Ağırlıklı sapma, aģağıdak gb lģkl Gauss yanıtlarına neden olur., un dyagonal olmayan varyans-kovaryans matrs ve ~ N 0, olmak üzere, Y X modelnden Y Y1, Y,..., Y n lģkl yanıtlar olsun. Sırasıyla T bağımsız değģkenler çn GCV metodu uygulanır, T Q Q yu sağlayan P 1 Q olmak üzere, dönüģümü Z PY alalım. Böylece Z, N PX, I normal dağılımına sahptr. GCV (, ) Z PX ˆ Z PX n 1 p, / n T ˆ T ˆ T Y X P P Y X ˆ n 1 p, / n T ˆ 1 Y X Y X ˆ n 1 p, / n 63

74 5. BÜZÜLME PARAMETRELERĠNĠN SEÇĠMĠ IĢıl FĠDANOĞLU Yan GCV, rezdülerde korelasyon yapısının dahl edlmesyle elde edlr. Benzer Ģeklde cezalı GEE nde aynı etky elde etmek çn, (5.3) denklemndek gb sapma rezdülere korelasyon yapısı dahl edlr. ĠlĢkl gözlemlern serbestlk derecesnn efektf sayısı, lģkl Gauss gözlemlerne de neden olur. 1 köģegen elemanlı R ( ) matrs olsun. Y Y, Y,..., Y, 1 n T N 0, R dağılımına sahp olsun. Y örneklem ortalamasının varyansı; 1 1 Var( Y ) Var Y Cov Y, Y n n 1 n Cov Y, Y n R n n R (5.4) dr. Y gözlemlernn bağımsız olduğu özel durumlarda R brm matrstr, böylece örneklem ortalamasının varyansı Var( Y ) n olur. Paydadak n, Y1, Y,..., Y n bağımsız gözlemlernn serbestlk derecesnn sayısıdır. Y1, Y,..., Y n lģkl gözlemlernn serbestlk derecesnn efektf sayısı, (5.4) paydasını denklemnn n R olarak tanımlayalım. Negatf olmayan lģk sabt 0 çn, bu serbestlk derecesnn efektf sayısı Y 1 n n kez tekrarı çn ve ( Y 1, Y,..., Y n ) n bağımsız gözlem çn 1 le n arasındadır. 64

75 5. BÜZÜLME PARAMETRELERĠNĠN SEÇĠMĠ IĢıl FĠDANOĞLU Negatf korelasyon le bazı problemler oluģablr. Ancak uygulamada, negatf korelasyonlu gözlemlern sersne rastlamak çok nadr br durumdur. Özellkle longtudnal (boylamasına) araģtırmalarda aynı bleģenden poztf lģkl yanıtlar beklenr. Böylece serbestlk derecesnn efektf sayısı, genelde boylamasına araģtırmalarda y çalıģır. 65

76 6. SĠMÜLASYON ÇALIġMALARI IĢıl FĠDANOĞLU 6. SİMÜLASYON ÇALIŞMALARI Bu bölümde doğru modeldek Brdge regresyonun büzülme etksn sınamaya dayalı statstksel smülasyonlar verlecektr. Brdge ceza model; cezalı olmayan, LASSO ceza ve Rdge ceza modeller le karģılaģtırıldı. Regresyon parametrelernn standartlaģtırılmıģ hata kareler ortalaması (MSE); ˆ T MSE ort X X T ˆ ve öntahmn hata kareler PSE ort Dev y, ˆ model rasgele hatasının ortalaması alınarak hesaplanır PSE, X gb aynı korelasyon yapısına sahp lģk uzayında, bazı rasgele seçlmģ noktalardak ortalama olarak hesaplanır. Her br ncelğn de standart hatası hesaplanır. Bu bölümdek smülasyonlar, Fu (1998) makalesnden yararlanılarak hazırlanmıģtır Lneer Regresyon Model 40 gözleml ve 5 açıklayıcı değģkenl Y 0 1x1 x 3x3 4x4 5x 5 (6.1) bast modelnn smülasyonunda Brdge model le OLS, LASSO ve Rdge karģılaģtıralım. ~ N 0, dr. Buradak ;gerçek parametre ve T x ;. gözleme at vektördür. ĠçlĢkde büzülme etksn sınamak çn X n korelasyon matrsnde gösterldğ gb güçlü lneer korelasyonlu X regresyon matrs seçlr. x 4 ve x 5 arasında alınarak çok güçlü korelasyon katsayısı seçlr. X matrs aģağıdak gb üretlr. Ġlk olarak N 0,1 standart normal dağılımlı rasgele sayıları le 66

77 6. SĠMÜLASYON ÇALIġMALARI IĢıl FĠDANOĞLU 40 5 tpnde br matrs üretlr. Sonra X n ardıģık kolon vektörlernn çft yönlü korelasyon katsayıları, U 1,1 düzgün dağılımından üretlr. Sabt termsz regresyon parametrelern büzmek çn, x n x ort( x ) / x ort( x ) le ver ölçülür ve merkezleģtrlr. Buradak x ; X n. kolon vektörüdür. Doğru model 0 katsayısını çerdğnde LASSO Rdge den daha y ve doğru model küçük fakat sıfır olmayan parametreler çerdğnde de LASSO Rdge den daha kötü performans gösterdğnden; Gerçek değernn k kümes, 0 katsayılı modeldek büzülme etksn sınaması çn seçlr. Sıfır çermeyen fakat küçük katsayılı modeller: ve (a) model çn 0 0 sabt term le 0, 0, 0.5, 0, 1 T true (b) model çn 0 0 sabt term le 0.5, 3, 1.0,.5, 9 T true Y yanıtı (6.1) modelnden üretlr. dr. (6.1) Lneer modelnn korelasyon matrs x x x x x

78 6. SĠMÜLASYON ÇALIġMALARI IĢıl FĠDANOĞLU Tablo kez tekrarlayan smülasyonla model karşılaştırılması Model (a) Model (b) 68

79 6. SĠMÜLASYON ÇALIġMALARI IĢıl FĠDANOĞLU Tablo 6.1; parametre tahmnler, parantezlerde standart hataları, OLS nn MSE ve PSE s, Brdge, LASSO ve Rdge modellern gösterr. ˆ 4 ve ˆ 5 nın standart hataları çlģk nedenyle hem (a), hem de (b) modellernde dğerlerne nspeten daha büyüktür. (a) modelnde; Brdge ve LASSO sonra da Rdge en küçük MSE ve PSE değern elde eder. ĠçlĢk nedenyle OLS en büyük MSE ye ve en büyük PSE ye sahptr. (b) modelnde; En küçük MSE ye sırasıyla Rdge, Brdge, LASSO ve OLS sahptr. Aynı zamanda en küçük öntahmn hatası PSE ye de Rdge sahptr. En büyük öntahmn hatası se OLS nndr. Yukarıdak örnekte görülüyor k, Brdge regresyon OLS tahmnlern büzer ve küçük varyans, küçük MSE ve küçük öntahmn hatası elde edlr. Brdge tahmn edc, LASSO ve Rdge tahmn edcye kıyasla ve OLS tahmn edcye göre daha y performans gösterr. 6.. Karmaşık Lneer Regresyon Model Bölüm 6.1 de bast lneer regresyon modeller çalıģıldı, OLS, Brdge, LASSO ve Rdge gb farklı cezalarla büzülme etks ve MSE, PSE değerler karģılaģtırıldı. Bu bölümde açıklayıcı değģkenlern farklı korelasyon yapısı le daha karmaģık lneer regresyon modellernde farklı büzülme etks çalıģılacaktır. Gerçek parametreler, Bölüm.7 de bahsedldğ gb nın farklı değerler çn Brdge cezanın pror dağılımından üretlr. Model n 30 örneklem boyutlu, 10 açıklayıcı değģkenl Y 0 1x x 10 69

80 6. SĠMÜLASYON ÇALIġMALARI IĢıl FĠDANOĞLU lneer regresyon model üzernde çalıģalım. 10 regresyon matrs Xm, m 1,,...,10, U 1,1 düzgün dağılımından üretlen farklı çft yönlü korelasyon katsayılı boyutlu ortonormal X matrsnden üretlmģtr. m le Ver Her br X m çn; gerçek k, k 1,,...,30, üretlmģtr. Buradak k nın her br bleģen Brdge pror dan, yan 1 ve 1 le, dan üretlmģtr. Her br X m ve k le 30 gözlem N 0, normal dağılımından rasgele hata le Y X m k modelnden üretlmģtr. Farklı ceza modeller: OLS, Brdge, LASSO ve Rdge çn MSE ve PSE; ˆ T MSE X X T m m ˆ T ve PSE ort y x t T t ˆ olarak hesaplanmıģtır. 0 rasgele seçlmģ nokta x, y, aynı modelden üretlmģtr. x t ; her br t t öntahmn noktasına at vektördür. MSE ve PSE, rasgele model hatası un 50 tekrarlı ortalamasıdır. k ; pror dağılımından üretlr. MSE ve PSE, OLS, Brdge, Rdge ve LASSO modeller çn hesaplanır. Böylece MSE ve PSE nn kümes hesaplanır. Yukarıdak yöntem 1,1.5,, 3, 4 değerler çn tekrarlanır. Metot Farklı cezaların her br MSE ve PSE kümes, dan üretlen aynı k lardan hesaplanır ve değerler farklı k le genģ aralıkta değģmektedr. Fakat 70

81 6. SĠMÜLASYON ÇALIġMALARI IĢıl FĠDANOĞLU modeller arası farklar küçüktür. OLS yardımıyla, bağıntılı (related) MSE r ve bağıntılı (related) PSE r nn karģılaģtırılmasıyla seçlr. MSE r MSE MSE MSE OLS OLS ve PSE r PSE PSE PSE OLS OLS KarĢılaĢtırıldığında, bağıntılı PSE ye terch edlr (Fu, 1998). MSE r ve bağıntılı PSE r ornal MSE ve Sonuç Her br sabt değer çn, 300 kümelk MSE r ve PSE r nn ortalama ve standart hataları hesaplanmıģ ve Tablo 6. tek gb verlmģtr. 1 ve 1.5 çn gösterldğ gb Brdge, LASSO ve Rdge nn MSE ve PSE s OLS nnknden daha küçüktür. Tablo 6. den görüldüğü gb Brdge ve LASSO küçük değerler çn y performans gösterrken, büyük değernde o kadar y performans göstermemektedr. nın büyük değerler ( 1.5,, 3, 4) çn Rdge; Brdge ve LASSO dan daha ydr. Bölüm.6 ve.7 de de bahsedldğ gb nın büyük değerler, model çn küçük fakat sıfır olmayan parametreler türetr ve nın küçük değerler sıfırı da çeren regresyon parametreler üretr. Bu da, doğru model sıfır parametreler çeryorsa LASSO y performans gösterrken, doğru model küçük fakat sıfır olmayan parametreler çeryorsa LASSO nun kötü performans gösterdğ anlamına gelr. Brdge de LASSO ya benzer etk göstermektedr. 1,1.5 gb küçük değerlerde y, fakat nın büyük değerlernde kötü performans gösterr. 71

82 6. SĠMÜLASYON ÇALIġMALARI IĢıl FĠDANOĞLU Tablo 6.. Farklı değerler çn MSE r ve PSE r nn ortalama ve standart hataları GenĢ aralıkta MSE ve PSE lernn değerler farklıdır. Fu (1998), ornal MSE ve PSE değerlerndense, farklı ceza modeller arasında terch etmenn daha uygun olduğu sonucuna varmıģtır. MSE r ve PSE r y Yukarıdak sonuca göre; Brdge regresyon küçük MSE ve PSE elde eder, büyük regresyon parametrel lneer regresyon model çn LASSO ve Rdge e göre daha y performans verr. Fakat sıfır olmayan küçük parametrel doğru modele sahpse kötü performans göstereblr. 7