6. Ders. Genelleştirilmiş Lineer Modeller (Generalized Linear Models, GLM)

Transkript

1 6. Ders Genelleştirilmiş Lineer Modeller (Generalized Linear Models, GLM) Y = X β + ε Lineer Modeli pek çok özel hallere sahiptir. Bunlar, ε nun dağılımına (bağımlı değişkenin dağılımına), Cov( ε ) kovaryans matrisine ve açıklayıcı değişkenlerin gözlem matrisi olan X in yapısına bağlıdır. * rank( X ) = p olduğunda modele tam sütun ranklı, veya kısaca tam ranklı n p model denir. Deney tasarımı modelleri (genellikle) tam ranklı değildir ve tasarım matrisi denen X in elemanları 0,1 lerden oluşmaktadır. Cov( ε ) * n 1 E( ε ) = 0, Cov( εn 1) = σ I veya V bilinen pozitif tanımlı bir matris olmak üzere = σ V biçiminde olduğunda modele Genel Lineer Model (General Linear Model) denmektedir ve ( Y, Xn p β, σ V ) biçiminde de gösterilmektedir. * εn 1 N(0, σ I) veya εn 1 N(0, σ V ) olduğunda modele Hipotez testi (Normal, Gauss) modeli denmektedir. ( Y, Xn p β, σ V ) β = ( ) 1 Genel Lineer Modelinde rank(x n p ) = p olsun. ˆ 1 1 X' V X X' V Y tahmin edicisi β nın En Küçük Kovaryans Matrisli Lineer Yansız Tahmin Edicisidir (BLUE). ( Y, N ( X, )) n p β σ V Genel Lineer Hipotez Testi Modelinde, Y = X β + ε, ε N ( 0, σ V ) olmak üzere, V bilinen pozitif tanımlı bir matris ve rank(x n p ) = p olsun. ˆ β = ( ) X V X X V Y ( ) ˆ σ = = n p n p Z I AA Z Y V V X X V X X V Y tahmin edicileri sırasıyla β ve σ için düzgün minimum varyans yansız (UMVU) tahmin edicilerdir. Bunlara Aitken tahmin edicileri denir. Ayrıca, 1 1 β N β σ X V X ve dağılımlıdır. ˆ (, ( ) ) ( n p) ˆ σ σ χ ( n p) 1

2 Y = X β + ε, ε N (, ) 0 Σ, Σ pozitif tanımlı matris (bilinmiyor), rank(x n p ) = p modelinde β parametre vektörünün en çok olabilirlik tahmin edicisini bulmaya kalkıştığımızda, ɶ β = ( Σ ) Σ X X X Y biçiminde bir ifade ortaya çıkmaktadır. Σ bilinmediğinden β ɶ bir tahmin edici olarak kullanılamaz. Diğer taraftan β nın en küçük kareler tahmin edicisi, ˆ β = ( X X ) 1 X Y dır. Bu tahmin ediciye β nın alışılmış en küçük kareler (ordinary least squares, OLS) tahmni edicisi denir. Doğal olarak ˆβ ɶ β olduğunda OLS tahmin edicisi UMVU tahmin edicisi olmayacaktır. Acaba hangi şartlarda OLS tahmin edicisi UMVU tahmin edicisi olmaktadır? Teorem Y = X β + ε, ε N ( 0, Σ ) modelinde en küçük kareler tahmni edicisi ( X X ) X Y 1 nin β için UMVU tahmin edicisi olması için gerek ve yeter şart, Σ X = XF olacak şekilde singüler olmayan bir F: p p matrisinin var olmasıdır. Sonuç Y = X β + ε ε N, ( 0, Σ ), X = 1, X,, X p 1 ρ ρ ρ 1 ρ 1 n n σ (1 ρ) I σ ρj σ Σ = + =, < ρ < 1 n 1 ρ ρ 1 modelinde, biçiminde ise en küçük kareler tahmin edicisi UMVU tahmni edicisidir. Hata terimi üzerinde dağılım varsayımı olmadığında EKK tahmin edicilerini kullanmaktayız. Hipotez testi yapamayız (belki parametrik olmayan sonuç çıkarım yapabiliriz). Bağımlı değişken (hata terimi) normal dağılımlı olduğunda istatistiksel sonuç çıkarımın nasıl yapıldığını ist307, ist306 derslerinde gördünüz. Bağımlı değişken normal dağılımlı değilse; örneğin Bernoulli, Poisson, Gamma veya başka bir dağılım olabilir; sonuç çıkarım Genelleştirilmiş Lineer Model (Generalized Linear Model, GLM) teorisi altında yapılmaktadır. Yüzeysel olarak Genelleştirilmiş Lineer Model leri ele alalım.

3 Genelleştirilmiş Lineer Model 3

4 4

5 5

6 6

7 Genelleştirilmiş Lineer Modeller (Generalized Linear Models, GLM) kullanarak veri analizi ve sonuç çıkarımlar yapmaya çalışalım. 1.Örnek (Lojistik Regresyon): Kaynak: Allen Webster (013) Introductory Regression Analysis, Routledge,Taylor&Francis. Veri: Y:Araba alımı 1-aldı, 0-almadı x1: ailede birey sayısı x:gelir (yıllık bin dolar) Y x1 x , , , , , , , , , , , , , , , , , , ,6 0 74, ,8 0 7,8 0 70, , , ,4 0 63, 0 70, , , ,6 0 64,8 0 68, , ,4 0 64,8 7

8 Binary Logistic Regression: C1 versus C; C3 Link Function: Logit Response Information Variable Value Count C1 1 4 (Event) 0 0 Total 44 Logistic Regression Table Odds 95% CI Predictor Coef SE Coef Z P Ratio Lower Upper Constant -53,061 16,4547-3, 0,001 C,58 1,07485,07 0,038 9,6 1,13 76,14 C3 0, ,1941 3,14 0,00 1,95 1,8,96 Log-Likelihood=-13,818 Test that all slopes are zero:g=3,997, DF=, P-Value=0,000 Katsayıların Yorumlanması: 8

9 R Yazılımı # Y:Araba alımı 1-aldı, 0-almadı # x1: ailede birey sayısı x:gelir (?bin dolar yıllık) Y=c(rep(1,4),rep(0,0)) x1=c( 3, 3, 3,, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3,,3, 3,,,3,3,3,,3,3,,,3, 3, 3,,, 3, 3,, 3,,, 3,,, ) x=c(76.8, 76.8, 7.8, 76.0, 73.6, 74.4, 78.4, 73.6, 77.6, 76.0, 79., 71., 75., 73.6, 75., 7.0, 7.8, 7.0, 68.8, 7.0, 7.8, 70.4, 70.4, 69.6, 74.4, 7.0, 7.8, 7.8, 70.4, 68.8, 63., 66.4, 63., 70.4, 64.8, 68.0, 65.6, 65.6, 64.8, 68.8, 64.8, 68.0, 66.4, 64.8) veri=data.frame(x1,x,y) model=glm(y~x1+x,family=binomial) summary(model) Ysapka=fitted.values(model) cikti=data.frame(x1,x,y,ysapka,ysapka>=0.5) cikti # model=glm(y~veri$x1+veri$modelx,family=binomial) 9

10 > cikti x1 x Y p_sapka p_sapka>= TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE FALSE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE 10

11 Matlab >> playshow glmdemo >> help glmfit >> veri=[ ] 11

12 >> X=[veri(:,1) veri(:,)] >> glmfit(x,y,'binomial') ans = >> [kats Deviance]=glmfit(X,Y,'binomial') kats = Deviance = >> help glmval >> psapka = glmval(kats, X, 'logit') psapka = x1 x Y pşapka (Yşapka) Eşik değeri olarak 0.5 seçilip; pşapka>0.5 olan birim araba sahibi grubuna atansın, pşapka<0.5 olan birim diğer gruba atansın kuralı bir diskriminasyon (ayrıştırma) kuralı olabilir. Yanlış sınıflandırılmış birimler kırmızı işaretli olanlardır. Yanlış sınıflandırma oranları: p ˆ0/1= 3 / 4, p ˆ1/0= / 0 dır. 1

13 SPSS 13

14 14

15 15

16 1 3 76,8, ,8, ,0, ,6, ,4, ,8, ,4, ,6, ,6, ,0, ,, ,, ,, ,6, ,, ,0, ,8, ,0, ,8, ,0,37 1 7,8, ,4, ,4, ,6, ,4, ,0, ,8, ,8, ,4, ,8, ,, ,4, ,, ,4, ,8, ,0, ,6, ,6, ,8, ,8, ,8, ,0, ,4, ,8,005 16

17 .Örnek (Poisson Regresyonu): Kaynak: Julian J. Faraway (006) Extending the Linear Model with R, Chapman&Hall/CRC. Amaç: Galapagos adalarında yaşayan kaplumbağa türü sayısını, çeşitli coğrafik değişkenler ile açıklamak. Değişkenler: Species: adada bulunan kaplumbağa türü sayısı Endemics: endemik(o yöreye ait) türlerin sayısı Area: adanın alanı (km ) Elevation: adanın en yüksek noktası (m) Nearest: en yakın ada mesafesi (km) Scruz: Santa Cruz adasına olan mesafe (km) Adjacent: komşu adanın alanı (km ) Veri: 17

18 Aşağıdaki komutları adım adım işletiniz. library(faraway);data(gala);gala modelekk=lm(species~area+elevation+nearest+scruz+adjacent, data=gala) summary(modelekk) # R belirleyicilik katsayısı? (Açıklayıcı değişkenlerin rolü?) # Hata terimi ile ilgili varsayımlar sağlanıyor mu? # Sabit varyanslılık: plot(residuals(modelekk)~fitted(modelekk)) plot(abs(residuals(modelekk))~fitted(modelekk)) # Heteroskedastiklik (heteroscedasticity) söz konusu. # Ağırlıklı EKK veya transformasyon yapılabilir. # Uygun lamda değeri (sayfa 110) library(mass) boxcox(modelekk, lambda=seq(0,3,0.1)) # bağımlı değişkene karekök dönüşümü uygun görünmektedir. kkspecies=sqrt(gala$species) m=lm(kkspecies~area+elevation+nearest+scruz+adjacent, data=gala) plot(residuals(m)~fitted(m)) ; # sabit varyanslılık varsayımı sağlandı mı? #Normallik varsayımı? hist(residuals(m)) # Çarpıklık söz konusu olabilir. hist(residuals(m),10) qqnorm(residuals(m)); qqline(residuals(m)) shapiro.test(residuals(m)) : # normallik reddedildi mi? summary(m) # R=%78, F-istatistiği (p-değeri= ) olduğunu görünüz. # Bireysel katsayılar (p-değerleri): # Nearest ve Scruz değişkenlerine dikkat edin! Modelden çıkarın. #Yeni model: myeni=lm(kkspecies~area+elevation+adjacent, data=gala);summary(myeni) # Her şey yolunda mı? # Modelin aşağıdaki gibi olacağını görünüz. # kkspecies= *area *elevation *Adjacent # Katsayıların yorumlanması nasıl yapılacak? # Örneğin, Area (alan) bir birim artsa kkspecies'da kadar değişiklik olacak. # kkspecies bağımlı değişkenin karekökü olduğuna göre, Area bir birim artsa, Species # üzerine etkisi ne olacak? Yorumlama zorlaştı. 18

19 # Genelleştirilmiş Lineer Model deneyelim. # Species bağımlı değişkeni Poisson dağılımlı düşünülebilir. glm=glm(species~area+elevation+nearest+scruz+adjacent, data=gala, family=poisson) summary(glm) # Katsayıların yorumlanması? # Link fonksiyonu (ln). # Alan (Area) bir birim artsa, Species sayısı öncekinin exp( ) katı olur diyebilir miyiz? # Aşağıdaki çıktıları yorumlayınız. summary(modelekk) summary(glm(species~area+elevation+nearest+scruz+adjacent, data=gala)) 19