Regresyon Regresyona Giriş Regresyon korelasyon ile yakından ilişkilidir Regresyon bir bağımlı değişken ile (DV) bir veya daha fazla bağımsız değişken arasındaki doğrusal ilişkiyi inceler. DV için başka bir terminoloji: Çıktı değişkeni Ölçüt değişkeni IV için başka bir terminoloji: ordayıcı Regresyon veriye "en iyi uyan doğru" yu bulmaya çalışır.
(Örnek) 00 180 (DV) SSTOLIC BLOOD PRESSURE 160 140 10 100 80 50 60 70 80 90 100 110 10 DIASTOLIC BLOOD PRESSURE (IV) En iyi uyan doğru bize ne anlatır? Verilen herhangi bir IV değeri için yordanan DV değerini. Doğrunun yönü. ukarı doğru ise. pozitif ilişkiyi. Doğrunun dikliği (eğimi). IV daki değişime göre DVdeki değişim oranını. Eğim ne kadar dik ise IV daki değişime göre DVdeki değişim oranı o kadar fazladır.
En iyi uyan doğruyu nasıl buluruz? İki gözlem için 14 13 1 11 10 9 8 7 6 5 4 3 1 0 0 1 3 4 5 6 7 8 9 10 11 1 13 14 Üç veya daha fazla için uyum doğrusu (1) 14 13 1 11 10 9 8 7 6 5 4 3 1 0 0 1 3 4 5 6 7 8 9 10 11 1 13 14
Üç veya daha fazla gözlem için uyum doğrusu () 14 13 1 11 10 9 8 7 6 5 4 3 1 e e 1 0 0 1 3 4 5 6 7 8 9 10 11 1 13 14 En iyi uyum doğrusu e l + e + e 3 en küçük olacak biçimde tanımlanır. Buna en iyi uyum doğrusunu bulmak için en küçük kareler ölçütü denir e 3 Regresyon doğrusunun kestirilmesi En küçük kareler ölçütü bize katsayıları verir: b s = rx sx c= bx., ve ˆ = c + bx burada ˆ : ordanan bağımlı değişken c : Kesişim b : Eğim X : Bağımsız değişken
Bir doğruyu belirleyen özellikler 1. Eğim Doğrunun dikliğidir.. Kesişim Doğrunun dik eksen ile kesiştiği noktadır (y-ekseni). Kesişim doğrunun yerini belirler. 14 13 1 11 10 9 8 7 6 5 4 3 1 0 0 1 3 4 5 6 7 8 9 10 11 1 13 14 Gözlenen için regresyon eşitliği = c + bx + e orumu: burada c : Kesişim : Bağımlı değişken X : Bağımsız değişken b : Eğim e: Artık Intercept Bağımsız değişkenin (X) değeri sıfır olduğu durumda bağımlı değişken () nin aldığı değer Eğim X deki her bir birim artış için deli artış miktarı.
(örnek.) = 1+ X + e Kesişim = 1 Doğrunun eksenini kestiği nokta Eğim = Bu değer X 1 birim arttığında nin birim arttığını gösterir. (Örnek) Bağımlı değişken() = kelime testi puanı Bağımsız değişken (X) = kaç saat çalışıldığı Sonuç c = 5.05, b = 0.75 Regresyon eşitliği = 5.05 + 0.75X + e orum Çalışma saati 1 saat arttiğinda, kelime testi puanı 0.75 artar. (Dıkkat: neden sonuç ilişkisi yoktur!) Çalışma süresi 0 olduğunda, beklenen puan 5.05
Regresyon eşitliğinin iki hali Gözlenen eşitliği =c+bx+e ordanan eşitliği ˆ = c + bx (örnek X X X ( X X) ( ) ( X X)( ) 7 9 3 9 4 6 5 13 1 6 1 36 6 4 5 0-0 4 0 3 7-1 0 1 0 0 1 1-3 -6 9 36 18 Toplam 0 35 0 80 30 Ortalama 4 7 5 * 0 * 7.5 * s X = 5 s = 0 s X = 7.5 (* n 1) bölünür sx 7.5 7.5 7.5 r = = = = = 0.75 s s 5 0 100 10 X s 0 Burdan, b= rx = 0.75 = 0.75 4 = 0.75() = 1.50 s X 5 c= bx = 7 1.50(4) = 7 6 = 1.00
Regresyon doğrusu Regresyon doğrusunu çizmek için: İlk olarak, y eksenini kesen kesişimi belirle Sonra, koordinatlardaki diğer bir noktayı belirle. orum: Eğim: ön test puanı 1 olduğunda son test puanının 1.5 puan daha yüksek olamsı beklenir. Kesişim: Ön test puanı 0 olduğunda son test puanının 1 olması beklenir ˆ = 1.0 + 1. 5 X 13 1 11 10 9 8 7 6 5 4 3 1 0 0 1 3 4 5 6 7 X X değerine göre nin belirlenmesi X i 1.0+ 1.5X ˆi 1 1+ 1.5(1) = 1+ 1.5.5 1+ 1.5() = 1 + 3 4.0 3 1+ 1.5(3) = 1+ 4.5 5.5 4 1+ 1.5(4) = 1+ 6 7.0 5 1+ 1.5(5) = 1+ 7.5 8.5 6 1+ 1.5(6) = 1+ 9 10.0 7 1+ 1.5(7) = 1+ 10.5 11.5 8 1+ 1.5(8) = 1+ 1 13.0
Artık residual = e = ˆ i i i X i i ˆi e i 1 1.5 1.5 3 7 5.5 1.5 4 5 7.0.0 5 13 8.5 4.5 7 9 11.5.5 Toplam = 0.0 13 1 11 10 9 8 7 6 5 4 3 1 0 e 1 e 4 e 5 e e 3 0 1 3 4 5 6 7 X Standart X ve puanlarıyla regresyon doğrusu nasıl belirlenir? = s = b rx rx sx, and ani regresyon doğrusu: c= bx = 0 b(0) = 0. Z = r ˆ X ZX (standartlaştırılmış regresyon katsayısı) (ön test ve son test örneğinde) Z = 0.75Z ˆ X orum: X bir standart sapma arttığında 0.75 standard sapma artar
Regresyon doğrusunun şekli z 1.50 1.00 0.50 0.00-0 50-1.00-1.50-1.50-1.00-0.50 0.00 0.50 1.00 1.50 standardlaştırılmış regresyon Z nin Z X ile yordanması Z ˆ i Z Xi 0.75Z Xi - 0.75(-) -1.5-1 0.75(-1) -0.75 0 0.75(0) 0 1 0.75(1) 0.75 0.75() 1.5
bu bize. X ve nin standart sapmalarını ve aralarındaki korelasyonu bildiğimizde, yi X den yordayabileceğimizi gösterir. (Örnek) X ve arasındaki korelasyon 0.50 dir. Eğer bir kişinin puanı X = 15ise, yordanan puanı nedir? X Ort 1 14 Standard sapma 3 4 X = 15 z puanı z X = 1.0. O zaman nin z-puanı 0.5(1) = 0.5. Bu yordanan puanın ortalamadan 0.5 standart sapma üztünde old. göst. ani () = 14, ve σ = 4, yordanan puan 14 + 0.5(4) = 16. (örnek) X ve arasındaki eorernsyon 1.00. Eğer bir kişinin puanık X =18 ise, yordanan puanı nedir? (örnek.) X Ort 1 14 Standard Sapma 3 4 X ve arasındaki eorernsyon 0.00. Eğer bir kişinin puanık X =15 ise, yordanan puanı nedir? X ORt 1 14 Standard Sapma 3 4
regresyon Analizi by SPSS Analysis regression Linear Bağımsız değişkeni seç Bağımlı değişkeni seç. OK. Model 1 Model Summary Adjusted Std. Error of R R Square R Square the Estimate.750 a.563.417 3.41565 a. Predictors: (Constant), X korelasyon bu korelasyonun karesidir. Açıklanan varyans oranını gösterir. bu durumda, 'deki varyansın (değişimin) % 56.3 nın X deki değişim ile açıklandığını gösteriyor. Model 1 (Constant) X a. Dependent Variable: y-ikesişim eğim Unstandardized Coefficients Coefficients a Standardized Coefficients B Std. Error Beta t Sig. 1.000 3.416.93.789 1.500.764.750 1.964.144 Standard regresyon katsayısı Evrende b değerinin sıfırdan farklı olduğundan bahsetmek için, bu değer b nin mutlak değerinin yarısından daha az olmalı
Artıklar standartlaşmış regresyon da artıkları ele alırsak (Ön ve Son-test örneği) zˆ = 0.75z X Z X Z 1.34 0.45 1.01 0.56 0.45 1.34 0.34 1.00 0.00 0.45 0.00 0.45 0.45 0.00 0.34 0.34 1.34 1.34 1.01 0.33 Ortalama 0 0 0 0 Varyans 1 1 0.56785 0.435155 SD 1 1 0.75 0.67 z ˆ z zˆ = 1 r = 1 r = r = r standardlaşmış regresyona göre yordanan puanların standard sapması r ye eşittir. yordanan puanların varyansı r dir Bu varyansın açıklanan kısmıdır. Artıkların varyansı 1 r. bu varyansın açıklanmayan kısmıdır.
Ayrıca Artıkların standard sapması 1 r. Buna kestirimin satandart hatası denir s Z Z. X kestirimin satandart hatasının küçük olması regresyon doğrusunun veriye uyumunun iyi olduğunu gösterir kestirimin satandart hatasının büyük olması regresyon doğrusunun veriye uyumunun kötü olduğunu gösterir Ham puanlar için X ˆ ˆ 7 9 11.5.5 5 13 8.5 4.5 4 5 7.0.0 3 7 5.5 1.5 1 1.5 1.5 Mean 4 7 0 0 Var 5 0 11.5 8.75 SD.4 4.47 3.35.96 () Variance Explained sr = 0 0.565 Important Fact: (1) + () = 0 = Var() ˆ = 1.5X + 1.0 i sr= 4.47 0.75 i Standard Error of Estimate s X= s 1 r = 4.47 0.4375 = 4.47 0.661 (optional) (1) Variance NOT Explained s (1 r ) = 0(1 0.565) = 0 0.4375
For regresyon with raw scores The variance of the predicted scores is equal to sr. This is the explained part of the variance. (optional) The variance of the residuals is equal to s (1 r ). This is the unexplained part of the variance. The standard deviation of the predicted scores is equal to s r. The standard deviation of the residuals is equal to s 1 r. This quantity is called Standard Error of Estimate, and denoted s X. When the standard error of estimate is small, it indicates a good fit of the regresyon line to the data. When the standard error of estimate is large, it indicates a bad fit of the regresyon line to the data. Regresyonun Varsayımları 1. Artıkların normal olarak dağılması Artıkların histogramı incelenir Artıkların normal olasılık grafikleri incelenir.. ˆ ve lineer ilişkilidir. ˆ ve nin saçılım grafiği incelenir 3. Homosedasitity Bütün seviyelerde artıkların varyansı uniformdur (Hataların hepsinin varyansı aynıdır.) ˆ ˆ ve artıkların saçılım grafiği incelenir We look for similar spread of points (with equal spread up-and-down ) at each place along the horizontal axis.
Varsayımların SPSS ile incelenmesi 1. Linear regresyon işlemine git. Bağımlı ve bağımsız değişkenleri seç. 3. Plots a tıkla 4. Histogram ve Normal Probability Plot Standardized Residual Plots tik işareti koy (This will create two plots to examine the normality of residuals.) 5. için DEPENDENT ve X için *ZPRED seç Next bas. (Doğrusal ilişkiyi incelemek için.) 6. için *ZRESID ve X için *ZPRED seç ve Continue. ( homoscedasticity incelemek için.) 7. OK. (e.g.) X Diastolic Blood Pressure, Systolic Blood Pressure. Histogram Dependent Variable: SSTOLIC BLOOD PRESSURE 40 30 Frequency 0 10 0 Mean = -8.49E-17 Std. Dev. = 0.997 N = 00-4 - 0 4 6 regresyon Standardized Residual
Her iki değişkenin yaklaşık olarak lineer olmasını istiyoruz Scatterplot Dependent Variable: SSTOLIC BLOOD PRESSURE 00 SSTOLIC BLOOD PRESSURE 180 160 140 10 100 80 Non-lineerlik mevcut mu? -3 - -1 0 1 3 4 regresyon Standardized Predicted Value
Scatterplot Dependent Variable: SSTOLIC BLOOD PRESSURE regresyon Standardized Residual 4 0 - -3 - -1 0 1 3 4 regresyon Standardized Predicted Value ˆ de tesadüfi olmama durumu söz konusu mu?