REGRESYON ANALİZİ BÖLÜM 1-2

Transkript

1 REGRESYON ANALİZİ BÖLÜM 1- Yayın Tarh: REGRESYON ANALİZİ NEDİR? MODELLEME 1. GİRİŞ İstatstk blmnn temel lg alanlarından br: br şans değşkennn davranışının br model kullanılarak tahmnlenmesdr. İlglenlen br şans değşkennn davranışını tanımlamak amacıyla matematksel br yaklaşımın gelştrlmesn fade eder. 1

2 MODELLEME DEĞİŞKEN Davranışı tahmnlenecek değşken, başka değşkenlern fonksyonu olarak ortaya çıkablr. Br ürünün fyatı Belrl br hastalıktan ölenlern sayısı Metal br kablonun dayanım gücü 3 BAĞIMLI DEĞİŞKEN Şans değşken bağımlı değşken olarak adlandırılır ve Y le gösterlr. Araştırmada brden fazla gözlem alındığından gözlemler brbrnden ayırmak çn br alt nds kullanılır Y. 4

3 MODELLEMENİN AMACI Koşullar değştğnde bağımlı değşkenn ortalamasının E(Y ) nasıl değştğn tanımlamaktır. 5 AÇIKLAYICI DEĞİŞKEN Bağımlı değşkenn davranışı üzernde sağladığı etk çn modele alınan değşkenler kestrm, bağımsız ya da açıklayıcı değşken olarak adlandırılır. Bu değşken X le gösterlr. Farklı bağımsız değşkenler tanımlamak çn de br alt nds kullanılır X j Bağımsız değşkenlern blnen sabtler olduğu varsayılır. 6 3

4 PARAMETRELER Tüm modeller bağımsız değşkenlere lave olarak blnmeyen sabtler çerr. Blnmeyen bu sabtler parametreler olarak adlandırılır ve modeln davranışını kontrol eder. 7 DEĞİŞKENLER ARASINDAKİ İLİŞKİ TİPLERİ Determnstk lşk Yarı determnstk lşk Olasılıksal lşk 8 4

5 MODELİN DOĞRUSALLIĞI Kullanılan modeller genellkle parametrelerne göre doğrusaldır. Parametrelere göre doğrusallık, modeldek tüm parametrelern bast (brnc dereceden) olmasıdır. Dğer br deyşle üstel durumda ya da br dğer parametre le çarpım halnde veya bölüm halnde br parametrenn bulunmamasıdır. 9 DOĞRUSAL OLMAYAN MODELLER Daha gerçekç modeller karmaşık olup parametrelerne göre doğrusal değldr. Doğrusal olmayan modeller k sınıfa ayrılır: Doğrusal hale dönüştürüleblenler (bağımlı ya da bağımsız değşken üzerne dönüşüm le) Doğrusal hale dönüştürülemeyenler 10 5

6 BASİT DOĞRUSAL MODEL. BASİT DOĞRUSAL REGRESYON En bast doğrusal model sadece tek br bağımsız değşken çerr. Bu model, bağımsız değşkenn değernn artması ya da azalması durumunda bağımlı değşkenn gerçek ortalamasının sabt br oranda değştğn fade eder. 11 FONKSİYONEL İLİŞKİ E(Y ) le X arasındak fonksyonel lşk, EY = β + β X (.1) ( ) 0 1 Modelde β 0 kesşm termdr. X=0 ken E(Y ) nn değerdr. β 1 se doğrunun eğmdr. X dek brm değşmn E(Y ) dek değşm oranını tanımlar. 1 6

7 HATA TERİMİ VE İSTATİSTİKSEL MODEL Bağımlı değşkenn elde edlen her br gözlem Y nn, ana kütle ortalaması E(Y ) olan br ana kütleden gelen şans değşken olduğu varsayılır. Br gözlemn Y, kend ana kütle ortalamasından E(Y ) sapması, matematksel modele br hata term eklenerek açıklanır (.) Y = β0 + β1x + ε Bu model br statstksel modeldr. 13 MODELİN BELİRLENMESİ İÇİN GEREKLİLİKLER Olasılıksal modeller br ya da daha fazla rassal bleşen (hata bleşen) çerr. Her br hata bleşennn at olduğu br hata kaynağı mevcuttur. Modeln tam olarak fade edleblmes çn hata termnn özellklernn tanımlanması gerekldr. 14 7

8 TAHMİNLEME Bast doğrusal model k parametreye β 0 ve β 1 sahptr. Bu parametreler, ver set, (X 1,Y 1 ), (X,Y ),, (X n,y n ), kullanılarak tahmnlenr. Şans değşken Y dek değşkenlk her br gözlenmş ver çftnn farklı değerler almasına neden olur. 15 TAHMİNLEME Denklem (.) de β 0, β 1 ve ε blnmeyenlerdr. Gerçekte ε u tahmnlemek, her br gözlem çn farklı değerler aldığından, oldukça zordur. Buna karşın β 0 ve β 1 sabt değerler aldığı çn ver set kullanılarak tahmnler olan b 0 ve b 1 elde edleblr. 16 8

9 TAHMİNLEMENİN AMACI Amaç eldek ver setne en y uyumu gösteren regresyon denklemnn elde edlmesdr. Dğer br deyşle kabul edleblr b 0 ve b 1 tahmnlernn elde edlmesdr. 17 İYİ UYUM NEDİR? HATA NEDİR? Bu sorunun cevabı, elbette k toplam hatayı mnmum yapan uyum, y br uyumdur şeklndedr. Tpk br hatanın grafksel fades Şekl.1 de gösterlmektedr. Bu hata ( Y ˆ Y) şeklnde, gözlenmş Y değerler le uyum yapılmış doğru arasındak dkey uzaklık olarak tanımlanır. 18 9

10 ŞEKİL.1 19 Gerçekte verlere uyumu sağlanan matematksel br modeldr. İYİ UYUM NEDİR? VARSAYIM İy uyumu model kavramı altında statstksel olarak açıklarsak; model, etk eden faktörlern etks le doğal varyasyonu brbrnden ayırma derecesdr. Aşağıda anlatılanlar doğru modeln tespt edldğ varsayımı altında y uyum krterlerdr. 0 10

11 İYİ UYUM KRİTERLERİ Hata toplamlarının mnmze edlmes Mutlak hata toplamlarının mnmze edlmes Hata kareler toplamlarının mnmze edlmes 1 HATA TOPLAMLARININ MİNİMİZE EDİLMESİ I = 1 n (.3) ( Y Yˆ ) Bu krter aynı gözlemler kullanılarak uyumu yapılmış k doğru üzernde açıklanablr. Şekl. de bu k doğrudan br görecel olarak y dğer se oldukça kötüdür. 11

12 HATA TOPLAMLARININ MİNİMİZE EDİLMESİ II Her k durumda da sorun şaretlerden kaynaklanmaktadır, poztf ve negatf hataların toplamı sıfır değern vermektedr. İy ve kötü uyum arasındak farkı ortaya koymadığı çn bu krter reddedlecektr. 3 ŞEKİL. 4 1

13 MUTLAK HATA TOPLAMLARININ MİNİMİZE EDİLMESİ I n (.4) Y = Yˆ 1 Poztf ve negatf değerler bu krterde brbrlern düzeltemez. Şekl.3 de bu krter açıklanmaktadır. Verlen krtere göre (b) dek uyum daha ydr. 5 MUTLAK HATA TOPLAMLARININ MİNİMİZE EDİLMESİ II (b) dek doğru ncelendğnde bu doğrunun uç noktalar çn en y doğru olduğu görülmektedr. Bununla brlkte ortadak nokta dkkate alınmamaktadır. (a) dak doğru se tüm noktaları dkkate aldığı çn terch edleblecektr. Bu nedenle probleme ortak br çözüm getrmemektedr. 6 13

14 ŞEKİL.3 7 HATA KARELER TOPLAMLARININ MİNİMİZE EDİLMESİ I Hata kareler toplamını mnmze eden br yaklaşımdır. = 1 Y Yˆ n (.5) ( ) Bu krter en küçük kareler yöntem olarak adlandırılır. 8 14

15 HATA KARELER TOPLAMLARININ MİNİMİZE EDİLMESİ II Bu Yöntemn Avantajları: a-) Hataların karesnn alınması şaret problemn ortadan kaldırır. b-) Kare alma şlem büyük hata termlern daha da büyüterek vurgulanmasını sağlar. c-) Krter uygulanırken tüm noktalar dkkate alınmaktadır. Şekl.3 de verlen uyumlar bu krtere göre değerlendrldğnde (a) dak uyum (b) ye göre terch edlr. 9 EN KÜÇÜK KARELER (EKK) YÖNTEMİ EKK yöntem gözlemlere en y uyum sağlayacak matematksel model bulmaz. Matematksel model belrlenmş br durum çn, modele en y uyum sağlayacak parametre tahmnlern yapar. EKK metodu le elde edlen parametre tahmnler belrl varsayımlar altında uygun özellklere sahptr

16 EKK TAHMİNLEME PROSEDÜRÜ Eştlk (.) kullanıldığında hata (.6) ε = Y β X 0 β1 Tahmnleme çn n adet gözlem setne (X 1,Y 1 ), (X,Y ),, (X n,y n ), sahp olunduğu varsayılsın. Hata kareler toplamı: = İ = 1X n n (.7) SS( ε ) = ε = ( Y β β ) 31 NORMAL DENKLEMLER (.8) AÇIK FORMÜLLER Y = nb 0 X Y = b Ref. İspat 1 (.9a) (.9b) b 0 + b 1 X X + b 1 X ( X )( ) X Y Y ( X X ) 1 = b0 = Y b1 X Ref. İspat 3 16

17 KESTİRİLMİŞ DEĞER Y çn tahmnlenmş ortalama (.10a) Yˆ = b0 + b1x (.10b) Yˆ = Y + b1 ( X X) Eştlk (.10) le belrl br X değerne karşılık gelen bağımlı değşken değer elde edlr. Bu değer dama regresyon doğrusu üzerndedr ve kestrlmş değer olarak adlandırılır. 33 KESTİRİLMİŞ DEĞER Uyumu yapılan regresyon doğrusundan hesaplanan her br değer k anlama sahptr: X n belrl br değer çn, Y nn anakütle ortalamasının tahmn, E(Y ). X n belrl br değer çn, Y nn kestrlmş değer, Y ˆ. GAUSS-MARKOV teoremne göre Y ˆ değer E(Y ) nn sapmasız br tahmnleycsdr. NOT: Modeln doğru olduğu durumlar çn geçerldr

18 ARTIKLAR Gözlenmş Y değerler le regresyon denklemnden hesaplanan Y ˆ değerler karşılaştırıldığında, model le ver set arasındak uyum çn br ölçüt elde edlr. Bu ölçüt değer artık olarak adlandırılır. 35 ARTIKLAR Artıklar uyumu yapılan model le verler arasındak farkı tanımlar: (.11a) e = Y Yˆ GÖZLENMİŞ VERİ Modelde sabt term mevcut olduğunda artıkların toplamı dama sıfırdır. Gözlenmş ver: (.11b) Y = Yˆ + e Y ˆ bleşen Y gözlemnn model tarafından açıklanablen kısmıdır. e se modeln açıklayamadığı kısımdır

19 ARTIKLAR İLE HATA ARASINDAKİ FARK Artıklar eştlk (.11a) le tanımlanmıştır. Belrl varsayımlar sağlandığında artıklar gözlenmş (tahmnlenmş) hatalar olarak kabul edleblr. Regresyon modelndek blmeyen gerçek hata: (.1) ε = Y E( Y ) 37 UYUMU YAPILMIŞ REGRESYON DOĞRUSUNUN ÖZELLİKLERİ 1. Artıkların toplamı sıfırdır. n = 1e = 0 Ref. İspat 1. Artık kareler toplamı mnmumdur.(ekk metodu çn) 3. Gözlenmş değerlern toplamı uyumu yapılmış değerlern toplamına eşttr. n n = Y = = Yˆ 1 1 Sonuç olarak ortalamaları da eşttr. Ref. İspat

20 UYUMU YAPILMIŞ REGRESYON 4.Bağımsız değşkenn değer le DOĞRUSUNUN ağırlıklandırılmış artıkların toplamı sıfırdır. ÖZELLİKLERİ n X e = 1 = 0 Ref. İspat 1 5. Uyumu yapılan değerler le artıklar arasındak kovaryans sıfırdır. n Y = ˆ e 1 = 0 Ref. İspat 6 6. Regresyon doğrusu dama ( X, Y ) noktasından geçer. Ref. İspat 4 39 TAHMİNLENMİŞ VARYANS Örnek varyansını elde etmek çn lk olarak, ( Y Y ) hesaplanır. Bu değer kareler toplamı olarak tanımlanır. Kareler toplamı serbestlk derecesne n-1 bölünür. Br serbestlk dereces blnmeyen anakütle ortalamasının μ tahmnlenmesnde Y kullanılmıştır. 40 0

21 TAHMİNLENMİŞ VARYANS Sonuç olarak örnek varyansı n = 1( Y Y ) s = n 1 Örnek varyansı, serbestlk derecesne bölünmüş br kareler toplamı olduğundan br kareler ortalaması olarak da adlandırılır. 41 TAHMİNLENMİŞ VARYANS Regresyon model çn her br Y gözlemnn varyansı her br hata termnn ε varyansı le eşttr. ( ) ( ) ( ) σ Y = σ β + β X + ε = σ ε = σ 0 1 Y gözlemler X sevyelerne bağlı olarak farklı ortalamalı farklı olasılık dağılımlarından gelr. Bu dağılımların ortalamaları Yˆ le tahmnlendğ çn Y yerne Yˆ yazılır. β 0 ve β 1 tahmnlenmes çn k serbestlk dereces kaybedlr. 4 1

22 TAHMİNLENMİŞ VARYANS Eğer model doğru se, artık kareler ortalaması rassal hatanın (ε) varyansının (σ ) sapmasız br tahmnleycsdr. SS ( e) e (.19) s = = n n 43 TAHMİNLENMİŞ REGRESYONUN HASSASİYETİ Eştlk (.11) kullanılarak, Y gözlemnn bleşenler Y = Y + Y ˆ Y + Y Yˆ (.13) ( ) ( ) 44

23 MODELİN AÇIKLADIĞI KISIM İk Bleşenden Oluşur: Sabt termn (şans değşkennn ortalamasının) katkısı. Regresyonun (bağımsız değşkenn) katkısı. 45 REGRESYONUN AÇIKLADIĞI KISIM Eştlk (.13) den sabtn katkısı çıkarılarak, (.14) Y ( ˆ ) ( ˆ Y = Y Y + Y Y) Eştlğn sağındak lk bleşen regresyonun açıkladığı kısımdır. Eştlk (.14), n adet gözlem üzernden toplandığında tüm bleşenler sıfır değern alır. 46 3

24 KARELER TOPLAMLARI Eştlk (.14) n kares alınır. n n n Y Y = Yˆ Y + Y Yˆ (.15) = 1( ) = 1( ) = 1( ) Toplam D. K. T. = Regresyon K.T.+Artık K.T. SS(Tc) = SS(R) + SS(e) Not: Çapraz çarpım term sıfırdır. Ref. İspat 7a 47 REGRESYONUN ANLAMLILIĞI KRİTER 1 (F-TESTİ) Regresyonun kapsamlı olarak anlamlılığı varyans analz kullanılarak F-test le gerçekleştrlr. Varyans analz çn kareler toplamlarına (SS) ek olarak her br kareler toplamına at olan serbestlk derecesne (s.d.) gereksnm vardır. 48 4

25 SERBESTLİK DERECESİ Eldek ver setndek gözlemlern taşıdığı brbrnden bağımsız blg sayısıdır. Eştlk (.15) çn serbestlk dereceler, (.17) n 1= 1+ ( n ) 49 KARELER ORTALAMASI Her br kareler toplamının kend serbestlk derecesne bölünmes le elde edlr. Regresyon kareler ortalaması. (.18a) ( ) MS R = SS ( R) 1 Artık kareler ortalaması (.18b) MS ( e) = ( ) SS e n 50 5

26 ARTIK KARELER ORTALAMASI Eğer model doğru se, artık kareler ortalaması aynı zamanda rassal hatanın (ε) varyansının (σ ) sapmasız br tahmnleycsdr. SS ( e) e (.19) s = = n n 51 VARYANS ANALİZİNİN BİLEŞENLERİ Değşkenlk Kaynağı Serbestlk Dereces Kareler Toplamları Kareler Ortalaması 5 6

27 Tablo.1 Varyans Analz Tablosu I Değşkenlk Kaynağı Regresyona Bağlı Değşkenlk Artığa Bağlı Değşkenlk Toplam Düzeltlmş Değşkenlk Kareler Toplamları Y ˆ Y ( ) Y ( Y Yˆ ) ( Y ) Serbestlk Dereces 1 n- n-1 Kareler Ortalaması Yˆ ( ) MS R = 1 MS () e ( Y ) ( Y Y ) = n ˆ F-Test MS F = MS ( R) () e 53 REGRESYONUN ANLAMLILIĞI İÇİN F TESTİ Y ler şans değşken olduğu çnonların fonksyonları da şans değşkendr. Bu Fonksyonlardan İks: Regresyon Kareler Ortalaması: MS(R) Artık Kareler Ortalaması: MS(e) Bunlar brer şans değşkendr ve dağılımları, ortalamaları, varyansları, momentler vardır. 54 7

28 KARELER ORTALAMALARININ BEKLENEN DEĞERLERİ Artık kareler ortalamasının beklenen değer: E MS e = σ Ref. Tanım 6 (T6.) ( ) Regresyon kareler ortalamasının beklenen değer: (T7.) ( ) SS R E MS( R) = E 1 Ref. Tanım 7 1 ( X ) X = σ + β 55 YORUMLAR MS(e) nn beklenen değer σ olup bu sonuç X le Y nn lşkl olup olmamasına dğer br deyşle β 1 =0 olup olmamasına bağımlı değldr. β 1 =0 olduğunda MS(R) nn beklenen değer de σ dr. Bununla brlkte β 1 0 se E[MS(R)] değer σ den büyüktür. Sonuç olarak β 1 =0 olup olmadığının test MS(R) ve MS(e) değerler kullanılarak gerçekleştrlr. 56 8

29 F TESTİ Her br kend serbestlk derecesne bölünmüş k χ değşkennn brbrne oranı F dağılımı gösterr. Ref. Tanım 5 Eğer β 1 =0 se tüm Y ler aynı ortalama μ=β 0 ve aynı varyansa σ sahptr. 57 F TESTİ Ayrıca SS(e)/σ ve SS(R)/σ brbrnden bağımsız χ değşkendr. (T6.1) (.1) SS e σ SS R ( ) = χ n ( ) σ = χ 1 Ref. Tanım 6 Sonuç olarak F-test χ1 1 (.) F1, n = = χ n n ( ) ( ) MS R MS e 58 9

30 VARYANS ANALİZİNİN FARKLI YAPILARI Farklı değşkenlk kaynakları kullanılarak faklı tablolar hazırlanablr. Bu amaçla bazı kareler toplamları yenden ele alınmalıdır. 59 TOPLAM DÜZELTİLMİŞ K.T. Eştlk (.15) n solundak Toplam Düzeltlmş Kareler Toplamı, (.0a) ( ) ( ) SS Tc = Y Y k bleşene ayrıştırılablr. (I7.1) ( ) Y Y = Y ny Eştlğn sağındak knc bleşen düzeltme faktörü olarak adlandırılır ve β 0 ın yaptığı katkıyı temsl eder. İlk bleşen se Toplam Kareler Toplamıdır. Ref. İspat 7b 60 30

31 TOPLAM KARELER TOPLAMI I Sonuç olarak eştlk (I7.1) k bleşenn toplamı olarak, (I7.4) ( ) Y = Y Y + ny Br dğer gösterm se, SS T = SS Tc + SS b Ref. İspat 7b (I7.5) ( ) ( ) ( ) 0 61 VARYANS ANALİZ TABLOSU II Yen yaklaşım eştlk (.13) üzerne oluşturulur. Eştlk (.13) ün kares alınıp, n adet gözlem çn toplanarak Y = ny + Yˆ Y + Y Yˆ (.3) ( ) ( ) T.K. T. = O.K.T.+ R.K.T. + A.K.T. SS(T) = SS(b 0 )+ SS(R) + SS(e) Not: Çapraz çarpım termler sıfırdır. 6 31

32 Tablo. Varyans Analz Tablosu II Değşkenlk Kaynağı Ortalamaya Bağlı Değşkenlk Regresyona Bağlı Değşkenlk Artığa Bağlı Değşkenlk Kareler Toplamları n Y Y ( ˆ Y ) Toplam Y Değşkenlk ( Y ˆ ) Y Serbestlk Dereces 1 1 n- n Kareler Ortalaması ( ) MS b = MS MS ( R) () e 0 ny 1 ( Yˆ Y ) = 1 ( Y Y ) = n ˆ F-Test MS F = MS ( R) () e 63 TOPLAM KARELER TOPLAMI II Eştlk (.11b) nn kares alınır ve n gözlem çn toplandığında (.4) Y ˆ = Y + e T.K. T. = M.K.T.+A.K.T. SS(T) = SS(M) + SS(e) Not: Çapraz çapım term sıfırdır. Ref. İspat 7a 64 3

33 MODEL KARELER TOPLAMI İk bleşenden oluşur: ˆ Y = ny + Yˆ Y (.5) ( ) M.K. T. = O.K.T.+R.K.T. SS(M) = SS(b 0 ) + SS(R) Eştlk (.5) nın br dğer hesaplama formülü Y ˆ = ny + b1 X X Ref. İspat 4 (.6) ( ) 65 REGRESYONUN ANLAMLILIĞI KRİTER (R ) R krter Y etrafındak toplam değşkenlğn regresyon tarafından açıklanan kısmını ölçer: (.16a) R ( ˆ ) ( Y Y) ( ) ( ) Y Y SS R = = SS Tc Belrllk katsayısı olarak adlandırılır. R se Y le Y ˆ arasındak korelasyondur. Çoklu korelasyon katsayısı olarak adlandırılır

34 R nn ÖZELLİKLERİ R modelde β 0 harç dğer termlern katkısının br ölçümünü verr. Eğer saf hata mevcut se R kesnlkle 1 değern alamaz. Eğer saf hata yok se R değer, β 0 parametresn çeren br modeldek parametre sayısına eşt uygun seçlmş gözlemlere tam br uyum sağlanarak 1 olacak şeklde belrleneblr. Ref. İspat R nn ÖZELLİKLERİ R değer verlerdek değşkenlğn açıklanmasında regresyon denklemnn başarısının br ölçüsü olarak kullanılır. Bu nedenle modele yen br term eklenmesne bağlı olarak R de oluşan yleşmenn sadece modele eklenen parametre sayısındakartıştan kaynaklanmadığı gerçek br anlama sahp olduğundan emn olunmalıdır

35 EKK VARSAYIMLARI HATALAR ε, 1. ORTALAMASI SIFIR, E(ε )=0. SABİT VARYANSLI, V(ε )= σ 3. BİRBİRİ İLE İLİŞKİSİZ, COV(ε, ε j )=0 ŞANS DEĞİŞKENLERİDİR. Hpotez Testler Ve Güven Aralıkları İçn Gerekl Ek Br Varsayım 4. HATALAR NORMAL DAĞILIM GÖSTERİR 69 SONUÇLAR VARSAYIM 1 den EY = β + β X (.1) ( ) 0 1 VARSAYIM den V(Y )= σ VARSAYIM 3 den j çn Y ve Y j lşkszdr VARSAYIM 4 den ε ve ε j sadece lşksz değl aynı zamanda bağımsız olmalıdır

36 b 1 n ÖRNEKLEME DAĞILIMI b 1 Tahmnleycs, Ortalaması, E b1 = β1 Ref. İspat 9 (I9.3) ( ) Varyansı, (I10.) σ ( b ) = σ Ref. İspat ( X X ) olan br Normal dağılıma sahptr. Ref. Tanım Not: Model (.) çn Y ler normal dağılış gösterr. b 1 tahmnleycs se Y lern doğrusal br kombnasyonudur. 71 (b 1 -β 1 )/s(b 1 ) n ÖRNEKLEME DAĞILIMI b 1 normal dağıldığı çn standardze statstk (b 1 -β 1 )/σ(b 1 ) br standart normal değşkendr. Bununla brlkte σ(b 1 ) parametres s(b 1 ) le tahmnlenr. İlglenlmes gereken (b 1 -β 1 )/s(b 1 ) statstğnn dağılımıdır. Model (.) çn, b1 β1 (I11.) = tn sb ( 1) Ref. Tanım 8 ve İspat

37 b 0 ın ÖRNEKLEME DAĞILIMI b 0 Tahmnleycs Ortalaması, E b0 = β0 Ref. İspat 13 (I13.4) ( ) Varyansı, 1 X n X X Ref. İspat 14 (I14.5) σ ( b ) 0 = + σ ( ) olan br Normal dağılıma sahptr. Ref. Tanım Not: Model (.) çn Y ler normal dağılış gösterr. b 0 tahmnleycs se Y lern doğrusal br kombnasyonudur. 73 b 1 ve b 0 İÇİN ARALIK TAHMİNLERİ Hataların normal dağıldığı varsayımı altında b 0 ve b 1 çn % 100 (1-α) güven aralığı α t n ;1 s α b ± t ;1 1 n s = b ± b1 1 { ( X X ) } 1 1 α α 1 X b0 ± t n ;1 sb = b 0 0 ± t n ;1 s + n ( X X ) 74 37

38 b 1 ve b 0 İÇİN ANLAMLILIK t-testleri Hataların normal dağıldığı varsayımı altında b 0 ve b 1 çn α anlamlılık sevyesnde, H 0 : β 1 =β 10 ve H 0 : β 0 =β 00 hpotezler çn test statstkler b β b β t = ve t = s b 1 s b 0 75 BASİT REGRESYONDA ANLAMLILIK TESTİ ÜZERİNE YORUMLAR Verlen her hang br α anlamlılık sevyes çn H 0 : β 1 =0 hpoteznn test bast regresyon çn anlamlılık testdr Hpotezn test t ya da F test le gerçekleştrleblr. Daha esnek olduğundan t test terch edlr Neden se t testnn tek yönlü olarak da uygulanablmesdr. F test bu esneklğe sahp değldr

39 Cov(b 0, b 1 ) b 0 ve b 1 tahmnleycler sadece örnekten örneğe değşkenlk göstermez aynı zamanda verlen br örnek çn brbrne bağımlıdırlar. (I15.1) Cov( b, b ) Ref. İspat 15 = X ( X X) 0 1 σ 77 GAUSS-MARKOV TEOREMİ Bu teorem, doğrusal regresyon modellernde en küçük kareler yöntemnn kullanılmasına olanak sağlayan öneml br teoremdr. Bu teorem, kabuller zayıf veya eksk olduğu durumlarda da zlenebldğ çn öneml br teoremdr. Başka br deyşle hata termnn dağılışı le lgl kabuller yapılmasına gerek yoktur

40 TEOREM Parametrelern en küçük kareler tahmnler, parametrelern; doğrusal ve sapmasız tahmncler çersnde mnmum varyanslı olanıdır. Ref. İspat 8 ve 1 Ref. İspat 9 ve 13 Ref. İspat TEOREME AİT BİR ÖNERME Regresyonun özel br durumu olan, Y bağımlı değşkenn b 1 =0 olacak şeklde açıklanması durumunda b 0, Y nn anakütle ortalamasına eşt olacaktır. Buna göre br anakütle ortalamasının en küçük kareler tahmncs örnek ortalamasıdır. Gauss- Markov teoremne göre bu fade, örnek ortalaması br anakütle ortalamasının en y doğrusal sapmasız tahmncsdr, şeklnde açıklanablr. Ref. İspat

41 SAF HATA VE UYUM YETERSİZLİĞİ Uyumu yapılan regresyon doğrusu belrl br model ve varsayımlar üzerne hesaplanmış br doğrudur. Varsayımların sağlanıp sağlanmadığının kontrolü kadar modeln doğruluğunun kontrolü de önemldr. Artıklar, bağımlı değşkende gözlenmş varyasyonu kullanarak uyumu yapılmış model le lgl tüm blgy çerr. 81 SAF HATA VE UYUM YETERSİZLİĞİ TESTİNİN VARSAYIMLARI Verlen her X sevyes değerler çn o Y gözlemler brbrnden bağımsızdır o Y gözlemlernn tüm dağılımları normaldr o Y gözlemlernn tüm dağılımları aynı varyansa sahptr 8 41

42 ARTIĞIN BİLEŞENLERİ İk bleşene ayrılır: Rassal Hata (Saf Hata) Sapma Hatası (Uyum Yeterszlğ) 83 RASSAL HATA Rassal hatanın hesaplanablmes çn: Şans değşkennn varyansı σ blnmel ya da Aynı X sevyesnde tekrarlı gözlemlere htyaç vardır. Tekrarlı gözlemlern tüm X değerlernde alınması gerekl değldr. Tekrarlı gözlemler çn ek br ndse gereksnm vardır. Ref. Tanım

43 BİR ARTIĞIN BİLEŞENLERİNE AYRILMASI X j dek u-uncu Artık Y Y ˆ = Y Y + Y Yˆ (.7) ju j ( ju j) ( j j) Sağ taraftak lk bleşen q Saf Hata İknc bleşen B Sapmadır. 85 BİLEŞENLERİN İNCELENMESİ Model doğru se EY ( j ) μ j EY (B =0) = ve ( ) ˆj Model yanlış se EY ( ) ˆj sıfırdan farklıdır. (B 0) = μ olup sapma sıfırdır. j μ olduğundan sapma Model doğru da olsa yanlış da olsa E(Y j )=μ j ve EY ( j ) = μ j olduğundan rassal hata sıfırdır. (q =0) j 86 43

44 BİLEŞENLERİN KARELER ORTALAMALARI q çn kareler ortalaması, (n-)σ Artık kareler ortalaması, Model doğru se, σ Model yanlış se, (.8) σ + B ( n ) 87 YORUMLAR Model doğru se B =0 olduğundan artıklar, rassal hataya denktr ve artık kareler ortalaması, hata varyansının σ br tahmnleycs olarak kullanılablecektr. Model doğru olmadığında B 0 dır. artıklar hem q rassal hem de B sapma bleşenlern çermektedr

45 YORUMLAR Bu durumda artık kareler ortalaması büyüme eğlm gösterecek ve gözlemlerdek mevcut şansa bağlı değşkenlğn yeterl br ölçümünü sağlayamayacaktır. Bununla brlkte, kareler ortalaması br şans değşken olduğu çn, sapma mevcut olsa ble büyük br değer alamayableceğ unutulmamalıdır. 89 GRAFİKSEL ANALİZ Bast regresyon durumunda sapma hatası verlern grafklernn ncelenmes sonucu ortaya çıkarılablr. Model çok karmaşık br yapıda olduğunda ya da çok sayıda değşken kullanıldığında sapma hatasının grafkler yardımı le ortaya çıkarılması mümkün olamayablr

46 Şekl.4 91 Şekl

47 KARELER TOPLAMLARI Eştlk (.7) n kares alınır ve tüm gözlemler üzernden toplanarak m n (.9) ( ˆ m n m ) = ( ) + ( ˆ ) j Y Y j Y Y n Y Y = j = 1 u = 1 ju j j = 1 u = 1 ju j j 1 j j Sol taraftak term artık kareler toplamı Sağ taraftak lk term saf hata kareler toplamı İknc term uyum yeterszlğ kareler toplamı Not:Çapraz çarpan term sıfırdır. j 93 KARELER TOPLAMLARININ SERBESTLİK DERECELERİ Artık Kareler Toplamı çn (.30) = n n r Saf Hata Kareler Toplamı çn m m = n = n n = j = 1 j (.31) ( 1 ) e j 1 j Uyum Yeterszlğ Kareler Toplamı çn (.3) n = n n u r e m 94 47

48 Değşkenlk Kaynağı Regresyona Bağlı Değşkenlk Artığa Bağlı Değşkenlk Uyum Tablo.3 Varyans analz Tablosu III Kareler Toplamları ˆ Y Y ( ) ( Y Yˆ ) n j = 1 j Y j Y j m Yeterszlğ ( ˆ ) Saf m n Hata ( ) j ju Y j Toplam Düzeltlmş Değşkenlk Serbestlk Dereces 1 n r = n nu = nr ne m Y n = j = 1 u = 1 e n j m j = ( Y Y ) n-1 Kareler Ortalaması ( Yˆ ) ( ) Y MS R = 1 ( Y ˆ ) Y MS() e = n m n ( ) j j Y j Yˆ 1 j MS( UY ) = = nu m n j ( Y ) j u ju Y 1 = = 1 j = ne 1 MS( SH ) F-Test MS F = MS MS F = MS ( R) () e ( UY ) ( SH ) 95 F TESTİ Genel Prosedür, (.33) ( UY ) ( SH ) MS F = MS oranını %(1-α) lık br F krtk değer le test etmektr. Bu F değernn serbestlk dereceler (.31) ve (.3) le tanımlanmıştır

49 TESTİN YORUMU Test sonucu öneml çıkarsa; başka br deyşle elde edlen test statstğ teork F değernden büyük çıkarsa; k varyansın brbrne eşt olduğu hpotez reddedlr. Bu sonuç uyum yeterszlğ varyansının saf hata varyansından statstksel olarak büyük olduğu anlamına gelr. Sonuç olarak kullanılan regresyon modelnn yetersz olduğu söyleneblr. Yeterszlğn nerede ve nasıl oluştuğunun anlaşılması çn hataların ncelenmes gerekecektr. 97 TESTİN YORUMU Test sonucu önemsz çıkarsa; F hesap değernn teork değerden küçük olması, bu durumda kullanılan modeln olayı açıklamakta yeterl olduğu sonucuna ulaşılır. Başka br deyşle kullanılan model, gerçek modele yeterl br yaklaşım göstermektedr