İÇİNDEKİLER 1. GİRİŞ... 1 1.1. Regresyon Analizi... 1 1.2. Uygulama Alanları ve Veri Setleri... 2 1.3. Regresyon Analizinde Adımlar... 3 1.3.1. Problemin İfadesi... 3 1.3.2. Konu ile İlgili Potansiyel Değişkenlerin Seçilmesi... 4 1.3.3. Veri Toplama... 4 1.3.4. Model Tanımlama... 6 1.3.5. Tahmin Metodunun Seçimi... 7 1.3.6. Model Tahmini... 9 1.3.7. Model Doğrulama ve Eleştirme... 9 1.4. Regresyon Analizinin Amaçları... 11 2. BASİT DOĞRUSAL REGRESYON... 13 2.1. Basit Doğrusal Regresyon Modeli... 13 2.2. Sıradan En Küçük Kareler Yöntemi... 16 2.3. En Küçük Kareler Kestiricilerinin İstatistiksel Özellikleri... 21 2.4. Model Varyansın (σ 2 ) Tahmini... 25 2.5. Eğim ve Sabit Terim Üzerine Hipotez Testleri... 28 2.5.1. t-testlerinin Kullanımı... 29 2.5.2. Regresyonun Anlamlılık Testi... 30 2.5.3. Varyans Analizi... 31 2.6. Güven Aralıkları... 36 2.6.1. Regresyon Parametreleri ve Varyans için Güven Aralıkları... 36 2.6.2. Ana Kütle Regresyon Denklemi için Güven Aralığı... 38 2.6.3. Yeni Y Gözlemleri için Kestirim Aralıkları... 42 2.7. Kovaryans ve Korelasyon Katsayısı... 46 2.7.1. Korelasyon Katsayısı Hakkında Çıkarsamalar... 50 2.8. Orijinden Geçen Regresyon... 53 2.9. Basit Regresyonun Matris Formunda Gösterimi... 58 2.10. R DE ÖRNEK UYGULAMA... 61 3. ÇOKLU DOĞRUSAL REGRESYON... 71 3.1. Giriş... 71 3.2. Çoklu Doğrusal Regresyon Modelleri... 71 3.2.1. Sıradan En Küçük Kareler Yöntemi... 74 3.2.2. Çoklu Regresyon Modelinin Matris Formunda Gösterimi... 76 vii
3.2.3. En Küçük Kareler Kestiricileri... 79 3.2.4. Uyum Değerleri ve Artıklar... 81 3.2.4. En Küçük Kareler Kestiricilerinin Özellikleri... 87 3.2.5. Model Varyansın (σ 2 ) Tahmini:... 88 3.2.6. Model Parametrelerinin Maksimum Olabilirlik Tahmini... 89 3.3. Çoklu Doğrusal Regresyonda Hipotez Testi... 91 3.3.1. Regresyonun Anlamlılığının Testi... 92 3.3.2. Belirlilik Katsayısı... 96 3.3.3. Kısmi Regresyon Katsayılarının Testi... 97 3.3.4. Ekstra Kareler Toplamı F-testi... 99 3.3.5. Genel Doğrusal Hipotezlerin Testi... 105 3.4. Güven Aralıkları... 111 3.4.1. Regresyon Katsayıları İçin Güven Aralıkları... 111 3.4.2. Tahmin Değerleri İçin Güven Aralığı... 113 3.4.3. Yeni Gözlemler İçin kestirim Aralığı... 114 3.5. Çoklu Regresyonda Gizli Ekstrapolasyon... 115 3.6. R DE ÖRNEK UYGULMA... 125 4. MODEL YETERLİLİK ANALİZİ... 131 4.1. Giriş... 131 4.2. Artık Analizi... 133 4.2.1. Sıradan Artıklar... 133 4.2.2. Standartlaştırılmış Artıklar (Standardized Residual)... 136 4.2.3. Student Türü Artıklar (Studentized Residual)... 136 4.2.4. R-Student Türü Artıklar... 138 4.2.5. Silinmiş Artıklar (Deleted Residuals)... 139 4.3. Artık Grafikleri... 142 4.3.1. Uyum Değerlerine Karşın Artıkların Grafikleri... 143 4.3.2. Açıklayıcı Değişkenlere Karşın Artıkların Grafikleri... 145 4.3.3. Normal Olasılık Grafiği... 147 4.3.4. Kısmi Regresyon Artık Grafikleri... 152 4.4. Aykırı Değerlerin Bulunması ve Giderilmesi... 154 4.4.1. Bir Aykırı Değer Testi... 158 4.5. Tekrarlı Gözlemlerin Analizi... 160 4.5.1. Uyum Eksikliği için F-testi... 160 4.6. Etkili Gözlemlerin İncelenmesi... 169 4.6.1. Gözlem Uzaklıkları... 170 4.6.2. Cook Uzaklığı (D)... 172 4.6.3. DFFITS İstatistiği... 174 4.6.4. DFBETAS İstatistiği... 175 4.6.5. COVRATIO İstatistiği... 176 4.7. R DE ÖRNEK UYGULAMA-1... 183 4.8. R DE ÖRNEK UYGULAMA-2: Meslek Türleri... 192 viii
5. KUKLA DEĞİŞKENLİ REGRESYON MODELLERİ... 203 5.1. Giriş... 203 5.2. İki Düzey içeren Kukla Değişkenli Model... 205 5.3. İkiden Çok Düzey İçeren Kukla Değişkenli Model... 210 5.4. Birden Çok Kukla Değişkenli Model... 216 5.5. Parçalı Regresyonda Kukla Değişken Kullanımı... 218 5.5.1. Sürekli Parçalı Regresyon... 219 5.5.2. Kesikli Parçalı Regresyon... 222 5.6. Zaman Serilerinde Kukla Değişken Kullanımı... 226 5.6.1. Mevsimsel Düzeltme... 227 5.6.2. Regresyon Katsayıların Kararlılığı... 230 5.7. Kukla Değişkenlerin Kullanımı Üzerine Görüşler... 234 5.8. R DE ÖRNEK UYGULAMA: Maaş verileri... 236 6. DEĞİŞEN VARYANS, AĞIRLIKLANDIRMA VE DÖNÜŞTÜRMELER... 245 6.1. Giriş... 245 6.2. Değişen Varyanslılık... 245 6.3. Değişen Varyansın Belirlenmesi... 248 6.3.1. Değişen Varyansın Grafiksel Yöntemle İncelenmesi... 248 6.3.2. Spearman Sıra Korelasyon Testi... 249 6.3.3. Goldfeld-Quandt Testi... 252 6.3.4. Glejser Testi... 255 6.4. Değişen Varyans Durumunda Çözüm Önerileri... 257 6.4.2. Ağırlıklı En Küçük Karelerle Parametre Tahmini... 262 6.5. Dönüştürmeler... 284 6.5.1. Model Doğrusallaştırma Dönüştürmeleri... 286 6.5.2. Box-Cox Dönüştürme Ailesi... 294 6.6. R DE ÖNEK UYGULAMA 1: Sigara Tüketimi Verileri... 303 6.7. R DE UYGULAMA 2: Data03 Verileri... 311 7. OTOKORELASYONLU HATALAR PROBLEMİ... 315 7.1. Giriş... 315 7.2. Otokorelasyonun Kaynakları ve Etkileri... 316 7.3. Otokorelasyonun Belirlenmesi... 317 7.3.1. Atık Grafiklerinin İncelenmesi... 317 7.3.2. Otokorelasyon için Durbin-Watson Testi... 321 7.3.3: Otokorelasyon Fonksiyonu (ACF)... 326 7.4. Otokorelasyon İçin Çözüm Önerileri... 330 7.4.1. Dönüştürülmüş Değişkenlerin Kullanımı: Cochrane-Orcutt İşlemi... 331 7.4.2. Genelleştirilmiş En Küçük Karelerin Kullanımı... 336 7.4.3. Bir GLS Modelini OLS Modeline Dönüştürmek İçin Genel bir Yaklaşım... 340 7.4.4. Trend ve Mevsimden Arındırma... 342 7.4.5. Gecikme ve Fark Alma İşlemi... 348 7.5 R DE ÖRNEK UYGULMA: Dondurma Tüketimi... 354 ix
8. ÇOKLU DOĞRUSAL BAĞLANTI SORUNU... 365 8.1. Giriş... 365 8.2. Çoklu Doğrusal Bağlantının Kaynakları... 366 8.3. Çoklu Doğrusal Bağlantının Etkileri... 370 8.3.1. Çıkarsama Üzerine Etkileri... 370 8.3.2. Öngörü Üzerine Etkileri... 376 8.4. Çoklu Doğrusal Bağlantının Belirlenmesi... 383 8.4.1. Açıklayıcı Değişkenler Arası Basit Korelasyonlar... 383 8.4.2. Varyans Büyütme Faktörleri... 384 8.4.3. X X Matrisinin Özsistem Analizi... 385 8.4.4. Varyans Ayrıştırma Oranları... 387 8.4.5. Alternatif Yöntemler... 397 8.5. Çoklu Bağlantı için Çözüm Önerileri... 399 8.5.1. Ek Veri Toplama... 399 8.5.2. Modeli Yeniden Tanımlama... 400 8.6. R DE ÖRNEK UYGULAMA: Krafft verileri... 403 9. DEĞİŞKEN SEÇİMİ VE MODEL KURMA... 415 9.1. Giriş... 415 9.2. Değişken Seçiminin En küçük Kareler Üzerine Etkileri... 416 9.3. Altküme Regresyon Modellerini Değerlendirme Kriterleri... 421 9.3.1. R 2 ve (R 2 Adj) Kriteri... 422 9.3.2. Mallows un C P Kriteri... 422 9.3.3. Hata Kareler Ortalaması Kriteri... 425 9.3.4. Akaike Bilgi Kriteri ( AIC )... 427 9.3.5. Düzeltilmiş Akaike Bilgi Kriteri ( AIC C )... 427 9.3.6. Schwarz ın Bayes Bilgi Kriteri ( BIC veya SBC)... 428 9.3.7. Çapraz Geçerlilik Kriteri ( CV )... 428 9.4. Çoklu Doğrusal Bağlantı ve Değişken Seçme... 437 9.5. Değişken Seçimi için Hesaplamalı Teknikler... 439 9.5.1. Tüm Olası Regresyonlar... 439 9.5.2. Değişken Seçme Süreçleri... 441 9.6. Değişken Seçiminde Son Gelişmeler-LASSO... 446 9.7. R DE ÖRNEK UYGULMA 1: Köprü İnşaatı Verileri... 448 10. YANLI TAHMİN YÖNTEMLERİ... 467 10.1. Giriş... 467 10.2. Ridge Regresyonu... 467 10.2.1. SVD ile Ridge Çözümlerinin Hesaplanması... 471 10.2.2. Ridge Parametresinin Seçimi... 478 10.3. Temel Bileşenler Regresyonu... 483 10.3.1. Temel Bileşenler... 483 10.3.2. Model Parametrelerin Tahmini... 485 x
10.3.3. Orijinal Değişkenlere Dönüşüm... 487 10.4. Kısmi En Küçük Kareler Yöntemi... 493 10.4.1. Tek Değişkenli PLS... 494 10.5. R DE ÖRNEK UYGULMA... 505 EKLER... 519 EK 1: ÇİZELGELER... 521 EK 2: R PROGRAMINA İLİŞKİN BAZI EK BİLGİLER... 535 E2.1. R ve Kurulumu... 535 E2.2. R nin Çalıştırılması... 536 E2.3. Paketler... 537 E2.3.1. Temel kurulumda yer alan paketler... 537 E2.3.2. Temel kurulumda yer almayan paketler... 538 E2.4. Bazı komut veya fonksiyonlar ile bunların işlevleri... 540 E2.5. Olasılık Dağılımlarından Rassal (random) Sayı Üretme... 545 DİZİN... 547 KAYNAKLAR... 553 xi