OLS Klasik Varsayımlar. Çoklu Regresyon. Çoklu Regresyon Modellemesi. Çoklu Regresyon Modeli. Multiple Regression

Transkript

1 OLS Klasik Varsayımlar Çoklu Regresyon Multiple Regression. Lineer regresyon modeli. E(e i )=, ortalama hata sıfırdır. E(X i e i )=, bağımsız değişkenlerle hatalar arasında korelasyon mevcut değildir 4. E(e i e j )=, hataların birbiri ile korelasyonu yoktur (otokorelasyon sıfır). E(e i -)=E(e i )=σ e, hatanın varyansı sabittir. 6. Hata normal dağılımı sahiptir 7. Bağımsız değişkenler arasında tam doğrusallık yoktur. Çoklu Regresyon Modellemesi Çoklu Regresyon Modeli Çoklu regresyon modeli katsayıları örnek veri kullanılarak tahmin edilir. Tahmin edilen çoklu regresyon modeli: Tahmin edilen Y değeri Tahmin edilen Regresyon kesim noktası Tahmin edilen eğim katsayıaları Ŷ = b K + + bx + bx + bkxk

2 Çoklu Regresyon Modeli Kek Satış Modeli İki değişkenli model Y Ŷ = b + + bx bx Hafta 4 Kek satışı 46 4 Fiyat ($) Reklam ($s) Çoklu regresyon modeli: Satış = b + b (Fiyat) + b (Reklam) X değişkeni için eğim X değişkeni için eğim X X Örnek: Bağımsız değişken Parametrelerin Hesabı Dondurulmuş kek satan bir firma kek talebini etkilediğini düşündüğü faktörleri değerlendirmek istemektedir. Bağımlı değişken: Kek satış miktarı (adet/hafta) Bağımsız değişken: Fiyat ($) haftalık veri toplanmış Reklam ($ s) Too complicated by hand! Ouch!

3 Çoklu Lineer Regresyon Eşitliğinin Tahmini Regresyon katsayılarının ve determinasyon katsayısının belirlenmesinde her hangi bir istatistik paketi veya Excelkullanılabilir Excel: Tools / Data Analysis... / Regression Çoklu Lineer Regresyon Eşitliği Satış = (Fiyat) + 74.(Reklam) Burada satışlar (adet/hafta) Fiyat ($) Reklam $ s. b = -4.97:fiyatın $ artması durumunda satışlar haftada ortalama 4.97 adet düşüş göstermekte b = 74.: reklam harcamalarının $ artması durumunda satışlar haftada ortalama 74. adet artış göstermekte Çoklu Lineer Regresyon Çıktısı Tahmin için modelin kullanımı Regression Statistics Multiple R.7 R Square.48 Adjusted R Square Observations ANOVA df Regression Residual Total 4 Satış = (Fiyat) + 74.(Reklam) SS MS F 6.86 Significance F. Satış fiyatı $. ve reklam harcaması $ haftalık satış miktarının tahmin edilmesi Satış = (Fiyat) + 74.(Reklam) = (.) (.) = 48.6 Intercept Price Advertising Coefficients t Stat P-value Lower 9% Upper 9% Tahmin edilen satış miktarı: 48.6 adet Reklam harcamalarının birimi $ olduğundan $ için X =.

4 Determinasyon Katsayısı Bağımlı değişken Y deki toplam varyasyonun tüm X değişkenleri tarafından açıklanan oranını ifade eder. SSR SST r Y... k = = regression sum of squares total sum of squares Adjusted r r modele yeni X eklendikçe artma eğilimindedir (kesinlikle aşağı düşmez) Bu özellik modellerin birbirleri ile kıyaslanmasında bir dezavantaj oluşturur Modele yeni değişken (X) eklemenin net etkisi nedir? Modelde serbestlik derecesi düşer Yeni değişkenin eklenmesi yok olan serbestlik derecesini denkleştirecek bir açıklama gücü var mıdır? Multiple R R Square Adjusted R Square Observations ANOVA Regression Residual Total Intercept Price Advertising Regression Statistics Determinasyon Katsayısı df 4 Coefficients SSR 946. r Y. = = =. SST 649. Kek satışlarındaki toplam değişimin.% i fiyatlardaki ve reklam harcamalarındaki değişimle açıklana bilmiştir. SS MS t Stat F 6.86 P-value Significance F. Lower 9% Upper 9% Adjusted r Bağımlı değişken Y deki toplam varyasyonun tüm X değişkenleri tarafından açıklanan oranını modelde kullanılan X değişken sayısı ile ayarlayarak ifade eder r adj = ( r Y...k n ) n k (Burada n = örnek sayısı, k = bağımsız değişken sayısı) Önemli olmayan bağımsız değişkenin Fazladan kullanımını cezalandırır. R daha küçüktür Modellerin birbiri ile kıyaslanmasında oldukça kullanışlı

5 Multiple R R Square ANOVA Regression Residual Total Intercept Price Advertising Regression Statistics Adjusted R Square Observations Determinasyon Katsayısı df 4 Coefficients r adj = SS Örnek sayısı ve modelde kullanılan bağımsız değişken sayısı dikkate alındığında Kek satışlarındaki toplam değişimin 44.% i fiyatlardaki ve reklam harcamalarındaki değişimle açıklana bilmiştir. MS t Stat F 6.86 P-value Significance F. Lower 9% Upper 9% Sonuç Y ˆ = X -. X Regression Statistics Multiple R.98 R Square.966 Adjusted R Square Observations yakıt sıcaklık yalıtım Durbin-Watson statistic =.874 ANOVA df SS MS FSignificance F Regression 84.6 E+ 68. E-9 Residual Total 4 6. Coefficients t Stat P-valueLower 9% Upper 9% Intercept E X Variable E X Variable E Multiple Regression Model: Example Pozitif otokorelasyon testi Develop a model for estimating heating oil used for a single family home in the month of January based on average temperature and amount of insulation in inches. Oil (Gal) Temp ( F) Insulation H : ρ= pozitif oto-korelasyon mevcut değil H : ρ pozitif oto-korelasyon mevcut d<d L H ret d>4-d L R ret 4-d U >d>d U H kabul Diğer durumlar yetersiz Burada, n = örnek ve k = bağımsız değişken var Karar: Otokorelasyon yok Ret H yetersiz Karar: H reddedilemez.6>d =.8>.4 H reddedilmez d L =.8 d U =.4

6 Model Hatası Kek Örneğinde-Residual Plots Use Tools Data Analysis Regression Percent Frequency Normal Probability Plot of the Residuals Residual Histogram of the Residuals -4-4 Residual Residual Plots for Yakit Residual Residual Residuals Versus the Fitted Values Fitted Value Residuals Versus the Order of the Data Observation Order Residuals R esidua ls Price Residual Plot Price Advertising Residual Plot Advertising Residual Plots Çoklu regresyonda hatayla ilgili aşağıda belirtilen grafikler çizilebilir: < Residuals vs. Y i Residuals vs. X i Residuals vs. X i etc. Kek Örneğinde-Residual Plots Use Tools Data Analysis Regression Pie Sales Normal Probability Plot Sample Percentile

7 Model Anlamlı mı? F-Testi modelin genel olarak anlamlılığını test etmede kullanılır. Y ve X değişkenleri arasında ilişki olup olmadığını gösterir F test istatistiği Hipotez: H : β = β = = β k = (lineer ilişki mevcut değil) H : en az bir β i (en azından bir değişken Y i etkilemektedir) H : β = β = H : β ve β her ikisi sıfır değil α =. df = df = H kabul F-Testi - genel anlamlılık testi α =. H Ret F Test istatistiği: MSR F = = 6.86 MSE Karar: Sonuç: p-value=. Reject H at a =. En azından bir bağımsız değişkenin Y i etkilediği konusunda deliller mevcut Multiple R R Square Adjusted R Square Observations ANOVA Regression Residual Total Intercept Price Advertising F-Testi - genel anlamlılık testi Regression Statistics df 4 Coefficients MSR 47. F = = = 6.86 MSE.8 ve serbestlik derecesi ile SS MS t Stat F 6.86 P-value Significance F. Lower 9% F-Testi için P-değeri Upper 9% Değişkenler tek başına anlamlı mı? t-testi her bir değişkenin eğimlerinin anlamlılıklarını test etmede kullanılır. Y ve X i değişkeni arasında ilişki olup olmadığını gösterir Hipotez: H : β i = (lineer ilişki mevcut değil) H : β i (Y ve X i değişkeni arasında lineer ilişki mevcut) Test istatistiği bi t = S b i p-value=tdist(t n-k- ) (df = n k )

8 Değişkenler tek başına anlamlı mı? Regression Statistics Multiple R.7 R Square.48 Adjusted R Square Observations Fiyat için t-değeri t = -.6, p:.98 Reklam için t-değeri t =.8, p:.4 Eğim katsayıları için güven aralığı tahmini Kitle eğimleri β i için güven aralığı (Confidence interval) b i ± t n k S b i t için serbestlik derecesi (n k ) d.f. ( ) = d.f. ANOVA Regression Residual Total df 4 SS MS F 6.86 Significance F. Intercept Price Advertising Coefficients Lower 9% Upper 9% Intercept Price Advertising Coefficients t Stat P-value Lower 9% Upper 9% Örnek: Excel çıktısı güven aralıklarını da verir Kek satış fiyatının $ artması durumunda haftalık satış miktarı kek arasında düşüş gösterir. H : β = H : β H : β = H : β d.f. = -- = α =. Eğimler hakkında çıkarılan sonuçlar : t Testi Kek Örneği Excel çıktısından: Fiyat Reklam Coefficients t Stat P-value Burada verilen t-test istatistikleri H hipotezinin ret edildiği bölgeye karşılık gelmektedirler (p-values <.) Karar: Her bir değişken için H ret Sonuç: Fiyat ve Reklamın kek satışını etkilemesi konusunda a =. anlamlılık düzeyinde yeterince delil vardır. r K değişkenli modelde kısmi determinasyon katsayısı Yj.(j hariç tüm değişkenler) SSR (X j j hariç tüm değişkenler) = SST- SSR(tüm değişkenler) + SSR(X j hariç tüm değişkenler) Diğer bağımsız değişkenler sabit tutulurken X j değişkeni tarafından açıklanan değişim oranı ifade eder. j

9 Kukla değişken kullanımı (Dummy Variables) Kukla değişken iki seviyeli bir nicel bağımsız değişken türüdür: Evet yada hayır, açık yada kapalı, erkek yada kadın yada şeklinde kotlanır Değişkenin anlamlı olması durumunda regresyon kesim noktası değişir. Diğer değişkenler için eşit eğim varsayımı vardır. Eğer seviye sayısı ikiden fazla ise gerekli olan kukla değişken sayısı =(seviye sayısı -) Ŷ b Y (Satış) b + b b Kukla değişken Modeli Örnek ( seviyeli) = + + = + + Tatil Ŷ = b b X + b X b () + b () = Tatil (X = ) (b Tatil yok (X = ) b b Farklı kesim noktası ) b X + b X Aynı eğim Tatil yok Eğer H : β = ret ise, tatilin kek satışları üzerinde anlamlı bir etkisi vardır. X (Fiyat) Y = kek satışı X = fiyat Kukla değişken Modeli Örnek ( seviyeli) Ŷ = b + b X + b X X = tatil (X = hafta içerisinde tatil varsa) (X = hafta içerisinde tatil yoksa) Örnek: Satış: adet/hafta Fiyat: $ Tatil: Kukla değişken Modeli Örnek ( seviyeli) Satış = - (Fiyat) + (Tatil) eğer hafta içerisinde tatil varsa eğer hafta içerisinde tatil yoksa b = : ortalama, aynı fiyat seviyesi için hafta içerisinde tatil olduğu dönemlerde ortalama kek satışları tatil olmadığı dönemlere göre ortalama fazlalık göstermektedir.

10 Kukla değişken Modeli Örnek ( seviyeden fazla) Kukla değişken sayısı seviye sayısı - Örnek: Y = evin fiyatı ; X = evin alanı (ft ) Evin türünün de etkili olduğu düşünülürse: Türü = ranch, split level, condo Üç seviyeli nicel değişken: bu nedenle kukla değişken gerekli Etkileşimli Regresyon modeli Çalışma tablosu Item, i 4 Y i 4 X ve X yi birbiri ile çarparak X *X oluşturulur. Regresyon analizi çalıştırılır Y, X, X, X X X i 8 X i 6 X i *X i 4 6 Açıklayıcı değişkenlerin etkileşimi Hipotez X değişkenleri arası etkileşim var Bir X değişkeninin değeri diğer bir X değerinin aldığı değere göre değişebilir (tepki) Değişkenlerin birbirleri ile çarpımları da modele dahil edilir Ŷ = b = b + b X + b X + b + b + b (X X Hipotez: H : β = (X ve X arası etkileşim yok) H : β (X ve X arası etkileşim mevcut) X X + b X ) Çoklu Regresyon Model İnşası Multiple Regression Model Building

11 Nonlinear (lineer olmayan) İlişki Residual Analizi Bağımlı ve bağımsız değişken arasındaki ilişki lineer olmaya bilir. Scater grafiği inceleyerek doğrusal olmayan ilişkinin mevcudiyeti araştırılır. Doğrusal olmayan ilişki polinoma uyarlanarak modellenebilir. X ve X li Çoklu regresyon Ŷ = b + + bx bx X Residual plot random Doğrusal olmayan bir ilişki X Residual Plot Y i. Derece Polinom Regresyon Modellemesi Y = β + β X + β X + ε Scater grafiği aşağıda verilen şekillere benzediğinde. Derece polinom regresyon modeli seçilebilir. X Y i i i X Y β < β > β < β > X β > β > β < β < Yi = β + β X X Y + β X i i + ε i Polinom Modellemesi Çalışma Sayfası Item, i 4 Y i X i X i : X i nin karesi Y i, X i, X i verileri kullanılarak regresyon analizi yapılır X i X i 9 4 6

12 Modelin Genel Olarak Testi Polinom modeli için Excel kullanımı: Ŷ = b + İlişki için genel test H : β = β = (X ve Y arasında genel olarak ilişki yok) H : β (X ve Y arasında bir ilişki mevcut) F test istatistiği = + bx bx MSR MSE Kareli Terim için Test Kareli terim hakkında ikinci test: Basit regresyonun adjusted r ile polinom modellemesinin adjusted r kıyaslanması Eğer adjusted r (polinom) > adjusted r (Basit) polinom modeli basit modelden daha fazla değişkenliği açıklamıştır. Burada: Hipotez Kareli Terim için Test H : β = (karesinin eklenmesi modeli geliştirmez) H : β (karesinin eklenmesi modeli geliştirir) Test istatistiği b β t = S b b = kareli terimin katsayısı β = hipotez edilecek değer (sıfır) S b = eğim için standart hata d.f. = n Duruluk Filtreleme zamanı Örnek: Quatratik Model Filtreleme zamanı arttıkça duruluk artar : Purity Purity vs. Time Time

13 Example: Quadratik Model Klasik Doğrusal Regresyon Modelinden Sapmalar Intercept Time R Square Basit regresyon sonucu: ^ Y = Zaman Regression Statistics Adjusted R Square Coefficients Standard Error F t Stat P-value.69.78E- Significance F.778E- R e s i d u a l s T, Fve r istatistikleri yüksek fakat hata random değil : - Time Residual Plot - Time Spesifikasyon Hataları Çoklu Doğrusal Bağıntı (Collinearity) Sabit Olmayan (Hata) Varyans (Heteroskedasticity) Otokorelasyon (serialcorrelation) Intercept Time Time-squared R Square Coefficients Regression Statistics Adjusted R Square Example: Quadratik Model Quadratik regresyon sonucu: ^ Y = Zaman +.4 (Zaman) Standard Error F 8.7 t Stat P-value E- Significance F.68E- Kareli terim anlamlı ve modelin adj. r ni yükseltiyor; hata random Residuals Residuals Time Residual Plot - Time Time-squared Residual Plot - 4 Time-squared Spesifikasyon Hataları Gerekli bir değişkenin modele konmamış olması Gereksiz bir değişkenin modele konmuş olması Yanlış fonksiyon tipinin seçilmesi Değişkenlerde ölçme hatalarının bulunması

14 Spesifikasyon Hatalarının Etkileri Model parametreleri sapmalı ve tutarsız olacağından bu parametrelerle yapılacak güven aralığı ve hipotez testleri yanıltıcı sonuçlar verebilir. Otokorelasyonun oluşmasına sebebiyet verebilir Standart sapmalar daha yüksek çıkacağında güven aralıkları büyür Yüksek Collinearity Göstergeleri Katsayıların işaretlerinin yanlış olması Modele yeni bir değişken eklendiğinde daha önce tahmin edilmiş katsayılarda büyük değişiklik Modelde daha önce anlamlı olan değişkenin yeni bir değişken katılması durumunda anlamsız olması Modele yeni değişken eklendikçe model hatasının artış göstermesi Doğrusallık - Collinearity Collinearity: iki bağımsız değişken arasında mevcut olan yüksek korelasyon Bunun anlamı; çoklu regresyon modelinde iki değişken benzer bilgiyle katkı sağlar İstikrarsız katsayıların elde edilmesine neden olur (çok büyük hatalar ve düşük t skorları) Regresyon katsayıları beklenen işaretleri vermez Collinearity Belirlenmesi (Variance Inflationary Factor) VIF j collinearity ölçmede kullanılır : VIF j = R Burada R j : X j ve diğer bütün X lerle birlikte determinasyon katsayısı Eğer VIF j >, ise X j ile diğer bağımsız değişkenler arasında yüksek doğrusal korelasyon vardır. j

15 Örnek: Kek satış modeli Sabit Olmayan Varyans Week Pie Sales Price ($) Advertising ($s) Satış = b + b (Fiyat) + b (Reklam) Değişen varyans durumunda parametrelerin tahmin değerleri sapmasız olacaktır ancak tahmin değerlerinin standart hataları büyür. Bunun neticesinde t ve f dağılımları yolu ile aralık tahmini ve hipotez testlerine güvenilmez Sabit olmayan varyansın testi konusunda aşağıdaki yöntemlerden biri kullanılabilir. Park testi Breusch ve Pagan Testi White testi Goldfeld ve Quandt testi 7..7 Collinearity Belirlenmesi Otokorelasyon Regression Analysis Price and all other X Multiple R R Square Adjusted R Square Observations VIF Regression Statistics Kek satış örneği çıktısı: Modelde sadece iki değişken olduğundan sadece bir tane VIF sonucu verilmiştir. VIF <? evet Fiyat ve Reklam arasında doğrusallığın olduğuna ilişkin delil yoktur. Otokorelasyon parametrelerin tahmin değerlerinin sapmasız oluşunu etkilemez; fakat standart hataları küçültür. Standart hatalar küçülünce t ve F testleri güvenilirliğini kaybeder Durbin-Whatson d testi ile test edilir. Otokorelasyonu giderme yolları: Model spesifikasyon hatası için kontrol edilir varsa düzeltilir. Otokorelasyonu elemine edebileceği bir şekilde regresyon modelini yeniden düzenlemek

16 Model İnşası En iyi alt grup Regresyonu Model inşasında amaç bağımsız değişkenlerin en iyi takımı oluşturmaktır. Önemsiz değişkenlerin modelden çıkarılması yorumlamayı kolaylaştırır Collinearity ihtimalini düşürür Stepwise regresyon yöntemi Yeni değişkenlerin eklemesi ile oluşturulan alternatif modellerin değerlendirilmesi yöntemi En iyi alt grup yaklaşımı Eldeki değişkenleri kullanarak bütün kombinasyonlarda model elde edilir ve adjusted r en yüksek olan kullanılır (standart hatası en az olan model) Fikir: bağımsız değişkenlerin bütün kombinasyonu kullanılarak her kombinasyonun regresyon eşitliğinin tahmin edilmesi En iyi uyan model yüksek adjusted r veen düşük standart hataya sahip olan alternatiftir Stepwise Regresyon Alternatif en iyi alt grup kriteri Fikir: adımlar halinde OLS regresyon eşitliğinin oluşturulması, her seferde bir değişken ekleyip eklenen değişkenin model de kalması veya gitmesi konusunda değerlendirme yapılması Kısmi determinasyon katsayısı: model de diğer değişkenlerin olması durumunda her bağımsız değişkenin marjinal katkısını ölçer Her bir alternatif regresyon modeli için C p tahmin edilir C p değeri k + yakın yada daha düşük olan modeli dikkate al k ilgilenilen modeldeki bağımsız değişken sayısı

17 Alternatif en iyi alt grup kriteri C p istatistiği ( R k )(n T ) R C p = (n (k + T Burada )) k = ilgili regresyondaki bağımsız değişken sayısı T = tam regresyon modelinde tahmin edilmesi gereken parametre sayısı R k R T = k bağımsız değişkenli modelin determinasyon katsayısı = Tam regresyon modelinin determinasyon katsayısı Steps in Model Building 6. C p <(k + ) olan tüm modelleri listele 7. En iyi modeli seç Tutumlu olmayı göz önünde bulundur İlave değişken anlamlı bir katkı sağlamakta mı? 8. Model sonuçlarını tam analize tabi tut 9. Doğrusallık yada diğer model varsayımlarının ihlal edilmesi durumunda model dönüşümü yap. Tahmin için modeli kullan Model İnşasında Adım Model Building Flowchart. Modele eklenecek açıklayıcı değişkenlerin seçimi. Tam modelin tahmin edilmesi ve VIF kontrolü. VIF> olan değişkenlerin tespiti 4. Eğer hiçbir değişkenin VIF > değilse, adıma git Eğer değişkenin VIF > ise, değişkeni modelden çıkar Eğer birden fazla değişkenin VIF > ise, en büyük değerli olan değişkeni modelden çıkar ve adım ye dön. Kalan değişkenlerle en iyi modeli belirlemeye çalış Değişken seç X,X,X k Regresyonu çalıştır VIF bul En yüksek VIF değerli değişkeni çıkart Evet herhangi VIF>? Evet Birden Fazla mı? Hayır X i çıkart Hayır Alt modeller içerisinden en iyisini belirlemek için regresyon analizi yap C p Sonuçların tam analizini yap Kareli terim ekle ve/veya değişken(leri) dönüştür Tahmin için kullan

18 Tuzaklar Tuzaklardan kaçınmak için : Tahmin edilen regresyon katsayılarının yorumlanmasında diğer değişkenlerin sabit tutulduğunu unutma Her bir bağımsız değişken için residual plots değerlendir Etkileşim terimini değerlendir (interaction terms) Tuzaklar Hangi değişkenin modele dahil edileceği sorusuna geçmeden her bir bağımsız değişken için VIF hesapla Stepwise ve en iyi alt grup regresyon yöntemlerini kullanarak bir çok alternatif modelin incelemesini yap OLS varsayımları ciddi bir şekilde ihlal edildiğinde diğer regresyon yöntemlerini kullan