BÖLÜM EN KÜÇÜK KARELER REGRESYONUNDA KARŞILAŞILAN PROBLEMLER

Transkript

1 BÖLÜM EN KÜÇÜK KARELER REGRESYONUNDA KARŞILAŞILAN PROBLEMLER En küçük kareler yöntemi, hataların eklenebilir, sabit varyansa sahip ve birbirinden bağımsız normal dağılış gösteren şans değişkenleri olması varsayımlarına dayanmaktadır. Bu varsayımlara dayanan en küçük kareler tahminlemesine sıradan en küçük kareler denir. Bağımsızlık ve sabit varyans varsayımları gerçekleştiğinde, en küçük kareler tahminleyicisi, tüm olası doğrusal sapmasız tahminleyiciler içerisinde en iyidir (minimum varyanslıdır). Normallik varsayımı sağlandığında en küçük kareler tahminleyicileri, aynı zamanda en yüksek olabilirlik tahminleyicileri olurlar. En küçük karelerde karşılaşılan problemlerden en önemli üç tanesi, temel varsayımlar olan normallik, sabit varyans ve hataların bağımsızlığı ile ilgilidir. Diğer problemler ise etkili gözlemler, sapan gözlemler, modelin fonksiyonel biçiminin zayıf belirlenmesi, bağımsız değişkenler arasındaki yakın doğrusal bağımlılık (çoklu doğrusal bağlantı) ve açıklayıcı değişkenlerdeki hatalardır. Bu bölümde, yukarıda belirtilen problemler anlatılmıştır ve ayrıca bu problemlerin nasıl tespit edildikleri ve önlenmeye çalışıldığına kısaca değinilmiştir. İzleyen bölümlerde problemlerin tespit edilmesi ve önlenmesi konuları daha detaylı olarak incelenmiştir. Varsayımların doğruluğunun, verilerin davranışının ve model yeterliliğinin kontrolü, her regresyon analizinde önemli bir adımdır. Buradaki amaç, kullanıcıları verilerdeki veya modeldeki problemlerden haberdar etmektir. Varsayımlar gerçekleşmediğinde en küçük kareler regresyonuna alternatif olarak dirençli (robust) regresyon yöntemleri kullanılabilir. (Burada robust kelimesi sağlam, dirençli anlamındadır. Dirençli regresyon, parametrik modelin varsayımlarının gerçekleşmemesi durumunda tahminlerin duyarlılığını azaltmak için tasarlanmış istatiksel prosedürlerin genel bir sınıfıdır. Örneğin, en küçük kareler regresyonunda, en küçük kareler yaklaşımının, verilerdeki aşırı hatalara veya sapan gözlemlere karşı duyarlı olduğu bilinmektedir. Bunun nedeni, en küçük karelerin karesel sapmaları minimize etmesidir. Bir dirençli regresyon prosedürü, büyük artıkların ağırlıklarının azaltılması ile bu tip hataların etkisini en aza indirgemeyi amaçlar. Bu artıkların etkisi, artık kareler toplam yerine mutlak artıkların toplamının minimize edilmesi ile azaltılabilir. Genel anlamda, sapan ve etkili gözlemlerin tespit edilmesi için kullanılan yaklaşımlar, dirençli regresyonun bir parçası olarak ele alınabilir. Yapılan kısa açıklama dışında, bu bölümde dirençli regresyon konusuna değinilmemiştir. Dirençli istatistikler ve regresyon için Huber (1981), Hampek, Ronchetti, Rousseevw ve Stahel (1986) ve Rowseeuw ve Leray (1987) ye başvurulabilir NORMALLİK VARSAYIMININ GERÇEKLEŞMEMESİ Hataların normal dağılış göstermesi, regresyon parametrelerinin tahminlenmesi ve toplam varyasyonun parçalanması için gerekli değildir. Normallik varsayımı, yalnızca parametrelerin güven aralıklarının kurulmasında ve anlamlılık testlerinde gerekmektedir. t-testi, F-testi ve ki-kare testleri şans değişkenlerinin normal dağılış gösterdiği varsayımı altında yapılır.

2 Normallik, birçok durumda makul bir varsayımdır. Bununla beraber, bazı durumlarda normallik varsayımının yapılması uygun değildir. Gözlenen bağımlı değişken Y, bir olayın gerçekleşme sayısı (frekansı) olduğunda, bu tip sayma verileri daha çok Poisson dağılışı gösterir. Eğer Y, sabit sayıda deneme sonucunda ortaya çıkan başarı sayısının oranı ve gözlemler birbirinden bağımsız ise, buradaki veriler Binom dağılışı gösterir. Güvenilirlik çalışmalarındaki iki başarısızlık arasındaki zaman (time to failire), üstel dağılış gösterme eğilimindedir ve bu yüzden normal dağılış göstermez. Normallik varsayımının sağlanmaması, parametrelerin tahminlenmesini etkilemez. Diğer varsayımlar sağlandığında en küçük kareler tahminleri en iyi doğrusal sapmasız tahminler olmaya devam ederler. Bununla beraber, anlamlılık testleri veya güven katsayıları ile ilgili olan olasılık seviyeleri genellikle geçerli olmazlar. F-testi ise genellikle normalliğin sağlanması durumuna karşı daha dirençlidir. Güven aralığı tahminleri, özellikle dağılış oldukça çarpık veya sabit sınırlara sahipse, normal olmama durumundan ciddi olarak etkilenirler. Eğer dağılış asimetrik ise, normallik varsayımına dayanan çift taraflı simetrik güven aralığı tahminleri, her iki tarafta eşit olasılıkla dağılmayacaktır ve hatta parametrelerin doğal sınırlarını bile zayıflatabilir. Örneğin, oran verilerinde normalliğin varlığı kabul edilirse, oranların güven aralığı tahminleri sıfırdan küçük veya birden büyük değerler olarak bulunabilir. Artıkların plotları, çarpıklık ve basıklık katsayıları, normal olmama durumunun tespit edilmesinde yardımcı olurlar. Çarpıklık katsayısı dağılımın asimetresini, basıklık katsayısı ise dağılış eğiliminin yassı veya sivri olup olmadığını ölçer. Normal dağılış için çarpıklık katsayısı sıfır, basıklık katsayısı üçtür. Bölüm 6 da belirtildiği gibi örnek hacmi yeterince büyük olduğunda, artıkların frekans dağılışı, simetri ve basıklık için karar vermede kullanılabilir. Normalliğin sağlanması durumunda bir doğru veren, bir tam normal veya yarı normal grafiğin kullanımı ise daha kolaydır. Bu grafikler, verilerden elde edilen, sıralanmış artıklar ile bir normal dağılıştan (sıfır ortalamalı ve birim varyanslı) elde edilen sıralanmış gözlemlerin beklenen değerlerini karşılaştırır. Tam-normal grafik, artıkları olduğu gibi, yarı-normal grafik ise artıkların mutlak değerlerini kullanır. Değişik normal grafik biçimleri, normallikten uzaklaşmanın değişik durumlarını açığa vurmaktadır. Bu plotlar ile ilgili ayrıntılı açıklamalar Bölüm 6 da verilmiştir. Bağımlı değişkenin başka bir yapıya dönüşümü (transformasyonu), normallik varsayımının sağlanması için sıkça uygulanan bir yöntemdir. İstatistik teorisine göre, orjinal bağımlı değişkenin dağılışı bilindiğinde bu tip bir dönüşüm yapılabilir. Birçok dönüşüm (arcsin, karekök, logaritmik ve lojistik dönüşümler gibi), şans değişkenlerinin bilinen bir dağılışa (normal olmayan) sahip olduğu beklentisi altında geliştirilmiştir. Birçok uygulamada, örnek verileri, normalliğin sağlanması için uygun olan dönüşümün bulunması ile ilgili gerekli bilgiyi sağlar. Artık plotları, uygun dönüşüm ile ilgili fikir verebilir. Bundan başka birden çok sayıda dönüşüm denenerek normallik varsayımını en iyi sağlayan bir tanesi seçilebilir. Bunlara alternatif olarak, Box ve Cox (1964) tarafından önerilen, kuvvet dönüşümü yöntemi kullanılabilir. Dönüşümler ile ilgili ayrıntılı açıklamalar Bölüm 1 de verilmiştir.

3 10. FARKLI (HETEROJEN)VARYANSLILIK Sabit varyans varsayımı, bağımlı değişkendeki her gözlemin, eşit miktarda bilgiyi içerdiği anlamına gelmektedir. Diğer bir ifadeyle, sıradan en küçük karelerdeki tüm gözlemler eşit ağırlıktadır. Diğer taraftan, farklı varyanslılığın ortaya çıkması durumunda, bazı gözlemler diğerlerinden daha fazla bilgiyi içermektedir. Sıradan en küçük kareler tahminleyicilerinin minimum varyans özelliği bu varsayıma doğrudan bağımlıdır. Gözlemler sıradan en küçük kareler ile eşit ağırlıklandırıldığında, eğer varyanslar eşit değilse, parametre tahminleri minimum varyans özelliğini taşımazlar. Sıradan en küçük karelerde farklı varyanslar, doğrudan tahminlerin hassasiyet kaybına neden olmaktadır. Bu hassasiyet kaybı ancak, farklı varyanslılık dikkate alınarak elde edilen tahminlerin hassasiyetleri ile dikkate alınmadan elde edilen tahminlerin hassasiyetleri karşılaştırılarak görülebilir. Normal olmama durumunda olduğu gibi, farklı varyanslılığın da verilerden kaynaklanması beklenir. Normal olmayan dağılışları veren aynı durumlar, farklı varyanslılığa da neden olurlar. Bunun nedeni, normal olmayan diğer dağılışlarda varyansın, dağılış ortalaması ile ilişkili olmasıdır. Bununla beraber, verilerin kendi içindeki gruplar ayrı ayrı normal dağılış gösterseler bile, bu dağılışların varyansları gruptan gruba değişiklik gösterebilir. Genel olarak, büyük varyanslar, büyük ortalamalara sahip gruplar ile birlikte ortaya çıkmaktadır. Çeşitli artık grafıkleri farklı varyanslılığı tespit etmek için kullanılabilir. Farklı varyanslılığın önlenmesi için iki ayrı yaklaşım vardır. Bunlar, bağımlı değişkenin dönüşümü ve ağırlıklı en küçük kareler (AEKK) yöntemleridir. Bağımlı değişkenin dönüşümü yaklaşımı daha yaygındır (Rawlings,1988). Buradaki dönüşüm, dönüşüm sonucunda elde edilen şans değişkeninin varyansı eşit (homojen) olacak şekilde seçilir. Bağımlı değişkenin olasılık dağılışı hakkındaki bir ön bilgi veya ortalama ile varyans arasındaki ilişki hakkındaki deneysel bilgi, dönüşümün yapısı hakkında bilgi verir. Örneğin arcsin dönüşümü, bağımlı değişken binom dağılışı gösterdiği durumlarda, varyansı sabit hale getirmek için tasarlanmıştır. Ağırlıklı en küçük kareler ise, bağımlı değişkenin orijinal metriğini kullanır. Ancak, içerdiği bilginin miktarına göre her bir gözlemi ağırlıklandırır. Bağımlı değişkenin transformasyonu ve ağırlıklı en küçük kareler ile ilgili ayrıntılı açıklamalar Bölüm 1 de verilmiştir HATALAR ARASINDA KORELASYON OLMASI (OTOKORELASYON) Hataların arasındaki korelasyonun (otokorelasyon) birçok kaynağı olabilir. Bir zaman serisinde toplanan verilerin korelasyonlu hatalara sahip olması sıkça rastlanan bir durumdur. Bir zaman noktasındaki gözlem ile ortaya çıkan hata, bir önceki gözlem ile ortaya çıkan hata ile korelasyonlu olma eğilimi gösterebilir. Zaman içerisinde sürekli olan bir fiziksel süreç, serisel korelasyon gösterebilir. Örneğin, bir fabrika bacasından çıkan, havayı kirleten kimyasal maddelerin yayılması üzerindeki saatlik ölçümler, yüksek derecede serisel korelasyona sahip olacaktır. Aynı birimler üzerinde, zaman içerisinde tekrarlı ölçümlerin yapıldığı biyolojik araştırmalarda da (tarla mahsulleri

4 ve hayvan geliştirme çalışmaları veya klinik deneyler gibi), genellikle korelasyonlu artıklar ortaya çıkar. Korelasyonlu hataların sıradan en küçük kareler sonuçları üzerindeki etkisi, farklı varyanslılığın etkisi gibi, tahminlerin hassasiyet derecesinde kayba neden olmasıdır. Analiz yapılırken farkedilmeyen korelasyonlu hatalar, varyansların tahminlerinde sapmaya yol açar. Böylece tahminlerin hassasiyetlerinin tüm ölçümleri sapmalı olur ve anlamlılık testleri geçerliliklerini kaybederler. Verilerin yapısı, bazen korelasyonlu hataların varlığının önerebilir. Zaman sırasında toplanmış herhangi bir veri seti, kuşkuyla ele alınmaktadır ve korelasyonunun önemsiz olduğu gösterilmedikçe zaman serisi gibi görülmelidir. Bir deneyin rassallığındaki yetersizlikten veya rassallık planındaki bir hatadan kaynaklanan korelasyonlu hataların tespit edilmesi ise zordur. Bu tip durumlarda, aşırı derecedeki küçük hata varyansları bir fikir verebilir. Diğer durumlarda ise, verilerin toplandıkları sıraya bağlı olarak, artıkların grafiğinin çizilmesi otokorelasyonunun olup olmadığını belirlemek amacıyla kullanılabilir. Otokorelasyonun tespit edilmesi amacıyla kullanılan artık grafikleri Bölüm 6 da verilmiştir. Otokorelasyon probleminin çözümü, verilerdeki korelasyon yapısını hesaba katan bir modelin kullanılmasıdır. Çeşitli zaman serisi modelleri ve analizleri, belirli yapılardaki korelasyonlu hataları dikkate alarak kurulmuştur. Genelleştirilmiş en küçük kareler (GEKK) korelasyonlu hatalara sahip verilerin analizi için genel bir yaklaşımdır. Burada da ağırlıklı en küçük karelerde olduğu gibi artıkların başlangıç varyans-kovaryans matrisi kullanılmaktadır. Ancak artıklar arasındaki kovaryanslar genellikle bilinmemektedir ve verilerden tahminlenmesi gerekmektedir. Eğer korelasyon yapısı basit değilse tahminlenmesi zordur ve korelasyon matrisinin zayıf tahminlenmesi, hassasiyet kaybına neden olur, Rawlings(1988). Genelleştirilmiş en küçük kareler Bölüm 1 de anlatılmıştır ETKİLİ VERİ NOKTALARI VE SAPANLAR Sıradan en küçük kareler yöntemi, her bir gözleme eşit ağırlık vermektedir. Bununla beraber, her gözlem, çeşitli en küçük kareler sonuçları üzerinde eşit etkiye sahip değildir. Örneğin, basit doğrusal regresyon probleminde eğim en çok, ortalamadan en uzakta bulunan bağımsız değişken değerlerine sahip gözlemlerden etkilenmektedir. Diğer veri noktalarından uzak olan tek bir nokta, regresyon sonuçları üzerinde, hemen hemen tüm diğer noktaların toplamı kadar bir etkiye sahip olabilir. Bu tip gözlemler etkili noktalar (influential points) olarak adlandırılır. Sapan terimi, veri setindeki kalan gözlemlerle karşılaştırıldığında tutarsız olarak görünen gözlem için kullanılır. Bir gözlem, bağımlı değişken veya bir ya da daha fazla sayıdaki bağımsız değişkenin, beklenen limitleri dışında değerler alması nedeniyle sapan gözlem olabilir. Yüksek etki noktası (potansiyel etkili gözlem) terimi, bir ya da daha fazla sayıdaki bağımsız değişkendeki sapan gözlem için kullanılır. Sapan terimi, bağımlı değişken değerleri içerisinde, diğer gözlemler ile karşılaştırıldığında tutarsız olan gözlem için kullanılır. Artıklardaki Sapan terimi ise, gözlenen artığın, beklenen varyasyonundan daha büyük olduğu veri noktası için kullanılır. Burada sapan terimi bağımlı değişken veya artığın değerine karşılık gelecek şekilde kullanılmıştır.

5 Bir veri noktası, çalışmanın yürütülmesindeki hatalardan (makinaların görevini tam yapmaması;kayıt, kodlama veya veri girişi hataları; deneysel planı izlemedeki başarısızlar) veya veri noktasının başka bir anakütleden gelmesinden dolayı sapan ya da yüksek etki noktası olabilir. Veri noktasının başka bir anakütleden gelmesine, örnek olarak sistemin ülke dışına çıkmasından dolayı meydana gelen yönetim değişiklikleri veya tipik olmayan çevre koşullarının ortaya çıkması gibi olaylar gösterilebilir. Kullanılan model süreci yeterli derecede temsil etmiyorsa, aslında doğru olan bir nokta, sapan artığa sahip bir sapan olarak görülebilir. Diğer taraftan, gerçek bir sapan, etkili nokta ise sapan artığa sahip olmayabilir. Etkili veri noktaları regresyon doğrusunu zorlama eğilimindedirler ve bu yüzden genellikle küçük artıklara sahiptirler. Etkili noktaların ve sapanların tespit edilmesi gerekmektedir. Çünkü yalnızca birkaç gözlemin etkisinde olan regresyon sonuçları güvenilir olmazlar. Doğrulanması gereken ilk şüphe, bu veri noktalarının doğru olup olmadığıdır. Açık bir şekilde farkedilebilen hatalar, eğer mümkünse düzeltilmelidir. Aksi halde, veri setinden çıkarılmalıdır. Açık bir şekilde hata olarak tanımlanamayan veya üzerinde çalışılan sistem hakkında içerdiği bilgi nedeniyle, dikkatli bir şekilde incelenmesi gereken doğru bir nokta olabilir. Acaba, bu noktalar üzerinde çalışılan model veya tasarımdaki yetersizlikleri mi yansıtmaktadır? Sapanlar ve etkili veri noktaları, rastgele çıkartılmamalıdır. Öyle ki, bir sapan, çalışmadaki en çok bilgi verici gözlem bile olabilir. Potansiyel olarak daha etkili olan noktalar, kestirim matrisi H nin köşegen elemanlarının kontrol edilmesiyle bulunabilir. H nin köşegen elemanları, örnek noktaları ile örnek X-uzayının merkezi arasındaki öklid uzaklığının ölçüsünü verir. Ancak bir potansiyel etkili noktanın, gerçekte etkili olup olmadığı, her bir veri noktasının regresyon sonuçları üzerindeki etkisi doğrudan ölçülerek bulunur. Bazı etkili gözlem istatistikleri Bölüm 11 de verilmiştir. Sapanlar, gözlenen artıkların analizi ile tespit edilebilir. Genellikle artıkların genel bir varyansa sahip olmaları için önce standardize edilmeleri tavsiye edilir. Bazı yazarlar ise tekrarlı (recursive) artıkların kullanılmasını tavsiye etmiştirler. Sıfırdan birkaç standart sapma uzaklığında olan bir artık, dikkatlice gözden geçirilmesi gereken bir gözlem noktasına işaret etmektedir. Normallik ve varyans homojenliği varsayımlarının sağlanıp sağlanmadığını tespit etme amacı ile kullanılan artıklarının plotları, sapanları tespit etme de etkilidirler. Sapanların tespit edilmesi Bölüm 11 de anlatılmıştır MODEL YETERSİZLİKLERİ Eğer model doğru ise, sıradan en küçük kareler tahminleyicileri sapmasızdır. Ancak bazı nedenlerden dolayı doğru değilse sapmalı olurlar. Örneğin, önemli bir bağımsız değişken modelde ihmal edilmişse, artık kareler ortalaması, nin (pozitif) sapmalı bir tahmini olur. Ayrıca regresyon katsayıları da sapmalı olur, (ihmal edilen değişken, modeldeki diğer değişkenlere ortogonal değilse). Bağımsız değişkenlerin yalnızca birinci kuvvetlerini kullanan genel doğrusal model, Y nin her bir bağımsız değişken ile olan ilişkinin doğrusal olduğunu ve her bir bağımsız değişkenin etkisinin diğer değişkenlerden bağımsız olduğunu varsayar. Önemli olan daha yüksek dereceli polinom terimlerin

6 (etkileşim terimleri de dahil olmak üzere) ihmal edilmesinin etkisi, önemli bir bağımsız değişkenin ihmal edilmesinin etkisi ile aynıdır. Karmaşık yapıdaki bir fiziksel, kimyasal veya biyolojik sürecin, parametreleri açısından doğrusal olması genellikle beklenmez. Bu durumda, yüksek dereceli polinom terimleri içeren doğrusal model, gerçek süreç modelinin bir yaklaşımı olarak ele alınmalıdır. Gerçek ilişkinin doğrusal olmadığı durumlarda doğrusal bir model kullanılmasındaki temel düşünce, doğrusal olmayan fonksiyona, istenilen bir doğruluk derecesinde, uygun sayıda polinom terimleri olan doğrusal bir model ile yaklaşılabileceğidir. Böylece, doğrusal model, ilgilenilen sınırlı bir bölgede tatmin edici bir yaklaşım sağlar. Yaklaşımın yeterli olmaması durumunda, en küçük kareler sonuçları, önemli bir değişkenin ihmal edilmesi durumunda olduğu gibi sapmalı olacaktır. Süreç modellerine doğrusal modeller ile yaklaşılması Cevap Yüzeyi Yöntem Bilimi (Respanse Surface Methodology) ile ilgili olup, bu kitabın kapsamı dışında tutulmuştur. Cevap Yüzeyi Yöntem Bilimi ile ilgili ayrıntılar Box ve Draper (1987) ve Kluriz ve Cornell (1987) de bulunmaktadır. Model yetersizliklerinin tespit edilmesi problemin yapısına ve sistemden elde edilebilen bilginin miktarına bağlıdır. Artık kareler ortalamasındaki sapma ve dolayısıyla ihmal edilen terimin varlığı, nin bağımsız bir tahmini, birçok tasarlanmış deneyde olduğu gibi, elde edilebiliyorsa tespit edilebilir. Diğer durumlarda, önceki deneyimler nin büyüklüğü hakkında bir fikir vermişse, artık kareler ortalaması içinde sapmanın olup olmadığına karar verilebilir. Dikkate alınmayan yüksek dereceli polinom terimler uygun artık plotları ile kolayca görülebilir. Tümüyle ihmal edilmiş bağımsız değişkenlerin tespit edilmesi ise daha zordur. Artıklardaki standart olmayan durumlar bir takım ipuçları verebilir. Doğrusal yaklaşımlara alternatif olarak daha gerçekçi olan doğrusal olmayan modeller kullanılabilir. Bazı doğrusal olmayan modeller, bağımlı değişkenin uygun bir dönüşümü ile doğrusallaştırılabilir. Bu tip modeller aslında doğrusal modeller olarak adlandırılır. Dönüşümden sonra hatalar üzerindeki varsayımlar sağlanıyorsa, doğrusallaştırılmış modele sıradan en küçük kareler uygulanabilir. Aslında doğrusal olmayan modeller, parametrelerin tahminlenmesi için doğrusal olmayan en küçük karelerin kullanılmasını gerektirir. En küçük kareler varsayımlarını daha yakın sağlayacağına inanılıyorsa, aslında doğrusal modellerin doğrusal olmayan formları tercih edilebilir. Doğrusal olmayan modeller bu kitabın kapsama alanı dışında tutulmuştur. Konu ile ilgili ayrıntılar Bates ve Watts (1988) ve Seber ve Wid (1989) da bulunmaktadır DOĞRUSAL BAĞLANTI PROBLEMİ X matrisinin tekilliği, X matrisinin bazı sütunlarının doğrusal fonksiyonun kesin olarak sıfır vektörüne eşit olması durumunda çıkar. Böyle durumlar en küçük kareler analizinde (X T X) 1 mevcut olmadığında belli olur. Daha sıkıntılı bir durum ise X matrisi tekile yakın olduğunda, yani vektörlerin doğrusal fonksiyonu sıfıra yakın olduğunda ortaya çıkar. Gereğinden fazla olan değişkenler (aynı bilgiyi değişik formlarda açıklamaktadır), X matrisinin tekile yakın olmasına neden olurlar. Bir

7 sistemde birbirine yakın olarak bağlanmış (link edilmiş), birbirine bağımlı değişkenler X matrisindeki yaklaşık tekilliğe neden olabilir. Yaklaşık tekillik durumlarında normal eşitliklerin tek bir çözümü mevcuttur; ancak bu çözüm oldukça kararsızdır. Böyle bir durumda Y veya x deki küçük değişikler (şansa bağlı gürültü), regresyon katsayılarının tahminlerinde şiddetli değişmelere neden olabilir. Ayrıca regresyon katsayılarının varyansları oldukça büyük olurlar. Aslında, X matrisinin yaklaşık tekil olmasından kaynaklanan problemler doğrusal bağlantı problemi olarak adlandırılır. Doğrusal bağlantı problemi Bölüm 13 de tanımlanmıştır. Doğrusal bağlantının en küçük kareler üzerindeki etkisi, eğer regresyon katsayıları ile tek tek ilgileniliyorsa veya amacımız süreçteki önemli değişkenleri ortaya çıkarmaksa, oldukça ciddidir. Regresyon katsayılarının tahminleri, tahminlenmiş oldukları parametreden büyük farklılıklar gösterebilir; hatta yanlış işarete bile sahip olabilir. Regresyon eşitliğinin kestirim amacıyla kullanılması, örnekte gözlenen korelasyon yapısı kestirim anakütlesinde de kalıyorsa ve kestirim, örnek X-uzayında sınırlandırılmışsa, doğrusal bağlantıdan ciddi bir şekilde etkilenmez. Bununla beraber, örnek uzayının dışında sistem için kestirim yapıldığında sonuçlar yanıltıcı olabilir. Yaklaşık doğrusal bağlantının varlığı durumunda örnek X-uzayı oldukça dar olur. Böylece bu dar bölgenin dışında kestirim noktaları seçilmesi olasılığı vardır ve bunu tespit etmek oldukça zordur. Bağımsız değişken değerlerinin limitleri içindeki noktalar örnek uzayından uzakta bir yerde olabilir. Birçok istatistik bilgisayar programı, doğrusal bağlantının varlığı durumunda kullanıcıyı uyarmak üzere tasarlanmıştır (MINITAB doğrusal bağlantının varlığı durumunda kullanıcıyı uyarmaktadır). Bununla beraber bazı ipuçları gözlenebilir. Bunlar: regresyon katsayıları için mantıksız değerler, büyük standart hatalar, model mantıklı bir uyum sağladığı halde anlamsız olan kısmi regresyon katsayıları ve regresyon sonuçlarında önemsiz görülen ancak önemli olduğu bilinen değişkenler. Doğrusal bağlantının tespit edilmesi doğrudan X matrisininin tekil değer ayrışımı veya X T X matrisininin özdeğer-özvektör analizi ile sağlanabilir. Bu durumlar Bölüm 13 de incelenmiştir. Bunların doğrusal bağlantıyı tespit etmek amacıyla kullanılması ve diğer doğrusal bağlantı tanıları Bölüm 13 de incelenmiştir. Doğrusal bağlantı probleminin çözümü, modelin kurulmasındaki amaca bağlıdır. Eğer amaç kestirim ise, örnek X-uzayında doğrusal bağlantı ciddi bir problem yaratmaz. Bununla beraber, yukarıda tartışılan sınırlamalar dikkate alınmalıdır. Eğer en önemli amaç regresyon katsayılarının tahminlenmesi ise, sapmalı regresyon yöntemlerinden birisi kullanılabilir (bkz.bölüm13). Daha iyi bir çözüm ise, eğer mümkünse, yeni veya ek verilerin elde edilmesi ve böylece örnek X-uzayının yaklaşık tekilliği ortadan kaldırmak için genişletilmesidir. Söz konusu amaç bir sistemdeki önemli değişkenleri tanımak veya sistemi modellemek ise, kuvvetli doğrusal bağlantının olması durumunda regresyon sonuçları fazla yardımcı olmazlar ve yanıltıcı olabilirler. Burada, değişkenlerin korelasyon yapısını anlamak ve bağımlı değişkenin bu yapıya nasıl

8 uyumunun yapılacağını araştırmak daha verimli olur. Ana bileşenler analizi ve ana bileşenler regresyonu bu yapıyı anlamada yardımcı olurlar. Bu konular Bölüm 13 de tartışılmıştır BAĞIMSIZ DEĞİŞKENLERDEKİ HATALAR Orijinal model, bağımsız değişkenlerin hatasız olarak ölçüldüğünü varsaymaktadır. Regresyon modelinde bağımsız değişkenler sabit olarak ele alınmaktadır. Ölçüm hassasiyetine bağlı olarak, ısı basınç, kişinin yaşı gibi bağımsız değişkenler ölçülerken hata yapılabilir. Değişkenleri hatalı olan modellerde, bağımsız değişkenlerin gerçek değerleri ölçüm hataları ile maskelenmektedir. Böylece gözlenen X i i =X i + i (10.1) olur. Burada i, X i nin gözlenmeyen gerçek değeri ve i, ölçüm hatasıdır. Hatanın sıfır ortalamaya ve sabit varyans ye sahip olduğu varsayılır. Regresyon modeli Y i nin gerçek değer i nin bir fonksiyonu olduğunu varsaymaktadır. Basit regresyon modeli için, Y X i 0 1 i i ve sadece X i gözlendiği için Y i 0 1 i i i i 0 1 i i 1 i Y (10.) Bu model bağımsız değişkeni X i ve hata terimi (ε i - 1 σ i ) olan bir regresyon modeli olarak görülse de değildir. Bağımsız değişken şans değişkeni olup hata terimi ile ilişkilidir. X in rassal değişken olduğu modeller için de rassal bağımsız değişken hata teriminden bağımsız olmalıdır. Modeli belirlemek için aşağıdaki varsayımlar yapılabilir. E( i )=0 E(ε i )=0 E(ε i i )=0 Bunun sonucu olarak, E X E i i i i bulunur. Kovaryans ise, ; X i i 1 i 1 i (10.3a) (10.3b) (10.3c) (10.4) eşitliği ile tanımlanır, bkz Alıştırma Eğer açıklayıcı değişkenlerde ölçüm hatası varsa ortaya çıkan iki önemli problem açıklayıcı değişken ile hata arasında çıkan kovaryans yapısı ve parametre tahminlerinde oluşan sapmadır.eğer X ve Y arasında bir regresyon ilişkisi varsa eşitlik (10.4) ile verilen kovaryans sıfır olamaz. Eğer model (10.) ye EKK uygulanırsa b i parametre tahminleri sapmalı olacaktır ve kararlılık özelliğini kaybedeceklerdir. Sapmasız tahminleyicileri elde etmek için kullanılabilecek iki temel yaklaşım: Eşitlik (10.3) de belirtildiği gibi i nın dağılımı ve i ile i arasındaki kovaryans üzerine güçlü varsayımlar yapılır. İkinci yaklaşım ise X in gerçek değeri ile ilişkisi bilinen fakat ölçüm hatasına sahip olmayan değişkenleri (alet instrumental) kullanmaktır.

9 Bu probleme sıradan en küçük kareler uygulandığında, gözlenmeyen i nin yerine X i kullanılırsa, nın sapmalı bir tahmini elde edilir. Genel olarak b, gerçek eğimin mutlak değerini, olması gerekenin altında tahminler. Eğer ölçüm hataları i ler i den bağımsız ise b nın beklenen değeri yaklaşık olarak E b 1 n Xi (10.3) şeklinde bulunur. Eşitlik (10.3) ün paydası ölçüm hatası mevcut olduğunda, >0, her zaman 1 den büyük olur. Eğer değeri X i n e göre küçük ise, sapmada küçük olur. Bu koşullar altında nın tahminlenmesi için birkaç yöntem geliştirilmiştir. Fakat bu yöntemlerin hiç biri tamamen tatmin edici yöntemler değildir. Riggs, Guanieri ve Addelman (1978) bilgisayar benzetim (simulation) çalışmaları ile tahminleyicilerin davranışlarını araştırmışlardır. Daha açık çözümlerden bir tanesi ise değerinin bilindiğini varsayıp sapma için X i değerini kullanarak b tahminini düzeltmeye çalışan yöntemdir, (Madansky, 1959). Riggs ve diğerleri bu yöntemin hataların oldukça büyük olduğu durumlarda kullanılmamasını tavsiye etmişlerdir. Bir diğer öneri veri setinin ikiye (Wald 1940) ya da üçe (Bartlett 1949) ayrılıp daha sonra uç grupların aritmetik ortalama değerlerinin bir ortalama eğim hesaplamak için kullanılmasıdır. Wald ve Bartlett yaklaşımlarının performansı birbirine yakın olup sıradan EKK yöntemine göre sapmayı biraz azaltır buna karşın varyansda biraz artış oluşturur. Daha detaylı bilgi Riggs, Guanieri ve Addelman (1978) çalışmasında bulunabilir. Açıklayıcı değişkenlerdeki hata problemine farklı bir yaklaşım ise i ile ilişkili fakat i ile ilişkili olmayan başka bir değişkendeki bilgiyi kullanarak nın kararlı bir tahminini elde etmektir. Bu tür değişkenler alet (instrumental) değişkeni olarak adlandırılır. Alet değişkenlerin kullanılması regresyon parametrelerinin tutarlı tahminlerinin elde edilmesine imkan sağlar. Alet değişkenler ile ilgili daha detaylı bilgi Feldstein (1974) ile Carter ve Fuller (1980) çalışmalarında bulunabilir. Değişkenlerdeki ölçüm hatası konusu regresyon analizi problemini daha karmaşık hale getirmektedir. Tüm durumlara çözüm olacak şekilde bir yaklaşımın mevcut olmadığı görülmektedir. Mümkün olduğu durumlarda bu problemi göz ardı etmek en iyi çözüm olarak görülmektedir. Sıradan EKK tahminlerinde oluşan sapma değerinin X n değerine oranına bağımlıdır. Bu nedenle problem i X değişkeninin yayılımının ölçüm hatasına göre göreceli olarak büyük bir şekilde bir tasarımın belirlenmesi ile en küçüklenebilir. Böyle bir X matrisi ile sıradan EKK tahminleri yeterli hassasiyete sahip olacaktır. X in ölçüm hatasına sahip olduğu durum ile x in şans değişkeni olduğu durum arasındaki fark: X şans değişkeni ise analizcinin kontrolü dışındadır ve deneyden deneye şansa bağlı olarak değişir. Bu durumda X ölçüm hatasına sahip değilse kesin olarak (verilen bir deneme için) ölçümlenir. Bazı

10 araştırmalarda ise X belirli değerlerde sabitlenir. Örneğin ısı ve basınç gibi. Fakat bu değişkenleri istenen hassasiyette sabitlemek mümkün olmadığından X ölçüm hatalı olarak adlandırılır. Ölçüm hatalı modeller bu kitabın kapsamı dışında tutulup, ayrıntılar Fuller(1987) de bulunmaktadır.