ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ

Transkript

1 ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ YÜKSEK LİSANS TEZİ Pel İYİ GENETİK ALGORİTMA UYGULANARAK VE BİLGİ KRİTERLERİ KULLANILARAK ÇOKLU REGRESYONDA MODEL SEÇİMİ İSTATİSTİK ANABİLİM DALI ADANA, 006

2 ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ GENETİK ALGORİTMA UYGULANARAK VE BİLGİ KRİTERLERİ KULLANILARAK ÇOKLU REGRESYONDA MODEL SEÇİMİ Pel İYİ YÜKSEK LİSANS TEZİ İSTATİSTİK ANABİLİM DALI Bu tez / 09 / 006 tarhde aşağıdak jür üyeler tarafıda oybrlğ / oyçokluğu le kabul edlmştr. İmza: İmza: İmza: Prof.Dr. Hamza EROL Doç.Dr. Selahatt KAÇIRANLAR Yard.Doç.Dr. Ahmet TEMİZYÜREK DANIŞMAN ÜYE ÜYE Bu tez Esttümüz İstatstk Aablm Dalıda hazırlamıştır. Kod No: Prof.Dr. Azz ERTUNÇ Esttü Müdürü İmza ve Mühür Bu çalışma Ç.Ü. Blmsel Araştırma Projeler Brm tarafıda desteklemştr. Proje No:FEF004YL59 Not: Bu tezde kullaıla özgü ve başka kayakta yaıla bldrşler, çzelge, şekl ve fotoğrafları kayak gösterlmede kullaımı, 5846 sayılı fkr ve Saat Eserler Kauudak hükümlere tabdr.

3 ÖZ YÜKSEK LİSANS TEZİ GENETİK ALGORİTMA UYGULANARAK VE BİLGİ KRİTERLERİ KULLANILARAK ÇOKLU REGRESYONDA MODEL SEÇİMİ Pel İYİ ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ İSTATİSTİK ANABİLİM DALI Daışma: Prof.Dr. Hamza EROL Yıl: 006, Sayfa: 5 Jür: Prof.Dr. Hamza EROL Doç.Dr. Selahatt KAÇIRANLAR Yard.Doç.Dr. Ahmet TEMİZYÜREK Çoklu leer regresyo modelde açıklayıcı değşke sayısı fazla olduğuda aday model sayısı da üstel olarak artmaktadır. Bu durumda geleeksel yötemlerle, adımsal yötemlerle ve statstk aket rogramları kullaılarak model seçm mümkü değldr. Bu çalışmada açıklayıcı değşke sayısıı fazla olması durumuda ortaya çıka model seçm roblem, geetk algortma uygulaarak ve blg krterler kullaılarak celemştr. Bu amaçla çalışmada öce, çoklu leer regresyo model hakkıda geel blgler verlmş ve çoklu leer regresyo modeller oluşturulması açıklamıştır. Sora, açıklayıcı değşke sayısıı fazla olması durumuda çoklu regresyoda ortaya çıka e y model seçm roblem adımsal yötemlerle celemştr. Daha sora da, çoklu leer regresyo model ç geetk algortma ve blg krterler açıklamıştır. Çoklu leer regresyoda geetk algortma uygulaarak ve blg krterler kullaılarak model seçm celemştr. Geetk algortma ç kod oluşturulması ele alımıştır. So olarak, souç ve öerler tartışılmıştır. Aahtar kelmeler: Blg krter, Çoklu leer regresyo, Geetk algortma, Model seçm. I

4 ABSTRACT MSc THESIS MODEL SELECTION IN MULTIPLE REGRESSION BY APPLYING GENETIC ALGORİTHM AND BY USING INFORMATION CRITERIA Pel İYİ DEPARTMENT OF STATISTICS INSTITUTE OF NATURAL AND APPLIED SCIENCES UNIVERSITY OF ÇUKUROVA Suervsor: Prof.Dr. Hamza EROL Year: 006, Pages: 5 Jury: Prof.Dr. Hamza EROL Assoc.Prof.Dr. Selahatt KAÇIRANLAR Asst.Prof.Dr. Ahmet TEMİZYÜREK The umber of models creases eoetally whe the elaatory varables creases a multle lear regresso model. I ths case, model selecto s mossble by usg tradtoal rocedures, stewse methods ad eve estg statstcal softwares. I ths study, the model selecto roblem a multle lear regresso model whe there are more elaatory varables or regressors s cosdered by alyg geetc algorthm ad by usg formato crteras. For ths urose frst, geeral formato about multle lear regresso model are gve ad buldg multle lear regresso model s elaed. The, the best model selecto roblem a multle lear regresso model whe there are more elaatory varables s eamed by stewse methods. After tha, geetc algorthm ad formato crteras for multle lear regresso model are emhaszed, followg model selecto multle regresso by alyg geetc algorthm ad by usg formato crteras s elaed. Fally, results ad dscussos are gve. Key words: Iformato crtero, Multle lear regresso, Geetc algorthm, Model selecto. II

5 TEŞEKKÜR Bu tez hazırlamasıda, blg ve brkmlerde dama faydaladığım ve yardımlarıı hçbr zama esrgemeye daışmaım, Prof.Dr. Hamza EROL a; İstatstk bölümü öğretm elemalarıa ve madd ve maev destekler hçbr zama esrgemeyerek her zama yaımda ola aleme teşekkür ederm. III

6 İÇİNDEKİLER SAYFA NO ÖZ...I ABSTRACT...II TEŞEKKÜR...III İÇİNDEKİLER...IV TABLOLAR DİZİNİ.VI ŞEKİLLER DİZİNİ. VIII. GİRİŞ..... Çoklu Leer Regresyo Model..... E İy Çoklu Leer Regresyo Model Seçlmes E İy Çoklu Leer Regresyo Model Seçmde Uygulaacak Krterler Klask Yötem...4. E İy Çoklu Leer Regresyo Model Seçmde Uygulaacak Krterler Adımsal Yötemler...5. Çoklu Leer Regresyo Modellerde Geetk Algortmaı Uygulaması..6. Çoklu Leer Regresyo Modellerde Geetk Algortma Uygulaırke Blg Krterler Kullaılması..3. ÖNCEKİ ÇALIŞMALAR Çoklu Leer Regresyo Model İle İlgl Çalışmalar..4.. E İy Çoklu Leer Regresyo Model Seçlmes İle İlgl Çalışmalar Klask Yötem ve Adımsal Yötemler E İy Çoklu Leer Regresyo Model Seçlmes İle İlgl Çalışmalar Geetk Algortma ÇOKLU LİNEER REGRESYON MODELİ Çoklu Leer Regresyo Model Hakkıda Geel Blgler Çoklu Leer Regresyo Modeldek Parametreler Tahm Edlmes Regresyo Katsayılarıı E Küçük Kareler Yötemyle Tahm Edlmes..9 IV

7 İÇİNDEKİLER SAYFA NO 3... Çoklu Leer Regresyo Modelde Matrs Gösterm Kullaılması ve Regresyo Katsayılarıı E Küçük Kareler Yötemyle Tahm Edlmes E Küçük Kareler Yötem Geometrk Yorumu E Küçük Kareler Tahm Edcler Özellkler σ Tahm Regresyo Katsayılarıı E Çok Olablrlk Yötemyle Tahm Edlmes Çoklu Leer Regresyo Modelde Hotez Test Regresyou Öemllğ Test Edlmes Her br Regresyo Katsayısı ç Hotez Test Edlmes Regresyo Katsayılarıı Br alt Kümes İç Hotez Test Edlmes X Matrsde Sütuları Ortogoal Olması Özel Durumu T β = 0 Geel Leer Hotezler Test Edlmes Çoklu Regresyoda Güve Aralıkları Regresyo Katsayıları İç Güve Aralıkları Ortalama Yaıt İç Güve Aralığı ÇOKLU LİNEER REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Çoklu Leer Regresyoda E İy Model Seçlmes Yalış Model Belrlemes Souçları Regresörler Br Alt Kümes Seçmek İç Krterler Çoklu Belrleyclk Katsayısı Düzeltlmş Çoklu Belrleyclk Katsayısı Hata Kareler Ortalaması Mallows u C İstatstğ 65 V

8 İÇİNDEKİLER SAYFA NO 4.4. Regresyo ve Model Değerledrme Ölçütler Kullaımı Değşke Seçm İç Hesalama Tekkler Olası Bütü Regresyolar Adımsal Regresyo Yötemler İlerye Doğru Seçm Yötem Gerye Doğru Ayıklama Yötem Adımsal Regresyo Yötem ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Geetk Algortmalar Hakkıda Geel Blgler Çoklu Leer Regresyo Modelde E İy Model Oluşturulmasıda Geetk Algortmaı Kullaılması ve Blg Karmaşıklık Krter ICOMP Blg Karmaşıklık Krter Kullaılarak Geetk Algortmaı Uygulaması Karmaşıklık Krter ve Br Sstem Karmaşıklığı Çoklu Leer Regresyo Model İç Blg Krter Karmaşıklık Ölçülere Dayalı ICOMP Değer Çoklu Leer Regresyo Model İç Br Geetk Algortma Çoklu Leer Regresyo Modeller İç Br Geetk Kodlama Şeması Çoklu Leer Regresyo Model İç Geetk Algortmada Kullaılacak Başlagıç Poülasyouu Oluşturulması Herhag Br Çoklu Leer Regresyo Model Performasıı Değerledrlmes ç Br Uyum Foksyou Oluşturula Çoklu Leer Regresyo Modeller Seçmek ç Br Mekazma...04 VI

9 İÇİNDEKİLER SAYFA NO Ye Nesl Çoklu Leer Regresyo Modeller Üretmek İç Erşk Modeller Eşleştrlmes Yamak Amacıyla Br Yede Üretm İşlem Tek Nokta Çarazlama İk Nokta Çarazlama Düzgü Çarazlama Ye Nesl Modeller Brleşm Değştrmek İç Değşme Etks SONUÇ VE ÖNERİLER 8 KAYNAKLAR 9 ÖZGEÇMİŞ.5 VII

10 ÇİZELGE DİZİNİ SAYFA NO Tablo 3.. Çoklu leer regresyo model ç verler. 9 Tablo 3.. İçecek teslm/dağıtım vers (Motgomery ve ark., 00). 5 Tablo 3.3. İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç oluşturula matrs grafğ. 6 Tablo 3.4. İçecek teslm/dağıtım versdek y, ve ç taımlayıcı statstkler aalz souçlarıı blgsayar çıktısı. 7 Tablo 3.5. İçecek teslm/dağıtım versdek ve açıklayıcı değşkeler y yaıt değşkedek tolam değşm açıklama oraı ç aalz souçlarıı blgsayar çıktısı. 7 Tablo 3.6. İçecek teslm/dağıtım vers ç regresyou öemllğ test varyas aalz tablosu. 8 Tablo 3.7. İçecek teslm/dağıtım vers ç oluşturula regresyou modeldek arametre tahm değerler. 8 Tablo 3.8. Çoklu leer regresyo modelde regresyou öemllğ test etmek ç kullaıla varyas aalz tablosu. 36 Tablo 3.9. İçecek teslm/dağıtım vers ç oluşturula çoklu leer regresyo modelde regresyou öemllğ test etmek ç kullaıla varyas aalz tablosu. 37 Tablo 4.. Örek.. ç Hald Çmeto vers (Motgomery ve ark., 00). 69 Tablo 4.. Örek. ç bütü aday regresyo modeller özet (Motgomery ve ark., 00). 70 VIII

11 ÇİZELGE DİZİNİ SAYFA NO Tablo 4.3. Örek. ç bütü aday regresyo modellerdek arametreler e küçük kareler yötemyle elde edle tahmler (Motgomery ve ark., 00). 7 Tablo 4.4. Örek. dek Hald çmeto vers ç bast korelesyo matrs (Motgomery ve ark., 00). 73 Tablo 4.5. Hald çmeto vers ç k model karşılaştırılması (Motgomery ve ark., 00). 76 Tablo 5.. Beş açıklayıcı değşke bulua ve sabt term çere çoklu leer regresyo model ç kl strg gösterm. 0 Tablo 5.. Vücut yağı verler ç bütü olası modeller arasıda e küçük ICOMP ( IFIM ) değerlere göre seçlmş o beş e y model (Bozdoga, 004). Tablo 5.3. Vücut yağı verler ç Matlab rogramıda hazırlaa GA rogramıı çalıştırılmasıda kullaıla arametreler (Bozdoga, 004). Tablo 5.4. Geetk Algortmaı 00 kez çalıştırılmasıda sora vücut yağı ver kümes ç lk 0 sıradak e y açıklayıcı değşkeler alt kümes (Bozdoga, 004). Tablo 5.5. E y alt küme model uyumuu özet (Bozdoga, 004). 3 Tablo 5.6. E y alt küme Geetk Algortma model arametre tahmler (Bozdoga, 004). 3 IX

12 TABLO DİZİNİ SAYFA NO Tablo 3.. Çoklu leer regresyo model ç verler. 9 Tablo 3.. İçecek teslm/dağıtım vers (Motgomery ve ark., 00). 6 Tablo 3.3. İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç aalz souçlarıı blgsayar çıktısı. 7 Tablo 3.4. İçecek teslm/dağıtım versdek y, ve ç taımlayıcı statstkler aalz souçlarıı blgsayar çıktısı. 7 Tablo 3.5. İçecek teslm/dağıtım versdek ve açıklayıcı değşkeler y yaıt değşkedek tolam değşm açıklama oraı ç aalz souçlarıı blgsayar çıktısı. 8 Tablo 3.6. İçecek teslm/dağıtım vers ç regresyou öemllğ test varyas aalz tablosu. 8 Tablo 3.7. İçecek teslm/dağıtım vers ç oluşturula regresyou modeldek arametre tahm değerler. 9 Tablo 3.8. Çoklu leer regresyo modelde regresyou öemllğ test etmek ç kullaıla varyas aalz tablosu. 36 Tablo 3.9. İçecek teslm/dağıtım vers ç oluşturula çoklu leer regresyo modelde regresyou öemllğ test etmek ç kullaıla varyas aalz tablosu. 38 Tablo 4.. Örek.. ç Hald Çmeto vers (Motgomery ve ark., 00). 70 Tablo 4.. Örek. ç bütü aday regresyo modeller özet (Motgomery ve ark., 00). 7 VIII

13 TABLO DİZİNİ SAYFA NO Tablo 4.3. Örek. ç bütü aday regresyo modellerdek arametreler e küçük kareler yötemyle elde edle tahmler (Motgomery ve ark., 00). 7 Tablo 4.4. Örek. dek Hald çmeto vers ç bast korelesyo matrs (Motgomery ve ark., 00). 74 Tablo 4.5. Hald çmeto vers ç k model karşılaştırılması (Motgomery ve ark., 00). 77 Tablo 5.. Beş açıklayıcı değşke bulua ve sabt term çere çoklu leer regresyo model ç kl strg gösterm. 03 Tablo 5.. Vücut yağı verler ç bütü olası modeller arasıda e küçük ICOMP ( IFIM ) değerlere göre seçlmş o beş e y model (Bozdoga, 003). Tablo 5.3. Vücut yağı verler ç Matlab rogramıda hazırlaa GA rogramıı çalıştırılmasıda kullaıla arametreler (Bozdoga, 003). 3 Tablo 5.4. Geetk Algortmaı 00 kez çalıştırılmasıda sora vücut yağı ver kümes ç lk 0 sıradak e y açıklayıcı değşkeler alt kümes (Bozdoga, 003). 3 Tablo 5.5. E y alt küme model uyumuu özet (Bozdoga, 003). 4 Tablo 5.6. E y alt küme Geetk Algortma model arametre tahmler (Bozdoga, 003). 4 IX

14 ŞEKİLLER DİZİNİ SAYFA NO Şekl 3.. Şekl 3.. Şekl 3.3. Şekl 4.. İk boyutlu uzayda çoklu leer regresyo model br regresyo düzlem belrtr (Motgomery ve ark., 00). 7 İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç oluşturula matrs grafğ. E küçük kareler yötem br geometrk yorumu (Motgomery ve ark., 00). 9 Modeldek term sayısı değerlere karşı çoklu 6 belrleyclk katsayısı R grafğ (Motgomery ve 6 ark., 00). Şekl 4.. değerlere karşı MS E ( ) değerler grafğ (Motgomery ve ark., 00). 64 Şekl 4.3. değerlere karşılık C değerler grafğ (Motgomery ve ark., 00). 67 Şekl 4.4. değerlere karşı R değerler grafğ (Motgomery ve ark., 00). 73 Şekl 4.5. değerlere karşı MS E ( ) değerler grafğ (Motgomery ve ark., 00). 75 Şekl 4.6. değerlere karşı C grafğ (Motgomery ve ark., Şekl 4.7. Şekl ). Hald çmeto vers SAS blgsayar rogramıyla yaıla aalz soucu (İlerye Doğru Seçm Yötem) (Motgomery ve ark., 00). 80 Hald çmeto vers SAS blgsayar rogramıyla yaıla aalz soucu (Gerye Doğru Ayıklama Yötem) (Motgomery ve ark., 00) X

15 ŞEKİLLER DİZİNİ SAYFA NO Şekl 4.9. Şekl 5.. Şekl 5.. Şekl 5.3. Şekl 5.4. Şekl 5.5. Şekl 5.6. Şekl 5.7. Hald çmeto vers SAS blgsayar rogramıyla yaıla aalz soucu (Adımsal Regresyo Yötem) (Motgomery ve ark., 00). 84 Verle erşk k model kl strg çft ç çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003). 06 Verle erşk k model kl strg çft ç tek okta çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003). 07 Verle erşk k model kl strg çft ç k okta çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003). 08 Verle erşk k model kl strg çft ç düzgü çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003). 08 ICOMP le hesalaa tüm modeller oluşturduğu yaıı üç boyutlu grafğ (Bozdoga, 003). 5 Vücut yağ verrs ç Geetk Algortmaı 00 kez çalışmasıı br özet (Bozdoga, 003). 6 Vücut yağ vers ç Geetk Algortmaı 00 kez çalıştırılması soucuda ICOMP(IFIM) le hesalaa tüm modeller oluşturduğu yaıı üç boyutlu grafğ (Bozdoga, 003). 6 XI

16 . GİRİŞ Pel İYİ. GİRİŞ.. Çoklu Leer Regresyo Model Br yaıt (bağımlı) değşkedek tolam değşm açıklamak amacıyla brde fazla regresör (açıklayıcı) değşke kullaılarak oluşturula regresyo modele çoklu regresyo model der. Çoklu leer regresyo modeller geelde regresyo roblem çözümüe yaklaşım foksyou olarak kullaılırlar (Motgomery ve ark., 00)... E İy Çoklu Leer Regresyo Model Seçlmes Çoklu leer regresyo modelde, y yaıt değşkedek tolam değşm açıklaya e y regresyo model seçlmes değşke seçm ya da e y alt küme model seçm olarak adladırılır (Draer ve Smth, 998). k tae açıklayıcı değşke ya da regresör çere çoklu leer regresyo model ç k tae aday model (alt küme model) vardır (Gust ve Maso, 980). E y regresyo model belrlemes k amacı vardır: Brcs, modele katkısı statstksel olarak alamsız değşkeler çıkararak, oluşturula model değşke sayısıı azaltılması ster. Böylece şlemler ç gereke süre ve malyet azalır. İkcs se model olası brçok regresör çermes ster. Çükü değşkelerdek blg çerğ, tahm edle yaıt değerler etkler (Motgomery ve ark., 00)..3. E İy Çoklu Leer Regresyo Model Seçmde Uygulaacak Krterler Klask Yötem E y regresyo model belrlemesde klask yötem uyguladığıda çoklu belrleyclk katsayısı R veya düzeltlmş çoklu belrleyclk katsayısı R Düzeltlmş ve hata kareler ortalamaları (HKO) kullaılablr (Draer ve Smth, 998). Eşt sayıda açıklayıcı değşke çere modeller karşılaştırılmasıda çoklu

17 . GİRİŞ Pel İYİ belrleyclk katsayısı R ve farklı sayıda açıklayıcı değşke çere modeller karşılaştırılmasıda düzeltlmş çoklu belrleyclk katsayısı R Düzeltlmş değerler kullaılır. E y regresyo model belrlemesde R s veya R Düzeltlmş s yüksek, HKO sı düşük ola ve az sayıda açıklayıcı değşke çere model terch edlr (Motgomery ve ark., 00)..4. E İy Çoklu Leer Regresyo Model Seçmde Uygulaacak Krterler Adımsal Yötemler Bazı durumlarda mevcut açıklayıcı değşkeler, yaıt değşkedek tolam değşm açıklamada yetersz kalablr. Böyle durumlarda regresyo modele ye açıklayıcı değşke ya da değşkeler ekleeblr. Bazı durumlarda se mevcut açıklayıcı değşkelerde bazıları yaıt değşkedek tolam değşm açıklamada statstksel olarak etkler ya da katkıları bulumadığıda çoklu leer regresyo modelde sleblr ya da çıkarılablr (Chatterjee ve ark., 000). Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı artması durumuda lerye doğru seçm, gerye doğru ayıklama ya da adımsal regresyo gb yötemler uygulaablr (Mller, 990). E y regresyo model belrlemesde adımsal yötemler uyguladığıda klask yötemdek krterler uygulaır..5. Çoklu Leer Regresyo Modellerde Geetk Algortmaı Uygulaması Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda e geleeksel yötemler e de adımsal yötemler kullaılamamaktadır (Bozdoğa, 003). Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda çoklu leer regresyo model oluşturulmasıda Geetk Algortma kullaılablr (Wasserma ve Sudjato, 994; Wallet ve ark., 996).

18 . GİRİŞ Pel İYİ.6. Çoklu Leer Regresyo Modellerde Geetk Algortma Uygulaırke Blg Krterler Kullaılması Çoklu leer regresyo modelde model seçm ç Geetk Algortma uygulaırke Akake Blg Krter (Akake 973, 987, 994; Sclove 987; Bozdoga 000), Mallows u C statstğ (Mallows 964, 966, 973; Motgomery ve ark., 00) ya da Bozdoga ı Blg karmaşıklığı (Bozdoga 987, 990, 000, 003, 004; Bozdoga ve Ueo 000) gb br blg krter kullaılablr. 3

19 . ÖNCEKİ ÇALIŞMALAR Pel İYİ. ÖNCEKİ ÇALIŞMALAR.. Çoklu Leer Regresyo Model İle İlgl Çalışmalar Br yaıt (bağımlı) değşke ve brde fazla regresör (açıklayıcı) değşke çere regresyo modeller statstksel aalz temel koularıdadır (Motgomery ve ark., 00). Yaıt değşke y, k tae açıklayıcı değşke..., olablr. Bu edele,,, k le lşkl y = β + β + β β 0 k k + ε (.) eştlğ k tae açıklayıcı değşkel çoklu leer regresyo model olarak adladırılır (Motgomery ve ark., 00). Burada β..., katsayılarıı ve ε hata term göstermektedr. Bu modelde 0, β, β, β k arametreler regresyo j =,,..., k olmak üzere j açıklayıcı değşkeler k boyutlu uzayıda br her düzlem belrtr (Motgomery ve ark., 00). β j arametres, j. açıklayıcı değşke dışıdak tüm açıklayıcı değşkeler sabt tutulduğuda, j dek br brmlk değşm edeyle yaıt değşke y de olablecek ya da beklee değşm mktarıı belrtr. Bu edele, β 0, β, β,..., β arametreler geelde kısm regresyo katsayıları olarak k adladırıldı (Draer ve Smth, 998). E küçük kareler yötem, (.) dek eştlktek çoklu leer regresyo model regresyo katsayılarıı tahm etmek ç kullaıldı (Gust ve Maso, 980). Çoklu leer regresyo model matrs göstermyle, y = Xβ + ε (.) 4

20 . ÖNCEKİ ÇALIŞMALAR Pel İYİ y şeklde yazıldı (Hockg 976, 983; Mller 990). Burada y = y M y, tde olmak üzere gözlemler vektörüü; X = M M M L M L L k k k, tde β 0 olmak üzere açıklayıcı değşkeler düzeyler matrs; β = β M β k ε olmak üzere regresyo katsayılarıı vektörüü ve ε = ε M ε, tde, tde olmak üzere rastgele hataları vektörüü göstermektedr. (.) tek matrs formudak çoklu leer regresyo modelde hatalar, sıfır ortalamalı E(ε )=0 ve σ sabt varyaslı V(ε )= σ ormal dağılıma sahtr. Çoklu leer regresyo modelde ε ~ N(0, σ I) varsayımı yaılarak β arametre vektörüü β ~ e çok olablrlk tahm edcs elde edld (Gust ve Maso, 980). Çoklu leer regresyo modelde hataları ormal dağılıma sah olduğu varsayımı yaılarak regresyo katsayılarıyla lgl hotezler test edld (Myers 990; Motgomery ve ark., 00). Çoklu leer regresyo modelde regresyo katsayıları ve ortalama yaıt ç güve aralıkları oluşturuldu (Myers 990; Motgomery ve ark., 00). 5

21 . ÖNCEKİ ÇALIŞMALAR Pel İYİ.. E İy Çoklu Leer Regresyo Model Seçlmes İle İlgl Çalışmalar Klask Yötem ve Adımsal Yötemler Çoklu leer regresyo modelde yaıt değşkedek tolam değşm açıklamada regresörler br kümes belrlemes gerekr (Hockg 97; Hockg ve LaMotte 973; Co ve Sell 974). Regresyo model ç statstksel olarak alamlı ya da öeml regresörler uygu alt kümes belrleme şleme değşke seçm roblem adı verld (Draer ve Smth, 998). Çoklu leer regresyo model oluşturulurke geellkle regresörler doğru foksyoel bçm bldğ, verde aykırı ya da saa değerler ve etkl gözlemler bulumadığı varsayıldı. Model doğru foksyoel bçm, verdek saa ya da aykırı gözlem değerler ve verdek etk gözlem değerler belrlemes roblemler eş zamalı çözülmes gerekse ble çoğu kez ardışık yaklaşım kullaıldı. Öce değşke seçm stratejs kullaıldı. Sora souçta bulua alt küme model doğru foksyoel belrts ç saa değerler ç ve etkl gözlemler ç kotrol edld. Bu, brc adımı tekrarlaması gerektğ belrteblr. Yeterl br model oluşturmak ç br çok ardışık şlem gerekeblr (Motgomery ve ark., 00). Geleeksel yötemlerde e y regresyo model belrlemesde çoklu belrleyclk katsayısı R veya düzeltlmş çoklu belrleyclk katsayısı R Düzeltlmş ve hata kareler ortalamaları (HKO) kullaıldı (Draer ve Smth, 998). E y regresyo model belrlemesde R s veya R Düzeltlmş s yüksek, HKO sı düşük ola ve az sayıda açıklayıcı değşke çere model terch edld (Motgomery ve ark., 00). Bazı durumlarda se mevcut açıklayıcı değşkelerde bazıları yaıt değşkedek tolam değşm açıklamada etkler ya da katkıları olmadığıda çoklu leer regresyo modelde sleblr ya da çıkarılablr. Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı artması durumuda lerye doğru seçm ya da gerye doğru ayıklama gb adımsal regresyo aalz yötemler uyguladı (Chatterjee ve ark., 000). 6

22 . ÖNCEKİ ÇALIŞMALAR Pel İYİ Regresyoda değşke seçm ya da e y model oluşturulmasıyla lgl çalışmalar Hockg (97, 976), Co ve Sell (974), Myers(990), Hockg ve LaMotte (973), Thomso (978a, 978b) tarafıda yaılmıştır. Alt küme modeldek regresyo katsayılarıı ve ˆ σ tahmler özellkler, Hockg (974, 976), Narula ve Ramberg (97), Walls ve Weeks (969) tarafıda araştırılmıştır. Bazı regresyo modeller tarhsel kayıtlarda alımış rastgele verlerde oluşmaktadır (Bo ve ark., 978). Rastgele verler geelde aykırı ya da saa değerler, etk gözlemler, ver tolamadak değşmlerde oluşa tutarsızlıkları ve zamaa karşı blg-şlem sstem hatalarıı çerr. Verdek bu hatalar, değşke seçm sürecde büyük etk yaratablr ve doğru model belrleyememe robleme ede olablr. Rastgele verdek e geel roblem, kotrol edlmş regresörler bulmaktır. Kotrol edlmş regresörler daha tutarlıdır. Ayrıca etkl değşkelerdr. Regresörler, yaıtı doğru sıırlarda tutmak ç kotrol edlmeldr. Verdek bu rastgele hataları etkler e küçük kareler uyumuda öemsz görüeblr. Regresyo aalzde değşke seçm roblem k aşamalı çözümü vardır. Brc aşamada alt küme modeller üretlr. İkc aşamada se br alt küme dğerde daha y olu olmadığıa karar verlr (Berk, 978). Regresyo model uyguluğu br ölçütü, R çoklu belrleyclk katsayısıdır (Motgomery ve ark., 00). Modelde β 0 sabt term bulua terml ve regresörlü br alt küme model ç çoklu belrleyclk katsayısı R le gösterld (Motgomery ve ark., 00). Br alt küme regresyo model ç R otmum değer arama yere R memu edc ve bekletler karşılaya değer aramalıdır. Atk(974), bu robleme br çözüm olarak tam model ç R de alamlı olarak farklı olmaya ye br çoklu belrleyclk katsayısı oluşturdu. R yorumlamasıdak zorluklarda kaçımak ç, bazı araştırmacılar düzeltlmş R y ya da R kullamayı terch etmşlerdr (Hatovsk 969). R statstğ, R statstğe göre daha tutarlıdır. R, modele eklee ye regresörlerde fazla etklemez (Edwards 969; Seber 977). Modele s tae 7

23 . ÖNCEKİ ÇALIŞMALAR Pel İYİ regresör eklerse R + s değer, R değerde daha fazla olablmes ç gerek ve yeter koşul modele eklee s tae regresörü öem test etmek ç kısm F-statstğ değer aşmasıdır (Edwards 969). Souç olarak br alt küme oluşturduğu otmum model seçmek ç br krter, maksmum R ye sah model seçmektr (Motgomery ve ark., 00). Bu krtere dek ola başka br krter, alt küme regresyo model ç hata kareler ortalamasıdır, ya MSE ( ) dr (Motgomery ve ark., 00). Mallows (964, 966, 973) çalışmalarıda, oluşturula model değer hata kareler ortalamasıa dayalı br krter öermştr. Görüldüğü gb altküme regresyo modeller değerledrmek ç kullaıla br çok krter vardır. Model seçm ç kullaılacak krter keslkle model kastedle kullaımıyla lgl olmalıdır. Regresyou; () ver taımlama, () kestrm ve tahm, (3) arametre tahm ve (4) kotrol olmak üzere br çok olası kullaımı vardır. Amaç, verlmş br yötem ç y br taımlama elde etmekse veya karmaşık br sstem model elde etmekse, hata kareler tolamı küçük ola regresyo deklemler ç br araştırma gösterlmştr. k tae aday regresörler tamamıı kullaarak hata kareler tolamı SSE mmum yaıldığıda, SSE souçlarıda küçük artmalar olableceğde bazı değşkeler modelde çıkarılması, slmes ya da elemes öerlr. y dek tolam değşm açıklaırke, brkaç regresörlü sstem uygu olduğu söyler (Boyce ve ark., 974). Çoğu kez regresyo deklemler, gözlemler ö tahm veya yaıtı ortalamasıı tahm ç kullaılır. Geel olarak, kestrm hata kareler ortalamasıı mmum yaıldığı regresörler seçlr. Bu da az etkl regresörler modelde sleceğ alamıa gelr. Br alt küme üretme yötem tarafıda oluşturula aday deklemler değerledrmek ç (Chatterjee ve ark., 000; Motgomery ve ark., 00). dayalı br alt küme regresyo model seçleblr. PRESS statstğ kullaıldı PRESS küçük değere PRESS, özellkle tahm roblem ç sezgsel başvurmaya sah olduğuda, hata kareler tolamıı bast br foksyou değldr. Bu krtere dayalı değşke seçm ç br algortma 8

24 . ÖNCEKİ ÇALIŞMALAR Pel İYİ gelştrlmes kolay değldr. PRESS statstğ alteratf modeller ayırt etmede kullaışlıdır. Parametre tahmyle lglelyorsa hem değşke slme soucudak yalılıklar, hem de tahm edle katsayıları varyasları göz öüde buludurulmalıdır. Regresörler yüksek çlşkl olduğuda, regresyo katsayılarıı e küçük kareler tahmler so derece zayıf olur. Regresyo model kotrol ç kullaıldığıda, arametreler doğru tahmler çok öemldr. E so deklemde kullamak ç değşkeler alt kümes bulmada, aday regresörler çeştl kombasyolarıyla model oluşturma dkkate alımalıdır. Olası bütü regresyolar yötemde, sabt terml model (Bu model regresör çermemektedr.), br-aday regresör çere model, k-aday regresör çere model,..., k -aday regresör çere model gb bütü regresyo deklemler oluşturulması gerekr (Motgomery ve ark., 00). Oluşturula bu aday modeller değşk krterlere göre değerledrlr ve e y regresyo model seçlr. β 0 sabt term bütü deklemlere dahl edldğ varsayalım. k tae regresör ç k tae tolam aday regresyo deklem vardır. R, R, MSE ( ) ve C statstkler değerlere bakılarak e y model belrler. Tüm aday regresyo modeller hesalayı değerledrmek zor olableceğde, sadece az sayıdak alt küme regresyo modeller değerledrmek ç her seferde br tae regresör ekleyerek veya çıkararak yaıla çeştl yötemler gelştrlmştr (Mller, 990). Bu yötemler adımsal türdek yötemlere lşkdr. Bular üç aa gruta sııfladırılablr: Brcs lerye doğru seçm yötem (Motgomery ve ark., 00). İkcs gerye doğru ayıklama yötem (Motgomery ve ark., 00). Üçücüsü, -c ve -c yötem brleşm ola adımsal regresyodur (Motgomery ve ark., 00). Çoklu leer regresyo aalzde, lojstk regresyo aalzde ya da sıralı lojstk regresyo aalzde olduğu gb regresyo t modellerde model oluşturma ve açıklayıcı değşkeler uygu alt küme seçm ver madeclğde merkez ve öeml br roblemdr. Çoğu kez açıklayıcı değşkeler br alt kümes verldğde 9

25 . ÖNCEKİ ÇALIŞMALAR Pel İYİ br mktarsal, kl veya sıralı düzeyde yaıt değşke le çalışır. Böyle durumlarda açıklayıcı değşkeler hagler yaıt değşkedek tolam değşm açıklamak ve regresyo katsayılarıı yorumlamak ç kullaılacağıı belrlemek öemldr. İstatstksel aalz ç br çok statstksel aket rogram, e y alt küme model seçmek ç gerye doğru ayıklama ve lerye doğru seçm gb adımsal seçm yötemler sağlar / çerr (Wlkso, 989). Buula brlkte, regresyo aalzde gerye doğru ayıklama ve lerye doğru seçm adımsal yötemler her ks de k değşke br kümesde açıklayıcı (redctor) değşkeler e y alt kümes her zama bulmaz (Matel, 970). Gerye doğru ayıklama ve lerye doğru seçm adımsal yötemler hakkıda e öeml krtkler ya da eleştrler: Brcs, algortmada hag değşkeler modele dahl edleceğ veya modelde çıkarılacağı sıralaması ç teork düzelemeler bulumaması / olmaması (Boyce ve ark., 974; Wlkso 989). İkcs, aalzde modele dahl edlecek ve modelde çıkarılacak değşkeler ror olasılıklarıı seçmyle lgl herhag br teork düzelemeler bulumaması/ olmamasıdır. Üçücüsü, adımsal arama arasıra da olsa e y model veya özel br boyuttak e y alt kümey bulur (Matel 970; Hockg 976, 983; Moses 986). Dördücüsü, yerel araştırmaya başvurulduğuda adımsal seçm geş çözüm uzayıı küçük br alaıda oldukça sıırlı br öreklem sağlar. Adımsal seçm e ysde sadece yeterl model oluşturur (Sokal ve Rohlf, 98)..3. E İy Çoklu Leer Regresyo Model Seçlmes İle İlgl Çalışmalar Geetk Algortma Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda e geleeksel yötemler e de adımsal yötemler kullaılamamaktadır (Wasserma ve Sudjato 994; Bozdoga 003). Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda çoklu leer regresyo model oluşturulmasıda Geetk Algortma kullaılablr (Wallet ve ark., 996). Çoklu leer regresyo modeldek açıklayıcı değşke sayısı k ı fazla k olması durumuda, öreğ k = 0 olsu. Aday model sayısı = 0 = 04 0

26 . ÖNCEKİ ÇALIŞMALAR Pel İYİ olacaktır. Bu durumda e geleeksel yötemler, e de adımsal yötemler kullaılamamaktadır. Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda çoklu leer regresyo model oluşturulmasıda Geetk Algortma kullaılablr (Wasserma ve Sudjato, 994; Wallet ve ark., 996). Geetk algortmalar (GA); evrm, gelşm ya da değşm hesalamalarıı br arçasıdır. Geetk algortmalar, Darw evrm teorsde esleerek oluşturulur. Geetk algortmalar, yaay zekaı çok hızlı gelşe br alaıdır (Goldberg, 989). Geetk algortmalar, geellkle br roblem çözümüü kolaylaştırmak ç kullaılır. Br roblem çözümüde geetk algortmaları kullaılması lk defa Joh Hollad tarafıda ortaya atılmıştır. Daha sora keds, öğrecler ve meslektaşları tarafıda gelştrlmştr. Joh Hollad, bu çalışmalar soucuda 975 yılıda Doğal ve Yaay Sstemlerde Adatasyo / Uyum (Adato Natural ad Artfcal Systems) adlı ktabı yazmıştır (Bozdoga, 003). 99 yılıda Joh Koza, belrl şler yaablmek veya yere getrmek amacıyla, rogram gelştrmek ç geetk algortmayı kulladı. Bu yötem de Geetk Programlama (GP) olarak adladırdı. Geetk rogramlamada LISP (LISt Processg) rogramlama dl kullaıldı. Buu ede LISP rogramlama dl, geetk algortmalarda da kullaıla soyağacı (arse tree) yaısıı daha kolay ve etk şleyeblmesdr. Her roblem çözümüde roblem yaısıa göre br geetk algortma oluşturulablr (Mchalewcz, 99). Geetk algortma, br roblem çözümü ç br yötem değldr. Buula brlkte geetk algortma br roblem çözümüü elde etmek ç zlee yol olarak fade edleblr (Bauer, 994). Geetk algortmalar, oülasyo (erşkler ya da yetşkler br ktles) dele ve kromozomlar le gösterle çözümler br kümes le başlatılır. Br oülasyoda çözümler alıır. Bu çözümler daha sora ye br oülasyo oluşturmak ç kullaılır. Bu şlem ye oülasyou esk oülasyoda daha y olacağı varsayımıda hareketle yaılır. Ye çözümler (esller) oluşturmak ç seçle çözümler uyguluk ya da uyumluluk değerlere göre seçlr (Goldberg, 989).

27 . ÖNCEKİ ÇALIŞMALAR Pel İYİ Geetk algortmada kullaıla şlemler ye br oulasyou oluşturmak ç kullaılır. Bu şlemler tamame uyguluk foksyoua bağlı olarak gerçekleşr. Regresyo aalzde mevcut roblemler yukarıdak açıklamalarıa dayalı olarak bu çalışmaı amacı çoklu regresyo modellerde alt küme seçm ç blg tabalı model seçm krtere ve geetk algortmaya (GA) dayalı hesalama bakımıda uygulaablr akıllı ver madeclğ taıtmak ve gelştrmektr (Bearse ve Bozdoga, 00). Bu yaklaşım ayı zamada üç yölü hbrd olarak lojstk regresyo ve sıralı lojstk regresyo modellere geşletleblr. Sıralı lojstk regresyo modellerde e y açıklayıcı değşkeler alt küme seçm ç de kullaılablr (Lag ve Bozdoğa, 003). Br geetk algortma geş sayıda mümkü/olası çözümler buluduğu roblem çözümüe uygulaable ve byolojk değşm/döüşüm ve doğal seçme dayalı stokastk (rastgele) arama algortmasıdır. Geetk algortmalar mühedslk, ekoom, oyu teors (Hollad, 99), hesalama blmler (Forrest, 993), azarlama (Bauer, 994) ve byoloj (Sumda ve ark., 990) gb geş br alada kullaılablr. Geleeksel otmzasyo yaklaşımıda farklı olarak geetk algortma amaç foksyouu gradyalarıı hesalamaya gereksm duymaz ve br yerel otmuma sıırlamaz (Goldberg, 989). Br geetk algortma br kl strg haldek kodları br dzs olarak blgledrr. İkl strgler verle robleme farklı çözümler gösterr. Bu strgler br kromozom üzerdek geler tarafıda kodlaa geetk blgye aalog modellerdr. Br strg roblem çözmek ç özel yeteeğ ç uyum / uyguluk değerlere göre hesalaablr. Uyum değerler tabaıda strgler, her br çalıştırmada sora ve aalzde roblem çözümü ç kullaılır ya da atılır. Br çok çalıştırmada sora e y çözüm belrler / test edlr. Herhag br geetk algortmadak zorluk, her br çözümü hesalamak ç temel olarak uygu br uyum foksyouu seçmdr. Çoklu regresyo aalze göre uyum değer e y alt küme araştırılmasıda alt küme modeller karşılaştırılması ç br alt küme seçm krterdr. Bu blgsel model seçm krter kullaılarak kolaylıkla belrleeblr. Geel olarak statstksel modelleme ve model hesalama roblemlerde model karmaşıklığı kavramı öeml br rol oyar. Karmaşıklık bağlatı yaıları

28 . ÖNCEKİ ÇALIŞMALAR Pel İYİ olarak tasarımlar ve model bleşeler etkleşmler çerr. Geel model karmaşıklığıı br ölçümü olmaksızı model davraışıı tahm etmek ve model kaltes değerledrmek zordur. Bu detaylı statstksel aalze ve verle solu br öreklem ç yarışa modeller tümü arasıda e y model seçmek ç hesalamalara gereksm duyar. Yakı zamada Akake (973) orjal AIC ke dayalı br çok modelseçm rosedürü öerlmştr (Sclove, 987). Model seçmde AIC kullaılmasıda Akake ye (987) göre arametre tahmler doğruluğu br geel krter le ölçülür. AIC deke bezer şekldek celemelerde hareketle şlemler yaılmıştır. Buula brlkte ye rosedür, Va Emde (97) blg-tabalı kovaryas karmaşıklık deks br geelleştrlmes yoluyla br elemaı veya rasgele vektörler yaısal karmaşıklığı üzerde ICOMP a dayadırılmıştır. ICOMP u oluşturulması ve gelştrlmes orjal olarak Va Emde (97) tarafıda taımlaa kovaryas karmaşıklık deks br geelleştrmese dayalıdır. Drek olarak serbest arametreler sayısıı cezaladırma yere ICOMP model kovaryas karmaşıklığıı cezaladırır. ICOMP u e geel formu ICOMP (IFIM ) dr (Bozdoga, 003). ICOMP (IFIM ), maksmum lkelhood tahmler y-ble asmtotk otmallk özellğ açıklar ve br model verse-fsher blg matrs (IFIM ) blg tabalı karmaşıklığıı kullaır. Bu, Cramér-Rao alt sıır matrs olarak blr (Cramér 946; Rao 945, 947, 948). Karmaşıklık, statstksel modeller br geel özellğdr ve modeller olasılık taımlarıda / özellklerde, yaısıda veya özel çerğde çoğulukla bağımsızdır. Lteratürde, karmaşıklık kavramı br çok değşk çerkte kullaılmıştır. Va Emde (97) e göre tasarım alaşılması zor olduğuda geel olarak statstkte karmaşıklığı tek br taımı yoktur. Karmaşıklığı br çok yöü vardır ve Kolmogorov karmaşıklığı (Cover ve ark., 989), Shao Karmaşıklığı (Rssae 987, 989) gb br çok adlar altıda taımlaır. Blg teork kodlama teorsde Rssae (986, 987, 989), modeller sııfları tarafıda ortaya çıkarılable verler ç e kısa kod uzuluğu csde karmaşıklığı taımlaya Kolmogorov (983) deke bezer şeklde karmaşıklığı taımlamıştır ve ou Stokastk Karmaşıklık (SC) olarak adladırmıştır. Wallace ve Freeme (987), 3

29 . ÖNCEKİ ÇALIŞMALAR Pel İYİ Wallace ve Dowe (993) ve Bater (996) karmaşıklığı, Mmum Mesaj Uzuluğu (Mmum Message Legth-MML) csde taımlamıştır. Mmum mesaj uzuluğu, very kasaya br mesajı sıkıştırma yeteeğe göre modeller hesalamasıa dayalıdır. Karmaşıklığı alaşılması ve ver ışığıda belrszlğ çalışmak ç (tümevarımsal) souç çıkarmak geel model oluşturma teorsde çok gerekldr. İstatstksel modeller ve yötemler tam olarak tümdegelml değldr. Çükü salar çoğu zama belrszlk durumuda souç çıkarır. Tümevarımsal souç çıkarma, br hotezde veya model uzayıda br arametrey veya br model seçme roblemdr. Çalışıla very e y açıklar (Bater, 996). Akake (994) de celedğ gb belrszlk altıda souç çıkarma Perce (955) tarafıda çalışılmıştır. Perce buu kaçırma matığı ya da kısaca kaçırma olarak adladırdı. Kaçırma, souç çıkarmaı br yoludur, geel resler ve ye gerçekler elde etmek ç gözlee gerçekler kullaır. Hes br belrszlk dereces vardır. Kaçırma ümerk foksyoları kullaarak yer alır ve blg teork model seçm krter gb büyüklükler ölçer. Perce blmsel çalışmaı orjal bölümüü çoğuu kaçırma aşamasıyla veya uygu hotezler seçm aşamasıyla lgl olduğu kousuda ısrar etmştr. Bu edele karmaşıklığı tasarımı yardımıyla kaçırmaya dayalı souç çıkarma ç br sstematk rosedür gelştrmek öğreme ve değşm/evrmleşme şlem alamak öcelkle yaılması gereke şlemdr (Vo Neuma, 966). Bu çerçevede statstksel modelleme ve model oluşturma kaçırma blmdr. Bu edele karmaşıklığı çalışılması uygu hotezler model seçm veya ver madeclğ ş çde modeller ç oldukça öemldr. Çoklu leer regresyo aalz ç geel olarak geetk algortmada kullaıla uyum foksyou ç br model seçm krter kullaılır. Bu çalışmada karmaşık blg krter ICOMP (Iformato COMPlety) krter kullaılacaktır. Aalzcler ya da araştırmacılar gereksmlere veya öcelklere dayalı olarak herhag br uygu model seçm krter seçeblrler. Bu adım eşleştrme ya da çftleştrme havuzuda (matg ool) brleştrme ç modeller ICOMP (IFIM ) değerlere dayalı olarak modeller seçme şlemde oluşur. Burada IFIM (Iverse Fsher Iformato Matr), modeller 4

30 . ÖNCEKİ ÇALIŞMALAR Pel İYİ verse Fsher blg matrsler göstermektedr (Bozdoga, 003). Poülasyoda ya da erşkler veya yetşkler oluşturduğu N tae modelde olası altküme modellerde her br ç ICOMP (IFIM ) değerler hesalaır. 5

31 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ 3. ÇOKLU LİNEER REGRESYON MODELİ Br yaıt (bağımlı) değşkedek tolam değşm açıklamak amacıyla brde fazla regresör (açıklayıcı) değşke kullaılarak oluşturula regresyo modele çoklu regresyo model der. Bu bölümde çoklu regresyo modeller oluşturulması ve aalz celeecektr. Ayrıca çoklu regresyo model yeterlk ölçüler ele alıacaktır. 3.. Çoklu Leer Regresyo Model Hakkıda Geel Blgler Br testere etk yaşam süres; testere kesme hızıa ve kesme derlğe bağlı olsu (Motgomery ve ark., 00). Yaıt değşke y : testere etk yaşam süres; açıklayıcı değşkeler : kesme hızıı ve : kesme derlğ göstermektedr. Bu durumda yaıt değşke le açıklayıcı değşkeler arasıdak lşky açıklaya çoklu regresyo model, y β + β + β + ε (3.) = 0 şekldedr. Burada y, yaıt değşke; ve, açıklayıcı değşkeler; β 0, β ve β blmeye arametreler ya da regresyo katsayılarıı ve ε, hata term göstermektedr. Yaıt değşke le açıklayıcı değşkeler arasıdak lşky açıklaya çoklu regresyo model β 0, β ve β blmeye arametrelerde ya da regresyo katsayılarıda leer olduğuda bu modele, çoklu leer regresyo model de delr. (3.) dek eştlktek çoklu leer regresyo model k boyutlu uzayda br düzlem belrtr (Motgomery ve ark., 00). β 0 arametres, regresyo düzlem sabtdr. ve açıklayıcı değşkeler değşm aralığı = =0 değer çeryorsa β = y olur. Dğer durumda β 0 ı hçbr fzksel açıklaması yoktur. β, 0 6

32 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ sabt tutulduğuda dek br brmlk değşm edeyle yaıt değşkede olablecek ya da beklee değşm mktarıı belrtr. Bezer bçmde, β, sabt tutulduğuda dek br brmlk değşm edeyle yaıt değşkede olablecek ya da beklee değşm mktarıı belrtr. Şekl 3.. İk boyutlu uzayda çoklu leer regresyo model br regresyo düzlem belrtr (Motgomery ve ark., 00). Geel olarak, yaıt değşke y, k tae açıklayıcı değşke lşkl olablr. Bu edele,...,,, k le y = β + β + β β 0 k k + ε (3.) eştlğ k tae açıklayıcı değşkel çoklu leer regresyo model olarak adladırılır. Burada β..., 0, β, β, β k arametreler regresyo katsayılarıı ve ε hata term göstermektedr. Bu model j =,,..., k olmak üzere j açıklayıcı değşkeler k -boyutlu uzayıda br her düzlem belrtr (Motgomery ve ark., 00). β j arametres, j. açıklayıcı değşke dışıdak tüm açıklayıcı değşkeler sabt 7

33 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ tutulduğuda, j dek br brmlk değşm edeyle yaıt değşke y de olablecek ya da beklee değşm mktarıı belrtr. Bu edele, β β, β,..., 0, arametreler geelde kısm regresyo katsayıları olarak adladırılır (Draer ve Smth, 998). Çoklu leer regresyo modeller geelde regresyo roblem çözümüe yaklaşım foksyou olarak kullaılırlar. y yaıt değşke le k β k,,..., açıklayıcı değşkeler arasıdak gerçek foksyoel lşk blmez. Buula brlkte açıklayıcı değşkeler leer regresyo model, br uygu yaklaşım olarak kullaılır. Yaısal olarak (3.) de daha karmaşık modeller de, çoklu leer regresyo yötemler kullaılarak aalz edleblr. Öreğ, 3 y = β + β + β + β + ε (3.3) 0 3 kübk olom modelde = (3.3) tek eştlktek model,, = ve 3 3 = olarak alısı. Bu durumda y β + β + β + β + ε (3.4) = şeklde yazılablr. (3.4) dek eştlk üç açıklayıcı değşke çere çoklu leer regresyo modeldr. Etkleşm termler çere modeller de çoklu leer regresyo yötemler kullaılarak aalz edleblr. Öreğ etkleşm term çere model, y β + β + β + β + ε (3.5) = 0 şeklde olsu. Etkleşm term çere modelde 3 = ve β 3 = β olarak alıırsa (3.5) tek etkleşm term çere model, y β + β + β + β + ε (3.6) =

34 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ şeklde yazılablr. (3.6) dak eştlk ye üç açıklayıcı değşke çere çoklu leer regresyo modeldr. Geel olarak β arametrelerde ya da regresyo katsayılarıda leer ola herhag br regresyo model, oluşturduğu yüzey şekl e olursa olsu, br leer regresyo modeldr (Motgomery ve ark., 00). 3.. Çoklu Leer Regresyo Modeldek Parametreler Tahm Edlmes Bu kısımda çoklu leer regresyo modeldek regresyo katsayılarıı tahm etmek ç kullaıla E Küçük Kareler (EKK) ve E Çok Olablrlk (EÇO) yötemler celeecektr Regresyo Katsayılarıı E Küçük Kareler Yötemyle Tahm Edlmes E küçük kareler yötem, (3.) dek eştlktek çoklu leer regresyo model regresyo katsayılarıı tahm etmek ç kullaılır (Draer ve Smth, 998). ve k sırasıyla gözlem sayısıı ve regresyo modeldek açıklayıcı değşke sayısıı gösters. varsayalım. > k olmak üzere tae gözlem buluduğuu y, -c gözlemş yaıt değer ve j, j -c açıklayıcı değşke -c gözlemş değer ya da sevyes gösters. Verler, Tablo 3. dek gb düzeler. Tablo 3.. Çoklu leer regresyo model ç verler. Gözlem y... k y... k y... k M M M M M M y... k 9

35 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Çoklu regresyo modeldek ε hata term ç E ( ε ) = 0, ( ) hataları lşksz olduğu ya (Motgomery ve ark., 00). V ε = σ ve j ç Cov( ε, ε ) = 0 varsayımı yaılır (3.) dek eştlktek çoklu leer regresyo modele karşılık gele öreklem model açık bçmde, j y 0 + β + β + + β k k ε,,..., = β... + = (3.7) şeklde ya da kaalı bçmde, y k 0 + β j j ε,,..., j= = β + = (3.8) şeklde kaalı bçmde yazılablr. β..., 0, β, β, β k arametreler ya da regresyo katsayıları csde e küçük kareler foksyou ( β β,..., ) 0,, S β k S k β, ε = 0 β j = = j= ( 0 β,..., β k ) = y β j (3.9) olarak taımlaır. E küçük kareler yötemde: S foksyouu, β β,..., β 0, k arametrelere göre mmum yaa β β ˆ 0, ˆ,..., βk ˆ arametre tahmler hesalaır. edcler, β 0, β,..., β k arametreler sırasıyla ˆ β β ˆ ˆ,..., βk e küçük kareler tahm 0, 0

36 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ ve S β 0 S β j k ˆ ˆ ˆ = y ˆ β ˆ 0 β j j = 0 β 0, β,..., βk = j= (3.0) k ˆ ˆ ˆ = y ˆ β ˆ 0 β j j j = 0 β 0, β,..., β, k = j= (3.) eştlkler sağlarlar. (3.0) ve (3.) dek eştlkler sadeleştrlerek, ˆ β + ˆ 0 β + ˆ = ˆβ + 0 = = = β ˆ β = k k = y = ˆβ + ˆ β ˆ k = β k = = = y (3.) M M ˆ β 0 k + = ˆβ k + ˆ β k ˆ = = k k = β = = k y bçmde e küçük kareler ormal deklemler elde edlr. Blmeye regresyo katsayılarıı her br ç brer tae olmak üzere tolam = k + tae ormal deklem vardır. (3.) dek eştlktek ormal deklemler çözümü, ˆ β ˆ β,..., ˆ 0, β k e küçük kareler tahmler verr Çoklu Leer Regresyo Modelde Matrs Gösterm Kullaılması ve Regresyo Katsayılarıı E Küçük Kareler Yötemyle Tahm Edlmes Çoklu leer regresyo model matrs göstermyle, y = Xβ + ε (3.3)

37 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ y şeklde yazılablr (Hockg 976, 983; Mller 990). Burada y = y M y, tde olmak üzere gözlemler vektörüü; X = M M M L M L L k k k, β 0 tde olmak üzere açıklayıcı değşkeler düzeyler matrs; β = β M β k ε tde olmak üzere regresyo katsayılarıı vektörüü ve ε = ε M ε,, tde olmak üzere rastgele hataları vektörüü göstermektedr. (3.3) tek matrs formudak çoklu leer regresyo modeldek β arametre vektörüü βˆ e küçük kareler tahm edcs, ( ) β S = ε = = = ε ε = ( y Xβ ) ( y Xβ ) (3.4) foksyouu mmum yaılmasıyla elde edlr. S ( β ), ( ) β S = y y β X y y Xβ + β X Xβ = y y β X y + β X Xβ (3.5)

38 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ şeklde yazılablr. Burada β X y, tde matrstr veya skalerdr. Buu trasozu ola ( β X y) = y Xβ de bezer bçmde tde matrstr veya skalerdr. β arametre vektörüü βˆ e küçük kareler tahm edcs, S β β ˆ = X y + X X ˆ β = 0 (3.6) eştlğ sağlar. (3.6) dak eştlk yede düzeledğde, X Xβˆ = X y (3.7) eştlğ elde edlr. (3.7) dek eştlk, e küçük kareler ormal deklemlerdr. Normal deklemler çözmek ç, (3.7) dek eştlğ her k tarafı X X matrs ters le çarılır. Böylece, β arametre vektörüü βˆ e küçük kareler tahm edcs, ( X X ) X y ˆ β = (3.8) olarak buluur. Burada X açıklayıcı değşkeler matrsdek sütular leer olarak bağımsız seler, ya X matrs hçbr sütuu dğer sütuları leer br kombasyou değlse, ( X ) X matrs her zama hesalaablr (Motgomery ve ark., 00). (3.) dek eştlktek ormal deklemler, (3.7) dek ormal deklemlere bezerdr. Bu (3.7) dek eştlk ayrıtılı olarak yazıldığıda görüleblr. (3.7) dek eştlktek X X, tde smetrk br matrstr. X X matrs özel br yaıya sahtr. X X matrs aa köşegedek elemalar, X matrs sütularıdak elemaları kareler tolamıdır. X X matrs aa köşege dışıdak elemalar, X matrs sütularıdak elemaları çaraz çarımlarıı 3

39 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ 4 tolamıdır. y X matrs elemaları, X matrs sütularıdak elemalarla y gözlemler çaraz çarımlarıı tolamıdır. = = = = = = = = = = = k k k k k k L M M M M L L β k β β ˆ ˆ ˆ 0 M = = = = k y y y M (3.9) Açıklayıcı değşkeler [ ] k,...,,, = düzeyde oluştura regresyo model değer, βˆ ˆ y = = + = k j j j 0 ˆ ˆ β β (3.0) olarak elde edlr. Gözlee y değerleryle oluşturula ŷ değerler arasıdak bağıtı se, ˆ Xβˆ y = ( ) y X X X X = Hy = (3.) şekldedr. Burada ( ) X X X X H = matrs şaka matrs olarak adladırılır. H şaka matrs, gözlee y değerler vektörüü oluşturula ŷ değerler br vektörü olarak düzeler. H şaka matrs regresyo aalzde öeml rol oyar (Motgomery ve ark., 00). Gözlee y değerleryle oluşturula ŷ değerler arasıdak fark y y e ˆ = (3.)

40 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ dr. Bua rezdü ya da artık veya kala der. tae rezdü matrs göstermyle, e = y yˆ (3.3) şeklde yazılablr. e rezdü vektörü, e = y Xβˆ = y Hy (3.4) şeklde ya da e = ( I H )y (3.5) bçmde fade edleblr. Br yaıt ve k açıklayıcı değşke çere çoklu leer regresyo model oluşturma öreğ, Örek 3. de verlmştr. Örek 3.. Alkolsüz çecek frmasıda çalışa br edüstr müheds, çecek dağıtım sstemde arayla çalışa makeler servs erformasıı aalz etmek stemektedr. Bu amaçla teslm süresyle lglemektedr. Teslm süres etkleye k öeml değşke (faktör) olduğuu düşümektedr. Bular ürü mktarı ve uzaklık olarak düşüülmektedr. Edüstr müheds bu amaçla 5 gözlem tolamıştır (Motgomery ve ark., 00). Verler Tablo 3. de verlmştr. Bu örekte yaıt değşke y (teslm süres) dek tolam değşm açıklamak ç (ürü mktarı) ve (uzaklık) açıklayıcı değşkeler kullaılacaktır. Bu amaçla verye y β + β + β + ε şeklde çoklu leer regresyo model = 0 oluşturulacaktır. Öcelkle yaıt değşke y (teslm süres) le açıklayıcı değşkeler (ürü mktarı) ve (uzaklık) arasıdak lşky görsel ya da grafksel olarak kotrol etmek ç matrs grafğ oluşturulur. 5

41 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Tablo 3.. İçecek teslm/dağıtım vers (Motgomery ve ark., 00). Gözlem No Teslm süres (Dakka) y Ürü mktarı (Kutu sayısı) Uzaklık (Feet) Gözlem No Teslm süres (Dakka) Ürü mktarı (Kutu sayısı) Uzaklık (Feet) y Yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşky grafksel olarak kotrol etmek ç oluşturula matrs grafğ Şekl 3. de verlmştr. Y X X Şekl 3.. İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç oluşturula matrs grafğ. 6

42 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç aalz souçlarıı blgsayar çıktısı Tablo 3.3 te verlmştr. Tablo 3.3. İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç aalz souçlarıı blgsayar çıktısı. Correlatos Pearso Correlato Sg. (-taled) N Y X X Y X X Y X X Y X X,000,965,89,965,000,84,89,84,000,,000,000,000,,000,000,000, Şekl 3. dek matrs grafğe ve Tablo 3.3 tek aalz souçlarıı blgsayar çıktısıa göre y le, y le ve le arasıdak lşk oztf yöde leerdr. İçecek teslm/dağıtım versdek y, ve ç taımlayıcı statstkler aalz souçlarıı blgsayar çıktısı Tablo 3.4 te verlmştr. Tablo 3.4. İçecek teslm/dağıtım versdek y, ve ç taımlayıcı statstkler aalz souçlarıı blgsayar çıktısı. Descrtve Statstcs Y X X Mea Std. Devato N,3840 5, ,76 6, ,8 35,9 5 İçecek teslm/dağıtım versdek ve açıklayıcı değşkeler y yaıt değşkedek tolam değşm açıklama oraı ç aalz souçlarıı blgsayar çıktısı Tablo 3.5 te verlmştr. 7

43 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Tablo 3.5. İçecek teslm/dağıtım versdek ve açıklayıcı değşkeler y yaıt değşkedek tolam değşm açıklama oraı ç aalz souçlarıı blgsayar çıktısı. Model Model Summary Adjusted Std. Error of R R Square R Square the Estmate,980 a,960,956 3,595 a. Predctors: (Costat), X, X Tablo 3.5 tek souçlara göre çecek teslm/dağıtım versdek ve açıklayıcı değşkeler y yaıt değşkedek tolam değşm açıklama oraı %96 dır. İçecek teslm/dağıtım vers ç regresyou öemllğ test varyas aalz tablosu Tablo 3.6 da verlmştr. Tablo 3.6. İçecek teslm/dağıtım vers ç regresyou öemllğ test varyas aalz tablosu. Model Regresso Resdual Total a. Predctors: (Costat), X, X b. Deedet Varable: Y ANOVA b Sum of Squares df Mea Square F Sg. 5550,8 775,405 6,35,000 a 33,73 0, ,543 4 İçecek teslm/dağıtım vers ç regresyou öemllğ test varyas aalz tablosudak souca göre y yaıt değşkedek tolam değşm açıklamada ve açıklayıcı değşkelere gereksm vardır. İçecek teslm/dağıtım vers ç oluşturula regresyou modelde β arametre vektörüü (3.8) dek βˆ e küçük kareler tahm edcs kullaılarak elde edle arametre tahm değerler Tablo 3.7 de verlmştr. 8

44 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Tablo 3.7. İçecek teslm/dağıtım vers ç oluşturula regresyou modeldek arametre tahm değerler. Model (Costat) X X a. Deedet Varable: Y Ustadardzed Coeffcets Coeffcets a Stadard zed Coeffce ts 95% Cofdece Iterval for B t Sg. Lower Boud Uer Boud B Std. Error Beta,34,097,35,044,067 4,66,66,7,76 9,464,000,6,970,438E-0,004,30 3,98,00,007,0 Tablo 3.7 dek souçlara göre çecek teslm/dağıtım vers ç oluşturula regresyou model, y ˆ = (3.6) dr E Küçük Kareler Yötem Geometrk Yorumu Şekl 3.3. E küçük kareler yötem br geometrk yorumu (Motgomery ve ark., 00). Gözlemler vektörü y =[ y y,..., ] oktasıa kadar taımlası., y, Şekl 3.3 tek gb orjde A y, y,..., y ler boyutlu öreklem uzayıı 9

45 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ koordatlarıı oluşturmaktadır. Şekl 3.3 tek öreklem uzayı üç-boyutludur. X matrs, = k + tae ( ) tde sütu vektörüde oluşur. Ya X matrs ( ) tdedr., lerde oluşa sütu vektörü olsu. Ya =[,,..., ] olsu. Bu durumda X matrs sütuları,,,,..., k vektörlerde oluşmaktadır. Öreklem uzayda bütü bu sütular orjde br vektör taımlar. Bu tae vektör tahm uzayı da dele - boyutlu br alt uzay oluşturur. = ç tahm uzayı Şekl de gösterlmştr. Bu alt uzaydak herhag br okta,,,,..., k vektörler br leer kombasyou olarak belrtleblr. Böylece alt uzaydak herhag br okta X β formudadır. X β vektörü, Şekl 3.3 tek B oktasıı belrts. B oktasıda A oktasıa ola kares alımış uzaklık, (3.7) S ( β ) = ( y Xβ ) ( y Xβ ) dr. Bu edele y vektörü tarafıda taımlaa A oktasıı tahm uzayıa ola kares alımış uzaklığıı azaltmak, tahm uzayıdak A oktasıa e yakı oktayı bulmayı gerektrr. Kares alımış uzaklığı mmum olması ç tahm uzayıda buluacak okta, A oktasıda tahm uzayıa dk ola çzg ayağı olmalıdır. Bu da Şekl 3.3 tek C oktasıdır. Bu okta y ˆ = Xβˆ vektörü tarafıda taımlaır. y yˆ = y Xβˆ tahm uzayıa dk olduğuda X ( y X ˆ) β = 0 veya X Xβˆ = X y yazılablr. Bu se e küçük kareler ormal deklem olarak ble deklemdr E Küçük Kareler Tahm Edcler Özellkler β arametre vektörüü βˆ e küçük kareler tahm edcs statstksel özellklerde brc olarak yalılığıı celeyelm. I, brm matrs gösters. E(ε )=0 ve ( X X ) X X = I olduğuda, 30