ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ

Transkript

1 ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ YÜKSEK LİSANS TEZİ Pel İYİ GENETİK ALGORİTMA UYGULANARAK VE BİLGİ KRİTERLERİ KULLANILARAK ÇOKLU REGRESYONDA MODEL SEÇİMİ İSTATİSTİK ANABİLİM DALI ADANA, 006

2 ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ GENETİK ALGORİTMA UYGULANARAK VE BİLGİ KRİTERLERİ KULLANILARAK ÇOKLU REGRESYONDA MODEL SEÇİMİ Pel İYİ YÜKSEK LİSANS TEZİ İSTATİSTİK ANABİLİM DALI Bu tez / 09 / 006 tarhde aşağıdak jür üyeler tarafıda oybrlğ / oyçokluğu le kabul edlmştr. İmza: İmza: İmza: Prof.Dr. Hamza EROL Doç.Dr. Selahatt KAÇIRANLAR Yard.Doç.Dr. Ahmet TEMİZYÜREK DANIŞMAN ÜYE ÜYE Bu tez Esttümüz İstatstk Aablm Dalıda hazırlamıştır. Kod No: Prof.Dr. Azz ERTUNÇ Esttü Müdürü İmza ve Mühür Bu çalışma Ç.Ü. Blmsel Araştırma Projeler Brm tarafıda desteklemştr. Proje No:FEF004YL59 Not: Bu tezde kullaıla özgü ve başka kayakta yaıla bldrşler, çzelge, şekl ve fotoğrafları kayak gösterlmede kullaımı, 5846 sayılı fkr ve Saat Eserler Kauudak hükümlere tabdr.

3 ÖZ YÜKSEK LİSANS TEZİ GENETİK ALGORİTMA UYGULANARAK VE BİLGİ KRİTERLERİ KULLANILARAK ÇOKLU REGRESYONDA MODEL SEÇİMİ Pel İYİ ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ İSTATİSTİK ANABİLİM DALI Daışma: Prof.Dr. Hamza EROL Yıl: 006, Sayfa: 5 Jür: Prof.Dr. Hamza EROL Doç.Dr. Selahatt KAÇIRANLAR Yard.Doç.Dr. Ahmet TEMİZYÜREK Çoklu leer regresyo modelde açıklayıcı değşke sayısı fazla olduğuda aday model sayısı da üstel olarak artmaktadır. Bu durumda geleeksel yötemlerle, adımsal yötemlerle ve statstk aket rogramları kullaılarak model seçm mümkü değldr. Bu çalışmada açıklayıcı değşke sayısıı fazla olması durumuda ortaya çıka model seçm roblem, geetk algortma uygulaarak ve blg krterler kullaılarak celemştr. Bu amaçla çalışmada öce, çoklu leer regresyo model hakkıda geel blgler verlmş ve çoklu leer regresyo modeller oluşturulması açıklamıştır. Sora, açıklayıcı değşke sayısıı fazla olması durumuda çoklu regresyoda ortaya çıka e y model seçm roblem adımsal yötemlerle celemştr. Daha sora da, çoklu leer regresyo model ç geetk algortma ve blg krterler açıklamıştır. Çoklu leer regresyoda geetk algortma uygulaarak ve blg krterler kullaılarak model seçm celemştr. Geetk algortma ç kod oluşturulması ele alımıştır. So olarak, souç ve öerler tartışılmıştır. Aahtar kelmeler: Blg krter, Çoklu leer regresyo, Geetk algortma, Model seçm. I

4 ABSTRACT MSc THESIS MODEL SELECTION IN MULTIPLE REGRESSION BY APPLYING GENETIC ALGORİTHM AND BY USING INFORMATION CRITERIA Pel İYİ DEPARTMENT OF STATISTICS INSTITUTE OF NATURAL AND APPLIED SCIENCES UNIVERSITY OF ÇUKUROVA Suervsor: Prof.Dr. Hamza EROL Year: 006, Pages: 5 Jury: Prof.Dr. Hamza EROL Assoc.Prof.Dr. Selahatt KAÇIRANLAR Asst.Prof.Dr. Ahmet TEMİZYÜREK The umber of models creases eoetally whe the elaatory varables creases a multle lear regresso model. I ths case, model selecto s mossble by usg tradtoal rocedures, stewse methods ad eve estg statstcal softwares. I ths study, the model selecto roblem a multle lear regresso model whe there are more elaatory varables or regressors s cosdered by alyg geetc algorthm ad by usg formato crteras. For ths urose frst, geeral formato about multle lear regresso model are gve ad buldg multle lear regresso model s elaed. The, the best model selecto roblem a multle lear regresso model whe there are more elaatory varables s eamed by stewse methods. After tha, geetc algorthm ad formato crteras for multle lear regresso model are emhaszed, followg model selecto multle regresso by alyg geetc algorthm ad by usg formato crteras s elaed. Fally, results ad dscussos are gve. Key words: Iformato crtero, Multle lear regresso, Geetc algorthm, Model selecto. II

5 TEŞEKKÜR Bu tez hazırlamasıda, blg ve brkmlerde dama faydaladığım ve yardımlarıı hçbr zama esrgemeye daışmaım, Prof.Dr. Hamza EROL a; İstatstk bölümü öğretm elemalarıa ve madd ve maev destekler hçbr zama esrgemeyerek her zama yaımda ola aleme teşekkür ederm. III

6 İÇİNDEKİLER SAYFA NO ÖZ...I ABSTRACT...II TEŞEKKÜR...III İÇİNDEKİLER...IV TABLOLAR DİZİNİ.VI ŞEKİLLER DİZİNİ. VIII. GİRİŞ..... Çoklu Leer Regresyo Model..... E İy Çoklu Leer Regresyo Model Seçlmes E İy Çoklu Leer Regresyo Model Seçmde Uygulaacak Krterler Klask Yötem...4. E İy Çoklu Leer Regresyo Model Seçmde Uygulaacak Krterler Adımsal Yötemler...5. Çoklu Leer Regresyo Modellerde Geetk Algortmaı Uygulaması..6. Çoklu Leer Regresyo Modellerde Geetk Algortma Uygulaırke Blg Krterler Kullaılması..3. ÖNCEKİ ÇALIŞMALAR Çoklu Leer Regresyo Model İle İlgl Çalışmalar..4.. E İy Çoklu Leer Regresyo Model Seçlmes İle İlgl Çalışmalar Klask Yötem ve Adımsal Yötemler E İy Çoklu Leer Regresyo Model Seçlmes İle İlgl Çalışmalar Geetk Algortma ÇOKLU LİNEER REGRESYON MODELİ Çoklu Leer Regresyo Model Hakkıda Geel Blgler Çoklu Leer Regresyo Modeldek Parametreler Tahm Edlmes Regresyo Katsayılarıı E Küçük Kareler Yötemyle Tahm Edlmes..9 IV

7 İÇİNDEKİLER SAYFA NO 3... Çoklu Leer Regresyo Modelde Matrs Gösterm Kullaılması ve Regresyo Katsayılarıı E Küçük Kareler Yötemyle Tahm Edlmes E Küçük Kareler Yötem Geometrk Yorumu E Küçük Kareler Tahm Edcler Özellkler σ Tahm Regresyo Katsayılarıı E Çok Olablrlk Yötemyle Tahm Edlmes Çoklu Leer Regresyo Modelde Hotez Test Regresyou Öemllğ Test Edlmes Her br Regresyo Katsayısı ç Hotez Test Edlmes Regresyo Katsayılarıı Br alt Kümes İç Hotez Test Edlmes X Matrsde Sütuları Ortogoal Olması Özel Durumu T β = 0 Geel Leer Hotezler Test Edlmes Çoklu Regresyoda Güve Aralıkları Regresyo Katsayıları İç Güve Aralıkları Ortalama Yaıt İç Güve Aralığı ÇOKLU LİNEER REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Çoklu Leer Regresyoda E İy Model Seçlmes Yalış Model Belrlemes Souçları Regresörler Br Alt Kümes Seçmek İç Krterler Çoklu Belrleyclk Katsayısı Düzeltlmş Çoklu Belrleyclk Katsayısı Hata Kareler Ortalaması Mallows u C İstatstğ 65 V

8 İÇİNDEKİLER SAYFA NO 4.4. Regresyo ve Model Değerledrme Ölçütler Kullaımı Değşke Seçm İç Hesalama Tekkler Olası Bütü Regresyolar Adımsal Regresyo Yötemler İlerye Doğru Seçm Yötem Gerye Doğru Ayıklama Yötem Adımsal Regresyo Yötem ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Geetk Algortmalar Hakkıda Geel Blgler Çoklu Leer Regresyo Modelde E İy Model Oluşturulmasıda Geetk Algortmaı Kullaılması ve Blg Karmaşıklık Krter ICOMP Blg Karmaşıklık Krter Kullaılarak Geetk Algortmaı Uygulaması Karmaşıklık Krter ve Br Sstem Karmaşıklığı Çoklu Leer Regresyo Model İç Blg Krter Karmaşıklık Ölçülere Dayalı ICOMP Değer Çoklu Leer Regresyo Model İç Br Geetk Algortma Çoklu Leer Regresyo Modeller İç Br Geetk Kodlama Şeması Çoklu Leer Regresyo Model İç Geetk Algortmada Kullaılacak Başlagıç Poülasyouu Oluşturulması Herhag Br Çoklu Leer Regresyo Model Performasıı Değerledrlmes ç Br Uyum Foksyou Oluşturula Çoklu Leer Regresyo Modeller Seçmek ç Br Mekazma...04 VI

9 İÇİNDEKİLER SAYFA NO Ye Nesl Çoklu Leer Regresyo Modeller Üretmek İç Erşk Modeller Eşleştrlmes Yamak Amacıyla Br Yede Üretm İşlem Tek Nokta Çarazlama İk Nokta Çarazlama Düzgü Çarazlama Ye Nesl Modeller Brleşm Değştrmek İç Değşme Etks SONUÇ VE ÖNERİLER 8 KAYNAKLAR 9 ÖZGEÇMİŞ.5 VII

10 ÇİZELGE DİZİNİ SAYFA NO Tablo 3.. Çoklu leer regresyo model ç verler. 9 Tablo 3.. İçecek teslm/dağıtım vers (Motgomery ve ark., 00). 5 Tablo 3.3. İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç oluşturula matrs grafğ. 6 Tablo 3.4. İçecek teslm/dağıtım versdek y, ve ç taımlayıcı statstkler aalz souçlarıı blgsayar çıktısı. 7 Tablo 3.5. İçecek teslm/dağıtım versdek ve açıklayıcı değşkeler y yaıt değşkedek tolam değşm açıklama oraı ç aalz souçlarıı blgsayar çıktısı. 7 Tablo 3.6. İçecek teslm/dağıtım vers ç regresyou öemllğ test varyas aalz tablosu. 8 Tablo 3.7. İçecek teslm/dağıtım vers ç oluşturula regresyou modeldek arametre tahm değerler. 8 Tablo 3.8. Çoklu leer regresyo modelde regresyou öemllğ test etmek ç kullaıla varyas aalz tablosu. 36 Tablo 3.9. İçecek teslm/dağıtım vers ç oluşturula çoklu leer regresyo modelde regresyou öemllğ test etmek ç kullaıla varyas aalz tablosu. 37 Tablo 4.. Örek.. ç Hald Çmeto vers (Motgomery ve ark., 00). 69 Tablo 4.. Örek. ç bütü aday regresyo modeller özet (Motgomery ve ark., 00). 70 VIII

11 ÇİZELGE DİZİNİ SAYFA NO Tablo 4.3. Örek. ç bütü aday regresyo modellerdek arametreler e küçük kareler yötemyle elde edle tahmler (Motgomery ve ark., 00). 7 Tablo 4.4. Örek. dek Hald çmeto vers ç bast korelesyo matrs (Motgomery ve ark., 00). 73 Tablo 4.5. Hald çmeto vers ç k model karşılaştırılması (Motgomery ve ark., 00). 76 Tablo 5.. Beş açıklayıcı değşke bulua ve sabt term çere çoklu leer regresyo model ç kl strg gösterm. 0 Tablo 5.. Vücut yağı verler ç bütü olası modeller arasıda e küçük ICOMP ( IFIM ) değerlere göre seçlmş o beş e y model (Bozdoga, 004). Tablo 5.3. Vücut yağı verler ç Matlab rogramıda hazırlaa GA rogramıı çalıştırılmasıda kullaıla arametreler (Bozdoga, 004). Tablo 5.4. Geetk Algortmaı 00 kez çalıştırılmasıda sora vücut yağı ver kümes ç lk 0 sıradak e y açıklayıcı değşkeler alt kümes (Bozdoga, 004). Tablo 5.5. E y alt küme model uyumuu özet (Bozdoga, 004). 3 Tablo 5.6. E y alt küme Geetk Algortma model arametre tahmler (Bozdoga, 004). 3 IX

12 TABLO DİZİNİ SAYFA NO Tablo 3.. Çoklu leer regresyo model ç verler. 9 Tablo 3.. İçecek teslm/dağıtım vers (Motgomery ve ark., 00). 6 Tablo 3.3. İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç aalz souçlarıı blgsayar çıktısı. 7 Tablo 3.4. İçecek teslm/dağıtım versdek y, ve ç taımlayıcı statstkler aalz souçlarıı blgsayar çıktısı. 7 Tablo 3.5. İçecek teslm/dağıtım versdek ve açıklayıcı değşkeler y yaıt değşkedek tolam değşm açıklama oraı ç aalz souçlarıı blgsayar çıktısı. 8 Tablo 3.6. İçecek teslm/dağıtım vers ç regresyou öemllğ test varyas aalz tablosu. 8 Tablo 3.7. İçecek teslm/dağıtım vers ç oluşturula regresyou modeldek arametre tahm değerler. 9 Tablo 3.8. Çoklu leer regresyo modelde regresyou öemllğ test etmek ç kullaıla varyas aalz tablosu. 36 Tablo 3.9. İçecek teslm/dağıtım vers ç oluşturula çoklu leer regresyo modelde regresyou öemllğ test etmek ç kullaıla varyas aalz tablosu. 38 Tablo 4.. Örek.. ç Hald Çmeto vers (Motgomery ve ark., 00). 70 Tablo 4.. Örek. ç bütü aday regresyo modeller özet (Motgomery ve ark., 00). 7 VIII

13 TABLO DİZİNİ SAYFA NO Tablo 4.3. Örek. ç bütü aday regresyo modellerdek arametreler e küçük kareler yötemyle elde edle tahmler (Motgomery ve ark., 00). 7 Tablo 4.4. Örek. dek Hald çmeto vers ç bast korelesyo matrs (Motgomery ve ark., 00). 74 Tablo 4.5. Hald çmeto vers ç k model karşılaştırılması (Motgomery ve ark., 00). 77 Tablo 5.. Beş açıklayıcı değşke bulua ve sabt term çere çoklu leer regresyo model ç kl strg gösterm. 03 Tablo 5.. Vücut yağı verler ç bütü olası modeller arasıda e küçük ICOMP ( IFIM ) değerlere göre seçlmş o beş e y model (Bozdoga, 003). Tablo 5.3. Vücut yağı verler ç Matlab rogramıda hazırlaa GA rogramıı çalıştırılmasıda kullaıla arametreler (Bozdoga, 003). 3 Tablo 5.4. Geetk Algortmaı 00 kez çalıştırılmasıda sora vücut yağı ver kümes ç lk 0 sıradak e y açıklayıcı değşkeler alt kümes (Bozdoga, 003). 3 Tablo 5.5. E y alt küme model uyumuu özet (Bozdoga, 003). 4 Tablo 5.6. E y alt küme Geetk Algortma model arametre tahmler (Bozdoga, 003). 4 IX

14 ŞEKİLLER DİZİNİ SAYFA NO Şekl 3.. Şekl 3.. Şekl 3.3. Şekl 4.. İk boyutlu uzayda çoklu leer regresyo model br regresyo düzlem belrtr (Motgomery ve ark., 00). 7 İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç oluşturula matrs grafğ. E küçük kareler yötem br geometrk yorumu (Motgomery ve ark., 00). 9 Modeldek term sayısı değerlere karşı çoklu 6 belrleyclk katsayısı R grafğ (Motgomery ve 6 ark., 00). Şekl 4.. değerlere karşı MS E ( ) değerler grafğ (Motgomery ve ark., 00). 64 Şekl 4.3. değerlere karşılık C değerler grafğ (Motgomery ve ark., 00). 67 Şekl 4.4. değerlere karşı R değerler grafğ (Motgomery ve ark., 00). 73 Şekl 4.5. değerlere karşı MS E ( ) değerler grafğ (Motgomery ve ark., 00). 75 Şekl 4.6. değerlere karşı C grafğ (Motgomery ve ark., Şekl 4.7. Şekl ). Hald çmeto vers SAS blgsayar rogramıyla yaıla aalz soucu (İlerye Doğru Seçm Yötem) (Motgomery ve ark., 00). 80 Hald çmeto vers SAS blgsayar rogramıyla yaıla aalz soucu (Gerye Doğru Ayıklama Yötem) (Motgomery ve ark., 00) X

15 ŞEKİLLER DİZİNİ SAYFA NO Şekl 4.9. Şekl 5.. Şekl 5.. Şekl 5.3. Şekl 5.4. Şekl 5.5. Şekl 5.6. Şekl 5.7. Hald çmeto vers SAS blgsayar rogramıyla yaıla aalz soucu (Adımsal Regresyo Yötem) (Motgomery ve ark., 00). 84 Verle erşk k model kl strg çft ç çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003). 06 Verle erşk k model kl strg çft ç tek okta çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003). 07 Verle erşk k model kl strg çft ç k okta çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003). 08 Verle erşk k model kl strg çft ç düzgü çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003). 08 ICOMP le hesalaa tüm modeller oluşturduğu yaıı üç boyutlu grafğ (Bozdoga, 003). 5 Vücut yağ verrs ç Geetk Algortmaı 00 kez çalışmasıı br özet (Bozdoga, 003). 6 Vücut yağ vers ç Geetk Algortmaı 00 kez çalıştırılması soucuda ICOMP(IFIM) le hesalaa tüm modeller oluşturduğu yaıı üç boyutlu grafğ (Bozdoga, 003). 6 XI

16 . GİRİŞ Pel İYİ. GİRİŞ.. Çoklu Leer Regresyo Model Br yaıt (bağımlı) değşkedek tolam değşm açıklamak amacıyla brde fazla regresör (açıklayıcı) değşke kullaılarak oluşturula regresyo modele çoklu regresyo model der. Çoklu leer regresyo modeller geelde regresyo roblem çözümüe yaklaşım foksyou olarak kullaılırlar (Motgomery ve ark., 00)... E İy Çoklu Leer Regresyo Model Seçlmes Çoklu leer regresyo modelde, y yaıt değşkedek tolam değşm açıklaya e y regresyo model seçlmes değşke seçm ya da e y alt küme model seçm olarak adladırılır (Draer ve Smth, 998). k tae açıklayıcı değşke ya da regresör çere çoklu leer regresyo model ç k tae aday model (alt küme model) vardır (Gust ve Maso, 980). E y regresyo model belrlemes k amacı vardır: Brcs, modele katkısı statstksel olarak alamsız değşkeler çıkararak, oluşturula model değşke sayısıı azaltılması ster. Böylece şlemler ç gereke süre ve malyet azalır. İkcs se model olası brçok regresör çermes ster. Çükü değşkelerdek blg çerğ, tahm edle yaıt değerler etkler (Motgomery ve ark., 00)..3. E İy Çoklu Leer Regresyo Model Seçmde Uygulaacak Krterler Klask Yötem E y regresyo model belrlemesde klask yötem uyguladığıda çoklu belrleyclk katsayısı R veya düzeltlmş çoklu belrleyclk katsayısı R Düzeltlmş ve hata kareler ortalamaları (HKO) kullaılablr (Draer ve Smth, 998). Eşt sayıda açıklayıcı değşke çere modeller karşılaştırılmasıda çoklu

17 . GİRİŞ Pel İYİ belrleyclk katsayısı R ve farklı sayıda açıklayıcı değşke çere modeller karşılaştırılmasıda düzeltlmş çoklu belrleyclk katsayısı R Düzeltlmş değerler kullaılır. E y regresyo model belrlemesde R s veya R Düzeltlmş s yüksek, HKO sı düşük ola ve az sayıda açıklayıcı değşke çere model terch edlr (Motgomery ve ark., 00)..4. E İy Çoklu Leer Regresyo Model Seçmde Uygulaacak Krterler Adımsal Yötemler Bazı durumlarda mevcut açıklayıcı değşkeler, yaıt değşkedek tolam değşm açıklamada yetersz kalablr. Böyle durumlarda regresyo modele ye açıklayıcı değşke ya da değşkeler ekleeblr. Bazı durumlarda se mevcut açıklayıcı değşkelerde bazıları yaıt değşkedek tolam değşm açıklamada statstksel olarak etkler ya da katkıları bulumadığıda çoklu leer regresyo modelde sleblr ya da çıkarılablr (Chatterjee ve ark., 000). Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı artması durumuda lerye doğru seçm, gerye doğru ayıklama ya da adımsal regresyo gb yötemler uygulaablr (Mller, 990). E y regresyo model belrlemesde adımsal yötemler uyguladığıda klask yötemdek krterler uygulaır..5. Çoklu Leer Regresyo Modellerde Geetk Algortmaı Uygulaması Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda e geleeksel yötemler e de adımsal yötemler kullaılamamaktadır (Bozdoğa, 003). Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda çoklu leer regresyo model oluşturulmasıda Geetk Algortma kullaılablr (Wasserma ve Sudjato, 994; Wallet ve ark., 996).

18 . GİRİŞ Pel İYİ.6. Çoklu Leer Regresyo Modellerde Geetk Algortma Uygulaırke Blg Krterler Kullaılması Çoklu leer regresyo modelde model seçm ç Geetk Algortma uygulaırke Akake Blg Krter (Akake 973, 987, 994; Sclove 987; Bozdoga 000), Mallows u C statstğ (Mallows 964, 966, 973; Motgomery ve ark., 00) ya da Bozdoga ı Blg karmaşıklığı (Bozdoga 987, 990, 000, 003, 004; Bozdoga ve Ueo 000) gb br blg krter kullaılablr. 3

19 . ÖNCEKİ ÇALIŞMALAR Pel İYİ. ÖNCEKİ ÇALIŞMALAR.. Çoklu Leer Regresyo Model İle İlgl Çalışmalar Br yaıt (bağımlı) değşke ve brde fazla regresör (açıklayıcı) değşke çere regresyo modeller statstksel aalz temel koularıdadır (Motgomery ve ark., 00). Yaıt değşke y, k tae açıklayıcı değşke..., olablr. Bu edele,,, k le lşkl y = β + β + β β 0 k k + ε (.) eştlğ k tae açıklayıcı değşkel çoklu leer regresyo model olarak adladırılır (Motgomery ve ark., 00). Burada β..., katsayılarıı ve ε hata term göstermektedr. Bu modelde 0, β, β, β k arametreler regresyo j =,,..., k olmak üzere j açıklayıcı değşkeler k boyutlu uzayıda br her düzlem belrtr (Motgomery ve ark., 00). β j arametres, j. açıklayıcı değşke dışıdak tüm açıklayıcı değşkeler sabt tutulduğuda, j dek br brmlk değşm edeyle yaıt değşke y de olablecek ya da beklee değşm mktarıı belrtr. Bu edele, β 0, β, β,..., β arametreler geelde kısm regresyo katsayıları olarak k adladırıldı (Draer ve Smth, 998). E küçük kareler yötem, (.) dek eştlktek çoklu leer regresyo model regresyo katsayılarıı tahm etmek ç kullaıldı (Gust ve Maso, 980). Çoklu leer regresyo model matrs göstermyle, y = Xβ + ε (.) 4

20 . ÖNCEKİ ÇALIŞMALAR Pel İYİ y şeklde yazıldı (Hockg 976, 983; Mller 990). Burada y = y M y, tde olmak üzere gözlemler vektörüü; X = M M M L M L L k k k, tde β 0 olmak üzere açıklayıcı değşkeler düzeyler matrs; β = β M β k ε olmak üzere regresyo katsayılarıı vektörüü ve ε = ε M ε, tde, tde olmak üzere rastgele hataları vektörüü göstermektedr. (.) tek matrs formudak çoklu leer regresyo modelde hatalar, sıfır ortalamalı E(ε )=0 ve σ sabt varyaslı V(ε )= σ ormal dağılıma sahtr. Çoklu leer regresyo modelde ε ~ N(0, σ I) varsayımı yaılarak β arametre vektörüü β ~ e çok olablrlk tahm edcs elde edld (Gust ve Maso, 980). Çoklu leer regresyo modelde hataları ormal dağılıma sah olduğu varsayımı yaılarak regresyo katsayılarıyla lgl hotezler test edld (Myers 990; Motgomery ve ark., 00). Çoklu leer regresyo modelde regresyo katsayıları ve ortalama yaıt ç güve aralıkları oluşturuldu (Myers 990; Motgomery ve ark., 00). 5

21 . ÖNCEKİ ÇALIŞMALAR Pel İYİ.. E İy Çoklu Leer Regresyo Model Seçlmes İle İlgl Çalışmalar Klask Yötem ve Adımsal Yötemler Çoklu leer regresyo modelde yaıt değşkedek tolam değşm açıklamada regresörler br kümes belrlemes gerekr (Hockg 97; Hockg ve LaMotte 973; Co ve Sell 974). Regresyo model ç statstksel olarak alamlı ya da öeml regresörler uygu alt kümes belrleme şleme değşke seçm roblem adı verld (Draer ve Smth, 998). Çoklu leer regresyo model oluşturulurke geellkle regresörler doğru foksyoel bçm bldğ, verde aykırı ya da saa değerler ve etkl gözlemler bulumadığı varsayıldı. Model doğru foksyoel bçm, verdek saa ya da aykırı gözlem değerler ve verdek etk gözlem değerler belrlemes roblemler eş zamalı çözülmes gerekse ble çoğu kez ardışık yaklaşım kullaıldı. Öce değşke seçm stratejs kullaıldı. Sora souçta bulua alt küme model doğru foksyoel belrts ç saa değerler ç ve etkl gözlemler ç kotrol edld. Bu, brc adımı tekrarlaması gerektğ belrteblr. Yeterl br model oluşturmak ç br çok ardışık şlem gerekeblr (Motgomery ve ark., 00). Geleeksel yötemlerde e y regresyo model belrlemesde çoklu belrleyclk katsayısı R veya düzeltlmş çoklu belrleyclk katsayısı R Düzeltlmş ve hata kareler ortalamaları (HKO) kullaıldı (Draer ve Smth, 998). E y regresyo model belrlemesde R s veya R Düzeltlmş s yüksek, HKO sı düşük ola ve az sayıda açıklayıcı değşke çere model terch edld (Motgomery ve ark., 00). Bazı durumlarda se mevcut açıklayıcı değşkelerde bazıları yaıt değşkedek tolam değşm açıklamada etkler ya da katkıları olmadığıda çoklu leer regresyo modelde sleblr ya da çıkarılablr. Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı artması durumuda lerye doğru seçm ya da gerye doğru ayıklama gb adımsal regresyo aalz yötemler uyguladı (Chatterjee ve ark., 000). 6

22 . ÖNCEKİ ÇALIŞMALAR Pel İYİ Regresyoda değşke seçm ya da e y model oluşturulmasıyla lgl çalışmalar Hockg (97, 976), Co ve Sell (974), Myers(990), Hockg ve LaMotte (973), Thomso (978a, 978b) tarafıda yaılmıştır. Alt küme modeldek regresyo katsayılarıı ve ˆ σ tahmler özellkler, Hockg (974, 976), Narula ve Ramberg (97), Walls ve Weeks (969) tarafıda araştırılmıştır. Bazı regresyo modeller tarhsel kayıtlarda alımış rastgele verlerde oluşmaktadır (Bo ve ark., 978). Rastgele verler geelde aykırı ya da saa değerler, etk gözlemler, ver tolamadak değşmlerde oluşa tutarsızlıkları ve zamaa karşı blg-şlem sstem hatalarıı çerr. Verdek bu hatalar, değşke seçm sürecde büyük etk yaratablr ve doğru model belrleyememe robleme ede olablr. Rastgele verdek e geel roblem, kotrol edlmş regresörler bulmaktır. Kotrol edlmş regresörler daha tutarlıdır. Ayrıca etkl değşkelerdr. Regresörler, yaıtı doğru sıırlarda tutmak ç kotrol edlmeldr. Verdek bu rastgele hataları etkler e küçük kareler uyumuda öemsz görüeblr. Regresyo aalzde değşke seçm roblem k aşamalı çözümü vardır. Brc aşamada alt küme modeller üretlr. İkc aşamada se br alt küme dğerde daha y olu olmadığıa karar verlr (Berk, 978). Regresyo model uyguluğu br ölçütü, R çoklu belrleyclk katsayısıdır (Motgomery ve ark., 00). Modelde β 0 sabt term bulua terml ve regresörlü br alt küme model ç çoklu belrleyclk katsayısı R le gösterld (Motgomery ve ark., 00). Br alt küme regresyo model ç R otmum değer arama yere R memu edc ve bekletler karşılaya değer aramalıdır. Atk(974), bu robleme br çözüm olarak tam model ç R de alamlı olarak farklı olmaya ye br çoklu belrleyclk katsayısı oluşturdu. R yorumlamasıdak zorluklarda kaçımak ç, bazı araştırmacılar düzeltlmş R y ya da R kullamayı terch etmşlerdr (Hatovsk 969). R statstğ, R statstğe göre daha tutarlıdır. R, modele eklee ye regresörlerde fazla etklemez (Edwards 969; Seber 977). Modele s tae 7

23 . ÖNCEKİ ÇALIŞMALAR Pel İYİ regresör eklerse R + s değer, R değerde daha fazla olablmes ç gerek ve yeter koşul modele eklee s tae regresörü öem test etmek ç kısm F-statstğ değer aşmasıdır (Edwards 969). Souç olarak br alt küme oluşturduğu otmum model seçmek ç br krter, maksmum R ye sah model seçmektr (Motgomery ve ark., 00). Bu krtere dek ola başka br krter, alt küme regresyo model ç hata kareler ortalamasıdır, ya MSE ( ) dr (Motgomery ve ark., 00). Mallows (964, 966, 973) çalışmalarıda, oluşturula model değer hata kareler ortalamasıa dayalı br krter öermştr. Görüldüğü gb altküme regresyo modeller değerledrmek ç kullaıla br çok krter vardır. Model seçm ç kullaılacak krter keslkle model kastedle kullaımıyla lgl olmalıdır. Regresyou; () ver taımlama, () kestrm ve tahm, (3) arametre tahm ve (4) kotrol olmak üzere br çok olası kullaımı vardır. Amaç, verlmş br yötem ç y br taımlama elde etmekse veya karmaşık br sstem model elde etmekse, hata kareler tolamı küçük ola regresyo deklemler ç br araştırma gösterlmştr. k tae aday regresörler tamamıı kullaarak hata kareler tolamı SSE mmum yaıldığıda, SSE souçlarıda küçük artmalar olableceğde bazı değşkeler modelde çıkarılması, slmes ya da elemes öerlr. y dek tolam değşm açıklaırke, brkaç regresörlü sstem uygu olduğu söyler (Boyce ve ark., 974). Çoğu kez regresyo deklemler, gözlemler ö tahm veya yaıtı ortalamasıı tahm ç kullaılır. Geel olarak, kestrm hata kareler ortalamasıı mmum yaıldığı regresörler seçlr. Bu da az etkl regresörler modelde sleceğ alamıa gelr. Br alt küme üretme yötem tarafıda oluşturula aday deklemler değerledrmek ç (Chatterjee ve ark., 000; Motgomery ve ark., 00). dayalı br alt küme regresyo model seçleblr. PRESS statstğ kullaıldı PRESS küçük değere PRESS, özellkle tahm roblem ç sezgsel başvurmaya sah olduğuda, hata kareler tolamıı bast br foksyou değldr. Bu krtere dayalı değşke seçm ç br algortma 8

24 . ÖNCEKİ ÇALIŞMALAR Pel İYİ gelştrlmes kolay değldr. PRESS statstğ alteratf modeller ayırt etmede kullaışlıdır. Parametre tahmyle lglelyorsa hem değşke slme soucudak yalılıklar, hem de tahm edle katsayıları varyasları göz öüde buludurulmalıdır. Regresörler yüksek çlşkl olduğuda, regresyo katsayılarıı e küçük kareler tahmler so derece zayıf olur. Regresyo model kotrol ç kullaıldığıda, arametreler doğru tahmler çok öemldr. E so deklemde kullamak ç değşkeler alt kümes bulmada, aday regresörler çeştl kombasyolarıyla model oluşturma dkkate alımalıdır. Olası bütü regresyolar yötemde, sabt terml model (Bu model regresör çermemektedr.), br-aday regresör çere model, k-aday regresör çere model,..., k -aday regresör çere model gb bütü regresyo deklemler oluşturulması gerekr (Motgomery ve ark., 00). Oluşturula bu aday modeller değşk krterlere göre değerledrlr ve e y regresyo model seçlr. β 0 sabt term bütü deklemlere dahl edldğ varsayalım. k tae regresör ç k tae tolam aday regresyo deklem vardır. R, R, MSE ( ) ve C statstkler değerlere bakılarak e y model belrler. Tüm aday regresyo modeller hesalayı değerledrmek zor olableceğde, sadece az sayıdak alt küme regresyo modeller değerledrmek ç her seferde br tae regresör ekleyerek veya çıkararak yaıla çeştl yötemler gelştrlmştr (Mller, 990). Bu yötemler adımsal türdek yötemlere lşkdr. Bular üç aa gruta sııfladırılablr: Brcs lerye doğru seçm yötem (Motgomery ve ark., 00). İkcs gerye doğru ayıklama yötem (Motgomery ve ark., 00). Üçücüsü, -c ve -c yötem brleşm ola adımsal regresyodur (Motgomery ve ark., 00). Çoklu leer regresyo aalzde, lojstk regresyo aalzde ya da sıralı lojstk regresyo aalzde olduğu gb regresyo t modellerde model oluşturma ve açıklayıcı değşkeler uygu alt küme seçm ver madeclğde merkez ve öeml br roblemdr. Çoğu kez açıklayıcı değşkeler br alt kümes verldğde 9

25 . ÖNCEKİ ÇALIŞMALAR Pel İYİ br mktarsal, kl veya sıralı düzeyde yaıt değşke le çalışır. Böyle durumlarda açıklayıcı değşkeler hagler yaıt değşkedek tolam değşm açıklamak ve regresyo katsayılarıı yorumlamak ç kullaılacağıı belrlemek öemldr. İstatstksel aalz ç br çok statstksel aket rogram, e y alt küme model seçmek ç gerye doğru ayıklama ve lerye doğru seçm gb adımsal seçm yötemler sağlar / çerr (Wlkso, 989). Buula brlkte, regresyo aalzde gerye doğru ayıklama ve lerye doğru seçm adımsal yötemler her ks de k değşke br kümesde açıklayıcı (redctor) değşkeler e y alt kümes her zama bulmaz (Matel, 970). Gerye doğru ayıklama ve lerye doğru seçm adımsal yötemler hakkıda e öeml krtkler ya da eleştrler: Brcs, algortmada hag değşkeler modele dahl edleceğ veya modelde çıkarılacağı sıralaması ç teork düzelemeler bulumaması / olmaması (Boyce ve ark., 974; Wlkso 989). İkcs, aalzde modele dahl edlecek ve modelde çıkarılacak değşkeler ror olasılıklarıı seçmyle lgl herhag br teork düzelemeler bulumaması/ olmamasıdır. Üçücüsü, adımsal arama arasıra da olsa e y model veya özel br boyuttak e y alt kümey bulur (Matel 970; Hockg 976, 983; Moses 986). Dördücüsü, yerel araştırmaya başvurulduğuda adımsal seçm geş çözüm uzayıı küçük br alaıda oldukça sıırlı br öreklem sağlar. Adımsal seçm e ysde sadece yeterl model oluşturur (Sokal ve Rohlf, 98)..3. E İy Çoklu Leer Regresyo Model Seçlmes İle İlgl Çalışmalar Geetk Algortma Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda e geleeksel yötemler e de adımsal yötemler kullaılamamaktadır (Wasserma ve Sudjato 994; Bozdoga 003). Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda çoklu leer regresyo model oluşturulmasıda Geetk Algortma kullaılablr (Wallet ve ark., 996). Çoklu leer regresyo modeldek açıklayıcı değşke sayısı k ı fazla k olması durumuda, öreğ k = 0 olsu. Aday model sayısı = 0 = 04 0

26 . ÖNCEKİ ÇALIŞMALAR Pel İYİ olacaktır. Bu durumda e geleeksel yötemler, e de adımsal yötemler kullaılamamaktadır. Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda çoklu leer regresyo model oluşturulmasıda Geetk Algortma kullaılablr (Wasserma ve Sudjato, 994; Wallet ve ark., 996). Geetk algortmalar (GA); evrm, gelşm ya da değşm hesalamalarıı br arçasıdır. Geetk algortmalar, Darw evrm teorsde esleerek oluşturulur. Geetk algortmalar, yaay zekaı çok hızlı gelşe br alaıdır (Goldberg, 989). Geetk algortmalar, geellkle br roblem çözümüü kolaylaştırmak ç kullaılır. Br roblem çözümüde geetk algortmaları kullaılması lk defa Joh Hollad tarafıda ortaya atılmıştır. Daha sora keds, öğrecler ve meslektaşları tarafıda gelştrlmştr. Joh Hollad, bu çalışmalar soucuda 975 yılıda Doğal ve Yaay Sstemlerde Adatasyo / Uyum (Adato Natural ad Artfcal Systems) adlı ktabı yazmıştır (Bozdoga, 003). 99 yılıda Joh Koza, belrl şler yaablmek veya yere getrmek amacıyla, rogram gelştrmek ç geetk algortmayı kulladı. Bu yötem de Geetk Programlama (GP) olarak adladırdı. Geetk rogramlamada LISP (LISt Processg) rogramlama dl kullaıldı. Buu ede LISP rogramlama dl, geetk algortmalarda da kullaıla soyağacı (arse tree) yaısıı daha kolay ve etk şleyeblmesdr. Her roblem çözümüde roblem yaısıa göre br geetk algortma oluşturulablr (Mchalewcz, 99). Geetk algortma, br roblem çözümü ç br yötem değldr. Buula brlkte geetk algortma br roblem çözümüü elde etmek ç zlee yol olarak fade edleblr (Bauer, 994). Geetk algortmalar, oülasyo (erşkler ya da yetşkler br ktles) dele ve kromozomlar le gösterle çözümler br kümes le başlatılır. Br oülasyoda çözümler alıır. Bu çözümler daha sora ye br oülasyo oluşturmak ç kullaılır. Bu şlem ye oülasyou esk oülasyoda daha y olacağı varsayımıda hareketle yaılır. Ye çözümler (esller) oluşturmak ç seçle çözümler uyguluk ya da uyumluluk değerlere göre seçlr (Goldberg, 989).

27 . ÖNCEKİ ÇALIŞMALAR Pel İYİ Geetk algortmada kullaıla şlemler ye br oulasyou oluşturmak ç kullaılır. Bu şlemler tamame uyguluk foksyoua bağlı olarak gerçekleşr. Regresyo aalzde mevcut roblemler yukarıdak açıklamalarıa dayalı olarak bu çalışmaı amacı çoklu regresyo modellerde alt küme seçm ç blg tabalı model seçm krtere ve geetk algortmaya (GA) dayalı hesalama bakımıda uygulaablr akıllı ver madeclğ taıtmak ve gelştrmektr (Bearse ve Bozdoga, 00). Bu yaklaşım ayı zamada üç yölü hbrd olarak lojstk regresyo ve sıralı lojstk regresyo modellere geşletleblr. Sıralı lojstk regresyo modellerde e y açıklayıcı değşkeler alt küme seçm ç de kullaılablr (Lag ve Bozdoğa, 003). Br geetk algortma geş sayıda mümkü/olası çözümler buluduğu roblem çözümüe uygulaable ve byolojk değşm/döüşüm ve doğal seçme dayalı stokastk (rastgele) arama algortmasıdır. Geetk algortmalar mühedslk, ekoom, oyu teors (Hollad, 99), hesalama blmler (Forrest, 993), azarlama (Bauer, 994) ve byoloj (Sumda ve ark., 990) gb geş br alada kullaılablr. Geleeksel otmzasyo yaklaşımıda farklı olarak geetk algortma amaç foksyouu gradyalarıı hesalamaya gereksm duymaz ve br yerel otmuma sıırlamaz (Goldberg, 989). Br geetk algortma br kl strg haldek kodları br dzs olarak blgledrr. İkl strgler verle robleme farklı çözümler gösterr. Bu strgler br kromozom üzerdek geler tarafıda kodlaa geetk blgye aalog modellerdr. Br strg roblem çözmek ç özel yeteeğ ç uyum / uyguluk değerlere göre hesalaablr. Uyum değerler tabaıda strgler, her br çalıştırmada sora ve aalzde roblem çözümü ç kullaılır ya da atılır. Br çok çalıştırmada sora e y çözüm belrler / test edlr. Herhag br geetk algortmadak zorluk, her br çözümü hesalamak ç temel olarak uygu br uyum foksyouu seçmdr. Çoklu regresyo aalze göre uyum değer e y alt küme araştırılmasıda alt küme modeller karşılaştırılması ç br alt küme seçm krterdr. Bu blgsel model seçm krter kullaılarak kolaylıkla belrleeblr. Geel olarak statstksel modelleme ve model hesalama roblemlerde model karmaşıklığı kavramı öeml br rol oyar. Karmaşıklık bağlatı yaıları

28 . ÖNCEKİ ÇALIŞMALAR Pel İYİ olarak tasarımlar ve model bleşeler etkleşmler çerr. Geel model karmaşıklığıı br ölçümü olmaksızı model davraışıı tahm etmek ve model kaltes değerledrmek zordur. Bu detaylı statstksel aalze ve verle solu br öreklem ç yarışa modeller tümü arasıda e y model seçmek ç hesalamalara gereksm duyar. Yakı zamada Akake (973) orjal AIC ke dayalı br çok modelseçm rosedürü öerlmştr (Sclove, 987). Model seçmde AIC kullaılmasıda Akake ye (987) göre arametre tahmler doğruluğu br geel krter le ölçülür. AIC deke bezer şekldek celemelerde hareketle şlemler yaılmıştır. Buula brlkte ye rosedür, Va Emde (97) blg-tabalı kovaryas karmaşıklık deks br geelleştrlmes yoluyla br elemaı veya rasgele vektörler yaısal karmaşıklığı üzerde ICOMP a dayadırılmıştır. ICOMP u oluşturulması ve gelştrlmes orjal olarak Va Emde (97) tarafıda taımlaa kovaryas karmaşıklık deks br geelleştrmese dayalıdır. Drek olarak serbest arametreler sayısıı cezaladırma yere ICOMP model kovaryas karmaşıklığıı cezaladırır. ICOMP u e geel formu ICOMP (IFIM ) dr (Bozdoga, 003). ICOMP (IFIM ), maksmum lkelhood tahmler y-ble asmtotk otmallk özellğ açıklar ve br model verse-fsher blg matrs (IFIM ) blg tabalı karmaşıklığıı kullaır. Bu, Cramér-Rao alt sıır matrs olarak blr (Cramér 946; Rao 945, 947, 948). Karmaşıklık, statstksel modeller br geel özellğdr ve modeller olasılık taımlarıda / özellklerde, yaısıda veya özel çerğde çoğulukla bağımsızdır. Lteratürde, karmaşıklık kavramı br çok değşk çerkte kullaılmıştır. Va Emde (97) e göre tasarım alaşılması zor olduğuda geel olarak statstkte karmaşıklığı tek br taımı yoktur. Karmaşıklığı br çok yöü vardır ve Kolmogorov karmaşıklığı (Cover ve ark., 989), Shao Karmaşıklığı (Rssae 987, 989) gb br çok adlar altıda taımlaır. Blg teork kodlama teorsde Rssae (986, 987, 989), modeller sııfları tarafıda ortaya çıkarılable verler ç e kısa kod uzuluğu csde karmaşıklığı taımlaya Kolmogorov (983) deke bezer şeklde karmaşıklığı taımlamıştır ve ou Stokastk Karmaşıklık (SC) olarak adladırmıştır. Wallace ve Freeme (987), 3

29 . ÖNCEKİ ÇALIŞMALAR Pel İYİ Wallace ve Dowe (993) ve Bater (996) karmaşıklığı, Mmum Mesaj Uzuluğu (Mmum Message Legth-MML) csde taımlamıştır. Mmum mesaj uzuluğu, very kasaya br mesajı sıkıştırma yeteeğe göre modeller hesalamasıa dayalıdır. Karmaşıklığı alaşılması ve ver ışığıda belrszlğ çalışmak ç (tümevarımsal) souç çıkarmak geel model oluşturma teorsde çok gerekldr. İstatstksel modeller ve yötemler tam olarak tümdegelml değldr. Çükü salar çoğu zama belrszlk durumuda souç çıkarır. Tümevarımsal souç çıkarma, br hotezde veya model uzayıda br arametrey veya br model seçme roblemdr. Çalışıla very e y açıklar (Bater, 996). Akake (994) de celedğ gb belrszlk altıda souç çıkarma Perce (955) tarafıda çalışılmıştır. Perce buu kaçırma matığı ya da kısaca kaçırma olarak adladırdı. Kaçırma, souç çıkarmaı br yoludur, geel resler ve ye gerçekler elde etmek ç gözlee gerçekler kullaır. Hes br belrszlk dereces vardır. Kaçırma ümerk foksyoları kullaarak yer alır ve blg teork model seçm krter gb büyüklükler ölçer. Perce blmsel çalışmaı orjal bölümüü çoğuu kaçırma aşamasıyla veya uygu hotezler seçm aşamasıyla lgl olduğu kousuda ısrar etmştr. Bu edele karmaşıklığı tasarımı yardımıyla kaçırmaya dayalı souç çıkarma ç br sstematk rosedür gelştrmek öğreme ve değşm/evrmleşme şlem alamak öcelkle yaılması gereke şlemdr (Vo Neuma, 966). Bu çerçevede statstksel modelleme ve model oluşturma kaçırma blmdr. Bu edele karmaşıklığı çalışılması uygu hotezler model seçm veya ver madeclğ ş çde modeller ç oldukça öemldr. Çoklu leer regresyo aalz ç geel olarak geetk algortmada kullaıla uyum foksyou ç br model seçm krter kullaılır. Bu çalışmada karmaşık blg krter ICOMP (Iformato COMPlety) krter kullaılacaktır. Aalzcler ya da araştırmacılar gereksmlere veya öcelklere dayalı olarak herhag br uygu model seçm krter seçeblrler. Bu adım eşleştrme ya da çftleştrme havuzuda (matg ool) brleştrme ç modeller ICOMP (IFIM ) değerlere dayalı olarak modeller seçme şlemde oluşur. Burada IFIM (Iverse Fsher Iformato Matr), modeller 4

30 . ÖNCEKİ ÇALIŞMALAR Pel İYİ verse Fsher blg matrsler göstermektedr (Bozdoga, 003). Poülasyoda ya da erşkler veya yetşkler oluşturduğu N tae modelde olası altküme modellerde her br ç ICOMP (IFIM ) değerler hesalaır. 5

31 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ 3. ÇOKLU LİNEER REGRESYON MODELİ Br yaıt (bağımlı) değşkedek tolam değşm açıklamak amacıyla brde fazla regresör (açıklayıcı) değşke kullaılarak oluşturula regresyo modele çoklu regresyo model der. Bu bölümde çoklu regresyo modeller oluşturulması ve aalz celeecektr. Ayrıca çoklu regresyo model yeterlk ölçüler ele alıacaktır. 3.. Çoklu Leer Regresyo Model Hakkıda Geel Blgler Br testere etk yaşam süres; testere kesme hızıa ve kesme derlğe bağlı olsu (Motgomery ve ark., 00). Yaıt değşke y : testere etk yaşam süres; açıklayıcı değşkeler : kesme hızıı ve : kesme derlğ göstermektedr. Bu durumda yaıt değşke le açıklayıcı değşkeler arasıdak lşky açıklaya çoklu regresyo model, y β + β + β + ε (3.) = 0 şekldedr. Burada y, yaıt değşke; ve, açıklayıcı değşkeler; β 0, β ve β blmeye arametreler ya da regresyo katsayılarıı ve ε, hata term göstermektedr. Yaıt değşke le açıklayıcı değşkeler arasıdak lşky açıklaya çoklu regresyo model β 0, β ve β blmeye arametrelerde ya da regresyo katsayılarıda leer olduğuda bu modele, çoklu leer regresyo model de delr. (3.) dek eştlktek çoklu leer regresyo model k boyutlu uzayda br düzlem belrtr (Motgomery ve ark., 00). β 0 arametres, regresyo düzlem sabtdr. ve açıklayıcı değşkeler değşm aralığı = =0 değer çeryorsa β = y olur. Dğer durumda β 0 ı hçbr fzksel açıklaması yoktur. β, 0 6

32 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ sabt tutulduğuda dek br brmlk değşm edeyle yaıt değşkede olablecek ya da beklee değşm mktarıı belrtr. Bezer bçmde, β, sabt tutulduğuda dek br brmlk değşm edeyle yaıt değşkede olablecek ya da beklee değşm mktarıı belrtr. Şekl 3.. İk boyutlu uzayda çoklu leer regresyo model br regresyo düzlem belrtr (Motgomery ve ark., 00). Geel olarak, yaıt değşke y, k tae açıklayıcı değşke lşkl olablr. Bu edele,...,,, k le y = β + β + β β 0 k k + ε (3.) eştlğ k tae açıklayıcı değşkel çoklu leer regresyo model olarak adladırılır. Burada β..., 0, β, β, β k arametreler regresyo katsayılarıı ve ε hata term göstermektedr. Bu model j =,,..., k olmak üzere j açıklayıcı değşkeler k -boyutlu uzayıda br her düzlem belrtr (Motgomery ve ark., 00). β j arametres, j. açıklayıcı değşke dışıdak tüm açıklayıcı değşkeler sabt 7

33 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ tutulduğuda, j dek br brmlk değşm edeyle yaıt değşke y de olablecek ya da beklee değşm mktarıı belrtr. Bu edele, β β, β,..., 0, arametreler geelde kısm regresyo katsayıları olarak adladırılır (Draer ve Smth, 998). Çoklu leer regresyo modeller geelde regresyo roblem çözümüe yaklaşım foksyou olarak kullaılırlar. y yaıt değşke le k β k,,..., açıklayıcı değşkeler arasıdak gerçek foksyoel lşk blmez. Buula brlkte açıklayıcı değşkeler leer regresyo model, br uygu yaklaşım olarak kullaılır. Yaısal olarak (3.) de daha karmaşık modeller de, çoklu leer regresyo yötemler kullaılarak aalz edleblr. Öreğ, 3 y = β + β + β + β + ε (3.3) 0 3 kübk olom modelde = (3.3) tek eştlktek model,, = ve 3 3 = olarak alısı. Bu durumda y β + β + β + β + ε (3.4) = şeklde yazılablr. (3.4) dek eştlk üç açıklayıcı değşke çere çoklu leer regresyo modeldr. Etkleşm termler çere modeller de çoklu leer regresyo yötemler kullaılarak aalz edleblr. Öreğ etkleşm term çere model, y β + β + β + β + ε (3.5) = 0 şeklde olsu. Etkleşm term çere modelde 3 = ve β 3 = β olarak alıırsa (3.5) tek etkleşm term çere model, y β + β + β + β + ε (3.6) =

34 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ şeklde yazılablr. (3.6) dak eştlk ye üç açıklayıcı değşke çere çoklu leer regresyo modeldr. Geel olarak β arametrelerde ya da regresyo katsayılarıda leer ola herhag br regresyo model, oluşturduğu yüzey şekl e olursa olsu, br leer regresyo modeldr (Motgomery ve ark., 00). 3.. Çoklu Leer Regresyo Modeldek Parametreler Tahm Edlmes Bu kısımda çoklu leer regresyo modeldek regresyo katsayılarıı tahm etmek ç kullaıla E Küçük Kareler (EKK) ve E Çok Olablrlk (EÇO) yötemler celeecektr Regresyo Katsayılarıı E Küçük Kareler Yötemyle Tahm Edlmes E küçük kareler yötem, (3.) dek eştlktek çoklu leer regresyo model regresyo katsayılarıı tahm etmek ç kullaılır (Draer ve Smth, 998). ve k sırasıyla gözlem sayısıı ve regresyo modeldek açıklayıcı değşke sayısıı gösters. varsayalım. > k olmak üzere tae gözlem buluduğuu y, -c gözlemş yaıt değer ve j, j -c açıklayıcı değşke -c gözlemş değer ya da sevyes gösters. Verler, Tablo 3. dek gb düzeler. Tablo 3.. Çoklu leer regresyo model ç verler. Gözlem y... k y... k y... k M M M M M M y... k 9

35 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Çoklu regresyo modeldek ε hata term ç E ( ε ) = 0, ( ) hataları lşksz olduğu ya (Motgomery ve ark., 00). V ε = σ ve j ç Cov( ε, ε ) = 0 varsayımı yaılır (3.) dek eştlktek çoklu leer regresyo modele karşılık gele öreklem model açık bçmde, j y 0 + β + β + + β k k ε,,..., = β... + = (3.7) şeklde ya da kaalı bçmde, y k 0 + β j j ε,,..., j= = β + = (3.8) şeklde kaalı bçmde yazılablr. β..., 0, β, β, β k arametreler ya da regresyo katsayıları csde e küçük kareler foksyou ( β β,..., ) 0,, S β k S k β, ε = 0 β j = = j= ( 0 β,..., β k ) = y β j (3.9) olarak taımlaır. E küçük kareler yötemde: S foksyouu, β β,..., β 0, k arametrelere göre mmum yaa β β ˆ 0, ˆ,..., βk ˆ arametre tahmler hesalaır. edcler, β 0, β,..., β k arametreler sırasıyla ˆ β β ˆ ˆ,..., βk e küçük kareler tahm 0, 0

36 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ ve S β 0 S β j k ˆ ˆ ˆ = y ˆ β ˆ 0 β j j = 0 β 0, β,..., βk = j= (3.0) k ˆ ˆ ˆ = y ˆ β ˆ 0 β j j j = 0 β 0, β,..., β, k = j= (3.) eştlkler sağlarlar. (3.0) ve (3.) dek eştlkler sadeleştrlerek, ˆ β + ˆ 0 β + ˆ = ˆβ + 0 = = = β ˆ β = k k = y = ˆβ + ˆ β ˆ k = β k = = = y (3.) M M ˆ β 0 k + = ˆβ k + ˆ β k ˆ = = k k = β = = k y bçmde e küçük kareler ormal deklemler elde edlr. Blmeye regresyo katsayılarıı her br ç brer tae olmak üzere tolam = k + tae ormal deklem vardır. (3.) dek eştlktek ormal deklemler çözümü, ˆ β ˆ β,..., ˆ 0, β k e küçük kareler tahmler verr Çoklu Leer Regresyo Modelde Matrs Gösterm Kullaılması ve Regresyo Katsayılarıı E Küçük Kareler Yötemyle Tahm Edlmes Çoklu leer regresyo model matrs göstermyle, y = Xβ + ε (3.3)

37 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ y şeklde yazılablr (Hockg 976, 983; Mller 990). Burada y = y M y, tde olmak üzere gözlemler vektörüü; X = M M M L M L L k k k, β 0 tde olmak üzere açıklayıcı değşkeler düzeyler matrs; β = β M β k ε tde olmak üzere regresyo katsayılarıı vektörüü ve ε = ε M ε,, tde olmak üzere rastgele hataları vektörüü göstermektedr. (3.3) tek matrs formudak çoklu leer regresyo modeldek β arametre vektörüü βˆ e küçük kareler tahm edcs, ( ) β S = ε = = = ε ε = ( y Xβ ) ( y Xβ ) (3.4) foksyouu mmum yaılmasıyla elde edlr. S ( β ), ( ) β S = y y β X y y Xβ + β X Xβ = y y β X y + β X Xβ (3.5)

38 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ şeklde yazılablr. Burada β X y, tde matrstr veya skalerdr. Buu trasozu ola ( β X y) = y Xβ de bezer bçmde tde matrstr veya skalerdr. β arametre vektörüü βˆ e küçük kareler tahm edcs, S β β ˆ = X y + X X ˆ β = 0 (3.6) eştlğ sağlar. (3.6) dak eştlk yede düzeledğde, X Xβˆ = X y (3.7) eştlğ elde edlr. (3.7) dek eştlk, e küçük kareler ormal deklemlerdr. Normal deklemler çözmek ç, (3.7) dek eştlğ her k tarafı X X matrs ters le çarılır. Böylece, β arametre vektörüü βˆ e küçük kareler tahm edcs, ( X X ) X y ˆ β = (3.8) olarak buluur. Burada X açıklayıcı değşkeler matrsdek sütular leer olarak bağımsız seler, ya X matrs hçbr sütuu dğer sütuları leer br kombasyou değlse, ( X ) X matrs her zama hesalaablr (Motgomery ve ark., 00). (3.) dek eştlktek ormal deklemler, (3.7) dek ormal deklemlere bezerdr. Bu (3.7) dek eştlk ayrıtılı olarak yazıldığıda görüleblr. (3.7) dek eştlktek X X, tde smetrk br matrstr. X X matrs özel br yaıya sahtr. X X matrs aa köşegedek elemalar, X matrs sütularıdak elemaları kareler tolamıdır. X X matrs aa köşege dışıdak elemalar, X matrs sütularıdak elemaları çaraz çarımlarıı 3

39 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ 4 tolamıdır. y X matrs elemaları, X matrs sütularıdak elemalarla y gözlemler çaraz çarımlarıı tolamıdır. = = = = = = = = = = = k k k k k k L M M M M L L β k β β ˆ ˆ ˆ 0 M = = = = k y y y M (3.9) Açıklayıcı değşkeler [ ] k,...,,, = düzeyde oluştura regresyo model değer, βˆ ˆ y = = + = k j j j 0 ˆ ˆ β β (3.0) olarak elde edlr. Gözlee y değerleryle oluşturula ŷ değerler arasıdak bağıtı se, ˆ Xβˆ y = ( ) y X X X X = Hy = (3.) şekldedr. Burada ( ) X X X X H = matrs şaka matrs olarak adladırılır. H şaka matrs, gözlee y değerler vektörüü oluşturula ŷ değerler br vektörü olarak düzeler. H şaka matrs regresyo aalzde öeml rol oyar (Motgomery ve ark., 00). Gözlee y değerleryle oluşturula ŷ değerler arasıdak fark y y e ˆ = (3.)

40 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ dr. Bua rezdü ya da artık veya kala der. tae rezdü matrs göstermyle, e = y yˆ (3.3) şeklde yazılablr. e rezdü vektörü, e = y Xβˆ = y Hy (3.4) şeklde ya da e = ( I H )y (3.5) bçmde fade edleblr. Br yaıt ve k açıklayıcı değşke çere çoklu leer regresyo model oluşturma öreğ, Örek 3. de verlmştr. Örek 3.. Alkolsüz çecek frmasıda çalışa br edüstr müheds, çecek dağıtım sstemde arayla çalışa makeler servs erformasıı aalz etmek stemektedr. Bu amaçla teslm süresyle lglemektedr. Teslm süres etkleye k öeml değşke (faktör) olduğuu düşümektedr. Bular ürü mktarı ve uzaklık olarak düşüülmektedr. Edüstr müheds bu amaçla 5 gözlem tolamıştır (Motgomery ve ark., 00). Verler Tablo 3. de verlmştr. Bu örekte yaıt değşke y (teslm süres) dek tolam değşm açıklamak ç (ürü mktarı) ve (uzaklık) açıklayıcı değşkeler kullaılacaktır. Bu amaçla verye y β + β + β + ε şeklde çoklu leer regresyo model = 0 oluşturulacaktır. Öcelkle yaıt değşke y (teslm süres) le açıklayıcı değşkeler (ürü mktarı) ve (uzaklık) arasıdak lşky görsel ya da grafksel olarak kotrol etmek ç matrs grafğ oluşturulur. 5

41 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Tablo 3.. İçecek teslm/dağıtım vers (Motgomery ve ark., 00). Gözlem No Teslm süres (Dakka) y Ürü mktarı (Kutu sayısı) Uzaklık (Feet) Gözlem No Teslm süres (Dakka) Ürü mktarı (Kutu sayısı) Uzaklık (Feet) y Yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşky grafksel olarak kotrol etmek ç oluşturula matrs grafğ Şekl 3. de verlmştr. Y X X Şekl 3.. İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç oluşturula matrs grafğ. 6

42 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç aalz souçlarıı blgsayar çıktısı Tablo 3.3 te verlmştr. Tablo 3.3. İçecek teslm/dağıtım versdek yaıt değşke y le açıklayıcı değşkeler ve arasıdak lşk ç aalz souçlarıı blgsayar çıktısı. Correlatos Pearso Correlato Sg. (-taled) N Y X X Y X X Y X X Y X X,000,965,89,965,000,84,89,84,000,,000,000,000,,000,000,000, Şekl 3. dek matrs grafğe ve Tablo 3.3 tek aalz souçlarıı blgsayar çıktısıa göre y le, y le ve le arasıdak lşk oztf yöde leerdr. İçecek teslm/dağıtım versdek y, ve ç taımlayıcı statstkler aalz souçlarıı blgsayar çıktısı Tablo 3.4 te verlmştr. Tablo 3.4. İçecek teslm/dağıtım versdek y, ve ç taımlayıcı statstkler aalz souçlarıı blgsayar çıktısı. Descrtve Statstcs Y X X Mea Std. Devato N,3840 5, ,76 6, ,8 35,9 5 İçecek teslm/dağıtım versdek ve açıklayıcı değşkeler y yaıt değşkedek tolam değşm açıklama oraı ç aalz souçlarıı blgsayar çıktısı Tablo 3.5 te verlmştr. 7

43 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Tablo 3.5. İçecek teslm/dağıtım versdek ve açıklayıcı değşkeler y yaıt değşkedek tolam değşm açıklama oraı ç aalz souçlarıı blgsayar çıktısı. Model Model Summary Adjusted Std. Error of R R Square R Square the Estmate,980 a,960,956 3,595 a. Predctors: (Costat), X, X Tablo 3.5 tek souçlara göre çecek teslm/dağıtım versdek ve açıklayıcı değşkeler y yaıt değşkedek tolam değşm açıklama oraı %96 dır. İçecek teslm/dağıtım vers ç regresyou öemllğ test varyas aalz tablosu Tablo 3.6 da verlmştr. Tablo 3.6. İçecek teslm/dağıtım vers ç regresyou öemllğ test varyas aalz tablosu. Model Regresso Resdual Total a. Predctors: (Costat), X, X b. Deedet Varable: Y ANOVA b Sum of Squares df Mea Square F Sg. 5550,8 775,405 6,35,000 a 33,73 0, ,543 4 İçecek teslm/dağıtım vers ç regresyou öemllğ test varyas aalz tablosudak souca göre y yaıt değşkedek tolam değşm açıklamada ve açıklayıcı değşkelere gereksm vardır. İçecek teslm/dağıtım vers ç oluşturula regresyou modelde β arametre vektörüü (3.8) dek βˆ e küçük kareler tahm edcs kullaılarak elde edle arametre tahm değerler Tablo 3.7 de verlmştr. 8

44 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Tablo 3.7. İçecek teslm/dağıtım vers ç oluşturula regresyou modeldek arametre tahm değerler. Model (Costat) X X a. Deedet Varable: Y Ustadardzed Coeffcets Coeffcets a Stadard zed Coeffce ts 95% Cofdece Iterval for B t Sg. Lower Boud Uer Boud B Std. Error Beta,34,097,35,044,067 4,66,66,7,76 9,464,000,6,970,438E-0,004,30 3,98,00,007,0 Tablo 3.7 dek souçlara göre çecek teslm/dağıtım vers ç oluşturula regresyou model, y ˆ = (3.6) dr E Küçük Kareler Yötem Geometrk Yorumu Şekl 3.3. E küçük kareler yötem br geometrk yorumu (Motgomery ve ark., 00). Gözlemler vektörü y =[ y y,..., ] oktasıa kadar taımlası., y, Şekl 3.3 tek gb orjde A y, y,..., y ler boyutlu öreklem uzayıı 9

45 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ koordatlarıı oluşturmaktadır. Şekl 3.3 tek öreklem uzayı üç-boyutludur. X matrs, = k + tae ( ) tde sütu vektörüde oluşur. Ya X matrs ( ) tdedr., lerde oluşa sütu vektörü olsu. Ya =[,,..., ] olsu. Bu durumda X matrs sütuları,,,,..., k vektörlerde oluşmaktadır. Öreklem uzayda bütü bu sütular orjde br vektör taımlar. Bu tae vektör tahm uzayı da dele - boyutlu br alt uzay oluşturur. = ç tahm uzayı Şekl de gösterlmştr. Bu alt uzaydak herhag br okta,,,,..., k vektörler br leer kombasyou olarak belrtleblr. Böylece alt uzaydak herhag br okta X β formudadır. X β vektörü, Şekl 3.3 tek B oktasıı belrts. B oktasıda A oktasıa ola kares alımış uzaklık, (3.7) S ( β ) = ( y Xβ ) ( y Xβ ) dr. Bu edele y vektörü tarafıda taımlaa A oktasıı tahm uzayıa ola kares alımış uzaklığıı azaltmak, tahm uzayıdak A oktasıa e yakı oktayı bulmayı gerektrr. Kares alımış uzaklığı mmum olması ç tahm uzayıda buluacak okta, A oktasıda tahm uzayıa dk ola çzg ayağı olmalıdır. Bu da Şekl 3.3 tek C oktasıdır. Bu okta y ˆ = Xβˆ vektörü tarafıda taımlaır. y yˆ = y Xβˆ tahm uzayıa dk olduğuda X ( y X ˆ) β = 0 veya X Xβˆ = X y yazılablr. Bu se e küçük kareler ormal deklem olarak ble deklemdr E Küçük Kareler Tahm Edcler Özellkler β arametre vektörüü βˆ e küçük kareler tahm edcs statstksel özellklerde brc olarak yalılığıı celeyelm. I, brm matrs gösters. E(ε )=0 ve ( X X ) X X = I olduğuda, 30

46 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ E( βˆ )=E[( X X ) X y ] =E[( X X ) X ( Xβ + ε ) =E[( X X ) X Xβ + ( X X ) X ε ] = β (3.8) ] olur. Böylece βˆ e küçük kareler tahm edcs, β arametre vektörüü yasız tahm edcsdr. β arametre vektörüü βˆ e küçük kareler tahm edcs statstksel özellklerde kc olarak varyasıı celeyelm. βˆ e küçük kareler tahm edcs varyas özellğ kovaryas matrs le fade edlmştr, Cov( βˆ )=E([ ˆ β E( ˆ β )] [ ˆ β E( ˆ β )]) (3.9) matrs tde br matrs olu, aa köşegedek j c elemaı βˆ j varyasıı ve aa köşege dışıdak j c elemaı βˆ ve βˆ j arasıdak kovaryası belrtr. βˆ ı kovaryas matrs, Cov( βˆ )= σ ( X ) X (3.30) şekldedr. Bu edele ( X ) dr. βˆ ve βˆ j arasıdak kovaryas se C = X olarak alıdığıda βˆ j varyası, σ C olur. j Gauss-Markov teoremde βˆ e küçük kareler tahm edcs, β ı e y leer yasız tahm edcsdr (Motgomery ve ark., 00). σ C j j 3

47 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Ayrıca, ε hatalarıı ormal dağılıma sah olduğu varsayıldığıda, βˆ, β ı e çok olablrlk tahm edcs olur. Maksmum lkehood tahm edcs, β ı mmum varyaslı yasız tahm edcsdr (Draer ve Smth, 998) σ Tahm Regresyo aalzde hata kareler tolamı (HKT), SS = ( ) E = y yˆ (3.3) olarak taımlaır. Hata kareler tolamıda, σ br tahm edcs elde edleblr. (3.3) dek eştlkte Bu edele, SS = ( ) E = y y ˆ dr. (3.) de e = y yˆ dr. SS E = e = = e e (3.3) olur. (3.3) dek eştlkte e = y Xβˆ alıdığıda hata kareler tolamı, SS = ( ˆ y Xβ )( y X ˆ β ) E = y y ˆ β X y y X ˆ β + ˆ β X X ˆ β = y y ˆ β X y + ˆ β X X ˆ β (3.33) olur. (3.33) tek eştlkte X Xβˆ = X y olduğuda, SS = y y βˆ X y (3.34) E 3

48 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ olarak elde edlr. Regresyo modelde tahm edle arametre sayısı olduğuda, hata kareler tolamıı serbestlk dereces olur. Hata kareler ortalaması se, MS E SS E = (3.35) olarak taımlaır. br tahm edcs olu, MS E beklee değer σ olduğuda, MS E, σ yasız ˆ σ = MS E (3.36) bçmde fade edlr Regresyo Katsayılarıı E Çok Olablrlk Yötemyle Tahm Edlmes Çoklu leer regresyo modelde regresyo katsayılarıı e çok olablrlk yötemyle tahm etmek ç hata termler sıfır ortalamalı ve σ varyaslı ormal dağılıma sah olduğu varsayılır (Draer ve Smth, 998). Regresyo modeldek arametreler ç e çok olablrlk tahm edcler e küçük kareler tahm edcler olduğu gösterleblr (Motgomery ve ark., 00). Çoklu leer regresyo model (3.3) dek eştlktek gb matrs bçmde gösterls. Burada hatalar, sıfır ortalamalı E(ε )=0 ve σ sabt varyaslı V(ε )= σ ormal dağılıma sahtr. Ya ~ N( 0, σ I ) yoğuluk foksyou, ε şekldedr. Hatalar ç ormal f ( ε ) ε σ = e (3.37) σ π 33

49 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ dr. Olablrlk foksyou, ε..., foksyoudur. Bu durumda f ( ) olablrlk foksyou,, ε, ε hata termler ortak olasılık yoğuluk = ε yazılablr. ( ε, β, σ ) L le gösterle ( ε, β, σ ) L = f ( ε ) = = ( π ) σ ε ε σ e (3.38) olarak hesalaır. ε = y Xβ olduğuda olablrlk foksyou, ( y, X, β, σ ) L = ( ) π ( y Xβ ) ( y Xβ ) e σ σ (3.39) şeklde yazılablr. (3.39) dak eştlkte her k tarafı doğal logartması alıdığıda, l ( y, X, β, σ ) σ L = l( π ) l( σ ) ( y Xβ )( y Xβ ) (3.40) buluur. σ ı sabt br değer ç ( y Xβ ) ( y Xβ ) mmum olduğuda logolablrlk foksyo maksmum olur. Bu edele, β arametre vektörüü β ~ e çok olablrlk tahm edcs, hataları ormal dağıldığı varsayımı altıda ( X X ) X y ˆ β = olarak elde edle βˆ e küçük kareler tahm edcs le ~ β = X dr. eşdeğerdr. Ya ( X ) X y σ e çok olablrlk tahm edcs se ( ~σ y X ˆ )( β y X ˆ β ) = (3.4) dr. 34

50 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ 3.3. Çoklu Leer Regresyo Modelde Hotez Test Çoklu leer regresyo modele arametrelerle lgl hotezler test edlmes, regresyo model yeterllğ ölçmede yararlıdır. Bu kısımda çoklu leer regresyo modelleryle lgl öeml hotez testler celeecektr. Hotezler test edlmesde, regresyo modeldek hataları ormal dağılıma sah olduğu varsayımı yaılır (Motgomery ve ark., 00) Regresyou Öemllğ Test Edlmes Regresyou öemllğ ç test, y yaıt değşke le,...,, k açıklayıcı değşkeler arasıda leer br lşk buluu bulumadığıı belrlemede kullaıla br testtr. Dğer br fadeyle,...,, k açıklayıcı değşkelere, y yaıt değşkedek tolam değşm açıklamada gereksm olu olmadığıı test edlmesdr. Bu durumda uygu hotezler, H 0 : β = β =... = β =0 H : k j =,,..., k olmak üzere e az br j ç β 0 (3.4) j bçmde oluşturulablr. H : 0 0 β j = hotez red edlmes,,..., k açıklayıcı değşkelerde e az br modele katkısıı olduğu alamıa gelr. S yy le gösterle geel kareler tolamı, SS R le gösterle regresyo kareler tolamı ve SS E le gösterle hata kareler tolamı olarak arçalaablr (Motgomery ve ark., 00). Ya Syy = SSR + SSE (3.43) 35

51 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ dr. Eğer H : 0 0 β j = hotez doğru se SS R σ fades k serbestlk derecel K-kare dağılımıa sahtr. Ya SS R σ ~ χ k dr (Motgomery ve ark., 00). Burada k, çoklu leer regresyo modeldek açıklayıcı değşkeler sayısıdır. SS E σ fades k serbestlk derecel K-kare dağılımıa sahtr. Ya (Motgomery ve ark., 00). ark., 00). H : 0 0 β j = hotez test etmek ç, SS R E SS E σ ~ χ k dr le SS brbrde bağımsızdır (Motgomery ve SS k MS F = R R 0 = (3.44) SS E ( k ) MS E test statstğ kullaılablr. F 0 > Fα, k, k se H 0 hotez red edlr. H 0 hotez test etmek ç oluşturula varyas aalz tablosu Tablo 3.8 de verlmştr. Tablo 3.8. Çoklu leer regresyo modelde regresyou öemllğ test etmek ç kullaıla varyas aalz tablosu. Değşm Kayağı Regresyo Hata Tolam Kareler Tolamı Serbestlk Dereces Kareler Ortalaması Test İstatstğ SS SS R k MS R = R MS F 0 = k MS SS SS E k MS E = E k S yy R E Tablo 3.8 dek SS E değer, SS E = y y βˆ X y (3.45) 36

52 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ kullaılarak hesalası. S yy, S yy = = y = y = = y y - y (3.46) olduğuda SS E, veya SS E = y y - = y - [ βˆ X y - = y ] (3.47) SSE = S yy SSR (3.48) şeklde yazılablr. Bu edele regresyo kareler tolamı, SS R = βˆ X y - = y (3.49) olarak elde edlr. SS E hata kareler tolamı, SS E = y y βˆ X y (3.50) ve S yy geel kareler tolamı se S yy = y y - = y (3.5) 37

53 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ olarak buluur. Çoklu leer regresyo modelde regresyou öemllğ test öreğ Örek 3. de verlmştr. Örek 3.. İçecek teslm/dağıtım vers ç regresyou öemllğ test edelm. (3.5) dek eştlkte S yy = olur. (3.49) dak eştlkte SS R = buluur. (3.48) dek eştlkte de varyas aalz tablosu Tablo 3.9 dak gb olur. SS E = olur. Bu durumda Tablo 3.9. İçecek teslm/dağıtım vers ç oluşturula çoklu leer regresyo modelde regresyou öemllğ test etmek ç kullaıla varyas aalz tablosu. Değşm Serbsetlk Kareler Kareler Tolamı Kayağı Dereces Ortalaması Test İstatstğ Regresyo Hata Tolam H β = β 0 hotez test etmek ç hesalaa test statstğ, 0 : = MS R F 0 = = = 6.4 (3.5) MS E olur. F0 = 6.4 > FTablo = F.05,, = olduğuda, yaıt değşkedek (teslm süres) tolam değşm açıklamada açıklayıcı değşkeler (teslm mktarı ve uzaklık) gerekl olduğu soucua varılır. Acak bu, teslm süres ürü mktarı ve uzaklığı br foksyou olduğu alamıa gelmez. Model yeterllğ ç başka testlere de başvurulmalıdır (Motgomery ve ark., 00). 38

54 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Her Br Regresyo Katsayısı İç Hotez Test Edlmes Çoklu leer regresyo modelde her br açıklayıcı değşke modele katkısıı olu olmadığıı test etmek amacıyla her br regresyo katsayısı ç hotez test edlr. Regresyo katsayısı hakkıdak hotez test soucua göre lgl açıklayıcı değşke modele ekle eklemeyeceğe karar verlr. Bazı durumlarda açıklayıcı değşke modelde çıkarılması model daha etk hale getreblr. Br regresyo modele ye br değşke eklemes dama regresyo kareler tolamıı artmasıa ve hata kareler tolamıı azalmasıa ede olur. Regresyo kareler tolamıdak artışı modele eklee ye açıklayıcı değşkede kayakladığıı garatlemek gerekr. Br açıklayıcı değşke modele eklemes, oluşturula ŷ değer varyasıı da arttırır. Bu edele yaıt değşkedek tolam değşm açıklamada doğru açıklayıcı değşkeler modele dahl edlmesde dkkatl olumalıdır. Ayrıca model kullaışlılığıı azalta öemsz br açıklayıcı değşke modele eklemes hata kareler ortalamasıı arttırablr. Herhag br regresyo katsayısıı öemllğ test etmek ç oluşturula hotezler, β j H 0 : β j =0 H : β 0 (3.53) j bçmde oluşturulablr. H : 0 0 β j = hotez red edlmemes j açıklayıcı değşke modelde slebleceğ gösterr. Bu hotez ç test statstğ, t 0 ˆ β ˆ j β j = = (3.54) ˆ σ C se jj ( ˆ β j ) Dr (Motgomery ve ark., 00). Burada C, ( ) jj X X matrsde ˆ β j ye karşılık gele aa köşege elemaıdır. t0 > t α, k se H 0 hotez ya da sıfır hotez red 39

55 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ edlr. j olmak üzere ˆ β j regresyo katsayısı modeldek dğer bütü ( j) açıklayıcı değşkelere bağlı olduğuda bu br marjal testtr. Dolayısıyla bu test, modeldek dğer açıklayıcı değşkeler verldğde j modele katkısıı ölçer. Çoklu leer regresyo modelde her br regresyo katsayısı hakkıdak hotez test öreğ Örek 3.3 te verlmştr. Örek 3.3. İçecek teslm/dağıtım versdek uzaklık açıklayıcı değşke modele ekle eklemeyeceğ test edelm. Dğer br fadeyle y yaıt değşkedek tolam değşm açıklamada uzaklık açıklayıcı değşkee gereksm olu olmadığıı test edelm. Buu ç oluşturula hotezler, H 0 : β =0 H : β 0 (3.55) şekldedr. ( ) X X β ye karşılık gele aa köşege elemaı C = tür. (3.54) dek eştlktek t -statstğ, ˆ β = = = 3.98 olarak hesalaır. t.05, =.074 ˆ σ C ( 0.639)( ) t tür. t = 3.98 > tα. 074 olduğuda H0 : β = 0 red edlr. uzaklık 0 =, k değşke modele katkısıı statstksel olarak alamlı ya da öeml olduğu soucu çıkarılır Regresyo Katsayılarıı Br Alt Kümes İç Hotez Test Edlmes Açıklayıcı değşkeler br altkümes modele katkısı celes. k tae açıklayıcı değşke bulua çoklu leer regresyo model göz öüe alısı. Bu model (3.3) dek eştlktek gb y = Xβ + ε şeklde gösterls. Burada y, 40

56 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ tde gözlee yaıtları vektörüü; X, tde açıklayıcı değşkeler düzeyler matrs; β, tde arametre vektörüü ve ε, tde hata vektörüü gösters. = k + dr. r < k olmak üzere r tae elemada oluşa açıklayıcı değşkeler br alt kümes regresyo modele katkısı belrleeblr. Buu ç regresyo katsayılar vektörü β, β β = L (3.56) β şeklde ( r) tde β vektörüe ve r tde β vektörüe arçalaır. Uygu hotezler, H 0 : β =0 H : β 0 (3.57) dr. Bu durumda y = Xβ + ε model, y X β + X β + ε (3.58) = şeklde yazılablr. Burada ( r) tdek X matrs, X β le lgl sütularıı ve r tdek X matrs se X β le lgl sütularıı belrtmektedr. Bu modele, tam model delmektedr. Tam model ç ˆ β = ( X X ) X y dr. (3.58) dek eştlktek model ç regresyo kareler tolamı, ˆ X SS R (β ) = β y (3.59) dr. SS R (β ) ı serbestlk dereces dr. (3.58) dek eştlktek model ç hata kareler ortalaması, 4

57 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ MS E = ˆ y y β X y (3.60) olur. β vektörüdek termler regresyoa katkısıı bulmak ç H 0 : β =0 sıfır hotez doğru olduğuu varsayılır. Bu durumda y β + ε (3.6) = X drgemş model elde edlr. İdrgemş modeldek β e küçük kareler tahm edcs, ˆ β = ( X X X y (3.6) ) olu bu modele karşılık gele regresyo kareler tolamı, SS ( β ) = ˆ β y (3.63) R X dr. SS R ( β ) serbestlk dereces r dr. (3.58) dek eştlktek modelde β verlmşke β de kayaklaa regresyo kareler tolamı, SS R ( β ) β = SS R (β ) - SS R β ) (3.64) ( dır. β β ) SS serbestlk dereces ( r) = r R ( dr. (3.64) dek eştlktek SS R ( β ) β kareler tolamıa, β de kayaklaa ekstra kareler tolamı der. Çükü ekstra kareler tolamı,,...,,,..., açıklayıcı değşkeler çere modele k r k r+, k r+ k açıklayıcı değşkeler eklemesyle elde edle regresyo kareler tolamıdak artışı ölçer. SS β β ), MS E de bağımsızdır (Motgomery R ( ve ark., 00). H 0 : β =0 sıfır hotez test etmek ç 4

58 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ F 0 ( β β ) SS R r = (3.65) MS E statstğ kullaılır. F0 > Fα, r, se H 0 red edlr. Bu durumda β dek arametrelerde e az br sıfır olmadığı ve bu edele X dek k r+, k r+ k açıklayıcı değşkelerde e az br regresyo modele,..., katkısıı alamlı olduğu soucu çıkarılır. (3.65) dek eştlktek F 0 test statstğ kısm F -test olarak ta adladırılır. Sadece br j değşke üzerdek kısm F - test, t -teste eşdeğerdr (Motgomery ve ark., 00). Çoklu leer regresyo modelde regresyo katsayılarıı br alt kümes hakkıdak hotez test öreğ, Örek 3.4 te verlmştr. Örek 3.4. İçecek teslm/dağıtım versdek uzaklık değşke modele katkısıı celeyelm. Uygu hotezler, H 0 : β = 0 ve H : β 0 dır. Bu hotezler test etmek ç β de kayaklaa ekstra kareler tolamı hesalamalıdır. β de kayaklaa ekstra kareler tolamı, R (, 0) SS β β β = SS ( β, β, β ) SS ( β, β ) R 0 R 0 = SSR ( β, β β0) R ( 0) SS β β (3.66) eştlğyle hesalaablr. (3.66) dak eştlktek SS β, β ) değer SS R ˆ =, ( β β β0) y = β X y = R ( β0 olarak hesalaır. SS β, β ) ı serbestlk dereces dr. İdrgemş model y = β0 + β+ ε, R ( β0 y ˆ = şeklde oluşturulur. Bu model ç SS β β ) regresyo ˆ 0 y = kareler tolamı, ( β β ) = β S (.76)( ) R R ( 0 SS = olarak 43

59 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ R ( 0 hesalaır. SS β β ) ı serbestlk dereces dr. Bu edele R ( β β β ) = SS = olarak buluur. Bu değer, 0 çere modele, eklemesde kayaklaa regresyo kareler tolamıdak artıştır. H0 : β = 0 sıfır hotez test etmek ç F 0 test statstğ, ( β β β ) SS R, F 0 = = = 5.85 olarak hesalaır. Dkkat edlrse, MS E hem hem de y çere tam modele at MS E hata kareler ortalaması, test statstğ aydasıda kullaılmaktadır. F. 05,, = olduğuda H0 : β = 0 sıfır hotez red edlr. uzaklık değşke modele katkısıı statstksel olarak alamlı ya da öeml olduğu soucu çıkarılır. Bu örekte br tek değşke olduğu ç burada F -test, t -teste eşdeğerdr. Buu görmek ç H 0 : β = 0 sıfır hotez t -testyle hesalası. Bu durumda t0 = 3.98 dır. v serbestlk derecel t rasgele değşke kares, serbestlk derecel F rasgele değşke olduğuda t ( 3.98) = 5. F0 0 = 84 olur X Matrsde Sütuları Ortogoal Olması Özel Durumu (3.3) dek y = Xβ + ε regresyo model (3.58) dek y X β + X β + ε bçm göz öüe alısı. Ekstra kareler tolamı yötem, = SS R ( β β 0 ) ı hesalayarak, X koşulua bağlı olarak X dek açıklayıcı değşkeler etks ölçer. Geel olarak, X dek açıklayıcı değşkeler üzerdek bağımlılık açıklamada, β de kayaklaa kareler tolamı, SS R ( β β 0 ) hesalamasıda bahsedlemez. Buula brlkte, X dek sütular, X dek sütulara ortogoal se β de kayaklaa kareler tolamı belrleeblr. Buu göstermek ç (3.58) dek model le lgl X X ˆ β = X y ormal deklemler oluşturulsu. Normal deklemler, 44

60 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ 45 = y X y X X X X X X X X X ˆ ˆ L L M L L M β β (3.67) şeklde olur. X dek sütular, X dek sütulara ortogoal se 0 = X X veya 0 = X X olur. O halde ormal deklemler, y X X X = β y X X X = β (3.68) şeklde olur. (3.68) dek ormal deklemler çözümü, y X X X ) ( ˆ = β y X X X ) ( ˆ = β (3.69) buluur. (3.69) dak eştlktek β e küçük kareler tahm edcs, X modelde buluu bulumadığıa bakılmaksızı ˆ β dır. Bezer şeklde, β e küçük kareler tahm edcs, X modelde olu olmadığıa bakılmaksızı ˆ β dır. Tam model ç regresyo kareler tolamı, y X SS R ˆ ) ( β β = [ ] = y X y X ˆ βˆ β y X y X ˆ βˆ β + = y X X X X y y X X X X y ) ( ) ( + = (3.70) buluur. Buula brlkte, ormal deklemler k küme oluşturmaktadır: Her br küme ç,

61 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ SS ˆ R ( β ) = βx y = y X( XX) X y (3.7) SS ˆ R ( β ) = β X y = y X ( X X ) X y (3.7) dr. (3.7) ve (3.7) dek eştlklerdek fadeler kullaılarak, SS β ) = SS ( β ) + SS ( β ) (3.73) R ( R R olduğu görülür. Bu edele, ve SS SS R ( β R R R β β ) = SS ( β ) SS ( β ) SS ( ) (3.74) R ( β R R R β β ) = SS ( β ) SS ( β ) SS ( ) (3.75) olur. Souç olarak, SS R ( β ), X dek açıklayıcı değşkeler modele ola katkısıı koşulsuz olarak ölçmektedr. SS R ( β ), X dek açıklayıcı değşkeler modele ola katkısıı koşulsuz olarak ölçmektedr. Açıklayıcı değşkeler ortogoal olduklarıda her br açıklayıcı değşke etks tam olarak belrleeblr. Deeysel tasarımlar, çoğulukla ortogoal değşkeler çerecek şeklde tasarlaır. Ortogoal açıklayıcı değşkeler çere br regresyo modele örek olarak, y = β + β + β + β + ε model ele alalım. X matrs, β 0 X = β β β 3 şeklde olsu. Açıklayıcı değşkeler sevyes 3 faktöryel modele uymaktadır. X sütuları ortogoaldr. Böylece j =,, 3 46

62 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ olmak üzere SS R ( β j ), dğer açıklayıcı değşkelerde herhag br modele dahl edl edlmedğe bakılmaksızı, j açıklayıcı değşkeler modele katkısıı ölçer T β = 0 Geel Leer Hotezler Test Edlmes Regresyo katsayıları hakkıda brçok hotez brleştrlmş yaklaşım kullaılarak test edleblr. Ekstra kareler tolamı yötem bu yötem özel br durumudur. Daha geel yötemlerde hotezler test etmek ç kullaıla kareler tolamı çoğulukla k hata kareler tolamı arasıdak fark olarak hesalaır. Şmd de bu yötem celes (Searle 97, Graybll 976, Seber 977). T, m tde sabtler matrs olmak üzere lgl hotezler H : T β = 0 şeklde fade edls. T β = 0 dak m tae deklemde sadece r taes bağımsızdır. ( X X ) X y ˆ β = olmak üzere tam model y = Xβ + ε olu tam model ç hata SS E = βˆ dır. Tam model ç hata kareler tolamıı kareler tolamı, ( FM ) y y X y serbestlk dereces dr. İdrgemş model elde etmek ç kala r tae regresyo katsayısı kullaılır. Tam modeldek regresyo katsayılarıı r taes ç T β = 0 dak r tae bağımsız eştlk çözülür. Bu durumda Z, ( -r) tde br matrs ve γ, blmeye regresyo katsayılarıı ( -r ) tde br vektörü olmak üzere drgemş model, 0 y = Zγ + ε (3.76) dr. γ e küçük kareler tahm edcs, ( Z Z ) Z y γˆ = (3.77) olur. İdrgemş model ç hata kareler tolamı, 47

63 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ SS E ( RM ) = y y γˆ Z y (3.78) buluur. İdrgemş model ç hata kareler tolamıı serbestlk dereces de + r dr. İdrgemş model, tam modelde daha az sayıda arametre çerdğde ( RM ) SS ( FM ) SS E E olur. H 0 : T β = 0 hotez test etmek ç hata kareler tolamıdak fark kullaılır. Hata kareler tolamıdak fark, SS H ( RM ) SS ( FM ) = SS (3.79) E E olur. Hata kareler tolamıı serbestlk dereces, + r ( ) Burada H = r dr. SS, H : T β = 0 hotezde kayaklaa kareler tolamı olarak 0 adladırılır. Hotezler test etmek ç SS H r F0 = (3.80) SS E ( FM ) ( ) test statstğ kullaılır (Motgomery ve ark., 00). F 0 > Fα, r, se 0 : H T β = 0 hotez red edlr Çoklu Regresyoda Güve Aralıkları Çoklu leer regresyo modelde regresyo katsayıları ve ortalama yaıt ç güve aralıkları celeecektr Regresyo Katsayıları İç Güve Aralıkları Çoklu leer regresyo model tahmler oluşturmak ç ε hatalarıı, sıfır ortalamalı ve β j regresyo katsayıları ç güve aralık σ varyaslı ormal 48

64 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ dağılıma sah olduğu varsayımı yaılır (Motgomery ve ark., 00). Bu edele y gözlemler, k β + β ortalamalı ve o j j j σ varyaslı ormal dağılıma sah olur. βˆ e küçük kareler tahm edcs gözlemler br leer kombasyou olduğuda, β ortalama vektörlü ve σ ( X ) X kovaryas matrsl ormal dağılıma sahtr. Bu edele C, ( X ) jj X matrs j -c köşege elemaı olmak üzere, herhag br ˆ β j regresyo katsayısıı marjal dağılımıı, β j ortalamalı ve σ C jj varyaslı ormal dağılım olduğuu gösterr (Draer ve Smth, 998). E( ˆ β j )= β ve V( ˆ β j )= σ C jj olduğuda, j ˆ β β j ˆ σ j C jj j = 0,,,...,k (3.8) statstkler her br, serbestlk derecel t dağılımıa sahtr (Motgomery ve ark., 00). Burada ˆ σ, (3.36) da elde edle hata varyasıı tahmdr. Bu edele ˆ β j, düzeyde br güve aralığı, j = 0,,,..., k regresyo katsayısı ç yüzde 00 ( α) lık öem βˆ j t α, ˆ σ C jj β j ˆ β j ˆ + tα σ C, jj (3.8) dr. Burada se ( ˆ j ) β = ˆ σ C jj (3.83) değere ˆ β j regresyo katsayısıı stadart hatası der. Stadart hata tahm e kadar hassas olduğuu ölçer. 49

65 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Ortalama Yaıt İç Güve Aralığı Açıklayıcı değşkeler 0,,..., gb belrl br düzeyde ortalama 0 0k yaıt ç br güve aralığı oluşturulablr. 0 vektörü, 0 0 = 0 M 0k (3.84) şeklde taımlası. Bu oktada oluşturula foksyou değer, ŷ 0 = 0βˆ (3.85) olur. ŷ 0 ı beklee değer, E( ŷ 0 )= 0βˆ = y 0 (3.86) olduğuda ŷ 0, y 0 ı yasız br tahm edcsdr. ŷ 0 ı varyası se V( ŷ 0 )= σ 0 ( X ) X 0 (3.87) olur. Bu edele açıklayıcı değşkeler 0,,..., düzeyde ortalama yaıt 0 0k ç yüzde 00 ( α) lık öem düzeyde br güve aralığı, ŷ -t 0 α σ 0 ( X X ), 0 0 y ŷ 0 + t α 0 ( X X ), 0 σ (3.88) Olur (Motgomery ve ark., 00). 50

66 3. ÇOKLU LİNEER REGRESYON MODELİ Pel İYİ Çoklu leer regresyo modelde ortalama yaıt hakkıda güve aralığı oluşturulması öreğ, Örek 3.5 te verlmştr. Örek 3.5. İçecek teslm/dağıtım versdek açıklayıcı değşkeler 8 kutu ve = 75 feet uzaklık ç ortalama yaıt (teslm süres) ç %95 lk güve aralığıı oluşturalım. 0 = 8 olmak üzere bu oktada oluşturula foksyou değer 75 (3.85) dek eştlkte ŷ 0 =9. olur. ŷ 0 ı varyası (3.87) dek eştlkte V( ŷ 0 )= olur. Bu oktada ortalama yaıt ç %95 lk güve aralığı (3.88) dek eştlkte y ya da 7.66 y olarak buluur. = 5

67 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ 4. ÇOKLU LİNEER REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Çoklu leer regresyo modelde, modele dahl edle açıklayıcı değşkeler ya da regresörler etkl ya da yaıt değşkedek tolam değşm açıklamada modele katkı sağlayacağı varsayılmıştı. Buula brlkte regresyo aalzde amaç regresyo model foksyoel şekl doğruluğuu da garat etmektr. Bazı uygulamalarda teork blglerde ve öcek deeymlerde hareketle, modelde kullaılacak regresörler seçm yaılır. Buula beraber aalzc çoğu roblemde yaıt değşkedek tolam değşm açıklamada kullaılableceğ düşüüle regresörler br kümesyle karşılaşır. Bu durumda roblem, modelde kullaılması gereke regresörler gerçek altkümeler belrlemese drger (Hockg 97, 976). Regresyo model ç alamlı ya da öeml ola regresörler uygu alt kümes belrleme şleme değşke seçm roblem adı verlr (Draer ve Smth, 998). 4.. Çoklu Leer Regresyoda E İy Model Seçlmes Mevcut regresörler sadece br alt kümes çere regresyo model oluşturulmasıı k amacı vardır (Motgomery ve ark., 00).. Oluşturula model olası brçok regresörü çermes ster. Böylece bu etkelerdek (faktörlerdek) blg çerğ ŷ oluşturula ya da tahm edle yaıt değerler etkler.. Oluşturula model olası brkaç regresör çermes ster. Çükü ŷ oluşturula ya da tahm edle yaıt değerler varyası, regresör sayılarıı artışıyla artar. Ayrıca modeldek regresör sayısıı artması daha fazla ver tolama demektr. Bu da şlem ç gereke sürey ve malyet arttırır. 5

68 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Bu k amaç arasıdak uzlaşma ola br model oluşturma şleme e y regresyo model ya da deklem seçme der. E y tek br açıklaması yoktur. Ayrıca değşke seçm ç uygulaa brçok yötem vardır. Bu yötemler, çoğu kez aday regresörler farklı alt kümeler e y olarak belrtrler. Öreklem ç çoklu leer regresyo model, ya da y y = β β + β + + β k k ε (4.) k 0 + β j j ε (4.) j= = β + şeklde taımlaır. Çoklu leer regresyo model k tae açıklayıcı değşke ya da regresör çermektedr. Bu durumda e y regresyo model seçm ç mevcut regresörler kullaılarak, k tae aday model oluşturulablr (Gust ve Maso, 980). Öreğ k = 3 alısı. Bu durumda çoklu leer regresyo model Y β + β X + β X + β + ε ya da öreklem ç regresyo model = 0 3 X 3 y = β 0 + β + β + β33 + ε bçmde olur. E y regresyo model belrlemes ç 3 = 8 tae aday model oluşturulablr. Bular: Sabt model: Y = β 0 + ε ; (4.3.a) Br açıklayıcı değşke çere modeller: Y β + β + ε, = 0 X Y β + β + ε, (4.3.b) = 0 X Y β + β + ε ; = 0 3 X 3 İk açıklayıcı değşke çere modeller: 53

69 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Y β + β X + β + ε, = 0 X Y β + β X + β + ε, (4.3.c) = 0 3 X 3 Y β + β X + β + ε ; = 0 3 X 3 Tam model: Y β + β X + β X + β + ε (4.3.d) = 0 3 X 3 bçmdedr. E y regresyo model belrlemesde Çoklu belrleyclk katsayısı R veya Düzeltlmş Çoklu belrleyclk katsayısı R Düzeltlmş ve Hata Kareler Ortalamaları (HKO) kullaılablr (Draer ve Smth, 998). Eşt sayıda açıklayıcı değşke çere modeller karşılaştırılmasıda Çoklu belrleyclk katsayısı R ve Farklı sayıda açıklayıcı değşke çere modeller karşılaştırılmasıda Düzeltlmş Çoklu belrleyclk katsayısı R Düzeltlmş değerler kullaılır. E y regresyo model belrlemesde R s veya R Düzeltlmş s yüksek, HKO su düşük ola ve az sayıda açıklayıcı değşke çere model terch edlr (Motgomery ve ark., 00). Bazı durumlarda mevcut açıklayıcı değşkeler, yaıt değşkedek tolam değşm açıklamada yetersz kalablr böyle durumlarda regresyo modele ye açıklayıcı değşke ya da değşkeler ekleeblr. Bazı durumlarda se mevcut açıklayıcı değşkelerde bazıları yaıt değşkedek tolam değşm açıklamada etkler ya da katkıları olmadığıda çoklu leer regresyo modelde sleblr ya da çıkarılablr (Chatterjee ve ark., 000). Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı artması durumuda lerye doğru seçm ya da gerye doğru ayıklama gb adımsal regresyo aalz yötemler uygulaablr (Mller, 990). Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda e geleeksel yötemler e de adımsal yötemler kullaılamamaktadır (Bozdoga, 003). Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı 54

70 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ fazla olması durumuda çoklu leer regresyo model oluşturulmasıda Geetk Algortma kullaılablr (Wasserma ve Sudjato, 994; Wallet ve ark., 996). Çoklu leer regresyo model oluşturulurke geellkle regresörler doğru foksyoel bçm bldğ varsayılır. Ayrıca verde aykırı ya da saa değerler ve etkl gözlemler bulumadığı varsayılır. Buula brlkte çoğu uygulamada bu gb varsayımlar geçerl değldr. Buları kotrol etme farklı yötemler vardır. Öreğ ŷ oluşturula değerleryle y gözlee değerler arasıdak doğrusal lşk çok düşükse oluşturula model bçm yalış alımıştır. Bu da regresörler foksyoel bçm yalış alıdığı alamıa gelr (Motgomery ve ark., 00). Bazı gözlem değerler ver geel kümeleme yaısıa aykırı olarak uzakta küçük br küme oluşturması durumuda verde aykırı ya da saa değerler bulumadığı varsayımı bozulur. Ayrıca verde model eğm değştreblecek ve kaldıraç görev yaablecek gözlem değerler buluması da etkl gözlemler bulumadığı varsayımıı bozar (Motgomery ve ark., 00). Uygulamada bu varsayımlar, çok az ver kümes ya da çok özel durumlar ç sağlaır. Hata ya da rezdü aalzyle, regresörler ç doğru foksyoel bçmler kotrol edleblr, saa ya da aykırı değerler belrleeblr ve etk gözlemler kotrol edleblr. Verde saa ya da aykırı değer buluu bulumadığı veya etkl ya da yüksek kaldıraç etks bulua gözlemler mutlaka belrlemeldr. Ayrıca buları model üzerdek etkler de araştırılmalıdır. Tüm bular oluşturula model yeterllğ belrlemek ç gerekldr. Oluşturula model yeterllğ araştırılması, değşke seçm roblem le bağlatılıdır (Co ve Sell, 974). Model doğru foksyoel bçm, verdek saa ya da aykırı gözlem değerler ve verdek etk gözlem değerler belrlemes roblemler eş zamalı çözülmes gerekse ble çoğu kez ardışık yaklaşım kullaılır. Öce değşke seçm stratejs kullaılır. Sora souçta bulua alt küme model doğru foksyoel belrts ç saa değerler ç ve etkl gözlemler ç kotrol edlr. Bu, brc adımı tekrarlaması gerektğ belrteblr. Yeterl br model oluşturmak ç br çok ardışık şlem gerekeblr. Bu bölümde açıklaacak değşke seçm yötemlerde hçbr, verlmş br ver kümes ç e y regresyo deklem oluşturmayı garat etmez. Aslıda br 55

71 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ tek e y deklem yoktur. Buula brlkte y olalara dek çeştl deklemler vardır. Çükü değşke seçm algortmaları, yoğu blgsayar bağlatılıdır. Aalzcler, bell br yötem souçlarıa güvememeldr. Aalz souçları kotrol edlmeldr. Değşke seçmde kullaıla yötemler, ver yaısıı araştırmadak yötemler olarak aalzcler tarafıda kullaılmalıdır. Regresyoda değşke seçm ya da e y model oluşturulmasıyla lgl çalışmalar Co ve Sell (974), Hockg (97), Hockg (976), Myers(990), Hockg ve LaMotte (973), Thomso (978a) ve Thomso (978b) tarafıda yaılmıştır. 4.. Yalış Model Belrlemes Souçları Değşke seçmde doğru olmaya model belrlemes souçları celeecektr. k tae aday değşke ya da regresör olsu. Bu regresörler,,..., k le gösterls. Regresörler ç k + tae gözlem değer bulusu. Yaıt değşke y olsu. k tae regresörü çere tam model, y k 0 + β j j ε,,..., j= = β + = (4.4) ya da matrs göstermyle y = Xβ + ε (4.5) bçmdedr. Aday regresörler lstes, bütü değşkeler çers. (4.4) dek model, β 0 sabt term çermektedr. β 0 sabt term her zama modele dahl edlmeye zorlaır. Dğer br fadeyle bütü regresyo deklemler br sabt term çerdğ varsayılır (Motgomery ve ark., 00). (4.4) dek modelde sle regresörler sayısı r olsu. Bu durumda modelde tutula regresörler ya da değşkeler sayısı = k + r dr. Modele sabt term de dahl edldğde, alt küme model orjal regresörler = k r taes çerr. Bu durumda (4.5) dek model, 56

72 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ y X β + X β + ε (4.6) = r r şekle döüşür. Burada X matrs, X ve X r matrslere arçalamıştır. X, k tdedr. X, tdedr. X matrs sütuları sabt term ve alt küme modelde tutula tae regresörü çermektedr. X r, r tdedr. X r matrs sütuları tam modelde sle regresörler çermektedr. Ayrıca β arametre vektörü, kareler tahm edcs, β ve β r olarak arçalaır. Tam model ç β ı e küçük ˆ * β = ( X X ) X y (4.7) dr. Hata varyası σ tahm de ˆ* σ = ˆ y y β X y k * = y [ I X ( X X ) k X ] y (4.8) olur. ˆ * β vektörüü arçaları, ˆ * β ve β * vektörleryle temsl edlr. y * le ˆr ˆ (4.6) dak model ç oluşturula model değerler gösterls. Bu durumda alt küme model, y β + ε (4.9) = X şeklde yazılır. Alt küme modelde β e küçük kareler tahm edcs, ˆ β = ( X X ) X y (4.0) olur. Hata varyasıı tahm de 57

73 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ ˆ σ = y y ˆ β X y = y [ I X ( X X ) X ] y (4.) buluur. ŷ le (4.9) dak model ç oluşturula model değerler gösterls. Alt küme modeldek βˆ ve ˆ σ tahmler özellkler, Hockg (97), Hockg (976), Narula ve Ramberg(97), Walls ve Weeks (969) tarafıda araştırılmıştır. Bu araştırma souçlar aşağıdak gb özetleeblr:. βˆ beklee değer, E( βˆ ) ( X X ) X = β + r β r r X = β + Aβ (4.) dr. Burada A = ( X X ) X X olu, baze alas matrs olarak adladırılır. r Böylece sle değşkeler yer tuta regresyo katsayıları sıfır olmadıkça ya β = 0 olmadıkça veya tutula değşkeler sle değşkelere dk olmadıkça ya r X X r = 0 olmadıkça βˆ, β br yalı tahmdr.. βˆ ve ˆ * β varyasları sırasıyla, ve V( βˆ ) ˆ * = ( X X σ ) (4.3) V( β ) = σ ( X X ) (4.4) ˆ * dr. Ayrıca V( β ) - V( βˆ ) matrs oztf semdefttr. Tam modeldek arametreler e küçük kareler tahmler varyasları, alt küme modeldek yer ala arametreler varyaslarıda büyüktür veya eşttr. Souç olarak, değşkeler 58

74 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ slmek ya da modelde çıkarmak, kala arametreler tahmler varyaslarıı arttırmaz. 3. βˆ, β br yalı tahmyke ˆ * β böyle değldr. Alt küme modellerde ve tam modelde alıa arametre tahmler doğruluğuu hata kareler ortalamasıa göre karşılaştırmak daha uygudur. θˆ, θ arametres br tahmyse θˆ ı hata kareler ortalaması MSE(θˆ )=V(θˆ )+[E(θˆ )-θ ] (4.5) olarak taımlaır. βˆ ı hata kareler ortalaması MSE( βˆ ) = σ ( X X ) r + Aβ r β A (4.6) * ˆr r β r dır. Eğer V( β )- β matrs oztf semdeft se V( β )-MSE( βˆ ) matrs de oztf semdefttr. Bu, sle değşkeler regresyo katsayıları, tam modeldek tahmler stadart hatalarıda daha küçük olduğuda, alt küme modeldek arametreler e küçük kareler tahm edcs tam modelde karşılık gele arametre tahmler hata kareler ortalamasıda daha küçük olduğu alamıa gelr. ˆ * 4. Tam modeldek alt küme model ç, ˆ* σ arametres, σ yasız br tahmdr. Buula brlkte, β X r E( ˆ σ ) = σ + r [ I X ) ( X X X ] X β r r (4.7) dr. ˆ σ geellkle, σ yalı tahmdr. 59

75 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ 5. = [, r ] olsu. Bu oktadak yaıt tahm edls. Bu ş ç tam model kullaılırsa oluşturula model bu oktadak tahm edle değer β ortalamalı * ve V( ŷ ) = σ [ + ( X X ) ] varyaslı olur. Bu durumda y ˆ = β dır. Buula * ˆ * brlkte eğer alt model kullaılsaydı, bu oktada oluşturula model beklee değer, E( ŷ )= β + Aβ r (4.8) ve bu oktada oluşturula model hata kareler ortalaması, MSE( ŷ )= σ [ + ( X X ) ] + ( Aβ r r β r ) (4.9) olacaktı. Burada yˆ = βˆ dır. β = 0 olmadıkça (bu da geellkle A r X r X β = 0 ke doğrudur.) ŷ, y yalı br tahmdr. Ayrıca tam modeldek r varyas, alt küme modeldek ŷ ı varyasıda küçük değldr. Hata kareler * ortalaması csde V( ŷ ) MSE( ŷ ) eştszlğ, V( β )- β matrs oztf semdeft ke sağlaır. Değşke seçm le lgl edeler aşağıdak gb özetleeblr: Modelde bazı değşkeler slerek, modelde tutula değşkeler arametre tahmler doğruluğu gelştrleblr. Bu oluşturula modelde yaıt değşke varyası ç de doğrudur. Modelde bazı değşkeler slmes durumuda, modelde bulua değşkeler katsayılarıı tahmler ve yaıt değşke tahm yalı olur. Buula brlkte sle değşkeler modele etkler çok küçükse yalı tahmler hata kareler ortalamaları, yasız tahmler varyasıda daha küçük olur. Ya, yalılık mktarı varyastak azalmada daha küçüktür. Modelde tutula öemsz değşkeler ç tehlke söz kousudur. Bular sıfır katsayılı değşkeler veya tam modeldek stadart hatalarda daha küçük katsayıları ola değşkelerdr. Bu tehlke * ˆr r β r 60

76 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ arametre tahmler varyasıdak ve tahm edle yaıttak artışta kayaklaır. Bazı regresyo modeller tarhsel kayıtlarda alımış rastgele verlerde oluşmaktadır (Bo ve ark., 978). Rastgele verler geelde aykırı ya da saa değerler, etk gözlemler, ver tolamadak değşmlerde oluşa tutarsızlıkları ve zamaa karşı blg-şlem sstem hatalarıı çerr. Verdek bu hatalar, değşke seçm sürecde büyük etk yaratablr ve doğru model belrleyememe robleme ede olablr. Rastgele verdek e geel roblem, kotrol edlmş regresörler bulmaktır. Kotrol edlmş regresörler daha tutarlıdır. Ayrıca etkl değşkelerdr. Regresörler, yaıtı doğru sıırlarda tutmak ç kotrol edlmeldr. Verdek bu rastgele hataları etkler e küçük kareler uyumuda öemsz görüeblr Regresörler Br Alt Kümes Seçmek İç Krterler Regresyo aalzde değşke seçm roblem k aşamalı çözümü vardır. Brc aşamada alt küme modeller üretlr. İkc aşamada se br alt küme dğerde daha y olu olmadığıa karar verlr. Bu bölümde alt küme regresyo modeller değerledrmek ve karşılaştırmak ç krterler celeecektr. Ayrıca değşke seçm ç hesalama yötemler açıklaacaktır Çoklu Belrleyclk Katsayısı Regresyo model uyguluğu br ölçütü çoklu belrleyclk katsayısıdır. Çoklu belrleyclk katsayısı R le gösterlr. R, terml ve regresörlü br alt küme model ç çoklu belrleyclk katsayısıı gösters. Modelde β 0 sabt term bulumaktadır. Bu durumda R, R SS R ( ) SS E ( ) = = (4.0) Syy Syy 6

77 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ olarak taımlaır (Motgomery ve ark., 00). Burada SS R ( ), SS E ( ) ve Syy sırasıyla terml alt küme model ç regresyo kareler tolamıı, hata kareler tolamıı ve geel kareler tolamıı göstermektedr. her değer ç R k tae değer vardır. artarsa R de artar. = k + olduğuda R maksmum olur. Bu edele aalzcler, ye br değşke gerekl olmayacak oktaya kadar modele regresörler ekleyerek bu krter kullaırlar. Modele ye br regresörü eklemes durumuda R de az da olsa br artış sağlaır. Geel yaklaşım Şekl 4. de gösterlmştr. R Şekl 4.. Modeldek term sayısı değerlere karşı çoklu belrleyclk katsayısı R grafğ (Motgomery ve ark., 00). Br alt küme regresyo model ç R otmum değer arama yere R memu edc ve bekletler karşılaya değer aramalıdır. Atk(974), bu robleme br çözüm olarak tam model ç R de alamlı olarak farklı olmaya ye br çoklu belrleyclk katsayısı oluşturdu. Oluşturula ye çoklu belrleyclk katsayısı, 6

78 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ R 0 α,, k = ( R k + )( + d ) ve kfα,, k dα,, k = (4.) k olarak taımlamıştır. Geel olarak modele dahl edlecek regresörler sayısıa karar vermek ç R y br krter olarak kullamak doğru olmaz. Buula brlkte k tae değşke k ç tae alt küme model karşılaştırmada büyük ola modeller terch edlr. R kullaılablr. R değer Düzeltlmş Çoklu Belrleyclk Katsayısı düzeltlmş R yorumlamasıdak zorluklarda kaçımak ç, bazı araştırmacılar R y kullamayı terch etmşlerdr (Hatovsk, 969). Düzeltlmş R, R = ( ) (4.) R olarak taımlaır. R statstğ, R statstğe göre daha tutarlıdır. R, modele eklee ye regresörlerde fazla etklemez (Edwards 969; Seber 977). Modele s tae regresör eklerse R + s değer, R değerde daha fazla olablmes ç gerek ve yeter koşul modele eklee s tae regresörü öem test etmek ç kısm F-statstğ değer aşmasıdır (Edwards, 969). Souç olarak br alt küme oluşturduğu otmum model seçmek ç br krter, maksmum R ye sah model seçmektr (Motgomery ve ark., 00). Bu krtere dek ola başka br krter aşağıdak açıklamıştır. 63

79 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Hata Kareler Ortalaması Br alt küme regresyo model ç hata kareler ortalaması, MS E SS E ( ) ( ) = (4.3) olarak taımlamıştı (Motgomery ve ark., 00). Hata kareler ortalaması br model değerledrme krter olarak kullaılablr. değerlere karşı MS E ( ) değerler grafğ Şekl 4. de gösterlmştr. ( ) MS E Şekl 4.. değerlere karşı MS E ( ) değerler grafğ (Motgomery ve ark., 00). değer arttıkça SS E ( ) değer dama azalır. Buula brlkte değer arttıkça MS E ( ) değer öce azalır, sora degeler ve daha sora çok az artar. MS E ( ) dek e so artış, modele ye br regresör ekledğde ortaya çıka SS E ( ) dek azalmaı (4.3) dek eştlğ aydasıdak br serbestlk dereces 64

80 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ kaybıı karşılamaya yeterl olduğu zama meydaa gelr. terml modele ye br regresör ekledğde hata kareler tolamıdak azalma MS E ( ) dekde daha az olursa, MS E ( +) MS E ( ) de daha büyük olmasıa ede olur. MS E ( ) krter uyguladığıda ye karşı MS E ( ) grafğde seçmde aşağıdak kurallar geçerldr.. Mmum MS E ( ).. değerde MS E ( ) değer, tam model ç MS E değere yaklaşık olarak eşt olsu. 3. Mmum MS E ( ) yukarı dödüğü okta yakııda br değer MS E ( ) y mmum yaa alt küme regresyo model Buu görmek ç R = ( R SS E ( ) = S yy SS E ( ) = S yy = MS E ( ) S yy yazılır. Böylece, mmum MS E ( ) ve maksmum ) R y maksmum yaar. R krterler eşdeğerdr Mallows u C İstatstğ Mallows (964, 966 ve 973), oluşturula model değer hata kareler ortalamasıa dayalı br krter öermştr. Bu krter, E [ yˆ E( y )] = [ E( y ) E( yˆ )] + V ( yˆ ) (4.4) 65

81 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ 66 olarak taımlaır. Dkkat edlrse ) ( y E, doğru regresyo eştlğde beklee yaıt ve ) ˆ ( y E se terml alt küme modelde beklee yaıttır. Böylece ) ˆ ( ) ( y E y E, -c ver oktasıdak yalılıktır. Souç olarak (4.4) dek eştlğ sağ tarafıdak k term sırasıyla hata kareler ortalamasıı yalılık kares ve varyas elemalarıdır. terml model ç tolam yalılığı kares, = = B y E y E SS )] ˆ ( ) ( [ ) ( (4.5) ve stadartlaştırılmış tolam E MS, + = Γ = = y V y E y E ) ˆ ( )] ˆ ( ) ( [ σ = + = B y V SS ) ˆ ( ) ( σ σ (4.6) olarak taımlası. Burada ) ˆ ( σ = = y V olarak gösterleblr. terml model ç hata kareler tolamıı beklee değer, ) ( ) ( )] ( [ σ SS SS E B E + = (4.7) dr. = y V ) ˆ ( ve ) ( SS B (4.6) da yere koyulduğuda, + = Γ = E SS E ) ( )] ( [ σ σ σ SS E E )] ( [ + = σ (4.8)

82 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ elde edlr. ˆ σ, σ ı y br tahm olsu. Bu durumda E[ SS E ( )] y gözlee değer SS E ( ) le değştrmek Γ ye br tahm oluşturur. Bu da, C SS E ( ) = + ˆ σ (4.9) soucuu verr. terml model göz ardı edleblr yalılığa sah se SS B ( ) =0 olur. Souç olarak, E[ SS B ( )] = ( ) σ elde edlr. Burada da ( ) σ E[ C Bas = 0] = + = ˆ σ (4.30) buluur. Şekl 4.3. değerlere karşılık 00). C değerler grafğ (Motgomery ve ark., Şekl 4.3 te gösterldğ gb, ç br foksyou ola C krter kullamak, her regresyo eştlğ C br grafğ oluşturmak alamıdadır. Göz 67

83 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ ardı edleblr yalılığa sah regresyo deklemler ç düşer. Ya, C = çzgs yakııa C değer alır. Bu durum Şekl 4.3 te A oktası olarak gösterlmştr. Belrl br yalılığa sah deklemler bu çzg üstüe düşecektr. Bu durum da Şekl 4.3 te B oktası olarak gösterlmştr. Geellkle C küçük değerler ster. Öreğ; Şekl 4.3 tek C oktası, C = çzgs üstüde olmasıa rağme, A oktasıı aşağısıdadır. Bu edele daha az tolam hata le model temsl eder. Tahm ortalama hatasıı azaltmak ç deklemdek bazı yalılıkları kabul etmek daha ydr. C y hesalamak ç σ yasız br tahme gereksm vardır. Bu amaç ç tam deklem ç hata kareler ortalaması kullaılır. Bu, tam model ç C = = k + olmasıı zorlar. σ br tahm olarak tam modeldek MS E ( k +) y kullamak, tam model göz ardı edleblr yalılığa sah olduğuu varsayar. Tam model fazla sayıda regresöre sah olmasıı alamlı olarak modele katkısı yoktur. Ya Sıfır regresyo katsayılarıı olması durumu. Öyleyse MS E ( k +) çoğu kez σ y tekrar tekrar tahm edecektr. Souç olarak C değerler küçük olacaktır Regresyo ve Model Değerledrme Ölçütler Kullaımı Görüldüğü gb altküme regresyo modeller değerledrmek ç kullaıla br çok krter vardır. Model seçm ç kullaılacak krter keslkle model kastedle kullaımıyla lgl olmalıdır. Regresyou; () ver taımlama, () kestrm ve tahm, (3) arametre tahm ve (4) kotrol olmak üzere br çok olası kullaımı vardır. Amaç, verlmş br yötem ç y br taımlama elde etmekse veya karmaşık br sstem model elde etmekse, hata kareler tolamı küçük ola regresyo deklemler ç br araştırma gösterlmştr. Bütü k tae aday regresörler kullaarak SS E mmum yaıldığıda, SS E souçlarıda küçük artmalar 68

84 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ olableceğde dama bazı değşkeler elemes öerlr. y dek tolam değşm açıklaırke, brkaç regresörlü sstem uygu olduğu söyler. Çoğu kez regresyo deklemler, gözlemler ö tahm veya yaıtı ortalamasıı tahm ç kullaılır. Geel olarak, kestrm hata kareler ortalamasıı mmum yaıldığı regresörler seçlr. Bu da az etkl regresörler modelde sleceğ alamıa gelr. Brs, br alt küme üretme yötem tarafıda oluşturula aday deklemler değerledrmek ç PRESS = e [ y yˆ ( ) ] = (4.3) h şeklde taımlaa PRESS statstğ kullaablr (Chatterjee ve ark., 000). PRESS küçük değere dayalı br alt küme regresyo model seçleblr. PRESS, özellkle tahm roblem ç sezgsel başvurmaya sah olduğuda, hata kareler tolamıı bast br foksyou değldr. Bu krtere dayalı değşke seçm ç br algortma gelştrlmes kolay değldr. PRESS statstğ alteratf modeller ayırt etmede kullaışlıdır (Motgomery ve ark., 00). Parametre tahmyle lglelyorsa hem değşke slme soucudak yalılıklar, hem de tahm edle katsayıları varyasları göz öüde buludurulmalıdır. Regresörler yüksek çlşkl olduğuda, regresyo katsayılarıı e küçük kareler tahmler so derece zayıf olur. Regresyo model kotrol ç kullaıldığıda, arametreler doğru tahmler çok öemldr Değşke Seçm İç Hesalama Tekkler E so deklemde kullamak ç değşkeler alt kümes bulmada, aday regresörler çeştl kombasyolarıyla model oluşturma dkkate alımalıdır. Bu bölümde, alt küme regresyo modeller üretmek ç br çok hesalama yötem celeecek ve bu modeller değerledrlmes ç krterler açıklaacaktır. 69

85 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ 4.5. Olası Bütü Regresyolar Bu yötem, araştırmacıı sabt terml model (Bu model regresör çermemektedr.), br-aday regresör çere model, k-aday regresör çere model,..., k -aday regresör çere model gb bütü regresyo deklemler oluşturmasıı gerektrr. Oluşturula bu aday modeller krtere göre değerledrlr ve e y regresyo model seçlr (Draer ve Smth, 998). β 0 sabt term bütü deklemlere dahl edldğ varsayalım. k tae regresör ç k tae tolam aday regresyo deklem vardır. Öreğ, k = 4 ç 4 = 6 aday regresyo deklem vardır. k = 0 ç 0 = 04 aday regresyo deklem vardır (Gust ve Maso, 980). Aday regresörler sayısı arttıkça celemes gereke deklemler sayısı da hızlıca artmaktadır. Yeterl blgsayar kodlarıı gelşmde öce, brkaç regresörde fazla regresör çere roblemler ç bütü regresyoları üretmek ratk değld. Yüksek hızlı blgsayarları ortaya çıkmasıyla bütü regresyolar ç etkl algortmaları gelşm sağladı. Çoklu leer regresyo modelde olası bütü regresyo modeller kullaarak değşke seçm öreğ, Örek 4. de verlmştr. Örek 4.. Gözlee verler Tablo 4. de gösterlmştr. Tablo 4.. Örek 4.. ç Hald Çmeto vers (Motgomery ve ark., 00). Gözlem y

86 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Bu ver, değşke seçme yaklaşım olarak bütü aday regresyo modeller açıklamak ç kullaılacaktır. Verde dört tae regresör bulumaktadır. Ya k = 4 tür. Aday regresyo modeller sayısı 4 = 6 dır. 6 aday regresyo modeller oluşumuu souçları Tablo.4. de gösterlmştr. ve C statstkler değerler de bu tabloda verlmştr. R, R, ( ) MS E Tablo.4.. Örek 4. ç bütü aday regresyo modeller özet (Motgomery ve ark., 00). Modeldek Regresör Sayısı Modeldek Regresörler SS E ( ) R MS E C R ( ) Yok Yok Tablo 4.3, regresyo katsayılarıı e küçük kareler tahm göstermektedr. Öreğ, model sadece y çerdğde, etks e küçük kareler tahm dur. Eğer 4 modele eklerse, etks 0.3 olu yüzde 50 cvarıda br azalma vardır. Ayrıca 3 ü eklemes etks olarak değştrr. Bu durumda her br regresyo katsayısıı e küçük kareler tahm, 7

87 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ modeldek dğer regresörlere bağlıdır. Modele değşkeler ekledğde veya modelde değşkeler çıkarıldığıda Hald çmeto versde gözlee regresyo katsayılarıdak büyük değşm, dört regresör arasıda gerçek korelasyo olduğuu belrtr. Bu çoklu ç lşk roblem buluduğuu belrtr. Tablo 4.3. Örek 4. ç bütü aday regresyo modellerdek arametreler e küçük kareler yötemyle elde edle tahmler (Motgomery ve ark., 00). Modeldek ˆ β 0 ˆβ ˆ Değşkeler ˆ β β 3 β ˆ Alt küme modeller değerledrmek ç R krter göz öüde buluduralım. değerlere karşı R değerler grafğ Şekl 4.4 de gösterlmştr. 7

88 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Şekl 4.4. değerlere karşı R değerler grafğ (Motgomery ve ark., 00). değşkeler Şekl 4.4 celedğde, modeldek k regresörde sora eklee R değere katkısıı az olduğu görülür. ( ) ve ( ),, k 4 regresörlü modeller her ks de R değerler ayı olu bu krter fadesyle so regresyo deklem olarak hag model seçlrse seçls, küçük farklılık yaratacaktır. Draer ve Smth (998), (, 4 ) lü model kullamayı öermşlerdr. Çükü, 4 e y br-regresörlü model sağlamaktadır. (4.) dek eştlkte α = alıırsa R 0 değer, R 0 4F = 8 ( ) 0.05,4,8 R5 + ( 3.84) 4 = =

89 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ buluur. R > R olduğuda herhag br regresyo model ç 0 = R değer R k+ değerde alamlı olarak farklı değldr. Tablo 4. dek brçok model bu krter sağlamaktadır. So model seçme ş hala bell değldr. le j arasıdak ve le y arasıdak kl korelasyou hesalamak yararlı olacaktır. Bu bast korelasyolar Tablo.4.4 te gösterlmştr. Dkkat edlrse (, 3 ) ve (, 4 ) regresör çftler yüksek korelasyoa sahtr. Bu değerler sırasıyla r 3 = 0.84 ve r 4 = şekldedr. Tablo 4.4. Örek 4. dek Hald çmeto vers ç bast korelesyo matrs (Motgomery ve ark., 00) y y Souç olarak ve veya ve 4 modelde mevcut ke modele fazlada regresör eklemek alamlı değldr. Ayrıca Tablo 4.4 tek değerlere bakıldığıda değşkeler arasıda yüksek lşk olduğu görülür. değerlere karşı MS E ( ) değerler grafğ Şekl 4.5 te gösterlmştr. E düşük hata kareler ortalamasıa sah model (,, 4 ) olu buu hata kareler ortalaması MS E ( 4 ) = dür. Dkkat edlrse, bekledğ gb MS E ( ) y mmum yaa model R y maksmum yamaktadır. Buula brlkte, (,, 3 ) ve (, 3, 4 ) üçlü modeller ve (, ) ve (, ) 4 kl modeller hata kareler ortalamaları karşılaştırılablr. Eğer (, ) veya (, ) 4 modelde buluursa, modele fazlada regresör ekledğde hata kareler ortalamalarıdak azalma daha az olur. (, ), (, ) 4 ortalaması daha küçüktür. de daha uygu br altküme modeldr. Çükü hata kareler 74

90 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Şekl 4.5. değerlere karşı MS E ( ) değerler grafğ (Motgomery ve ark., 00). değerlere karşı C grafğ Şekl 4.6 da gösterlmştr. Hesalamaları açıklamak ç ˆ σ = olarak alalım. Bu değer tam model ç MS E değerdr. (, 4 ) model ç C 3 ü hesalayalım. C 3, SS () 3 buluur. E C3 = + ˆ σ = = 5.50 () 3 75

91 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Şekl 4.6. değerlere karşı C grafğ (Motgomery ve ark., 00). 76

92 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Tablo 4.5. Hald çmeto vers ç k model karşılaştırılması. Gözlem yˆ = e a h [ ( h )] e e yˆ = b 4 h [ e ( h )] PRESS, = RPredcto = VIF =.06, VIF =.06. a PRESS,, = b RPredcto = VIF =.07, VIF = 8.78, VIF = Şekl 4.6 dak grafk celedğde uygu olarak dört tae model buluur. Bular (, ), ( ),, 3, (,, 4 ) ve (, 3, 4 ) tür. Ek faktörler dkkate alımaksızı (, ) y so model olarak seçmek uygu olur. Çükü bu model, e küçük C değere sahtr. Bu örek, bütü aday regresyola model oluşturma le br tutula hesalama yötemler açıklamıştır. Dkkat edlrse e y regresyo model kes olarak seçm yoktur. Çoğu kez farklı krterler farklı deklemler öerdğ görülür. Öreğ, e küçük (, ), 4 C l deklem ( ), ve e küçük MS E l deklem tür. Bütü so aday modellere, saa ya da aykırı değerler, kaldıraç etks yaa etk gözlem değerler ve çoklu ç lşk blgler çere uyguluk testler yaılmalıdır. Tablo 4.5, (, ) ve ( ),, 4 modeller PRESS ve varyas şşrme faktörlere (VIFs ) göre celemştr. Her k model PRESS değerler brbre çok bezerdr. E düşük MS E l deklem ç hata kareler tolamıı yaklaşık olarak k katıdır. PRESS de hesalaa tahm ç k modelde de bezerdr. Buula brlkte (, ), 4 R, her dek çok büyük VIF lerde 77

93 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ de görüldüğü gb ve 4 yüksek derecede çoklu ç lşkye sahtr. Her k model de dek PRESS statstklere sah olduğuda çoklu ç lşks olmaya (, ) l model tavsye edlr Adımsal Regresyo Yötemler Tüm aday regresyo modeller hesalayı değerledrmek zor olableceğde, sadece az sayıdak alt küme regresyo modeller değerledrmek ç her seferde br tae regresör ekleyerek veya çıkararak yaıla çeştl yötemler gelştrlmştr. Bu yötemler adımsal türdek yötemlere lşkdr. Bular üç aa gruta sııfladırılablr:. İlerye doğru seçm yötem. Gerye doğru ayıklama yötem 3 -c ve -c yötem brleşm ola adımsal regresyodur İlerye Doğru Seçm Yötem İlerye doğru seçm yötem, sabt term dışıda modelde hç regresör olmadığı varsayımıyla başlar. Her defasıda modele sadece br regresör ekleerek br otmal alt küme bulumaya çalışır. y yaıt değşke le e büyük bast korelasyoa sah değşke, modele dahl edlecek lk regresör olarak seçlr. Bu regresörü olduğuu varsayalım. Bu regresör ayı zamada regresyou öemllğ test ç F -statstğ e büyük değer üretecek ola regresördür. F -statstğ öcede seçlmş ola br F değer ya F IN veya F -grle aşarsa bu regresör modele dahl edlr. İlk regresör ya, y üzerdek etks ç düzelemeler yaıldıkta sora y le e yüksek korelasyoa sah ola değşke kc regresör olarak seçlr. Bu korelasyolar kısm korelasyolar gbdr. Bular yˆ = ˆ β ˆ 0 + β oluşturula regresyo model rezdüler le üzerde dğer aday regresörler 78

94 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ ˆ j = α + α j =, 3,..., k tarafıda oluştura rezdüler arasıdak bast ˆ0 j ˆ j korelasyolardır. İkc adımda y le e büyük kısm korelasyoa sah değşke olduğuu varsayalım. Bu demektr k e büyük kısm F -statstğ, F ( / ) (, ) SS R = (4.3) MS E dır. Eğer bu F değer, F IN değer aşarsa modele ekler. Geel olarak, her adımda y le e yüksek kısm korelasyoa sah regresör veya dğer regresörler modele dahl ke verle e büyük kısm F -statstğe sah regresörü modele ekleeblmes ç o regresörü kısm F -statstğ değer öcede seçl grle F IN sevyes aşması gerekr. Bu yötem, ya belrl br adımdak kısm F - statstğ, F IN değer aşmadığı zama ya da so aday regresör modele ekledğde soladırılır. Çoklu leer regresyo modelde lerye doğru seçm yötem kullaılarak e y model belrlemes öreğ, Örek 4. de verlmştr. Örek 4.. İlerye doğru seçm yötem Örek 4. de verle Hald çmeto verse uygulası (Motgomery ve ark., 00). Ver SAS blgsayar rogramıyla yaıla aalz souda elde edle souçlar Şekl 4.7 de gösterlmştr. 79

95 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Şekl 4.7. Hald çmeto vers SAS blgsayar rogramıyla yaıla aalz soucu (İlerye Doğru Seçm Yötem) (Motgomery ve ark., 00). Bu rogramda, kullaıcı kesm değer F IN brc t hata oraı α yı seçerek belrlemştr. Böylece y le e yüksek kısm korelasyoa sah regresörü kısm F -statstğ, F α,, değer aşarsa bu regresör modele ekler. Bu örekte F belrlemek ç α = 0. 0 kullaıldı. Bazı blgsayar kodları ya da rogramları IN F IN ç seçle sayısal değer le 4 arasıda olmasıı gerektrr. Tablo 4.4 te, y le e yüksek kısm korelasyoa sah regresörü 4 olduğu görülür. Bu değer r 4 y = 0. 8 dr. Hesalaa kısm F -statstğ değer 80

96 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ F =.80 dr. Bu değer F α, değer ya F0.0,, değer aştığı ç 4, modele ekler. İkc adımda: y le e yüksek kısm korelasyoa sah regresör dr. Ya 4 modelde ke e büyük kısm F -statstğe sah regresör dr. Bu regresör ç kısm F -statstğ, SS F = R MSE ( / 4 ) (, ) 4 = = olarak hesalaır. Burada F = 08. değer, F IN = F 0.0,,0 = 3. 9 değer aştığı ç modele ekler. Üçücü adımda:, y le e yüksek kısm korelasyoa sahtr. Buu kısm F -statstğ değer, ( /, 4 ) (,, ) SS F = R = = 5.03 olarak MS hesalaır. Bu değer, F IN = F 0 = değer aştığı ç değşke de.0,,9 modele dahl edlr ya da modele ekler. Bu oktada gerye kala regresör sadece olu, buu kısm F -statstğ değer, = F 0 = değer 3 E 4 F IN.0,,9 aşmadığı ç lerye doğru seçm yötem soladırılır. İşlemler soucuda oluşturula model yˆ = şekldedr Gerye Doğru Ayıklama Yötem İlerye doğru seçm yötemde, hçbr regresör olmada şe başlar ve uygu br model elde edlee kadar modele değşkeler ekler. Gerye doğru ayıklama yötemde se lerye doğru seçm yöteme zıt yöde çalışılarak y br model bulmaya çalışır. Gerye doğru ayıklama yötemde k tae regresörü tümüü çere br modelle şe başlaır. Daha sora modele dahl edlecek so regresörmüş gb her regresör ç kısm F -statstkler hesalaır. Bu kısm F -statstklerde e küçüğü, öcede seçlmş ola br F OUT ya da F -çıkarıla değer le karşılaştırılır. Öreğ, e küçük kısm F değer, F OUT da daha küçük se o regresör modelde çıkarılır. Bu durumda k regresörlü br regresyo model oluştu. Bu ye model ç kısm F -statstkler hesalaır ve şlem tekrar edlr. Gerye doğru ayıklama yötemde e küçük kısm F değer öcede seçlmş ola kesm değerde ya da F OUT da az olmadığıda soa erer. 8

97 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Gerye doğru ayıklama yötem çok y br değşke seçme yötemdr. Bu yötem, bütü aday regresörler çerme etkler görmek ç araştırmacılar tarafıda terch edlr. Çoklu leer regresyo modelde gerye doğru ayıklama yötem kullaılarak e y model belrlemes öreğ, Örek 4.3 te verlmştr. Örek 4.3. Gerye doğru ayıklama yötem, Örek 4. de verle Hald çmeto vers kullaılarak açıklaacaktır. Ver SAS blgsayar rogramıyla yaıla aalz souda elde edle souçlar Şekl 4.9 da gösterlmştr. Şekl 4.8. Hald çmeto vers SAS blgsayar rogramıyla yaıla aalz soucu (Gerye Doğru Ayıklama Yötem) (Motgomery ve ark., 00). 8

98 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Bu örekte α = 0. 0 alıarak kesm değer F OUT ya da F -çıkarıla belrlemştr. Böylece, F 0.0,, de daha az kısm F -statstğe sah regresör modelde atılacak ya da modelde çıkarılacaktır. Adım 0: oluşturula tam model souçlarıı göstermektedr. E küçük kısm F değer F = 0. 0 olu bu değer 3 e attr. Böylece F = 0. 0 < FOUT = F olduğu ç 3 modelde 0.0,,8 = çıkarılır. Şekl 4.9 da Adım de,, ) üç-değşkel model oluşumuu ( 4 souçları görülmektedr. Bu modeldek e küçük kısm F değer F =. 86 olu 4 e attr. F =.86 < FOUT = F olduğu ç 4 modelde çıkarılır. 0.0,, 9 = Adım de, ) k değşkel model oluşumuu souçları görülmektedr. Bu ( modeldek e küçük kısm F -statstğ F = olu e at değerdr. Bu değer F OUT = F 0.0,,0 = 3.9 değer aştığı ç daha fazla regresör modelde çıkarılamaz. Bu yüzde gerye doğru ayıklama yötem so model oluşturarak soladırılır. Oluşturula model, y ˆ = şekldedr. Dkkat edlrse, bu model lerye doğru seçm yötemyle bulua modelde farklıdır. Ayrıca bu model, bütü aday regresyo modeller tarafıda e y olarak taıtıla modeldr Adımsal Regresyo Yötem Yukarıda taımla k yötem de e y regresyo model belrlemes ç değşk yaklaşımlar çerrler. Bulara ek olarak Efroymso (960) da değşke seçm ç adımsal regresyo yötem öermştr. Bu yötemde lerye doğru seçm yötem br düzelemesde oluşur. Bu yötemde modele daha öce eklee regresörler kısm F -statstkleryle yede değerledrlr. Modele daha öcede eklee br regresör daha sorak adımlarda modelde çıkarılablr. Br değşke ç kısm F -statstğ değer, F OUT ya da F -çıkarıla ı değerde daha az se o değşke modelde atılır. Adımsal regresyo k kesm değere gereksm duyar. Bular F IN ya da F -grle ve F OUT ya da F -çıkarıla 83

99 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ değerlerdr. Çoklu leer regresyo modelde adımsal regresyo yötem kullaılarak e y model belrlemes öreğ, Örek 4.4 de verlmştr. Örek 4.4. Adımsal regresyo yötem, Örek 4. de verle Hald çmeto vers kullaılarak açıklaacaktır. Ver SAS blgsayar rogramıyla yaıla aalz souda elde edle souçlar Şekl 4.9 da gösterlmştr. Şekl 4.9. Hald çmeto vers SAS blgsayar rogramıyla yaıla aalz soucu (Adımsal Regresyo Yötem) (Motgomery ve ark., 00). 84

100 4. REGRESYON MODELLERİNİN OLUŞTURULMASI VE EN İYİ MODELİN SEÇİLMESİ Pel İYİ Bu örekte br regresörü modele grmek ve modelde çıkarmak ç α = alımıştır. Adım : Adımsal regresyo yötem, modelde hç regresör yokke başlar. Ya sabt modelde başlar. Modele öce 4 ü eklemeye çalışır. Kısm F - statstğ değer, F IN = F 0 = değer aştığı ç 4 modele ekler..05,, Adım : modele ekler. 4 ç kısm F -statstğ değer, F OUT = F 0.05,,0 = 4.96 değerde daha az se 4 modelde çıkarılır ya da slr. Kısm F -statstğ değer, F = olduğuda 4 modelde bırakılır. Adım 3: Adımsal regresyo yötem modele y ekler. Bu durumda ve 4 ç kısm F -statstğ F OUT = F 0.05,,9 = 5. değeryle karşılaştırılır. 4 ç kısm F - statstğ değer F =. 86 ve F OUT = olduğuda 4 modelde çıkarılablr ya da sleblr. Adım 4: modelde 4 ü çıkarılmasıyla lgl souçları göstermektedr. Bu oktada gerye kala tek regresör 3 tür. 3 ü kısm F - statstğ değer, F IN değer aşmadığıda 3 modele ekleemez. Bu durumda şlemler soladırılır. Oluşturula model, y ˆ = şekldedr. Dkkat edlrse, bu model gerye doğru ayıklama yötemyle bulua modelle ayıdır. 85

101 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Çoklu leer regresyo modeldek açıklayıcı değşke sayısı k ı fazla olması durumuda öreğ k = 0 olsu. Aday model sayısı 0 k = = 04 olacaktır (Gust ve Maso, 980). Bu durumda e geleeksel yötemler, e de adımsal yötemler kullaılamamaktadır (Wasserma ve Sudjato 994; Bozdoga 003). Çoklu leer regresyo modeldek açıklayıcı değşke sayısıı fazla olması durumuda çoklu leer regresyo model oluşturulmasıda Geetk Algortma kullaılablr (Wallet ve ark., 996). 5.. Geetk Algortmalar Hakkıda Geel Blgler Geetk algortmalar (GA); evrm, gelşm ya da değşm hesalamalarıı br arçasıdır. Geetk algortmalar, Darw evrm teorsde esleerek oluşturulur. Geetk algortmalar, yaay zekaı çok hızlı gelşe br alaıdır (Goldberg, 989). Geetk algortmalar, geellkle br roblem çözümüü kolaylaştırmak ç kullaılır. Br roblem çözümüde geetk algortmaları kullaılması lk defa Joh Hollad tarafıda ortaya atılmıştır. Daha sora keds, öğrecler ve meslektaşları tarafıda gelştrlmştr. Joh Hollad, bu çalışmalar soucuda 975 yılıda Doğal ve Yaay Sstemlerde Adatasyo / Uyum (Adato Natural ad Artfcal Systems) adlı ktabı yazmıştır. 99 yılıda Joh Koza, belrl şler yaablmek veya yere getrmek amacıyla, rogram gelştrmek ç geetk algortmayı kulladı. Bu yötem de Geetk Programlama (GP) olarak adladırdı. Geetk rogramlamada LISP (LISt Processg) rogramlama dl kullaıldı. Buu ede LISP rogramlama dl, geetk algortmalarda da kullaıla soyağacı (arse tree) yaısıı daha kolay ve etk şleyeblmesdr. Her roblem çözümüde roblem yaısıa göre br geetk algortma oluşturulablr (Mchalewcz, 99). Geetk algortma, br roblem çözümü ç br yötem değldr. Buula brlkte geetk algortma br roblem çözümüü elde etmek ç zlee yol olarak fade edleblr (Bauer, 994). 86

102 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Geetk algortmalar, oülasyo (erşkler ya da yetşkler br ktles) dele ve kromozomlar le gösterle çözümler br kümes le başlatılır. Br oülasyoda çözümler alıır. Bu çözümler daha sora ye br oülasyo oluşturmak ç kullaılır. Bu şlem ye oülasyou esk oülasyoda daha y olacağı varsayımıda hareketle yaılır. Ye çözümler (esller) oluşturmak ç seçle çözümler uyguluk ya da uyumluluk değerlere göre seçlr (Goldberg, 989). Geetk algortmada kullaıla şlemler ye br oulasyou oluşturmak ç kullaılır. Bu şlemler tamame uyguluk foksyoua bağlı olarak gerçekleşr. Geetk algortmayla lgl bazı kavramlar aşağıda açıklamıştır. Üreme: Üreme şlem bell br seçme krtere göre breyler seçl ye kuşağı oluşturulması şlemdr. Seçme krterler uyumluluğu esas alarak brbryle uyumlu ola breyler seçer. Daha sora çarazlama ve mutasyo uygulaacak ola breylerde daha uyumlu ye breyler ortaya çıkması olasıdır. Breyler tamamı uyumluluğa göre seçleblr veya br kısmı rasgele seçlerek ye kuşağa aktarılablr. Çarazlama: Kromozomları asıl temsl edleceğe karar verldkte sora çarazlama yaılablr. Çarazlamada ebeveylerde bazı geler alıır ve ye breyler oluşturulur. Kromozom Kromozom Brey Brey Çarazlama yaılacak koum rasgele seçlr ( ). Oluşa ye brey ebeveyler bazı özellkler almış ve br bakıma ks koyası olmuştur. Çarazlama şlem başka şekllerde de yaılablr. Öreğ brde fazla çarazlama oktası seçleblr. Daha y erformas almak amacıyla değşk çarazlamalar kullaılablr. Mutasyo: Çarazlama gerçekleştkte sora mutasyo gerçekleştrlr. Mutasyo oluşa ye çözümler öcek çözümü koyalamasıı ölemek ve souca daha hızlı ulaşmak amacıyla yaılır. Mutasyo oluşa ye brey (eğer kl düzede fade edlmşse) br bt rasgele değştrr. 87

103 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Orjal Brey Orjal Brey Değşmş Brey Değşmş Brey Eltzm: Üreme, çarazlama ve mutasyo şlemler sorasıda kuşakta bulua e y uyumluluğa sah brey sorak kuşağa aktarılamayablr. Buu ölemek ç bu şlemlerde sora oluşa ye kuşağa br öcek kuşağı e y (elt) brey, ye kuşaktak herhag br brey le değştrlr. Bua eltzm adı verlr. Geetk algortmaı çarazlama olasılığı ve mutasyo olasılığı olmak üzere k arametres vardır: Çarazlama olasılığı çarazlamaı hag sıklıkta yaılacağıı belrtr. Eğer hç çarazlama yaılmazsa (bu durumda çarazlama olasılığı %0 dır) ye breyler esk breyler ayısı olur. Bu ye kuşağı esksyle ayı olacağı alamıa gelmez. Eğer bu ora %00 olursa ye breyler tamamıyla çarazlama le elde edlr. Çarazlama esk breylerde y taraflar alıarak elde edle ye breyler daha y olması umuduyla yaılır. Mutasyo olasılığı se mutasyou hag sıklıkta yaılacağıı belrtr. Mutasyo olmaz se ye brey çarazlama veya koyalama sorasıda olduğu gb kalır. Eğer mutasyo olur se ye brey br kısmı değştrlmş olur. Eğer bu ora %00 olursa kuşak çdek breyler tamame değşr, %0 olursa hç değşmede kalır. Geetk algortmada kullaıla başka arametreler de vardır. Buları e öemllerde brs de oulasyo büyüklüğüdür. Bu arametre oulasyo çde (yalızca br kuşakta) kaç adet kromozom ya brey olduğuu söyler. Eğer kromozom sayısı az olursa GA çözüm araa uzayı acak br kısmıı gezeblr ve çarazlama ç fazla br seçeeğ yoktur. Kromozom sayısı çok fazla olursa GA çok yavaş çalışır. Araştırmalar bell br oktada sora oulasyo sayısıı artırmaı br yararı olmadığıı göstermştr. Ye breyler uyumluluğa göre veya rasgele olarak seçleblr. Ye breyler tamame rasgele seçlme durumuda yakısama zorlaşablr. Bu durumda çözüme ulaşmamız zorlaşablr. Bu soruları üstesde gelmek ç bell br orada uyumluluk seçm bell br orada da rastgele seçm yaılablr. Bu oraa Kuşak Farkı 88

104 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ (Geerato Ga) der. Kuşak farkı %00 olduğuda ye breyler tamamı uyumluluğa göre seçlr. Geel olarak br geetk algortmaı adımları aşağıda açıklamıştır (Bozdoga, 003).. Başlagıç: adet kromozom çere oulasyou oluşturulması (roblem uygu br çözümü).. Uyumluluk: her kromozomu ç uyumluluğu f ( ) değerledrlmes. 3. Ye oulasyo: Ye oulasyo oluşucaya kadar aşağıdak adımlar tekrarlaır. 3.. Seçm: İk ebevey kromozomu uyumluluğua göre seçm (daha y uyum seçlme şasıı artırır.) 3.. Çarazlama: Ye br fert oluşturmak ç ebeveyler br çarazlama olasılığıa göre çarazlaması. Eğer çarazlama yaılmazsa ye fert ae veya babaı koyası olacaktır Mutasyo: Ye ferd mutasyo olasılığıa göre kromozom çdek koumu (lokus) değştrlr Ekleme: Ye brey ye oulasyoa eklemes. 4. Değştrme: Algortmaı yede çalıştırılmasıda oluşa ye oulasyou kullaılması. 5. Test: Eğer souç tatm edyorsa algortmaı soa erdrlmes ve so oulasyou çözüm olarak suulması. 6. Dögü:. adıma ger döülmes. Bu adımlar, aşağıda kısaca açıklamıştır. Adım-. Bu adıma oulasyoda buluacak brey sayısıı belrleyerek başlaır. Kullaılacak sayı ç br stadart yoktur. Geel olarak öerle aralığıda br büyüklüktür. Büyüklük seçmde yaıla şlemler karmaşıklığı ve aramaı derlğ öemldr. Poulasyo bu şlemde sora rasgele oluşturulur. Adım-. Kromozomları e kadar y olduğuu bula foksyoa uyguluk foksyou der. Bu foksyo şletlerek kromozomları uyguluklarıı bulumasıa se evaluato adı verlr. Bu foksyo geetk algortmaı e öeml kısmıı oluşturmaktadır. Geetk algortmada robleme özel çalışa tek kısım bu foksyodur. Uyguluk foksyou, kromozomları roblem 89

105 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ arametreler hale getrr. Oları br bakıma şfres çözmektedr. Bu şleme de decodg der. Sora bu arametrelere göre hesalamayı yaarak kromozomları uyguluğuu bulur. Bu foksyo e kadar hassas ve verml se Geetk algortma da o kadar başarılı souçlar verr. Adım-3. Kromozomları eşlemes kromozomları uyguluk değerlere göre yaılır. Bu seçm yamak ç rulet tekerleğ seçm (roulette wheel selecto), turuva seçm (Touramet Selecto) gb seçme yötemler vardır. Örek olarak bu çalışmada kullaıla rulet tekerleğ seçm aşağıda açıklamıştır. - Tüm breyler uyguluk değerler br tabloya yazılır. Geetk algortmada başarı olasılığı ç gerekldr. - Bu değerler tolaır. 3- Tüm breyler uyguluk değerler tolama bölüerek [0,] aralığıda sayılar elde edlr. Bu sayılar breyler seçlme olasılıklarıdır. Sayıları hes br tabloda tutulur. 4- Seçlme olasılıklarıı tuttulduğu tablodak sayılar brbre ekleerek rastgele br sayıya kadar lerler. Bu sayıya ulaşıldığıda ya da geçldğde so eklee sayıı at olduğu çözüm seçlmş olur. Bu yöteme rulet tekerleğ seçm sm, br darey, çözümler uyguluklarıa göre dlmley çevrdğmzde olacakları bezeşm olduğu ç verlmştr. Rulet tekerleğ seçm çözümler uyguluk değerler egatf olmamasıı gerektrr. Çükü olasılıklar egatf olursa bu çözümler seçlme şası yoktur. Çoğuluğuu uyguluk değer egatf ola br oulasyoda ye esller bell oktalara takılı kalablr. Ge takası (crossover) geetk algortmaı e öeml aracı olarak kabul edlr. Bastçe olay k ebevey kromozomu arasıda belrlee arçaları takasıdır. Geetk algortmalar bu olayı bezeşm temelde: Tek oktalı (Sgle (oe) ot crossover) ve Çok oktalı (Mult ot crossover) şekldedr. Ge takası adı verle k yolla yaar. Geetk algortmalarda klk dz (bary strg) çok kullaılır. Doğadak geler bezeşm brer bt olarak gösterlr. İklk dzlerde br ge takası aşağıdak gb gerçekleşeblr. 90

106 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Öce Sora Fert A Fert B Crossover oktası Ge takası oulasyoda çeştllğ sağlar. İy özellkler br araya gelmes kolaylaştırarak e yye yaklaşmayı sağlar. Değştrme kromozomu br arçasıı dışarıda değştrlmes şeklde taımlaır. Değştrme görüüşte geetk algortmaı dayaak oktasıdır, acak etks br çözüm üzerdedr. Bu da yalız başıa başarılı olmasıı zorlaştırır. İklk dzlerde değştrme rasgele br bt değştrlmesyle sağlaablr. Çok düşük br değştrme olasılığı oulasyoda bazı özellkler kaybolmasıa ede olablr. Örek br roblemde geetk algortmayı uygulayarak bu adıma geldk. Poulasyoda cros-over veya mutasyo şlem uygularke düşük seçlme olasılıklı br brey alıırsa veya yüksek seçlme olasılıklı br brey elerse bu roblemde e y souçları bulumasıa egel olur. Acak yüksek br değştrme olasılığı da eldek çözümler bozarak souca ulaşmayı zorlaştırır. Ge takası ve değştrme olasılıkları ç kes br sayı yoktur. Değştrme (mutasyo) olasılığı , ge takası (cross-over) olasılığı aralığıda tavsye edlr. Adım-4. Esk kromozomlar çıkartılarak sabt büyüklükte br oulasyo sağlaır. Adım-5. Tüm kromozomlar yede hesalaarak ye oulasyou başarısı buluur. Adım-6. Geetk algortma defalarca çalıştırılarak çok sayıda oulasyo oluşturulu hesalaır. Adım-7. Poulasyoları hesalaması sırasıda e y breyler sakladığı ç o aa kadar bulumuş e y çözüm, çözümdür. 5.. Çoklu Leer Regresyo Modelde E İy Model Oluşturulmasıda Geetk Algortmaı Kullaılması ve Blg Karmaşıklık Krter Çoklu leer regresyo aalzde, lojstk regresyo aalzde ya da sıralı lojstk regresyo aalzde olduğu gb regresyo t modellerde model oluşturma ve hesalama ve açıklayıcı değşkeler uygu alt küme seçm ver madeclğde 9

107 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ merkez br roblemdr (Lag ve Bozdoga, 003). Çoğu kez açıklayıcı değşkeler br alt kümes verldğde br mktarsal,kl veya sıralı düzeyde yaıt değşke çalışır.böyle durumlarda açıklayıcı değşkeler hagler yaıt değşkedek tolam değşm açıklamak ç ve çok fazla sayıdak regresyo katsayılarıı yorumlamak ç kullaılacağıı belrlemek öemldr. Çok fazla sayıda açıklayıcı değşke olması durumuda ve araştırmacıı bu değşkeler arasıdak tam lşk hakkıda blg sahb olmaması durumuda e y regresyo model seçme roblem açık/aşkar olmaya br alıştırmadır. Br çok durumda mümkü / olası modeller sayısı oldukça fazladır. (Öreğ, 0 de fazla açıklayıcı değşke olması durumuda mümkü/olası modeller sayısı mlyou geçmektedr. Bu durumda zama ve malyet bakımıda alt kümeler kombasyolarıı mümkü / olası modeller hesalaması gerçekç değldr. Bu edele,sayısal otmzasyo tekklere ve model seçm stratejlere gereksm vardır.sayısal tekkler kullaılarak alt küme seçm roblem çözümü geel olarak k bleşe gerektrr. Bular:. Çözüm uzayıı etk olarak araştırılması ç br algortma.. E y model seçme kılavuzluk edecek yarışa modeller karşılaştırılması ç br krter veya ölçüm. İstatstksel aalz ç br çok statstksel aket rogram,e y alt küme model seçmek ç gerye doğru ayıklama ve lerye doğru seçm gb adımsal seçm yötemler sağlar / çerr. Buula brlkte,regresyo aalzde gerye doğru ayıklama ve lerye doğru seçm adımsal yötemler her ks de k değşke br kümesde açıklayıcı (redctor) değşkeler e y alt kümes dama bulmaz. Gerye doğru ayıklama ve lerye doğru seçm adımsal yötemler hakkıda e öeml krtkler(eleştrler):. Algortmaya hag değşkeler modele dahl edleceğ veya modelde çıkarılacağı sıralaması ç teork düzelemeler bulumaması / olmaması (Boyce ve ark., 974, s.9; Wlkso, 989, s.77-78).. Aalzde madole dahl edlecek ve modelde çıkarılacak değşkeler belrtle br ror olasılıklarıı seçmyle lgl herhag br teork düzelemeler bulumaması/ olmamasıdır. 9

108 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ 3. Dğer br krtk (eleştr), adımsal arama arasıra (adre) geel e y model bulur veya hatta özel br hacmdek e y alt kümey bulur (Matel 970, Hockg 976, Hockg 983, Moses 986). 4. So olarak ve e öemls yerel araştırmaya başvurulduğuda adımsal seçm geş çözüm uzayıı küçük br alaıda oldukça sıırlı br öreklem sağlar. Adımsal seçm e ysde sadece yeterl model oluşturur (Sokal ve Rohlf, 98, s.668). Regresyo aalzde mevcut roblemler yukarıdak açıklamalarıa dayalı olarak bu çalışmaı amacı çoklu regresyo modellerde alt küme seçm ç blg tabalı model seçm krtere ve geetk algortmaya (GA) dayalı hesalama bakımıda uygulaablr akıllı ver madeclğ taıtmak ve gelştrmektr.buradak yaklaşım ayı zamada üç yölü hbrd olarak lojstk regresyo ve sıralı lojstk regresyo modellere geşletleblr. Sıralı lojstk regresyo modellerde e y açıklayıcı değşkeler alt küme seçm ç Lag ve Bozdoğa (003) celeeblr. Br geetk algortma geş sayıda mümkü/olası çözümler buluduğu roblem çözümüe uygulaable ve byolojk değşm/döüşüm ve doğal seçme dayalı stokastk (rastgele) arama algortmasıdır. Geetk algortmalar mühedslk,ekoom,oyu teors (Hollad, 99), hesalama blmler (Forrest, 993), azarlama (Bauer, 994) ve byoloj (Sumda ve ark., 990) gb geş br alada kullaılablr. Geleeksel otmzasyo yaklaşımıda farklı olarak geetk algortma amaç foksyouu gradyalarıı hesalamaya gereksm duymaz ve br yerel otmuma sıırlamaz (Goldberg, 989). Br geetk algortma br kl strg haldek kodları br dzs olarak blgledrr. İkl strgler verle robleme farklı çözümler gösterr. Bu strgler br kromozom üzerdek geler tarafıda kodlaa geetk blgye aalog modellerdr. Br strg roblem çözmek ç özel yeteeğ ç uyum / uyguluk değerlere göre hesalaablr. Uyum değerler tabaıda strgler, her br çalıştırmada sora ve aalzde roblem çözümü ç kullaılır ya da atılır. Br çok çalıştırmada sora e y çözüm belrler / test edlr. Herhag br geetk algortmadak zorluk, her br çözümü hesalamak ç temel olarak uygu br uyum foksyouu seçmdr. 93

109 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Çoklu regresyo aalze göre uyum değer e y alt küme araştırılmasıda alt küme modeller karşılaştırılması ç br alt küme seçm krterdr. Bu blgsel model seçm krter kullaılarak kolaylıkla belrleeblr ICOMP Blg Karmaşıklık Krter Kullaılarak Geetk Algortmaı Uygulaması Geel olarak statstksel modelleme ve model hesalama roblemlerde model karmaşıklığı kavramı öeml br rol oyar. Karmaşıklık bağlatı yaıları olarak tasarımlar ve model bleşeler etkleşmler çerr. Geel model karmaşıklığıı br ölçümü olmaksızı model davraışıı tahm etmek ve model kaltes değerledrmek zordur. Bu detaylı statstksel aalze ve verle solu br öreklem ç yarışa modeller tümü arasıda e y model seçmek ç hesalamalara gereksm duyar. Bu bölümde statstksel souç çıkarmaya uygu ye yaklaşımları oluşumua yardımcı olmak ç statstksel modellemede geel model karmaşıklığıı br ölçümüü blg-teork düşüceler gelştrlecek ve gösterlecektr. Yakı zamada Akake (973) orjal AIC ke dayalı br çok modelseçm rosedürü öerlmştr (Sclove, 987). Model seçmde AIC bu formu, ( ) ( ˆ θ ) ( ) AIC k = logl + m k (5.) k bçmdedr. Burada L( ˆk θ ), maksmum yaıla lkelhood foksyo; ˆk θ, altıda θ k arametre vektörüü maksmum lkelhood tahm ve, m( k ), olduğuda bağımsız arametreler sayısıdır. AIC de uzlaşma,maksmum yaıla log lkelhood ya logl( ˆ θk ) M k model M k model (uyumu eksklğ bleşe) ve m( k ) arasıda yer alır. Model çde tahm edle serbest arametreler sayısı (ealtı bleşe) karmaşıklığı br ölçümüdür ayı zamada maksmum lkelhood tahm edc kullaıldığıda uyumu eksklğdek yalılıktır. 94

110 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ AIC kullaılmasıda Akake (987) ye göre arametre tahmler doğruluğu br evresel krter le ölçülür. Bu, Doğruluk Ölçümü = E [ Oluşturula Model Lkelhoodu ] (5.) bçmdedr. Burada E beklee değer göstermektedr. Çükü AIC, eks k çarı loglkelhoodu beklee değer br yasız tahmdr. AIC deke bezer şekldek celemelerde hareketle şlemler yaılmıştır.buula brlkte ye rosedür va Emde (97) blg-tabalı kovaryas karmaşıklık deks br geelleştrlmes yoluyla br elemaı veya rasgele vektörler yaısal karmaşıklığı üzerde ICOMP a dayadırılmıştır. Br geel çok değşkel leer ya da leer olmaya model, İstatstksel model = Syal + Gürültü (5.3) bağıtısıyla taımlaır. ICOMP, Kayı=Uyumu eksklğ+tutumluluğu eksklğ+karmaşıklığı ö brleşm (5.4) şekldek br kayı foksyou tahm etmek ç blg teors ekleme özellkler kullaılarak değşk yollarla tasarlaır. Buradak yaıla çalışmada şlemler Rssae (976) dak tahmde ve model taımlama roblemlerde so tahm krtere (fal estmato crtero (FEC)), ayı zamada Akake (973) AIC ke ve Bozdoga (987) dek AIC aaltk geşlemelere bezer şeklde celemştr. ICOMP u oluşturulması ve gelştrlmes orjal olarak Va Emde (97) tarafıda taımlaa kovaryas karmaşıklık deks br geelleştrmese dayalıdır. Drek olarak serbest arametreler saysıı cezaladırma yere ICOMP model kovaryas karmaşıklığıı cezaladırır. ICOMP, 95

111 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ ( ˆ θ ) ( ˆ ) ICOMP = logl + C Σ Model (5.5) le taımlaır (Bozdoga, 003). Burada, L( ˆk θ ) maksmum yaıla lkelhood foksyoudur. ˆk θ, M k model altıda θ k arametre vektörüü maksmum lkelhood tahmdr. C, br gerçel-değerl karmaşıklık ölçümüdür. ( ˆ) Cov θ =Σ ˆ Model model arametre vektörüü tahm edle kovaryas matrs göstermektedr. ICOMP u değşk formları ve düzelemeler olduğuda (5.5) dek eştlğe dayalı olarak bu çalışmada ICOMP u e geel formu gösterlecektr. ICOMP u e geel formu ICOMP(IFIM) dr. ICOMP(IFIM), maksmum lkelhood tahmler yble asmtotk otmallk özellğ açıklar ve br model verse-fsher blg matrs (IFIM) blg tabalı karmaşıklığıı kullaır. Bu, Cramér-Rao alt sıır matrs olarak blr (Cramér 946, Rao 945, Rao 947, Rao 948). ICOMP(IFIM) elde etmede öce karmaşıklık kavramıı alamaya çalışmak ç bazı ö blgler verelm ve daha sora br sstem karmaşıklığıı taımıı verelm Karmaşıklık Krter ve Br Sstem Karmaşıklığı Karmaşıklık, statstksel modeller br geel özellğdr ve modeller olasılık taımlarıda / özellklerde, yaısıda veya özel çerğde çoğulukla bağımsızdır. Lteratürde, karmaşıklık kavramı br çok değşk çerkte kullaılmıştır. Va Emde (97) e göre tasarım alaşılması zor olduğuda geel olarak statstkte karmaşıklığı tek br taımı yoktur. Karmaşıklığı br çok yöü vardır ve Kolmogorov karmaşıklığı (Cover ve ark., 989), Shao Karmaşıklığı (Rssae 987, 989) gb br çok adlar altıda taımlaır. Blg teork kodlama teorsde Rssae (986, 987, 989), modeller sııfları tarafıda ortaya çıkarılable verler ç e kısa kod uzuluğu csde karmaşıklığı taımlaya Kolmogorov (983) deke bezer şeklde karmaşıklığı taımlamıştır ve ou Stokastk Karmaşıklık (SC) olarak adladırmıştır. Wallace ve Freeme (987), Wallace ve Dowe (993) ve 96

112 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Bater (996) karmaşıklığı Mmum Mesaj Uzuluğu (Mmum Message Legth- MML) csde taımlamıştır. Mmum mesaj uzuluğu, very kasaya br mesajı sıkıştırma yeteeğe göre modeller hesalamasıa dayalıdır. Karmaşıklığı alaşılması ve ver ışığıda belrszlğ çalışmak ç (tümevarımsal) souç çıkarmak geel model oluşturma teorsde çok gerekldr. İstatstksel modeller ve yötemler tam olarak tümdegelml değldr. Çükü salar çoğu zama belrszlk durumuda souç çıkarırlar. Tümevarımsal souç çıkarma, br hotezde veya model uzayıda br arametrey veya br model seçme roblemdr. Çalışıla very e y açıklar (Bater, 996). Akake (994) de celedğ gb belrszlk altıda souç çıkarma Perce (955) tarafıda çalışılmıştır. Perce buu kaçırma matığı ya da kısaca kaçırma olarak adladırdı. Kaçırma, souç çıkarmaı br yoludur, geel resler ve ye gerçekler elde etmek ç gözlee gerçekler kullaır. Hes br belrszlk dereces vardır. Kaçırma ümerk foksyoları kullaarak yer alır ve blg teork model seçm krter gb büyüklükler ölçer. Perce blmsel çalışmaı orjal bölümüü çoğuu kaçırma aşamasıyla veya uygu hotezler seçm aşamasıyla lgl olduğu kousuda ısrar etmştr. Bu edele karmaşıklığı tasarımı yardımıyla kaçırmaya dayalı souç çıkarma ç br sstematk rosedür gelştrmek öğreme ve değşm/evrmleşme şlem alamak öcelkle yaılması gereke şlemdr (Vo Neuma, 966). Bu çerçevede statstksel modelleme ve model oluşturma, kaçırma blmdr. Bu edele karmaşıklığı çalışılması uygu hotezler model seçm veya ver madeclğ ş çde modeller ç oldukça öemldr. Aşağıda br statstksel olarak taımlamış ölçümde hareketle karmaşıklığı bast sstem teork taımı verlmştr (Bozdoga, 003). Taım 5.. Herhag br t sstem karmaşıklığı tüm sstem ve bu sstem br bast sayılablr bleşe veya kısmı arasıda karşılıklı bağımsızlığı dereces br ölçümüdür. Karmaşıklığı bu taımıı br modeldek arametreler tahm sayısı alamıa gele ve lteratürde sıkça kullaılada farklı olduğua dkkat edz. Amaç 97

113 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ ç br model karmaşıklığı model bleşeler etkleşmler csde daha doğal olarak taımlaır ve gereksm duyula blg tam olarak taımladığı yolla model oluşturmaktır. Bu edele karmaşıklığı tasarımı br gerçek düya sstem kasamı çde ortaya çıka br statstksel model celemeyle daha y açıklaablr. Öreğ sstem fzksel, byolojk, sosyal, davaraış blme at, ekoomk ve bua bezer olablr, celee sstem yaıtları rasgele olmaktadır. Taım 5. de taımlaa karmaşıklık olarak tüm sstem, S olsu, bleşelerde e kadar farklı olduğuyla lglelr. C, br sstem karmaşıklığıı gerçel-değerl ölçümüü gösters,bu durumda C( S ), tüm sstem le ayrıştırıla bleşeler arasıdak farkı mktarıı ölçecektr. Blg teork yorum kullaılarak bu mktar eldek olasılık model ortak dağılımı le model marjal dağılımlarıı çarımı arasıdak ayrıştırma blgs olarak taımlaır. Ayrıştırma blgs dağılımlar ayı se sıfırdır ve dğer durumda oztftr (Va Emde 97) Ya, karmaşıklık kavramıı br sabt deks csde değerledrmek ç etkleşmler br matematksel taımdak etkleşmler fade etmelyz. Bu blg teors cazbesyle başarılablr, çükü bu ekleeblrlk ve özellkler kısıtlama ve bağımlılıkları ölçmeye z gb geleeksel rosedürlere göre bazı öeml aaltk avatajlar taşır (Va Emde 97; Bozdoğa 990) Çoklu Leer Regresyo Model İç Blg Krter Çoklu leer regresyo model matrs formuda, y=xβ + ε (5.6) şeklde fade edleblr. Burada y, tde br vektörü, X, tde br matrs, β, tde br vektörü ve ε, tde br vektörü göstermektedr. ε ~ N(0, σ I) ormal dağılımıa sahtr. =,,..., ç ε ~ N(0, σ ) ormal dağılımıa sahtr (Motgomery ve ark., 00). Bu durumda gözlemler ç regresyo model yoğuluk foksyou, 98

114 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ 99 = ) ( e ) ( ),, ( σ β πσ σ β y y f (5.7) olarak yazılablr. Ya rastgele gözlemler vektörü y, β X ortalama vektörlü ve I σ kovaryas matrsl çok değşkel ormal dağılıma sahtr. Bu durumda öreklem lkelhood foksyou, = ) ( ) ( e ) ( ),, ( σ β β πσ σ β X y X y X y L (5.8) olur. Log lkelhood foksyou se ) ( ) ( log ) log( ), ( σ β β σ π σ β X y X y l = (5.9) olur. Magus ve Neudecker (999) u matrs dfferasyel aalz kullaılarak, ), ( σ β arametreler ) ˆ ˆ, ( σ β maksmum lkelhood tahmler, y X X X ) ( ˆ = β (5.0) ve X y X y ) ˆ ( ˆ) ( ˆ β β σ = (5.) olarak elde edlr. Tahm edle regresyo katsayılarıı maksmum lkelhood kovaryas matrs, ) ( ˆ ˆ) ( ˆ = X X ov C σ β (5.)

115 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ dr. Burada X matrse merkezleştrme ve ölçekledrme uygulamamıştır. Fsher Blg Matrs IFIM, ˆ σ ( X X ) 0 ˆ ov( ˆ, β ˆ σ ) = Fˆ = ˆ σ (5.3) 0 C 4 olarak taımlaır (Bozdoğa, 003) Karmaşıklık Ölçülere Dayalı ICOMP Değer C ( ) ve C ( ) sırasıyla, 0 Σ Σ C0 ( Σ) = log( σ jj ) log Σ (5.4) j= ve ( Σ) ( tr C Σ) = log log Σ (5.5) olarak taımlası. Burada σ jj = σ j olu, Σ varyas kovaryas matrs j-c köşeğe elemaıdır., Σ varyas kovaryas matrs boyutudur. C ( ) karmaşıklık taımıa dayalı olarak 0 Σ ICOMP (Re g) değer, C0 ICOMP(Re g) log ( ˆ) ( ˆ C = L θ + C0 Cov( ˆ)) 0 β q = log( π ) + log( ˆ σ ) + + log j= ( ˆ σ ( ˆ) β ) jj ( ˆ σ ( ˆ) β ) log Cˆ ov( ˆ) β q q log( π ) + log( ˆ σ ) + + log jj log( λ j ) (5.6) j= j= = 00

116 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ olarak taımlaır (Bozdoğa, 003). Bezer bçmde C ( ) karmaşıklık taımıa dayalı olarak ICOMP (Re g) değer, C Σ ICOMP(Re g) log ( ˆ) ( ˆ C = L θ + C Cov( ˆ)) β ˆ q tr( Cov( ˆ)) β = log(π ) + log( ˆ σ ) + + log q log Cˆ ov( ˆ) β q λa = log(π ) + log( ˆ σ ) + + log λg (5.7) olarak taımlaır (Bozdoğa, 003). IFIM tahm kullaıldığıda ICOMP (IFIM ), ICOMP( IFIM ) regresyo = log L( ˆ θ M ) + C ( Fˆ ( ˆ θ M )) ˆ = log(π ) + log( ˆ σ ) + + C ( F ( ˆ θ )) (5.8) M olarak taımlaır. Burada C ( Fˆ 4 ˆ σ tr ˆ σ ( X X ) + 4 ˆ = + ˆ σ ( θ q X X M )) ( )log log ˆ σ ( ) log q + dr Çoklu Leer Regresyo Model İç Br Geetk Algortma Öcelkle Geetk algortmada kullaıla göstermler açıklayalım. Geetk algortmaı amacı ve şlev fazla sayıda açıklayıcı değşke çere çoklu leer regresyo modellerde e y model bulmaktır. Geetk algortmada br model, o modeldek arametreler var olu olmadığıa bakılarak kl sstemde gösterlr. Öreğ: y = β + β X + β X + β X + ε model klk sstemde bçmde

117 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ y = β + β X + β X + ε model klk sstemde 0 bçmde 0 y = β + β X + β X + ε model klk sstemde 0 bçmde y = β + β X + β X + ε model klk sstemde 0 bçmde y = β + β X + ε model klk sstemde 00 bçmde 0 y = β + β X + ε model klk sstemde 00 bçmde 0 y = β + β X + ε model klk sstemde 00 bçmde y = β0 + ε model klk sstemde 000 bçmde gösterlr. Regresyo modeller 0, 0, 0, 00, 00, 00 ve 000 göstermler her bre br kromozom der. Çoklu leer regresyoda model seçm roblem ç Geetk algortmaları buradak uygulaması, Goldberg (989) tarafıda yaıla çalışmaya bezer şeklde gerçekleştrlmştr. Çoklu leer regresyo model matrs formuda, y=xβ + ε (5.9) şeklde fade edleblr. Burada y, tde br vektörü, X, tde br matrs, β, tde br vektörü ve ε, tde br vektörü göstermektedr. Regresyo modeller alt kümesde model seçm roblem ç br geetk algortma aşağıdak adımlar zleerek oluşturulablr (Goldberg 989, Mchalewcz 99). Goldberg tarafıda oluşturula geetk algortma Bast Geetk Algortma (Smle Geetc Algorthm) olarak adladırılır. Bast Geetk Algortma aşağıdak bleşeler çerr Çoklu Leer Regresyo Modeller İç Br Geetk Kodlama Şeması Çoklu leer regresyo model br kl strg (0 ve karakterler br dzs) olarak kodlaır. Çoklu leer regresyo model temsl ede kl strg uzuluğu (kl strgte bulua 0 ve karakterler sayısı) ayıdır. İkl strgtek her br koum, açıklayıcı değşke modelde bulumasıa () veya bulumamasıa (0) bağlı 0

118 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ olarak veya 0 karakterlerde bryle doldurulur. Her br kl strg, açıklayıcı değşkeler farklı kombasyolarıı göstere br kl kodlama çerr. Öreğ, çoklu leer regresyo modelde beş açıklayıcı değşke ( k = 5 ) bulusu. Bu çoklu leer regresyo model sabt term çers. Böyle br çoklu leer regresyo model ç kl strg kodlaması Tablo 5. dek bçmde olablr (Bozdoğa, 003). Tablo 5.. Beş açıklayıcı değşke bulua ve sabt term çere çoklu leer regresyo model ç kl strg gösterm β 0 β β β 3 β β Tablo 5. dek kl strg gösterme göre çoklu leer regresyo model: sabt term,, 4 ve 5 açıklayıcı değşkeler çermektedr; buula brlkte, 3 açıklayıcı değşkeler çermemektedr Çoklu Leer Regresyo Model İç Geetk Algortmada Kullaılacak Başlagıç Poülasyouu Oluşturulması Poülasyo hacm (br ktledek erşkler ya da yetşkler sayısı) ya da dğer br fadeyle erşkler veya yetşkler ç model sayısı N, geetk algortmaı öeml br arametresdr. Poülasyo hacm, br oluşumda ya da eslde, br ktlede kaç kromozom olduğuu belrtr. Çok az sayıda kromozom varsa, geetk algortma çarazlama (crossover) yamak ç oldukça az olaağa sahtr. Bu durumda araştırma uzayıı sadece küçük br kısmı açıklaır. Buula brlkte, çok fazla sayıda kromozom varsa geetk algortma çarazlama (crossover) yamak ç oldukça fazla olaağa sahtr. Bu durumda araştırma uzayıı büyük br kısmı açıklaır. Bu durumda se geetk algortma yavaşlar. Araştırmalar, temel olarak robleme ve çözümlemeye bağlı olarak bazı kısıtlamalarda sora ktle hacm arttırmaı kullaışlı olmayacağıı göstermştr. Çükü bu roblem daha hızlı çözmey sağlamaz. 03

119 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ İlk öce N tae erşk ya da yetşk model alıır. Bu durumda N, geetk algortmayı başlatmak ç erşk ya da yetşk modeller sayısıı gösterr. N rasgele olarak değl, araştırmacıı steğe bağlı olarak seçlr. Buradak geetk algortma esek olduğuda N herhag br sayı olarak seçleblr Herhag Br Çoklu Leer Regresyo Model Performasıı Değerledrlmes ç Br Uyum Foksyou Çoklu leer regresyo aalz ç geel olarak geetk algortmada kullaıla uyum foksyou ç br model seçm krterler kullaılmalıdır. Bu çalışmada karmaşık blg krter ICOMP (Iformato COMPlety) krter kullaılacaktır. Aalzcler ya da araştırmacılar gereksmlere veya öcelklere dayalı olarak herhag br uygu model seçm krter seçeblrler (Bozdoğa, 003) Oluşturula Çoklu Leer Regresyo Modeller Seçmek ç Br Mekazma Bu adım eşleştrme ya da çftleştrme havuzuda (matg ool) brleştrme ç modeller ICOMP( IFIM ) değerlere dayalı olarak modeller seçme şlemde oluşur. Burada IFIM (Iverse Fsher Iformato Matr), modeller verse Fsher blg matrsler göstermektedr. Poülasyoda ya da erşkler veya yetşkler oluşturduğu N tae modelde olası altküme modellerde her br ç ICOMP( IFIM ) değerler hesaladıkta sora oülasyodak e yüksek krter değerde her br model ç krter değer çıkarılır. Dğer br fadeyle =,,..., N ç ICOMP() ( IFIM ) = ICOMP( IFIM ) mak ICOMP( IFIM )() (5.0) değer hesalaır. Burada N oülasyo hacmdr ya da erşkler veya yetşkler oluşturduğu modeller sayısıdır. 04

120 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Br sorak adımda bu farkları ya da ICOMP( IFIM ) değerler ortalaması hesalaır. Ya, N ICOMP( IFIM ) = ICOMP() ( IFIM ) (5.) N = hesalaır. Daha sora da her br model fark değer ortalama fark değere oraı hesalaır. Ya, ICOMP() ( ) IFIM ICOMP( IFIM ) (5.) hesalaır. Bu değer hag erşkler veya yetşkler eşleştrme ya da çftleştrme havuzua alıacağıa karar vermede kullaılır. Br model eşleştrme ya da çftleştrme havuzua alımasıı şası bu değerle oratılıdır. Ye esller oluşturulması ç erşkler veya yetşkler seçlmes şleme ye esl modeller sayısıı başlagıçtak erşk veya yetşk modeller sayısıa N (oülasyo hacm) eşt olaa kadar devam edlr. Bu şlem orasal seçm (roortoal selecto) ya da uyum (fttg) olarak adladırılır. Ayı zamada ICOMP le uyum ya da sıra seçm (rak selecto) vardır (Bearse ve Bozdoga, 00) Ye Nesl Çoklu Leer Regresyo Modeller Üretmek İç Erşk Modeller Eşleştrlmes Yamak Amacıyla Br Yede Üretm İşlem Erşk modeller çftleştrlmes ya da eşleştrlmes, br çarazlama şlem olarak hazırlaır. Çarazlama ç seçle br erşk model, P ç çarazlama olasılığı veya çarazlama hızı le kotrol edlr. P ç çarazlama olasılığıı sıfır (0) olması, çftleştrme şleme alıa elemaları br sorak oluşuma taşıması ve herhag br 05

121 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ ye esl oluşturulmaması alamıdadır. Çarazlama olasılığıı br () olması, çftleştrme şlem ya da çarazlamaı her zama çftleştrme şlem ç seçle herhag k erşk model arasıda olacağı ya br sorak oluşumu ye esl modellerde oluşacağı dğer br fadeyle br öcek oluşumda herhag br model olmayacağı alamıdadır. Çarazlama şlemde çarazlama oktası olarak erşk modeller kl strgler her br çft boyuca rasgele br koum seçlr. Erşk modeller herhag br çft ç kl strgler çarazlama oktasıda k arçaya ayrılır. Çarazlama şlemde, çarazlama oktası olarak adladırıla bu oktaı sağıdak k kl strg bölümler k ye esl kl strg oluşturmak amacıyla erşk modeller kl strgler arasıda karşılıklı yer değştrlr. Bu şlem Şekl 5. de gösterlmştr. Erşk A Erşk B Çarazlama Noktası Çarazlama Ye Nesl A Ye Nesl B Şekl 5.. Verle erşk k model kl strg çft ç çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003) Bu durumda her br erşk model ç o yerleşke kullaılmaktadır. Her br erşk model kl strg uzuluğu boyuca rasgele seçle br okta, çarazlama oktası olarak seçlr. Erşk modeller kl strg bu oktaya göre kye ayrılır ve k ye esl model üretlr. Üretle bu k ye esl model daha sora ye esl modeller oluşturmak ç erşk modeller kümese ekler. Çarazlama şlem 06

122 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ değşk tler vardır. Çarazlama şlemde bularda br seçleblr. Bu çalışmada tüm ratk amaçlar ç yeterl olacağı düşüüle üç tür çarazlama şlem verlecektr Tek Nokta Çarazlama İk erşk model (Erşk A ve Erşk B) kl strgler kullaarak ye esl model kl strg oluşturmak amacıyla br çarazlama oktası seçlr. Ye esl model kl strg oluşturulurke kromozomu (değşke) kl strg başlagıcıda çarazlama oktasıa kadar ola bölüm lk erşkde (Erşk A), ger kala bölüm kc erşkde (Erşk B) koyalaır. Bu şlem Şekl 5. de gösterlmştr. Erşk A Çarazlama oktası 0 0 Ye Nesl Çarazlama oktası Erşk B 0 Şekl 5.. Verle erşk k model kl strg çft ç tek okta çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003) İk Nokta Çarazlama İk erşk model (Erşk A ve Erşk B) kl strgler kullaarak ye esl model kl strg oluşturmak amacıyla k çarazlama oktası seçlr. Ye esl model kl strg oluşturulurke kromozomu (değşke) kl strg başlagıcıda lk çarazlama oktasıa kadar ola bölüm lk erşkde (Erşk A), lk çarazlama oktasıda kc çarazlama oktasıa kadar ola bölüm kc erşkde (Erşk B) ve ger kala bölüm ye lk erşkde (Erşk A) koyalaır. Bu şlem Şekl 5.3 te gösterlmştr. 07

123 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Erşk A İlk çarazlama oktası İkc çarazlama oktası 0 0 Ye Nesl İlk çarazlama oktası İkc çarazlama oktası Erşk B 0 Şekl 5.3. Verle erşk k model kl strg çft ç k okta çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003) Düzgü Çarazlama Brc erşkde (Erşk A) ve kc erşkde (Erşk B) bölümler rasgele koyalaır. Bu şlem Şekl 5.4 te gösterlmştr. Erşk A Ye Nesl Erşk B 0 Şekl 5.4. Verle erşk k model kl strg çft ç düzgü çarazlama yoluyla çftleştrme şleme br örek (Bozdoga, 003) Bu çalışmada kullaıla algortmada, yukarıdak çarazlama seçeeklerde herhag br alıablr. Ayrıca algortmada seçclk kuralı olarak adladırıla seçme seçeeğ vardır. Seçclk kuralıyla e azıda br e y çözümü herhag br değşklk olmaksızı ye esle koyalaır. Böylece e y çözüm, algortmaı çalıştırılması soucuda elde edlr. 08

124 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Ye Nesl Modeller Brleşm Değştrmek İç Değşme Etks Modeller değşm, değşkeler ye kombasyolarıı oluşturulması alamıdadır. Böylece e y model araştırma şlem, kısıtlı br ala yere uyum yerleşkes dğer br alaıa atlayablr. Br değşm oraı veya olasılığı belrtlerek, 0 da e veya de 0 a değşeble br koum rasgele seçlerek değşme z verleblr. Dğer br fadeyle rasgele seçle br açıklayıcı değşke modele ekleeblr ya da modelde çıkarılablr. Belrl br çarazlama türüe ve değşm oraıa bağlı olarak kc esl modeller, ye esl modeller ve erşk modeller br karmasıdır. İkc esldek modeller daha sora üçücü esl üretmek ç kullaılır. Bu şlem br oluşumda sora araştırmacı ya da aalzc tarafıda kotrol edle belrtlmş sayıda oluşumları üretmek ç kullaılır. Geetk algortmaı aa hatları özet olarak aşağıda adımlar halde verlmştr (Bozdoğa, 003).. Adım: [Algortmaya başlagıç] N kromozomu (roblem ç uygu çözümler) rasgele br oülasyouu üret. Dğer br fadeyle N tae erşk model üret.. Adım: [Uyumu kotrol edlmes] Model seçm krterlerde br kullaarak oülasyodak her br kromozomu uyumuu hesala. Dğer br fadeyle erşk modeller uyumuu hesala. 3. Adım: [Ye oülasyou oluşturulması] Aşağıdak adımları tak ederek ye oülasyo tamamlaaa kadar ye br oülasyo oluştur. 3.. [Seçm] Uyumlarıa (öreğ ICOMP değer) göre br oülasyoda k erşk model (kromozom) seç. (İy uyum: seçlmek ç daha büyük şas) 3.. [Çarazlama] Br çarazlama olasılığıyla ye esl model oluşturmak ç erşk modeller (kromozomları) çarazla. Çarazlama yaılmazsa ye esl model, erşk modeller tam br koyası olur. Üç tür çarazlama seçeeğ vardır [Değşm] Br değşm olasılığı le her br yerleşkede (kromozomu koumu) ye esller değştr [Kabul etme] Ye br oülasyoda ye br esl yerleştr. 09

125 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ 4. Adım: [Ye esl oülasyoa yerleştrlmes] Algortmaı br adım ler çalıştırılması amacıyla ye esl model kulla ve kullaıla model ç seçm krter mmumua bak. 5. Adım [Deeme] Eğer model seçm krtere dayalı olarak so koşul sağlamışsa dur ve halhazırdak oülasyoda y çözümü ver. 6. Adım [Dögü] İkc adıma gt. Çoklu leer regresyo modelde geetk algortma uygulaarak ve blg krter kullaılarak e y model belrlemes öreğ, Örek 5. de verlmştr. Örek 5.. Bu örekte çoklu leer regresyo modelde geetk algortma kullaılacaktır (Bozdoga, 003). Bu örekte 3 tae açıklayıcı değşke ya da regresör bulumaktadır. Ya k = 3 tür. Bular: = yaş (yıl), = Ağırlık (lbs), = Boy (ch), = Boyu çevres (cm), = Göğüs çevres (cm), = Karı 3 4 çevres (cm), 7 = Kalça çevres (cm), 8 = Uyluk/azı çevres (cm), 9 = 5 6 Dz çevres (cm), 0 = Ayak bleğ çevres (cm), = Pazı (geşletlmş) çevres (cm), = Ökol çevres (cm), = Kol bleğ çevres (cm) şekldedr. Bu açıklayıcı 3 değşkeler kullaarak Sr (956) y = Vücut yağ yüzdes yaıt değşke açıklamaya çalışmıştır. Bozdoga (003), y = Vücut yağ yüzdes yaıt değşkedek tolam değşm regresyo model oluşturmak ç regresörler e y alt kümes, uyguluk foksyouu ICOMP alarak ve Geetk Algortmayı kullaarak belrlemştr. Verler, sualtı ağırlıkları ve çeştl vücut çevres ölçüler belrlemş = 5 saı vücut yağı yüzdeler tahmlerde oluşmaktadır. Bu örek GA le çoklu regresyo aalz kullaılarak yaklaşımımızı çok yölülüğü ve yararlılığıı açıklamada y br örektr Bozdoga (003). Vücut yağıı tam / hatasız olarak ölçümü zahmetl ve masraflı olduğuda vücut yağıı tahm etmede zahmetl ve masraflı olmaya kolay yötemler kullaılması arzu edlr. Sağlık ktabı okuyucularıı ble yötemler kullaarak vücut yağ yüzdeler tahm ettkler ve ked sağlıklarıa kısme de olsa değer bçtkler ler sürmektedr. Okuyucular ergel le belrledkler çeştl der kıvrım 0

126 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ ölçümler ve yaşlarıı kullaarak Baley (994) dek tabloda vücut yağıı tahm edeblmektedrler. Breysel vücut yağı yüzdes, vücut yoğuluğu belrledğde tahm edleblr. Sr (956), vücut yaısıı yağsız / sıska / zayıf vücut dokusu ve yağ dokusu olmak üzere k bleşede oluştuğuu varsaymaktadır. D = Vücut Yoğuluğu ( gm 3 cm ), A = Yağsız / zayıf vücut dokusuu oraı, B = Yağ dokusuu oraı ( A + B = ), a = Yağsız / zayıf vücut dokusuu yoğuluğu 3 ( gm cm ) ve b = Yağ dokusuu yoğuluğu ( gm Yoğuluğu, 3 cm ) şeklde alıırsa Vücut [( A a) ( B b) ] D = + (5.3) olur. Burada B çözülürse, ( D) [ ab ( a b) ] [ b ( a b) ] B = * (5.4) olur. a =. 0 3 gm cm ve b = gm cm alıırsa (Katch ve McAdle 977, s.) ya da Wlmore (976) dak tahmler kullaılarak Sr (956) deklem, ( 00 * B) = 495 D 450 Vücut Yağ Yüzdes (5.5) şeklde yazılablr. Artık vücut yoğuluğu ve hacm çeştl bçmlerde hatasız / tam olarak ölçüleblr. Sualtı ağırlık tartma tekğ vücut hacm, havadak vücut ağırlığı le su altıda ölçüle ağırlık arasıdak fark olarak ölçmektedr. Dğer br fadeyle, vücut hacm su yoğuluğu ç düzeltlmş uygu sıcaklık le sudak ağırlık kaybıa eşttr (Katch ve McArdcle 977). Bu tekk kullaılarak, D = Vücut Yoğuluğu, Vücut Yoğuluğu = WA [( WA WW ) c f. LV ]. (5.6)

127 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ yazılablr. Burada WA = Havadak ağırlık (kg), WW = Sudak ağırlık (kg), c. f = su düzeltme faktörü, LV = Rezdü / Hata Akcğer Hacm (ltre) dr (Katch ve McArdcle, 977). Vücut hacm hesalamak ç dğer yötemler Behke ve Wlmore (974) tarafıda verlmştr. Bu örek ç öcelkle bütü olası alt küme regresyo modeller değerledrlr. Daha sora se e küçük / mmum ICOMP ( IFIM ) değerler derecese göre e y 5 alt küme model seçlecektr. Bütü olası alt küme seçm yötem le bulua e y 5 tae regresyo model Tablo 5. de verlmştr. Tablo 5.. Vücut yağı verler ç bütü olası modeller arasıda e küçük ICOMP IFIM değerlere göre seçlmş o beş e y model (Bozdoga, 003) ( ) Sıra Numarası Değşkeler ICOMP, 4, 6, 7, 8,, , 4, 6, 7, 8, 9,, , 3, 4, 6, 7, 8,, , 4, 6, 7, 8, 0,, , 4, 6, 7, 8,,, , 4, 6, 7, 8, 9, 0,, , 3, 4, 6, 7, 8, 9,, , 3, 4, 6, 7, 8, 0,, , 4, 6, 7, 8, 9,,, , 4, 6, 7,, , 3, 4, 6, 7, 8,,, , 4, 5, 6, 7, 8,, , 6, 7,, , 4, 6, 7, 8, 0,,, , 3, 4, 6, 7, 8, 9, 0,, Vücut yağı verler ç Matlab rogramıda hazırlaa GA rogramıı çalıştırılmasıda kullaıla arametreler Tablo 5.3 de verlmştr.

128 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Tablo 5.3. Vücut yağı verler ç Matlab rogramıda hazırlaa GA rogramıı çalıştırılmasıda kullaıla arametreler (Bozdoga, 003). Çalıştırmaları sayısı=00 Nesller sayısı =30 Poulasyo Boyutu =0 Uyguluk Değer = ICOMP ( IFIM ) Çarazlama olasılığı =0.5 (Düzel çarazlama kullaıldı.) Eltzm Evet Mutasyo olasılığı =0.0 Geetk Algortmaı 00 kez çalıştırılmasıda sora vücut yağı ver kümes ç lk 0 sıradak e y açıklayıcı değşkeler alt kümes Tablo 5.4 te gösterlmştr. Tablo 5.4. Geetk Algortmaı 00 kez çalıştırılmasıda sora vücut yağı ver kümes ç lk 0 sıradak e y açıklayıcı değşkeler alt kümes (Bozdoga, 003). Geetk Algortma Sıralaması Kromozom (Değşkeler) İkl Gösterm ICOMP( IFIM ) (), 4, 6, 7, 8,, (), 4, 6, 7, 8, 9,, (3), 3, 4, 6, 7, 8,, (4), 4, 6, 7, 8, 0,, (7), 3, 4, 6, 7, 8, 9,, (8), 3, 4, 6, 7, 8, 0,, (9), 4, 6, 7, 8, 9,,, (), 3, 4, 6, 7, 8,,, (3) 4, 6, 7,, (5), 3, 4, 6, 7, 8, 9, 0,, Vücut yağı vers ç e y alt küme model uyumuu özet Tablo 5.5 de gösterlmştr. 3

129 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Tablo 5.5. E y alt küme model uyumuu özet (Bozdoga, 003). R Kare = Düzeltlmş R Kare = Hata Kareler Ortalamasıı Karekökü = Ortalama Yaıt = Gözlemler (Veya Ağırlıklar Tolamı) = 5 Vücut yağ vers ç e y alt küme Geetk Algortma model arametre tahmler Tablo 5.6 da verlmştr. Tablo 5.6. E y alt küme Geetk Algortma model arametre tahmler (Bozdoga, 003). Katsayı Term Stadart Hata t-oraı Olasılık> Tahm Sabt = yaş (yıl) = Boyu çevres (cm) 6 = Karı çevres (cm) 7 = Kalça çevres (cm) 8 = Uyluk/azı çevres (cm) = Ökol çevres (cm) 3 = Kol bleğ çevres (cm) < <

130 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Bu kümede br model seçlrse, e y alt küme; = yaş (yıl), 4 = çevres (cm), 6 = Karı çevres (cm), 7 = Kalça çevres (cm), 8 = çevres (cm), = Ökol çevres (cm), 3 = Boyu Uyluk/azı Kol bleğ çevres (cm) değşkeler çere ve ICOMP ( IFIM ) =473.9 değere sah ola sıralamadak lk modeldr. Gerçekte de bu model, bütü olası alt küme seçmde elde edle e y modele karşılık gelr. Dkkat edlrse GA seçmler, bütü olası alt kümeler souçlarıda elde edle zrvedek yed e y alt kümeye karşılık gelmektedr. GA daha çok sayıdak alt modeller ayıklayarak/budayarak e uygu / otmal ya da e uygua yakı alt küme regresyo modeller elde edeble üstü yeteekte statstksel br model seçm aracıdır. Vücut yağ vers ç ICOMP le hesalaa tüm modeller oluşturduğu yaıı üç boyutlu grafğ Şekl 5.5 te gösterlmştr. Şekl 5.5. ICOMP le hesalaa tüm modeller oluşturduğu yaıı üç boyutlu grafğ (Bozdoga, 003). Vücut yağ verrs ç Geetk Algortmaı 00 kez çalışmasıı br özet Şekl 5.6 da gösterlmştr. 5

131 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ Şekl 5.6. Vücut yağ verrs ç Geetk Algortmaı 00 kez çalışmasıı br özet (Bozdoga, 004) Vücut yağ vers ç Geetk Algortmaı 00 kez çalıştırılması soucuda ICOMP(IFIM) le hesalaa tüm modeller oluşturduğu yaıı üç boyutlu grafğ Şekl 5.7 de gösterlmştr. Şekl 5.7. Vücut yağ vers ç Geetk Algortmaı 00 kez çalıştırılması soucuda ICOMP(IFIM) le hesalaa tüm modeller oluşturduğu yaıı üç boyutlu grafğ (Bozdoga, 003) 6

132 5. ÇOKLU LİNEER REGRESYON MODELİ İÇİN BİR GENETİK ALGORİTMA Pel İYİ E y alt küme model özet ve GA le elde edle e y alt küme model arametre tahmler Tablo 5.5 ve Tablo 5.6 de verlmştr. Şekl 5.6 vücut yağı verler ç GA ı 00 kez çalıştırılmasıı özet ve Şekl5.7 vücut yağı verler ç GA ı 00 kez çalıştırılması soucuda blg karmaşıklık krter le ölçüle bütü modeller üç boyutlu grafğ göstermektedr. Vücut yağı verler kümese lerye doğru adımsal regresyo aalz uygulaırsa, tam doymuş model e y model olarak belrleeblr. Ya, adımsal yötemler modeldek kestrcler öem ayırt edememektedr.çükü,adımsal seçm yötemde kullaıla -değer keyf (steğe bağlı) olu, F-değer model arama uzayıda e y model bulmaya yeltemez. Bu edele der araştırmacılar çok uygu olmaya bu gb yötemler kullamayı bırakacaklardır. 7

133 6. SONUÇ VE ÖNERİLER Pel İYİ 6. SONUÇ VE ÖNERİLER Bu çalışmada br yaıt (bağımlı) değşkedek tolam değşm açıklamak ç brde fazla regresör (açıklayıcı) değşke kullaılması durumuda oluşturula regresyo model celemştr. Çoklu leer regresyo modelde e öeml roblemlerde br, k tae açıklayıcı değşke ya da regresör ç y yaıt değşkedek tolam değşm açıklaya e y regresyo model belrlemesdr. Bu çalışmada çoklu leer regresyo modelde değşke seçm ya da e y alt küme model seçm olarak adladırıla roblem celemştr. Bu amaca yöelk olarak:. Klask yötem kullaılarak model seçm yötem ( k 5),. İlerye doğru seçm, gerye doğru ayıklama ve adımsal regresyo yötem kullaılarak model seçm yötemler ( 6 k 0 ), 3. Geetk algortma kullaılarak model seçm yötem ( k ), celemştr. Tüm bu celemelerde verde kaldıraç etks yaa etk gözlem değerler buluması durumu, verde saa ya da aykırı değer buluması durumu ve ver çoklu ç lşkl olması durumu gözardı edlmştr. Özellkle çoklu leer regresyo modelde e y model belrlemes roblem çalışılırke geetk algortmaı uygulaması ve blg krter kullaılması durumuda verde kaldıraç etks yaa etk gözlem değerler buluması, verde saa ya da aykırı değer buluması ve ver çoklu ç lşkl olması durumları da hesaba katılarak ya ayrı ayrı, veya kşerl olarak ya da tümü brde celemeldr. 8

134 KAYNAKLAR AITKIN, M. A. (974). Smultaeous ferece ad the choce of varable subsets, Techometrcs, 6, -7. AKAIKE, H. (973). İformato theory ad eteso of the mamum lkelhood rcle. I B.N Petrov ad F. Csák (Eds.), Secod teratoal symosum o formato theory, Académa Kadó, Budaest, AKAIKE, H. (987). Factor aalyss ad AIC. Psychometrka, 5, AKAIKE, H. (994). Imlcatos of formatoal ot of vew o the develomet of statstcal scece. I H.Bozdoga (Ed.), Egeerg & Scetfc alcatos of formatoal modelg, Volume 3, Proceedg of the frst US / Jaa coferece o the froters of statstcal modelg: A formatoal aroach. Kluwer Academc Publshers, the Netherlads, Dordrecht. BAILEY, C. (994). Smart Eercse: Burg Fat, Gettg Ft, Houghto-Mffl Co., Bosto, BAUER, R. J. JR. (994). Geetc Algorthm ad Ivestmet Strateges.Joh Wley & Sos, New York. BAXTER, R. A. (996). Mmum Message Legth Iferece: Theory ad Alcatos. Uublshed Ph. D. Thess, Deartmet of Comuter Scece, Moash Uversty, Clayto, Vctora, Australa. BEARSE, P. M. ad BOZDOGAN, H. (00). Multvarate regressos, Geetc Algorthms, ad Iformato Comlety: A three Way Hybrd. I Measuremet ad Multvarate Aalyss, S. Nshsato, Y. Baba, H. Bozdoga, ad K. Kaefuj (Eds.), Srger, Tokyo, 00, BEHNKE, A. R. ad WILMORE, J. H. (974). Evaluato ad Regulato of Body Buld ad Comosto, Pretce-Hall, Eglewood Clffs, NJ. BERK, K.N. (978). Comarg subset regresso rocedures, Techometrcs, 0(): -6. BOX, G. E. P., HUNTER, W. G. ad HUNTER, J. S. (978). Statstcs for Eermeters, Wley, New York. 9

135 BOYCE, D. E., FAHRİ, A. ad WEISCHEDEL, R. (974). Otmal Subset Selecto: Multle Regresso, Iterdeece, ad otmal Network Algorthms.Srger-Verlag, New York. BOZDOGAN, H. (987). Model selecto ad Akake s Iformato Crtero (AIC): The geeral theory ad ts aalytcal etesos. Psychometrka, 5(3), BOZDOGAN, H. (990). O the formato-based measure of covarace comlety ad ts alcato to the evaluato of multvarate lear models. Commucatos Statstcs, Theory ad Methods, 9, -78. BOZDOGAN, H. (000). Akake s formato crtero ad recet develomets formato comlety. Joural of Mathematcal Psychology, 44, 6-9. BOZDOGAN, H. ad UENO, M. (000). A ufed aroach to formato theoretc ad Bayesa model selecto crtera. Ivted aer reseted the Techcal Sesso Track C o: Iformato Theoretc Methods ad Bayesa Modellg at the 6th World Meetg of the Iteratoal Socety for Bayesa Aalyss (ISBA). May 8-Jue, 000. Hersossos-Heraklo, Crete. BOZDOGAN, H. (003). Itellget statstcal data mg wth formato comlety ad geetc algorthms. Statstcals Data Mg ad Kowledge Dscovery. Jot Iteratoal Summer School JISS-003, Vol. II, July 3th 30th, 003. Uversdade de Lsboa Lsbo, Portugal. BOZDOGAN, H. (004). Statstcals Modelg ad Model Evaluato: A ew Iformatoal Aroach. To aear. CHATTERJEE, S., HADI, A.S. ad PRICE, B. (000). Regresso aalyss by eamle, 3rd edto, Joh Wley & Sos, New York. COVER, T. M., GACS, P. ad GRAY, R. M. (989). Kolmogorov s cotbutos to formato theory ad algorthmc comlety. A. Prob., 7, COX, D. R. ad SNELL, E. J. (974). The choce of varables observatoal studes, Al. Statst., 3, CRÁMER, H. (946). Mathematcal Methods of Statstcs Prceto Uversty Press, Prceto, NJ. 0

136 DRAPER, N. R. ad SMITH, H. (989). Aled regresso aalyss, 3rd edto, Joh Wley & Sos, New York. EDWARDS, J. B. (969). The relato betwee the F-test ad R, Am. Statst., 3, 8. EFROYMSON, M. A. (960). Multle regresso aalyss A. Ralsto ad H. S Wlf (Eds.), Mathematcal Methods for Dgtal Comuters, Wley, New York. FORREST, S. (993). Geetc Algorthms Search Otmzato, ad Mache Learg, Addso-Wesley, New York. GOLDGERG, D. E. (989). Geetc Algorthms Search, Otmzato, ad Mache Learg, Addso Wesley, New York. GRAYBILL, F. A. (976). Theory ad Alcato of the Lear Model, Dubury, North Sctuate, Mass. GUNST, R. F. ad MASON, R. L. (980). Regresso aalyss ad ts alcatos, Marcel Dekker, New York. HAITOVSKİ, Y. (969). A ote o the mamzato of R, Am. Statst., 3(), 0-. HOCKING, R. R. (97). Crtera for selecto of a subset regresso: Whch oe should be used, Techometrcs, 4, HOCKING, R. R. ad LAMOTTE, L. R. (973). Usg the SELECT rogram for choosg subset regressos, W. O. Thomso, ad F. B. Cady (Eds.), Proceedgs of the Uversty of Ketucky Coferece o Regresso wth a Large Number of Predctor Varables, Deartmet of Statstcs, Uversty of Ketucky, Legto. HOCKING, R. R. (976). The aalyss ad selecto of varables lear regresso, Bometrcs, 3, -49, 044. HOCKING, R. R. (983). Develomet lear regresso methodology: , Techometrcs, 5, HOLLAND, J. (99). Geetc Algorths. Scetfc Amerca, KATCH, F. ad MCARDLE, W. (977). Nutrto, Weght Cotrol, ad Eercse, Houghto Mffl Co., Bosto.

137 KOLMOGOROV, A. N. (983). Combatoral foudatos of formato theory ad the calculus of robabltes. Russa Math Surveys, 38, LANNING, M. J. ad BOZDOGAN, H. (003). Ordal Logstc Modelg Usg ICOMP as a Goodess-of-Ft Crtera. I Statstcal Data Mg ad Kowledge Dscovery, H. Bozdoga (Ed.), Chama & Hall / CRC, Boca Rato, FL. MAGNUS, J. R. ad NEUDECKER, H. (999). Matr Dfferetal Calculus, d Edto, Joh Wley & Sos, New York. MALLOWS, C. L. (964). Choosg varables a lear regresso : A grahcal ad, reseted at the Cetral Regoal Meetg of the Isttute of Mathematcal Statstcs, Mahatta, Kasas. MALLOWS, C. L. (966). ). Choosg a subset regresso, reseted at the Jot Statstcal Meetgs, Los Ageles. MALLOWS, C. L. (973). Some commets o C, Techometrcs, 5, MANTEL, N. (970). Why stedow rocedures varables selecto, Techometrcs,, MICHALEWICZ, Z. (99). Geetc Algorthms + Data Structures = Evoluto Programs, Srger-Verlag, New York. MILLER, A. J. (990). Subset selecto regresso, Lodo: Chama ad Hall. MONTGOMERY, D. C., PECK, E.A. ad VINING, G. G. (00). Itroducto to Lear Regresso Aalyss, 3rd Edto, Joh Wley & Sos, New York. MOSES, L. E. (986). Thk ad Ela wth Statstcs, Addso-Wesley, Readg, MA. MYERS, R. H. (990). Classcal ad Moder Regresso wth Alcatos, d ed., PWS-Ket Publshers, Bosto. NARULA, S. ad RAMBERG, J. S. (97). Letter to the Edtor, Am. Statst., 6, 4. RAO, C. R. (945). Iformato ad accuracy attaable the estmato of statstcal arameters. Bull. Calcutta Math. Soc., 37, 8. RAO, C. R. (947). Mmum varace ad the estmato of several arameters. Proc. Cam. Phl. Soc., 43, 80.

138 RAO, C. R. (948). Suffcet statstcs ad mmum varace estmates. Proc. Cam. Phl. Soc., 45, 3. RISSANEN, J. (976). Mma etroy estmato of models for vector rocesses. I system detfcato: R. K Mehra ad D. G Laots (Eds.), Academc Pres, New York, RISSANEN, J. (978). Modelg by shortest data descrto. Automatca, 4, RISSANEN, J. (986). Stochastc comlety ad modelg. A. Statst., 4, RISSANEN, J. (987). Stochastc comlety. (Wth dscusso), J. of the Royal Statst. Soc., Seres B, 49, RISSANEN, J. (989). Stochastc comlety Statstcal Iqury. World scetfc Publshg Comay, Teaeck, NJ. SCLOVE, S. L. (987). Alcato of model-selecto crtera to some roblems multvarate aalyss. Psychometrka, 5, SCHWARZ, G. (978). Estmatg the dmeso of a model. Aals of Statstcs. 6, SEARLE, S. R. (97). Lear Models, Wley, New York. SEBER, G. A. F. (977)., Lear Regresso Aalyss Wley, New York. SIRI, W. E. (956). Gross comosto of the body.i Advaces Bologcal ad Medcal Physcs, Vol. IV, J. H. Lawrace ad C. A. Tobas (Eds.), Academc Press, New York. SOKAL, R. R. ad ROHLF, F. J. (98). Bometry, d ed., W. H Freema ad Comay, New York. SUMIDA, B. H., HOUSTON, A. I., MCNAMARA, J. M. ad HAMILTON, W. D. (990). Geetc Algorthms ad evoluto. J. Theoretcal Bology, 47, THOMPSON, M. L. (978a). Selecto of varables multle regresso: Part I. A revew ad evaluato,it. Statst. Rev., 46, -9. 3

139 THOMPSON, M. L. (978b). Selecto of varables multle regresso: Part II. Chose rocedures, comutatos ad eamles, It. Statst. Rev., 46, VAN EMDEN, M. H. (97). A aalyss of Comlety. Mathematcal Cetre Tracts, Amsterdam, 35. VON NEUMANN, J. (986). Theory of Self-Reroducg Automata. I A. W. Burks (Ed.), Uversty of llos Press, :Urbaa. WALLACE, C. S. ad FREEMAN, P. R. (987). Estmato ad ferece by comact codg. (Wth dscusso). J. Royal Statst. Soc., Seres B, 49, WALLACE, C. S. ad DOWE, D. L. (993). MML estmato of the vo Mses cocetrato arameter. Techcal Reort 93 / 93, Deartmet of Comuter Scece, Moash Uversty, Clayto 368, Australa. WALLET, B. C., MARCHETTE, D. J., SOLKA, J. L. ad WEGMAN, E. J. (996). A geetc algorthm for best subset selecto lear regresso, Proceedgs of the 8th Symosum o the Iterface. WALLS, R. E., AND WEEKS, D. L. (969). A ote o the varace of a redcted resose regresso, Am. Statst., 3, 4-6. WASSERMAN, G. S. ad SUDJIANTO, A. (994). All subsets regresso usg a geetc algorthm, Comuters ad Idustral Egeerg, 7(): WILKINSON, L. (989). SYSTAT: The System for Statstcs, SYSTAT, Evasto, IL. WILMORE, J. (976). Athletc Trag ad Physcal Ftess: Physologcal Prcles of the Codtog Process, Ally ad Baco, Ic., Bosto. 4

140 ÖZGEÇMİŞ 980 yılıda Osmaye Bahçe lçesde doğdum. İlkokula Düzç Cumhuryet İlkokuluda 987 yılıda başladım. İlkokul eğtmm Düzç Üzümlü İlkokuluda 99 yılıda tamamladım. Ortaokul öğremm Adaa Aadolu Lses de 996 yılıda tamamladım. Lse öğremm de Adaa Aadolu Lsesde 999 yılıda tamamladım. 999 yılıda Akara Üverstes Fe Fakültes Matematk bölümüe grdm. 003 yılıda burada mezu oldum. Ayı yıl Çukurova Üverstes Fe Blmler Esttüsü İstatstk Aablm Dalı da yüksek lsas öğremme başladım. Hale eğtmme Çukurova Üverstes Fe Blmler Esttüsü İstatstk Aablm Dalı da yüksek lsas öğrecs olarak devam etmekteym. 5