ASAL BİLEŞENLER ANALİZİNE BOOTSTRAP YAKLAŞIMI

Transkript

1 Ekonometr ve İstatstk Sayı: İSTANBUL ÜNİVERSİTESİ İKTİSAT FAKÜLTESİ EKONOMETRİ VE İSTATİSTİK DERGİSİ ASAL BİLEŞENLER ANALİZİNE BOOTSTRAP YAKLAŞIMI Dr. Ayln Aktükün Bu makale tarhnde alınmış, hakem kontrolü sonrasında yayını uygun bulunmuştur. Absract : In ths paper, we apply bootstrap methods to prncpal components. We use a set of hypothetcal data to llustrate how the bootstrap methods can be employed n constructng confdence ntervals dealng wth the prncpal components analyss. We wrte a Mathematca program to handle the all process. Keywords : Prncple components analyss; Bootstrap; Bootstrap quantles; Bootstrap Confdence Intervals; Mathematca. Özet : Bu çalışmada, bootstrap yöntemlern asal bleşenler analzne uygulanma sürecn sunduk. Hpotetk br ver le asal bleşenler analznde başvurulan bazı güven aralıklarının bootstrap yöntemlerle nasıl gerçekleştrlebleceğn gösterdk. Makaledek tüm bootstrap süreçler Mathematca dlnde yazdığımız br programla gerçekleştrdk. Anahtar Kelmeler : Asal bleşenler analz; Bootstrap; Bootstrap kantller; Bootstrap Güven Aralıkları; Mathematca. Adres : İstanbul Ünverstes, İktsat Fakültes Ekonometr Bölümü, Tel: (022) E-Mal : ayln@stanbul.edu.tr

2 Ekonometr ve İstatstk Sayı: 2005 ASAL BİLEŞENLER ANALİZİNE BOOTSTRAP YAKLAŞIMI. GİRİŞ Bootstrap yöntem lteratüre lk kez Efron 'ın 979 yılındak makales le tanıtıldı. Teork gelşme Freedman (98) ve Wu (986) le devam ett. Daha sonrak gelşmelerden ktaplaştırılanlar se tarhsel sırasıyla Beran ve Ducharme (99), Hall (992), Mammen (992), Efron ve Tbshran (993), Davson ve Hnkley (997), teork br çalışma olan Shao ve Tu (995) sayılablr. Günümüzde blgsayarların da gelşmne koşut olarak çok fazla sayıda araştırmaya konu olan Bootstrap yöntemnde temel düşünce eldek örneklem, ktle olarak varsayıp buradan belrl sayıda tekrarlı örnekleme yaparak lglenlen tahmncnn sun br örnekleme dağılımını yaratmaktır. Özellkle söz konusu tahmncnn örnekleme dağılımını asmptotk teor le elde etmek zor ya da olanaksızsa bootstrap yöntem yada genel anlamıyla tekrarlı örnekleme yöntemler güçlü br potansyel oluşturmaktadırlar Aktükün (2003). Çok değşkenl analzn boyut ndrgemec yöntemlernden olan asal bleşenler analznde bootstrap yaklaşımı, analzn eksk olan statstksel çıkarsama araçlarını tamamlamada öneml br rol oynayablr. Bu çalışmanın amacı, bootstrap yöntemnn asal bleşenler analzne uygulanma sürecn sunmak ve uygulama olanaklarını tartışmaktır. Blndğ gb bootstrap sürec blgsayar terasyonlarına dayanmakta olup, statstk paketler bu konuda çok fazla olanak sunmamaktadır. Bu nedenle asal bleşenler analzne bootstrap sürecn uygulanması çn Mathematca dlnde br program yazdık ve hpotetk br verye uyguladık. 2. ASAL BİLEŞENLER ANALİZİ Boyut-ndrgemec çok değşkenl analz teknklernden olan asal bleşenler analzne lşkn temel blgler Anderson (958), Morrson (976) ve Jobson (994) gb hemen her çok değşkenl statstk analz ktabında bulablrz. Öte yandan analze bootstrap yaklaşımı konusunda lteratürün pek yeterl olduğu söylenemez. Beran ve Srvastava (985) özelnde asal bleşenler olmasa da kovaryans matrsnn bootstrap sürecn asmtotk analzle brlkte ele almış, Efron ve Tbshran (993), asal bleşenler analznde lglenlen bazı statstklere lşkn çıkarsama sürecnn bootstrap yöntemlerle gerçekleştrlme olanaklarını sunmuşlardır. Bu çalışmada Efron ve Tbshran (993) de tanımlanan süreçlere ek olarak Anderson (963) 'ın varyanas-kovaryans matrsnn en küçük k tane öz değernn brbrne eştlğ testne bootstrap sürecn uyguladık Boyut-ndrgemec çok değşkenl analz teknklernden olan asal bleşenler analznde temel amaç X, X 2,..., X p rastlantı değşkenlernn maksmum varyansı veren doğrusal bleşenlern aramaktır. X, X 2,..., X p 'nn br doğrusal bleşen

3 Asal Bleşenler Analzne Bootstrap Yaklaşımı Y = β ˆ X + β ˆ X β ˆ Xp, =,2,...,n () olarak fade edleblr. Matrsel olarak se aynı eştlk 2 p Y = Xβ ˆ (2) şeklnde yazılablr. (2) eştlğndek vektör ve matrsler açık şeklleryle βˆ X X 2... X p Y βˆ 2 X2 X X p2 Y2.... βˆ =, X =, Y = βˆ p Xn X 2n... X pn Y n olacaktır. Y 'nn örneklem varyansı, S, örneklem varyans-kovaryans matrsn göstermek üzere Var (Y) = β ˆ S βˆ olarak tanımlanablr. Amaç Var (Y) 'yı maksmum yapacak β ˆ,β ˆ,..., β ˆ 2 p katsayılarını bulmak olacaktır. Ancak β ˆ katsayıları üzerne br kısıtlama yapılmadığı zaman Y 'nn varyansı keyf olarak büyütüleblr, dolayısıyla belrl, tek br çözümü elde etmek olanaksızlaşır. Öyleyse βˆ β = kısıtının katılmasıyla elde edlen u = βˆ Sβ ˆ - λ ˆ (β ˆ β - ) fonksyonunun βˆ 'ya göre kısm türevn alıp sıfıra eştlemelyz. u ˆ β = 2 S βˆ - 2 λˆ βˆ 2 S βˆ - 2 λˆ βˆ = 0 (S - λˆ I) β ˆ = 0 (3) (3) eştlğ br homojen denklem sstemn smgeler. Dolayısıyla denklem sstemnn sıfır-dışı çözümlernn olması S - λˆ I determnantının sıfır olması le mümkündür : 2

4 Ekonometr ve İstatstk Sayı: 2005 S - λˆ I = 0 (4) (4) eştlğ aynı zamanda λˆ 'nın değşken olarak yer aldığı br polnomu smgeler. Eştlkten ayrıca λˆ 'nın S matrsnn öz değerler vektörünü smgeledğ açıktır. Eştlk (3) soldan β ˆ vektörü le çarpılırsa β ˆ (S - λˆ I) βˆ = 0 βˆ S β ˆ = λˆ (5) eştlğ elde edlr. Amacımız βˆ Sβ ˆ 'yı maksmum yapmak olduğuna göre, bu amaca λ ˆ öz değerler vektöründek maksmum öz değer seçerek ulaşablrz. Bu öz değer λ olsun. p tane öz değer ve dolayısıyla p tane doğrusal bleşen (asal bleşen) Y olacaktır. Bu durumda () eştlğndek β ˆ, β ˆ,..., β ˆ katsayıları da karşılık gelen öz değere lşkn öz vektörün katsayıları olacaktır. Öz değerlern özellğnden 2 p ve dolayısıyla p İz (S) = λˆ p = İz (S) = Var(Y ) = yazablrz. Öyleyse asal bleşenn, dğer bleşenlere zaf önem se θˆ = n Var (Y ) = Var (Y ) = λˆ İz (S) = p λˆ λ = (6) olarak tanımlanablr. Aktükün (2002). Asal bleşenler analznde daha çok lglenlen test statstkler varyanslara karşılık gelen öz değerler, le Eştlk (6) 'da tanımlanan θˆ 'dır. Ancak bu statstklern belrl br örneklemden hesaplanacak nokta tahmnler le güven aralıkları oluşturmak ve hpotez test yapmak çn klask teorde, X 'lern bağımsız olmaları ve normal dağılımdan gelmeler varsayımları yapılır. Bu varsayımların karşılanmaması durumunda se test statstklernn kullanılması olanaksızlaşır ve Bootstrap yaklaşımı önem kazanır. Kısım 3 'te, süreçler çn 5 gözlem ve 4 değşkenden oluşan hpotetk br ver kullanıldı. Klask teoryle karşılaştırmalar yapablmek çn verdek gözlemler çok değşkenl normal dağılımdan elde edlmş olup, Ek 'de verlmştr. 3

5 Asal Bleşenler Analzne Bootstrap Yaklaşımı 3. VARYANS-KOVARYANS MATRİSİNİN ÖZ DEĞERLERİNİN ve ORANLARININ BOOTSTRAP GÜVEN ARALIKLARI Asal bleşenler analznde varyans-kovaryans matrsnn öz değerler lneer bleşmlern varyanslarını smgeledkler çn bunlara lşkn güven aralıkları ve hpotez testlerne özellkle önem verlr. Anderson (963), çok büyük örneklemler çn (n > ) aşağıda tanımlanan L rastlantı değşkennn standart normal dağılım zledğn göstermştr: λˆ λ L = ~ N(0,) λ 2/(n ) Buradan λ çn % 00( - α) güven aralığı + z α/2 λˆ 2/(n ) λ z α/2 λˆ 2/(n ) (7) olacaktır. Burada λ, ktle varyans-kovaryans matrsnn br öz değern, λˆ bu öz değern nokta tahmnn n örneklem büyüklüğünü zα/2 standart normal dağılım kantln göstermektedr. Ancak bu güven aralığı asmtotk olduğu çn küçük örneklemlerde her zaman y sonuç vermeyeblr. Bu anlamda örneklem büyüklüğünden etklenmeyen Bootstrap yaklaşımı önem kazanır. Aşağıda Ek 'dek vernn varyans kovaryans matrsn ve öz değerlern görüyoruz y S= k {, λ=48.875, λ2=2.8736, λ3= , λ4= Her br öz değer çn (7) 'den hesaplanan güven aralıkları se aşağıda verlmştr: 4

6 Ekonometr ve İstatstk Sayı: 2005 Asmtotk Güven Aralıkları λ Yüzdeler Asmtotk Kantller λ λ λ Yukarıda verlen güven aralıklarını bootstrap karşılıkları çn, Efron ve Tbshran (993) 'nn tanımladığı sürec uyguladık. Orjnal verden adel olarak B = 000 tane örneklem çekld. Her br örneklemn varyans-kovaryans matrs ve her br matrsn öz değerler hesaplandı. Her br öz değer çn 000 öz değern ortalaması (λ boot ) bootstrap ktle öz değerlernn bootstrap tahmn olarak düşünüldü. 000 öz değern kantller se aşağıda verlen güven aralıkların oluşturdu. Orjnal verden elde edlen öz değerlern bootstrap tahmnlere oldukça yakın olduğunu görmekteyz. Asmtotk güven aralıklarının se bootstrap güven aralıklarından daha genş olduğu görülmektedr. Bu durumun örneklemn yeternce büyük olmamasından kaynaklandığın söylemek yanlış olmaz. 5

7 Asal Bleşenler Analzne Bootstrap Yaklaşımı Bootstrap Güven Aralıkları λ boot Yüzdeler Bootstrap Kantller λ2 boot λ3 boot λ4 boot Asal Bleşenler analznde öz değerler kadar eştlk (6) 'dak θ ˆ statstğne de önem verlr. Her br öz değern toplam varyansa katkısını dğer br deyşle zaf önemm gösteren bu statstğn sayısal değerne bakarak kaç tane asal bleşenle yetnebleceğmze karar vereblrz. Bu karar çn klask teorde yaygın olarak asmtotk br test olan Bartlett (950) 'n küresellk testnn ve bazı grafk yöntemlern (örn. bkz. Jobson (994)) kullanıldığını da belrtelm. Aşağıda verlen, her br öz değern toplam öz değerlere oranlarına bakıldığında büyüklük sıralamasına göre brnc ve knc öz değerlern toplamdak payının 0,89 'dan büyük olduğu dolayısıyla dört değşkenn 2 asal bleşenle fade edlebleceğn söyleyeblrz : 6

8 θ fl = θ fl 3= θ fl 4= θ fl 2= λ λ+λ2 +λ3 +λ4 = λ2 λ+λ2 +λ3 +λ4 = λ3 λ+λ2+λ3+λ4 = λ4 λ+λ2+λ3+λ4 = Öyleyse lk k öz değere karşılık gelen öz vektörlern belrledğ Ekonometr ve İstatstk Sayı: 2005 ve Y = 0,00348x + 0,0452x 2-0,323x 3-0,945x 4 Y 2 = -0,085x -0,082x 2-0,944x 3 + 0,39x 4 lneer bleşmler toplam varyansın % 89 'undan fazlasını açıklamaktadır. (6) eştlğnde tanımlanan statstğe bootstrap uygularken, lglenlen θ ˆ statstğnn değer her br bootstrap örneklem çn hesaplanıp, böylelkle elde edlen değerlern ortalaması (θ ˆ boot ) bulunablr. Betmlenen bu süreç B = 000 kez uygulanmış, ve θ ˆ θˆ 2 çn aşağıdak değerler elde edlmştr : θˆ çn θ fl boot Yüzdeler BootStrap Kantller θˆ 2 çn θ fl boot Yüzdeler BootStrap Kantller

9 Asal Bleşenler Analzne Bootstrap Yaklaşımı Bootstrap tahmnlernn orjnal örneklemden hesaplanan = 0,650 ve θ ˆ θˆ 2 = 0,2595 yakın olduğu görülmektedr. Bu aşamada = 0,650 ve θ ˆ θˆ 2 = 0,2595 değerler yardımıyla θ ve θ 2 çn güven aralığı oluşturmak steneblr. Ancak klask teorde küçük örneklemler çn θˆ 'nın standart hatasına lşkn analtk br formülün olmaması, bu sürecn uygulanmasına engeldr. Orjnal örnekleme, bootstrap sürec uygulandıktan sonra θˆ 'ya yada daha genel olarak fade edersek test statstğne lşkn amprk br dağılım elde edleceğ çn lglenlen θ ve θ 2 'ye lşkn güven aralıkları amprk dağılımın kantller dğer adıyla bootstrap kantller hesaplanarak oluşturulablr. Yukarıdak tablodan θ çn soldan ve sağdan % 5 ' dışarıda bırakan değerler 0,528 ve 0,768 'dr. Öyleyse amprk olarak [0,528-0,768] aralığı % 90 güven aralığı olarak kabul edleblr. Aynı aralık θ 2 çn [0,49-0,389] olacaktır. Şekl 'de bootstrap örneklemlernden elde edlen değerlern oluşturduğu hstogramlar yer almaktadır Keskl doğru, dağılımların ortalamasını yan θˆ boot değern göstermektedr θˆ çn fl Frekanslar θ 'ları n Bootstrap 50 Dağılımı θˆ 2 çn fl Frekanslar θ 2'ları n Bootstrap Dağılımı fl θ Şekl : θ ˆ ve θˆ 2 'nın Bootstrap Dağılımları fl θ 2 8

10 Ekonometr ve İstatstk Sayı: SONUÇ Belrl br statstğn standart hatasını veren br formülün olmadığı yada asmtotk br formülün olduğu durumlarda küçük örneklemler çn güvenlr statstksel çıkarsama yapma da bootstrap yaklaşımı benmseneblr. Daha çok betmsel br teknk olan ve bu nedenle çıkarsama araçları çok da yeterl olmayan asal bleşenler analzne bootstrap yaklaşımı bu anlamda önem kazanablr. Bu çalışmada asal bleşenler sürecnde lglenlen bazı statstklere bootstrap sürecnn uygulanma yöntemlern tanıtmayı amaç edndk. İstatstk yazılımlar bu konuda yeterl olanakları sunmadıkları çn söz konusu süreçler Mathematca dlnde yazdığımız br programla gerçekleştrdk. Kodlar Ek 2 'de sunulmuştur. KAYNAKÇA - Aktükün, L.A. (2002), Bootstrap Yöntemler ve Doğrusal Regresyon Modellerne Uygulanması, İstanbul Ünverstes, Sosyal Blmler Ensttüsü, İstanbul. - Anderson, T.W. (958), An Introducton to Multvarate Analyss, Wley, NewYork. - Anderson, T.W. (963), "Asymptotc theory for prncpal components", Annals of Mathematcal Statstcs, 34, Bartlett, M.S. (950), "Test of sgnfcance n factor analyss", Brtsh Journal of Psychology, 3, Beran, R., Srvastava, M.S., (985), "Bootstrap tests and confdence regons for functons of covarance matrx", Ann. Statst., 3, Beran, R., Ducharme, G.R. (99), Asymptotc Theory for Bootstrap Methods n Statstcs, Les Publcatons Centre de Recherches Mathematques, Unversté de Montréal, Montréal. - Davson, A.C., Hnkley, D.V. (997), Bootstrap Methods and Ther Applcaton, Cambrdge, Cambrdge Unversty Press. - Efron, B. (979), "Bootstrap Methods: Another look at the Jackknfe", Ann. Statst., Vol.7, s Efron, B., Tbshran, R.J. (993), An Introducton to The Bootstrap, USA, Chapman&Hall. - Freedman, D.A. (98), "Bootstrappng regresson models.", Ann. Statst., Vol.9, s Hall, P. (992), The Bootstrap and Edgeworth Expenson, New York, Sprnger. - Jobson, J.D. (994), Appled Multvarate Data Analyss : Volume II: Categorcal and Multvarate Methods, Sprnger, NewYork. - Mammen, E. (992), When Does Bootstrap Work? Asymptotc Results and Smulatons, Volume 77 of Lecture Notes n Statstcs, New York, Sprnger. - Morrson, D.F. (976), Multvarate Statstcal Methods, Second Ed., McGraw-Hll, NewYork. 9

11 Asal Bleşenler Analzne Bootstrap Yaklaşımı - Shao, J., Tu, D. (995), The Jackknfe and Bootstrap, New York, Sprnger. - Wu, F.J. (986), "Jackknfe, bootstrap and other resamplng methods n regresson analyss (Wth dscussons)", Ann. Statst., Vol.4, s Ek. Çok Değşkenl Normal Dağılımdan Türetlen Hpotetk Ver x x 2 x 3 x

12 Ekonometr ve İstatstk Sayı: 2005 Ek2. Mathematca Kodları