İki Durumlu Karışımlı Lojistik Regresyona İlişkin Bir Uygulama. An Application for Binary Mixture Logistic Regression

Transkript

1 BİLİŞİM TENOLOJİLERİ DERGİSİ, CİLT: 4, SAYI: 3, EYLÜL İ Durumlu arışımlı Lojst Regresyona İlşn Br Uygulama Yılmaz AYA 1, Abdullah YEŞİLOVA 2 1 Blgsayar Mühendslğ Bölümü, Srt Ünverstes, Srt, Türye 2 Byometr &Genet Bölümü, Yüzüncü Yl Ünverstes, Van, Türye yaya@yyu.edu.tr, yeslova@yyu.edu.tr (Gelş/Receved: , abul/accepted: ) Özet Lojst regresyon, bnary ( durumlu) bağımlı değşen le bağımsız değşenler arasında neden sonuç lşsn ncelemetedr. Lojst regresyonda, gözlenen varyansın, belenen varyanstan büyü olması aşırı yayılım olara tanımlanmatadır. Ver setnde meydana gelen aşırı yayılımın modellenmesnde ullanılan alternatf yöntemlerden br de arışımlı lojst regresyondur. arışımlı modellemede, aşırı yayılıma gözlenemeyen heterojenlğn neden olduğu varsayılmatadır. Ver set end çersnde homojen alt ver setlerne ayrılara, aşırı yayılım gderlmetedr. Bu çalışmada öğretm yılı çn YYÜ Eğtm Faültes Beden Eğtm ve Spor Öğretmenlğ Bölümü çn açılan yetene sınavına atılan 467 ere adayın başarı durumları arışımlı modeller le ncelenmştr. Adaylardan elde edlen ver set aşırı yayılım göstermştr. Aşırı yayılım, ver setnn homojen alt ver setne ndrgenmes le gderlmştr. Her alt ver set çn elde edlen parametre tahmnlerne göre breylern sınavı azanmalarında me sayıları, ÖSS ve AOÖBP değşenler etl olduları saptanmıştır (p<0.05). Anahtar elmeler AIC (Aae Informaton Crtera), BIC (Bayesan Informaton Crtera), EM (Expecton- Maxmzaton) algortması, Lojst regresyon, arışımlı model An Applcaton for Bnary Mxture Logstc Regresson Abstract The logstcs regresson, examnes the reason result relaton between the bnary dependent varable and ndependent varables. In logstcs regresson, observed varance beng more than expected varance s called overdsperson. In cases where there s overdsperson n the data set, mxture logstcs regresson s an alternatve method. In mxture modelng, t s assumed that the data set shows a heterogeneous structure. Ths heterogenety s defned as unobservable heterogeneous. The data set s separated to homogenous sub data sets wthn tself n order to overcome the overdsperson. In ths study, the status exam success of 467 male canddates that partcpated to the sll exam made n educaton year n YYÜ Faculty of Educaton Gymnastcs and Sports Teachng Department were examned wth mxture models. The data set obtaned from canddates was showed overdsperson. The overdsperson n data set was obvated by the separatng data to homogenous two sub data sets. Accordng to the parameter estmates for each sub data set, the number fles, ÖSS ponts and AOÖBP varables effect the result of the exam drectly (p<0.05). eywords AIC (Aae Informaton Crtera), BIC (Bayesan Informaton Crtera), EM (Expecton-Maxmzaton) Algorthm, Logstc Regresson, Mxture model 1. GİRİŞ * Lojst regresyon (LR), bağımlı değşenn bnom dağılımı gösterdğ durumlarda ullanılmatadır. Başa br fadeyle LR, bağımlı değşenn l veya sıralı olması durumunda bağımlı değşen le bağımsız değşenler arasında neden sonuç lşsn belrlemede ullanılan br yöntemdr [1,2,3,4]. LR de, bağımsız değşenlern doğrusal yapısı, durumlu bağımlı * Bu çalışma 2007 yılında btrlen Yılmaz AYA nın yüse lsans teznden alınmıştır. değşennn belenen değerne bağlayan br ln fonsyonunu ullanmatadır. Genellle logt, probt veya coucht gb bağlantı fonsyonları ullanılmatadır [3,5,6]. Lojst regresyonda, gözlenen varyansın, belenen varyanstan büyü olması aşırı yayılım (overdsperson) olara tanımlanmatadır [7,8,9]. Aşırı yayılım, genellle gözlenemeyen heterojenlğn neden olduğu br durumdur [4,10,11,13,14]. Gözlenemeyen heterojenlğn belrlenmesnde ullanılan yöntemlerden br arışımlı lojst regresyondur (LR;Mxture Logstc Regresson=MLR). arışımlı

2 54 lojst regresyonda, ver setnn farlı alt ver setlernden oluşan heterojen br ver set olduğu varsayılmatadır. LR de amaç, ver setnn dağılacağı homojen alt ver setlern sayısı belrleyere, gözlemlern alt ver setlerne dağılmasını sağlamatır. Daha sonra her br alt ver set çn ayrı parametre tahmnler elde edlr [10,11,12,15,16,17]. Aşırı yayılım gösteren ver setler çn bağımlı değşenn l olması durumunda durumlu arışımlı lojst regresyon (ILR: Bnary Mxture Logstc Regresson=BMLR) ullanılmatadır [17]. ILR de parametre tahmnler, belent masmzasyonu (Expectaton-Maxmzaton=EM) algortması ullanılara en ço olablrl (Masmum Lelhood=ML) yöntem le elde edlr [18]. Ver setn en y açılayan modeln seçmnde, Aa blg ölçütü (Aae Informaton Crtera=AIC) ve Bayesan blg ölçütü (Bayesan Informaton Crtera=BIC) en ço ullanılan model uyum ölçütlerdr [4,12,13,19]. Bu çalışmada, ILR modelnn teor özelller ncelenere, Beden Eğtm ve Spor Öğretmenlğ alanında elde edlen gerçe br ver setne uygulaması yapılmıştır. İl olara, ver setnn te br ver setnden oluştuğu varsayılara LR analz yapılmıştır. Daha sonra LR analz sonucunda oluşan aşırı yayılımı gderme çn ver set ILR analzne tab tutulmuştur. ILR da her br alt ver set çn ayrı parametre tahmnler ve alt ver setne düşen breylern sayıları tahmn edlmştr. 2. VERİ SETİ Bu çalışmada ullanılan ver set, öğretm yılı çn YYÜ Eğtm Faültes Beden Eğtm ve Spor Öğretmenlğ Bölümü çn açılan yetene sınavına atılan 467 ere adaydan oluşmuştur. Verlern br bölümü (ÖSS puanı, AOÖBP) Öğrenc Seçme ve Yerleştrme Merez nn (ÖSYM) web sayfasından elde edlmştr. Ver setn oluşturan dğer değşenler se sınav esnasında adaylardan bre br alınmıştır. Adayların performans değşenler se sınav esnasında adaylar zlenere elde edlmştr. Adayların sınavı azanıp azanmaması (sınav sonucu) bağımlı değşen, Me Sayısı, Öğrenc Seçme Sınavı(ÖSS) puanı ve Ağırlılı Orta Öğretm Başarı Puanları (AOÖBP) bağımsız değşenler olara modele alınmıştır. Ver setne at tanıtıcı statstler Tablo 1 de verlmştr. Tablo 1. Bağımsız değşenlere lşn tanıtıcı statstler Değşen N Ortalama±Sta Mnmum Masmum ndart Sapma Me ± Sayısı ÖSS Puanı ± AOÖBP ± YÖNTEM 3.1. İ Durumlu arışımlı Lojst Regresyon arışımlı lojst model çn esl arışımlı dağılım [10,16], p BİLİŞİM TENOLOJİLERİ DERGİSİ, CİLT: 4, SAYI: 3, EYLÜL 2011 y B y v exp x 1 bçmnde yazılablr. Burada, ıncı alt ver setne at olma olasılığını; y, bağımlı değşen; x, bağımsız değşen vetörünü;, blnmeyen parametre vetörünü; v, gamma dağılışına sahp tesadüf br et veya değşen göstermetedr. y, bnomal dağılış gösterr ve, P n y y y p p 1 p Y n bçmnde yazılır. Burada p,stenen olayın gerçeleşme olasılığı, n toplam deneme sayısı, y stenen başarılı olay sayısını belrtr. Lojst regresyonda ullanılan logt bağlantı fonsyonu, Logt ' x olara yazılablr [2]. Bu durumda y değerlerne lşn marjnal olasılı yoğunlu fonsyonu, f ( y) P( C ) P( Y y C ) f ( y, p ) 1 1 şelnde yazılablr [14,16]. Bnom dağılışlı ver setnn, adar alt popülasyona at heterojen br örne olması durumunda ıncı alt popülasyona (ategorye) gren nc şans değşennn olasılığı [15], P c bçmnde verleblr. Bütün verler çn log-olablrl fonsyonu, y n n L(Y, X,, ) c log c log b(y,x) (4) bçmnde yazılablr. 4 numaralı eştlte, c gözlenemeyen gözlemler olup, C c, 1,2,... n; 1,2,... c c c 1, 0, dger durumlarda bçmnde yazılablr [14,15] İ Durumlu arışımlı Lojst Regresyon model çn EM algortması ve en ço olablrl yöntem ILR model çn EM algortmasının aşamaları aşağıda gb verleblr [10,12] Brnc aşamada, ve 0 tolerans değerlerne göre belrlenr. (1) (2) (3) başlangıç değerler ve

3 BİLİŞİM TENOLOJİLERİ DERGİSİ, CİLT: 4, SAYI: 3, EYLÜL E aşamasında, ve başlangıç değerler verldğnde gözlenmş verler (X, Y) ve parametrelern başlangıç değerler üzernden, C es gözlemler elde edlr. Ĉ (, ) ullanılara c nn ıncı unsurunun oşullu olasılığı, b y x,, b y x, 1 ĉ, bçmnde verleblr. M aşamasında,,1, c, z,...,z ; 1,2,...,n, 1,2,..., (5) oşullu olasılıları verlmşen, parametre tahmnler, eştl 4 te verlen log olablrl fonsyonun ve ye göre masmze edlmes le, Q,p, E (L(Y,C,,p,X)) Y,X,, (6) Q Q1 Q2 bçmnde elde edlr.burada, Q1 ve Q 2, n 1, 1 1 Q c, log (7) n 2, y n (8) 1 1 Q c, logb(, ) bçmnde elde edlr. Eştl 7 ve 8 de verlen ˆ ve ˆ tahmn edcler, Q 1 ve Q2 eştllernn ve ya göre türevlernn alınması le, Q1 0 Q 2 0, 1,..., 1 (9) bçmnde elde edlr. Eştl 9 ullanılara ˆ, n 1 (10) 1 n ˆ ˆ c,, 1,..., 1 (11) bçmnde elde edlmetedr [10,11,12]. Yuarıda verlen eştl 10 da apalı formunun çözümünün zor olmasından dolayı, parametre tahmnler çn Quas-Newton yalaşımı ullanılara E ve M aşamaları, 1.aşamada, 1,..., ve 1,..., başlangıç değerlernn ve 0 tolerans değerlerne göre belrlenmes, 2. aşamada (E- aşaması), eştl 5 ullanılara c,...,c 1 cˆ ˆ ˆ 1,2,...,n (12),1, değerler hesaplanılır. ĉ, nın hesaplanmasında aşırı taşmayı engelleme çn eştl 5 de verlen fonsyonun pay paydası, payda toplamının en büyü değerne bölünür. 3. aşamada (M- aşaması), a) Eştl 9 ullanılara ˆ parametresnn hesaplanması b) Quas-Newton algortması ullanılara 10 numaralı eştlğn çözümünden ˆ parametresnn hesaplanması. 4. aşamada, aşağıda oşullardan en az br doğru se, ˆ, ˆ olur ve 1. asamaya gdlr, as durumda c aşamasına gdlr. ) ˆ (13) ) ˆ (14) ) LY,X, ˆ, ˆ LY,X,, (15) c) parametreler çn, ˆ ler başlangıç değerler olara alınır ve Quas-Newton algortması ullanılara L Y,X,, log olablrl fonsyonu gözlenmş masmze edlp, şlem sonlandırılır [10,11] Uygun Model Seçm arışımlı modellerde uygun model seçmnde ullanılan uyum ölçütler Aa Blg Ölçütü (Aae Informaton Crtera=AIC) ve Bayesan blg ölçütü (Bayesan Informaton Crtera=BIC). AIC ve BIC uygun model seçm çn ullanılır. Uyum ölçütler genel olara; 0 (16) (17) bçmnde yazılablr. Burada, p parametre sayısını göstermetedr [10]. 4. UYGULAMALAR Çalışmada, analzler çn R yazılımı ullanılmıştır. R statst, matemat, ver madenclğ gb ço farlı amaçlar çn ullanılablece br programlama dldr [20]. Açı aynalı br program olup GNU lsansı altında dağıtılmatadır. Ver setnn l önce lojst regresyona göre analz yapılmıştır. Lojst regresyonda, devans (devance) uyum statstğne lşn yayılım parametre değer 6.328, Pearson h-are uyum statstğne lşn değer se olara bulunmuştur. Elde edlen uyum statstğ değerlernn br (1) değernden büyü çıması ver setnde aşırı yayılım olduğunu göstermetedr [4]. Ver setnde aşırı yayılım tespt edldten sonra, durumlu arışımlı lojst regresyon uygulanmıştır. İ

4 56 durumlu arışımlı lojst regresyona lşn elde edlen model uyum ölçütler Tablo 2 de verlmştr. Tablo 2 ye baıldığında alt ver setnden (alt ver set 2 adet) sonra AIC ve BIC uyum ölçütlernn büyüdüğü görülmetedr. İnc alt ver set çn uyum statstler AIC= ve BIC= olara bulunmuştur. En üçü AIC ve BIC değerlerne sahp model, ver setn en y açılayan model olara blnmetedr. Bundan dolayı, oyu harflerle gösterlen alt ver setl model en y model olara seçlmştr. Alt ver set seçme şlemne at aba od aşağıda verlmştr. 1. BAŞLA; 2. P=1; //Alt ver set sayısı 3. I=1; 4. AIC, BIC hesapla 5. P=P+1; I=I+1; 6. EM algortmasına göre gözlemler gruplara dağıt. 7. Her alt ver set çn parametre tahmnlern hesapla 8. AIC, BIC hesapla ve sala; 9. Eğer AIC-1<AIC veya BIC-1<BIC GİT GİT DUR 12. YAZ ( Alt Ver Sayısı= +P); 13. BİTİŞ Tablo 2. Farlı alt ver setler çn uyum ölçütler # Alt Ver Setler AIC BIC 1 adet adet adet adet En y model olara seçlen alt ver setl modelde, her br alt ver set çn elde edlen parametrelern ortalama değerler Tablo 3 te verlmştr. Brnc alt ver setnde ortalama me sayısı , ortalama ÖSS puanı ve ortalama AOÖBP puanı olara elde edlmşen, nc alt ver setnde ortalama me sayısı , ortalama ÖSS puanı ve ortalama AOÖBP puanı olara elde edlmştr. Tablo 3. İ alt ver setl modele at ortalama parametre değerler Alt Ver Me ÖSS AOÖBP Setler Sayısı 1.alt ver set alt ver set İ durumlu arışımlı lojst regresyon çn elde edlen parametre tahmn değerler ve standart hataları Tablo 4 te verlmştr. Me sayısı ve ÖSS puanının alt ver setler arasında öneml farı, bu değşenn sınavı azanma üzerne dre br etsnn olduğu görülmetedr. Tablo 4 te verlen parametre tahmnlerne göre AOÖBP değşenn alt ver set ç sınav başarısı üzernde ço üçü br etye sahp olduğu görülmetedr. BİLİŞİM TENOLOJİLERİ DERGİSİ, CİLT: 4, SAYI: 3, EYLÜL 2011 Tablo 4. arışımlı lojst regresyon analz sonuçları Alt Dağılım Inter Me OSS AOÖBP Ver Setler Oranları (%) cept Sayısı (Standart Hatalar) * p<0.05 (0.044)* 30.7 (0.031)* (0.027)* 0.01 (0.020)* (0.014)* 0.04 (0.045)* İ alt ver setl modelde, breylern her br alt ver setne dağılma oranları Tablo 5 te verlmştr. Brnc alt ver setnde breylern 58 (20.9%), nc alt ver setne se 409 u (79.1%) dahl olmuştur. Her alt ver setnde (p<0.05) değerlerne göre sınavı azanmada Me Sayısı, ÖSS ve AÖOBP değşenlernn öneml olduğu saptanmıştır. Tablo 5. Adayların alt ver setlerne dağılımı. Alt Ver Setler Sayı Oran % Alt Ver Set 58 20,9 Alt Ver Set ,1 5. TARTIŞMA Bnom dağılımda, gözlenen varyansın belenen varyanstan büyü olduğu durum, aşırı yayılım (overdsperson) veya extra-bnomal varyasyon olara adlandırılmatadır [7,9,17]. Bu durumda lojst regresyonun ullanılması doğru ve tutarlı olmayan parametre tahmnlernn ve standart hataların elde edlmesne neden olmatadır. Çalışmada, lojst regresyonda meydana gelen aşırı yayılım, ver set end çersnde alt ver setne ayrılara gderlmştr. Böylece her br alt ver set ç homojenl sağlanıren, alt ver setler arası heterojenlte ortaya onmaya çalışılmıştır. Tablo 2 de farlı alt ver setl modeller çn hesaplanan AIC ve BIC uyum ölçütler alt ver setl modelden sonra gdere büyüdülernden dolayı, dört alt ver setl modelden sonra alt ver setl modellere yer verlmemştr. Tablo 3 te brnc alt ver set çn me sayıları ve ÖSS puanlarının ortalama değerlernn nc alt ver setnden elde edlen ortalama değerlere göre daha üçü olduğu saptanmıştır. Çalışmada, özellle me sayısı ve ÖSS puanın, öğrenclern sınavı azanmalarında doğrudan etl olduğu belrlenmştr. Bununla brlte, AÖOBP ortalama değer her alt ver set çn benzerl göstermştr. Bu baımdan, Tablo 4 te verlen bağımsız değşenlern tamamının, sınavı azanma üzernde etlernn öneml olması, Tablo 3 de verlen ortalama değerler le brbrlern destelemetedr. Tablo 3 e baıldığında özellle me sayısı ve ÖSS puanının her alt ver set çn farlılı göstermeler, bu her özellğn sınav sonucunu doğrudan etledler söyleneblr.

5 BİLİŞİM TENOLOJİLERİ DERGİSİ, CİLT: 4, SAYI: 3, EYLÜL Bu çalışmada, bağımlı değşenn durumlu olduğu durumlarda ver setnde meydana gelene aşırı yayılımı modelleme çn durumlu arışımlı lojst model ullanılmıştır. Elde edlen sonuçlar doğrultusunda, durumlu arışımlı lojst modeln, lojst regresyonda meydana gelen aşırı yayılım modellemede öneml br yöntem olduğu gözlenmştr. AYNALAR [1]. G. E. Bonney, Logstc Regresson for Dependent Bnary Observatons, Bometrcs, 43(4), , [2]. B. Zhang, A Ch-Squared Goodness-of-Ft- Test for Logstc Regresson Models Based on Case-Control data, Bometra, 86, , [3]. M. E. Stoes, C. S. Davs, G. G. och, Categorcal Data Analyss Usng the SAS System, John and Wley & Sons Incorporaton, USA, [4]. SAS, SAS/STAT Software:Hangen and Enhanced. SAS, Inst. Inc., USA, 2008 [5]. P. McCullagh, J. A. Nelder, Generalzed Lnear Models: Second Edton, Chapmann and Hall, London, [6]. J. A. Dobson, An ntroducton to generalzed lnear models: New Yor: Chapman and Hall, 174, [7]. R. Cox, Some Remars on Overdsperson, Bometra, 70, , [8]. D. Lambert,. Roeder, Overdsperson Dagnostcs for Generalzed Lnear Models, Journal of the Amercan Statstcal Assocaton, 90(432), , [9]. J.. Lndsey, On the Use of Correctons for Overdsperson, Appl. Statst, 48(4), , [10]. P. Wang, M. L. Puterman, I. M. Cocburn, N. Le, Mxed Posson Regresson Models wth Covarate Dependent Rates, Bometrcs, 52, , 1996 [11]. P. Wang, I. M. Cocburn, M. L. Puterman, Analyss of Patent Data- Mxed Posson Regresson Model Approach, Journal of Busness and Economc Statstcs, 16(1), 27-41, [12]. P. Wang, M. L. Putterman, Mxed Logstc Regresson Models: Journal of Agrculture, Bologcal and Envronmental Statstcs, 3(2), , [13]. B. Jones, S. D. Nagn,. Roeder, A SAS Procedure Based on Mxture for Estmatng Developmental Trajectores, Socologcal Methods and Research, 29(3), , [14]. A. Yeşlova, The Use of Mxed Posson Regresson Models for Categorcal Data n Bology, Ph. D. Dssertaton, Unversty of Yüzüncü Yıl, Van, [15]. H. Out, T. E. Duncan, S. C. Duncan, L. A. Strycer, Growth Mxture Modelng of Zero-Inflated Count Data:, J. of Psychopathology and Behavoral Assessment, [16]. F. Lesch, FlexMx: A General Framewor for Fnte Mxture Models and Latent Class Regresson n R, Journal of Statstcal Software, 11(8), [17]. Y. aya, Bnary arışımlı Lojst Regresayon (Yüse Lsans Tez,Basılmamış). Yüzünyü Yıl Ünverstes Fen Blmler, [18]. M. L. Dalrymple, I. L. Hudson, R. P.. Ford, Fnte Mxture, Zero-Inflated Posson and Hurdle Models wth Applcaton to SIDS, Computatonal Statstcs & Data Analyss, 41, , [19]. A. P. Dempster, N. M. Lard, D. B. Rubn, Maxmum Lelhood from Incomplete Data va the EM Algorthm, Journal of Royal Statstcal Socety, 39, 1-18, [20]. Internet: R Project for statstcal computng

6 58 BİLİŞİM TENOLOJİLERİ DERGİSİ, CİLT: 4, SAYI: 3, EYLÜL 2011