C.Ü. İktsad ve İdar Blmler Dergs, Clt 4, Sayı 1, 3 6 Kİ-KARE VE KOLMOGOROV SMİRNOV UYGUNLUK TESTLERİNİN SİMULASYON İLE ELDE EDİLEN VERİLER ÜZERİNDE KARŞILAŞTIRILMASI H. BİRCAN, Y. KARAGÖZ ve Y. KASAPOĞLU Cumhuryet Ünverstes, İİBF, İşletme Bölümü Özet Bu çalışmada uygunluk test olarak K-Kare ve Kolmogorov-Smrnov testler üzernde durulmuştur. Smulasyon le elde edlen br ana kütleden alınan örnek üzernde hem K-Kare hem de Kolmogrov-Smrnov uygunluk testler yapılmıştır. Her k testten elde edlen P değerler arasında öneml br fark olmadığı, t test le araştırılmıştır. Anahtar Kelmeler: K-Kare, Kolmogorov-Smrnov Test, Smülasyon Abstract The Comparaton of Goodness-of-ft Tests of Ch-Square and Kolmogorov Smrnov wth Data Obtaned by Smulaton In ths study, tests of Ch-Square and Kolmogorov-Smrnov have been gven. Ether Ch-Square or Kolmogorov-Smrnov tests s appled on example. Ths examples are taken from an populaton whch s produced wth smulaton. To fnd whether there s mportant dfference between P values from these two tests t test carred out. Keywords: Ch-Sguare, Tests of Kolmogorov-Smrnov, Smulaton GİRİŞ Modern statstğn temel konusu olan tahmn teors; anakütle parametrelernn tahmn ve hpotezlern test edlmes le lglenmektedr. Hpotez testler, parametrk ve nonparametrk testler olmak üzere, k grupta toplanablr. Gerekl varsayımların geçerl olmadığı durumlarda, parametrk teknkler büyük ölçüde güvenlrlklern kaybederler. Bu gb durumlarda, nonprametrk teknkler devreye grer. Blndğ gb anakütle parametreler tesadüf seçmle alınacak örnek statstkler le tahmn edlr. Örnekleme dağılımı blndğ zaman, herhang br tahmnn gerçek parametreye olan yakınlığı belrl br htmalle belrtleblr. Böylece tahmn değer le gerçek parametre arasındak farklılık htmal le ölçülmüş olur. Tahmnde ana amaç, gerçek parametre le tahmn edlen parametre arasındak farkı asgar sevyede tutablmek ve bu hatanın mutlak bazı sebeplerden m, yoksa tesadüf sebeplerden m meydana geldğn belrlemektr. Bu sebeplerden dolayı karara varablmemz çn hpotez testler kullanılır.
7 BİRCAN, KARAGÖZ ve KASAPOĞLU Bu çalışmada, temel amaç; parametrk ve nonparametrk testlere brer örnek olarak, K-Kare ve Kolmogorov-Smrnov teknkler karşılaştırılacaktır. Yan tesadüf sayı anakütlesnden alınan çok sayıdak şans örnekler üzerne K-Kare uygunluk test le Kolmogorov-Smrnov tek örnek test ayrı ayrı uygulanarak, örneklerdek özellğn anakütle özellğn yansıtıp yansıtmadığını her k test le belrlemektr. Ayrıca test statstklerne bakılarak önem sevyeler test edlp hang test çn önem sevyesnn daha büyük olduğunu araştırmak ve böylece testler hakkında br karşılaştırma yapablmektr. 1. PARAMETRİK VE NONPARAMETRİK TESTLERİN AVANTAJ VE DEZAVANTAJLARI Brbrne alternatf olan hpotez testlernden hangsnn kullanılmasının daha uygun olacağına çeştl krterlere göre karar verlr. Bu krterler (Işık,46) testn kuvvet, testn dayandığı statstk modeln araştırma verlerne uygulanablrlğ ve kuvvet yetknlğdr. Br nonparametrk testn açık br avantajı, anakütle hakkında hçbr şey blnmedğ zaman güvenle kullanılablr olmasıdır. Meselâ, örnek hacm öyle küçük olur k, statstklern örnekleme dağılımı normal dağılıma yaklaşmaz. Bu durumda nonparametrk br teknğe htyaç duyulur. Nonparametrk testn dğer öneml br avantajı se, nomnal ve ordnal verlerle yapılablr olmasıdır. Halbuk parametrk testler daha yüksek sevyedek verlere htyaç duyar. Ayrıca, nonparametrk testler parametrk testlere nsbeten daha kolay ve pratktr. Nonparametrk testlern dezavantajları da vardır. Meselâ, aynı şartlar altındak parametrk testlerden daha az güçlüdür. Yan, II. Tp br hata htmal nonparametrk testte daha büyüktür. Buna laveten, çoğunlukla, gözlenen değerler arasındak farkın büyüklüğündense sadece yönü le lglenr. Yan, gözlenen değern bell br değerden büyük veya küçük olup olmadığına bakar, ne kadar büyük veya küçük olduğu le pek lglenmez. Bu sebeple nonparametrk testn etknlğ parametrk teste göre daha azdır. Ancak örnek hacm arttırılmak suretyle nonparametrk br testn gücü ve etknlğ parametrk test sevyesne çıkarılablr. (Kartal 1,143).. K-Kare VE KOLMOGOROV SMİRNOV UYGUNLUK TESTLERİ.1. Kİ-KARE DAĞILIMI K Kare dağılımı lk olarak lü yıllarda Pearson tarafından ortaya atılmıştır(aytaç 1: 317). K-Kare dağılımı oldukça yaygın olarak ve br çok maksatla kullanılan br dağılımdır. Çoğu araştırmada çeştl kategorlere gren deneklern, nesnelern veya cevapların sayısı le lglenlr. Meselâ, br grup nsan bell br anketn sorularına verdkler cevaplara göre sınıflandırılablrler. Araştırmacı bell br tp cevabın dğerlerne kıyasla daha sık ortaya çıkıp çıkmayacağını belrlemek steyeblr. Bu
C.Ü. İktsad ve İdar Blmler Dergs, Clt 4, Sayı 1, 3 71 gb durumlarda ve özellkle de sayımla belrlenen kaltatf özellklerle lgl testlerde daha zyade K-Kare test kullanılır. K-Kare dağılımı; uygunluk, bağımsızlık, varyans, homojenlk ve bağımlı grupların testnde oldukça sık kullanılır (Kartal 1: 3-13). K Kare; artmetk ortalaması sıfır ve varyansı br olan normal bölünmel br anakütleden herbr dğernden bağımsız olarak seçlen n brml br örnekleme at değerlern karelernn toplamı demektr (Aytaç 1: 317-31). Yan, Z, = 1,..., n olmak üzere, n tane bağımsız standart normal dağılım çn Z toplamı le, n serbestlk derecel K-Kare dağılımı elde edlr. Yan, 1, Z,..., Zn χ n n = 1 Z olur ( Hasgür : 77; Ross1:41; Dagpunar1: 1-1; Bratley-Fox- Schrage 17:174-175; Sobol 14; 1-; Leems 16 143-144 ). K Kare; k veya daha fazla ver set arasında öneml farkın olup olmadığını belrlemede araştırmacının kullanableceğ br statstk analz yöntemdr (Tokol 16,7). Bu yöntemde gözlenen değerler le beklenen değerler kıyaslanır... Kİ-KARE UYGUNLUK TESTİ Uygunluk test bell br hpoteze uygunluk ve htmal dağılımlarına uygunluk test olarak k kısımda ncelenmektedr. Bu çalışmada belrl br hpoteze uygunluk test üzernde durulacaktır Belrl br hpoteze uygunluk testnde; gözlenen frekansların ( o ), bell br hpoteze göre elde edlen beklenen frekanslara (e ) uygun olup olmadığı araştırılır. N brmlk ver, r kategorden oluşmak üzere, bu testn safhaları aşağıdak gb olur. 1-Hpotezler: H : o = e, = 1,,..., r, ( o1 = e1, o = e,..., o r = e r ) (Gözlenen frekanslar beklenen frekanslara uygundur) H 1 : o e (Gözlenen frekanslar beklenen frekanslara uygun değldr. Fark önemldr) -Test İstatstğ: Test statstğ aşağıdak eştlk yardımıyla hesaplanır.
7 BİRCAN, KARAGÖZ ve KASAPOĞLU r (o e ) χ = = 1 e Görüldüğü gb o lern e lere yaklaşması durumunda χ statstğ sıfıra yaklaşacaktır. 3-Karar Model ve Karar K-Kare uygunluk test sağ kuyruk testdr. Çünkü, o e farklarının kareler alınarak χ test statstğ hesaplanır. Fark büyüdükçe, farkların kareler poztf yönde sonsuza doğru büyür. Böylece red bölges dama dağılımın sağ kuyruğunda olur. Buna göre karar model aşağıda gösterlmştr. H Kabul (Uygun) H Red (Uygun Değl) K.D Krtk değer (K.D), α önem sevyes ve s.d = r - ı - m serbestlk derecesne göre hazırlanmış χ krtk değerler tablosundan belrlenr. Burada m tahmn edlen parametre sayısıdır. Örnek olarak; normal dağılım çn tahmn edlen parametreler µ ve σ olduğundan m = alınır (Akyol Gürbüz : 4). Bu sebeple, krtk değer, K.D. = χ α ; r -1-m olarak sembolze edlr. 4. Karar Verme: Test statstğnde hesaplanan χ değer le krtk χ α ; r-1- m değer, karar modelne göre mukayese edlerek karar verlr. Buna göre, χ < χ α ; r-1-m se, H hpotez kabul edlerek gözlenen değerlerle beklenen değerlern brbrne ( o lern e lere ) uygun olduğuna, görülen farklılığın önemsz olduğuna α önem sevyesnde karar verlr. α
C.Ü. İktsad ve İdar Blmler Dergs, Clt 4, Sayı 1, 3 73 χ > χ α ; r-1-m se, H hpotez reddedlerek gözlenen değerlerle beklenen değerlern brbrne ( o lern e lere ) uygun olmadığına α önem sevyesnde karar verlr. Testten daha güvenlr sonuç almak çn şu k durum dkkate alınmalıdır (Kartal 1,6). 1) İk kategor varsa her br beklenen frekans veya daha büyük olmalıdır. ) Kategor sayısı kden fazla se (r > ) herbr beklenen frekans beş veya daha büyük olmalıdır. K Kare test yaparken, çok sık yapılan yanlış kullanma hatalarından brs küçük beklenen frekanslarla çalışılmasıdır. Küçük br beklenen frekansın χ ye katkısı büyük olacaktır. e küçüldükçe χ büyüyecektr. Bu durum H hpoteznn reddedlmes htmaln arttırır. 3. KOLMOGOROV-SİMİRNOV TESTİ χ uygunluk testlernn alternatf olan Kolmogorov-Smrnov test, Kolmogorov tarafından 133 yılında önerlmştr. Kolmogorov, tek örnek çn uyum ylğ testn önermştr. 13 yılında se br Rus matematkçs olan Smrnov tarafından k bağımsız örnek çn uyum ylğ test gelştrlmştr. Kolmogorov ve Smrnov test benzerlk nedenyle, uygulamada, Kolmogorov Smrnov uyum ylğ testler olarak blnrler. χ testnn uygulanablmes çn beklenen frekansların 5 den büyük olması stenr. Kolmogorov-Smrnov test böyle br şarta dayanmadığı çn kolayca uygulanablmektedr. K-Kare testnde beklenen frekansların 5 ten büyük olması çn ya örneklern büyük hacml olması gerekr (bu masraflı br ştr), yada sınıflar brleştrlmek suretyle beklenen frekansların 5 den büyük olması sağlanır. Bu durumda se blg kaybı söz konusudur. Oysa Kolmogorov-Smrnov testnde beklenen frekanslar çn br alt lmt söz konusu değldr (Kartal 1: 3-13). 3.1. KOLMOGOROV-SİMİRNOV TEK ÖRNEK TESTİ Bu çalışmada Kolmogorov-Smrnov tek örnek test kullanılacaktır. Tek örnek çn Kolmogorov-Smrnov test k kümülatf dağılım fonksyonunun ncelenmes temelne dayanır (Gamgam 1, 16). Bunlardan brncs sıfır hpoteznde belrtlen kümülatf dağılım fonksyonudur. İkncs örnekten elde edlen gözlenen kümülatf dağılım fonksyonudur. Kolmogorov-Smrnov tek örnek testnde hpotezler şöyle kurulur. 1. Hpotezler
74 BİRCAN, KARAGÖZ ve KASAPOĞLU H : o = e (Gözlenen frekanslar beklenen frekanslara uygundur) H 1 : o e (Gözlenen frekanslar beklenen frekanslara uygun değldr. Fark önemldr).. Test İstatstğ:Test statstğ D le gösterlr. D; gözlenen ve beklenen değerlern kümülatf nsb frekansları arasındak mutlak farkın en büyüğüdür (Kartal 1, 14). D = max F - F e F = Gözlenen kümülatf nsb frekans F = Beklenen kümülatf nsb frekans 3-Karar Model ve Karar KD = Dα; n D > K. D se gözlenen frekanslar beklenen frekanslara uygun olmadığına α önem sevyesnde karar verlr. H hpotez kabul edlrse gözlenen frekansların beklenen frekanslara uygun olduğuna karar verlr. 3.. ANAKÜTLE, ÖRNEKLER VE TEST EDİLECEK ÖZELLİĞİN SEÇİMİ Smülasyon le üç basamaklı adet sayı türetlmş ve bu sayılar anakütle olarak kullanılmıştır. Örnek büyüklüğü, z n = α / d σ formülü kullanılarak, %5 güven ve %5 lk hata payı çn yaklaşık brm olarak belrlenmş (Yıldız ve dğerler, 14) ve tesadüf seçmle anakütleden adet örnek alınmıştır. Teste konu olacak özellk olarak çft sayıların dağılma oranları alınmıştır. Buna göre sonu,, 4, 6, le bten sayılar test çn kullanılmış ve böylece brmlk anakütledek 47 adet çft sayı testlerde kullanacağımız anakütley oluşturmuştur. Aynı şeklde herbr örnektek çft sayılar da gerçek örnekler oluşturmuştur. Bu nedenle herbr örneğn büyüklüğü değl de, htva ettğ çft sayıların sayısı kadar olmuştur. Testlerde kullanılacak olan kategorler se,, 4, 6, le gösterlecek olan 5 kategordr.
C.Ü. İktsad ve İdar Blmler Dergs, Clt 4, Sayı 1, 3 75 Örneklerdek Dağılımın Anakütle Dağılımına Uygunluğunun Test Anakütle de sonu,, 4, 6, le bten sayıların oranları kategorler tbaryle dağılma oranlarını oluşturmaktadır. Buna göre anakütle dağılımı Tablo 1 de gösterlmştr. Tablo 1 Anakütle Dağılımı Kategor f Nsb frekans Yüzde (%) 1.1 1 1.1 1 4 1.1 1 6 1.1 1 5. Toplam 47 1. Nsb frekans sütunundak değerler dağılma oranlarını göstermektedr. Örneklerdek dağılma oranlarının bu oranlara uygunluk gösterp göstermedğ hem K-Kare hem de Kolmogorov-Smrnov test le araştırılacaktır. Verlern analz SPSS paket programı kullanılarak yapılmıştır. K-Kare Uygunluk Test Uygulaması örneğn her br çn,,4,6, kategorlerne at gözlem değerler Tablo de oluşturulmuştur. Tablo. Örneğe At Gözlem Değerler Kademe 1 3 4 5 6 7 1 1 13 14 16 17 1 1 4 6 13 13 13 1 1 6 1 13 14 1 14 14 7 Toplam 57 5 53 51 54 4 53 47 57 4 55 57 54 46 4 47 44 51 5 54 6 13 1 1 1 13 7 1 14 16 1 7 14 7 14 7 7 K-Kare dağılışa göre bu gözlenen değerlere karşılık gelen beklenen değerler, Tablo 1 de verlen ana kütle oranlarına göre Tablo de verlmştr.
76 BİRCAN, KARAGÖZ ve KASAPOĞLU Tablo 3. Örneğe At Beklenen Değerler Kademe 1 3 4 5 6 7 4 6.3.7.3.3.4.....4.7.13.7.13.6.6.71.6.71..6.34.6.34..31..31...7.13.7.13.6.3.7.3.7.4.3.7.3.7.4.31..31.. Toplam 57 5 53 51 54 4 53 47 57 4 Kademe 1 13 14 16 17 1 1 4 6.45.55.45.55..3.7.3.7.4.6.34..34..74.66.74.66..31..31...3.7.3.7.4.36.4.36.4..6.71.6.71..5.5.5.5..6.34.6.34. Toplam 55 57 54 46 4 47 44 51 5 54 χ = r = 1 (o e) e formülü kullanılarak, χ hesap değerler elde edlr. Test statstğnde hesaplanan χ değer le krtk χ α ; r-1-m değer, karar modelne göre mukayese edlerek karar verlr. 1. örnek çn χ hesap değer aşağıdak şeklde bulunur. (.3) χ =.3 (13.4) +... +.4 = 1.73 bu değer 4 SD l χ dağılışında P=.65 htmalne eşttr. Bu değer.5 htmal sevyesnden büyük olduğundan H o hpotez kabul edlr. Yan gözlenen değerler le beklenen değerler arasında statstk olarak br fark yoktur. Dğer örnekler çnde benzer şlemler yapılarak χ hesap değerler ve htmal değerler Tablo 5 de verlmştr. Kolmogorov-Smrnov Tek Örnek Test Uygulaması 1. örneğe at verler çn Kolmogorov-Smrnov tek örnek test uygulaması Tablo 4 de verlmştr.
C.Ü. İktsad ve İdar Blmler Dergs, Clt 4, Sayı 1, 3 77 Tablo 4. Örneğe At Kolmogorov-Smrnov Tek Örnek Test Kategor o Nsp o F e Nsp e F e F -F e /57=.14.14../57=.1.1.5 13 13/57=.3.37../57=.1.4.3 4 /57=.17.57../57=.1.5.6 6 13 13/57=.3.77../57=.1..3 13 13/57=.3 1..4.4/57=. 1.. Toplam 57 1 57 1 İstatstk D=Max F -F e =.6 P=.577 Test statstğ D=.6 krtk değer P=.577 değernden küçük olduğundan beklenen değerler le gözlenen değerler arasında br fark yoktur. Dğer örneklere at D test statstkler ve htmal değerler Tablo 5 de verlmştr. 3.3. UYGULAMA SONUÇLARININ KARŞILAŞTIRILMASI Örnek çn yapılan testlerde hem K-Kare hem de Kolmogorov-Smrnov test çn P>.5 bulunmuştur. Bu sonuçlar toplu olarak Tablo 5 de sunulmuştur. Tablo 5 Örnek İçn K-Kare ve Kolmogorov-Smrnov Test Sonuçları K-Kare(χ ) Kolmogorov-Smrnov Örnek No Test statstğ P Test statstğ P 1 1.73.65.6.751.46..4.577 3.144.71.4.577 4 4.161.346.1.3 5.661.14.3.6 6 1..63.4.577 7 3.5745.4666.5 3 1.31.76.7.45.34.6717...6.56..61 5.667.3..45 1.651...45 13 1.1.754.4.45 14 1.535.6.7.74.336.673..7 16 1.176.6.4.45 17 1.61.4.5.546 1 4.636.366.7.56 1.1431.75.7.47 5.451.631.14.65
7 BİRCAN, KARAGÖZ ve KASAPOĞLU Bu sonuçlara göre örnekler, anakütledek dağılma oranlarını yansıtmaktadır. Ancak K-Kare test le Kolmogorov-Smrnov test çn P değerler arasında farklılıklar görülmektedr. Bu farkların öneml olup olmadığını belrlenmes gerekr. Eğer fark öneml çıkarsa, testlern güçler arasında da farklılık oluğu söyleneblr. Bunu belrlemek amacıyla bu örneğe at P değerlerne eşlenk çft örnek test uygulanacaktır. Bu durumda testn safhaları şöyle olur. 1-Hpotezler H : µ D = (K-Kare uygunluk test P değerler le Kolmogorov-Smrnov tek örnek test P değerler arasında fark yoktur, fark önemszdr.) H 1 : µ D ( P değerler farklıdır, fark önemldr.) -Test İstatstğ, t = S D D n.3 =.4367 = 1.1656 D ve S D nn belrlenmesnde kullanılacak D ve D değerler Tablo 6 da verlmştr. D=Pχ -P K-S şeklndedr. D D = n.764 = =.3 S D = D n 1 ( D) n( n 1) = 3.7 5.7 1 ( 1) =.4367 3.Safha: Karar Model ve Karar α=,5 ve s.d=-1=1 olup çft yönlü test çn krtk değer (K.D)= ±,3 dr. Karar: Çıkan t değer H ın kabul bölgesne düştüğünden H kabul edlr. Yan P değerler arasındak farkın öneml olmadığına karar verlr. K-Kare uygunluk test ve Kolmogorov-Smrnov test P değerler arasında br farklılık olmadığı %5 önem sevyesnde söyleneblr. Bu durumda testlern güçler arasında da öneml br farklılık olmadığı anlaşılmaktadır.
C.Ü. İktsad ve İdar Blmler Dergs, Clt 4, Sayı 1, 3 7 Tablo 6 P değerler, Aralarındak Fark ve Farkların Kareler Örnek No K-Kare(χ )(P) Kolmg-Sm.(P) Fark (D) D 1.,65.751.67.34...577.33.57 3..71.577.174.163 4..346.3 -.637.364453 5..14.6.457. 6..63.577.5.43 7..4666.3 -.517.717..76.45.3677.1353..6717..465.136..56.61 -.41.163..3.45 -..36557 1...45.5.347 13..754.45.34.143 14..6.74.55.3474..673.7 -.144.475 16..6.45.41.34 17..4.546.45.7377 1..366.56 -.56.33761 1..75.47.465.136..631.65 -.3.144 Toplam.764 3.7 SONUÇ Gözlenen ve beklenen frekansların aralarında öneml br farklılık olup olmadığının testnde, yan uygunluk testnde çok yaygın olarak kullanılan K-Kare test gözlenen frekansların 5 den küçük olması durumunda güvenlr sonuç vermemektedr. Ancak K-Kare uygunluk testne br alternatf olan Kolmogorov- Smrnov tek örnek test çn böyle br sınırlama söz konusu değldr. Fakat sınırlamaların kalkması durumunda testn gücünün azalması, başka br fade le güvenlrlğnn azalması söz konusu olur. Bu bakımdan herhang br sınırlaması olmayan ve daha bast şlemler gerektren Kolmogorov-Smrnov test eğer K- Kare testnden güç bakımından öneml derecede farklı değlse, uygunluk testlernde terch sebeb olablrler. İşte bu amaçla bu çalışmada, her k test de açıklandıktan sonra smulasyon le elde edlen br anakütleden rastgele alınan örnek çn hem K-Kare test le hem de Kolmogorov-Smrnov test le uygunluk testler yapılmıştır. Bu testler sonucunda P değerler arasında öneml br farklılık olup olmadığı, eşlenk çft örnekler durumuna göre t test le araştırılmıştır. t test sonucunda α=,5 önem sevyesnde öneml br farklılık olmadığı sonucuna varılmıştır. Sonuç olarak, K-Kare uygunluk test le Kolmogorov-Smrnov tek örnek testlernn aralarında öneml br farklılık olmadığı, küçük örnekler çn K-Kare
BİRCAN, KARAGÖZ ve KASAPOĞLU uygunluk test yerne kullanımı daha kolay ve ön şarta bağlı olmayan Kolmogorov- Smrnov testnn kullanılableceğ söyleneblr. Kaynakça Akyol, Mehmet ve Fkret Gürbüz (), Üç Yönlü Tablolarda χ İstatstğnn Kullanılması, İstatstk Araştırma Dergs DİE Yayınları, Nsan, Clt:1, No:1, 3-7 Aytaç, Mustafa (1), Matematksel İstatstk, Uludağ Ünverstes Basımev, Bursa. Bratley, Paul, Bennett L. Fox and Lnus E. Schrage (17), A Gude to Smulasyon, Sprnger. Dagpunar, John (1), Prncples of Random Varate Generaton, Clerendon Press, Oxford. Gamgam, Hamza (1), Parametrk Olmayan İstatstksel Teknkler, Ankara: Gaz Ünverstes Yayını. Hasgür, İbrahm (), Matematksel İstatstk, Seçkn Yayınları, Ankara. Işık, M. Can (), Parametrk ve Parametrk Olmayan Testlern Karşılaştırılması ve Uygulama, YL Tez, Marmara Ünverstes Sosyal Blmler Ensttüsü. Kartal, Mahmut (1), Hpotez Testler, Şafak Yayınev, Erzurum. Leems, Lawrance M. (16), Relatonshps Among Common Unvarate Dstrbutons, The Amercan Statstcan, Vol. 4, No., 143-146 Ross, Sheldon M. (1), Introducton to Probablty Models, Academc Press, Inc., New York. Sobol, I. M. (175), The Monte Carlo Method (Çevren ve Uyarlayan: V.I. Ksn), Mır Publshers, Moskow. Tokol, Tuncer., Pazarlama Araştırması, Bursa: Uludağ Ünverstes Yıldız, N., Akbulut, Ö., Brcan, H. (), Uygulamalı İstatstk, 3. Baskı, Şafak Yayınları, Erzurum.