Sato Test Kuramı Yöntemleriyle Farklı Örneklemlerden Elde Edilen Madde Parametrelerinin Tutarlılığının İncelenmesi

Transkript

1 ISSN: Eğitimde ve Psikolojide Ölçme ve Değelendime Degisi 2016; 7(1); Sato Test Kuamı Yöntemleiyle Faklı Öneklemleden Elde Edilen Madde Paameteleinin Tutalılığının İncelenmesi Examination of the Consistency of the Sato Test Theoy Item Paametes Obtained Fom Diffeent Samles Sait ÇÜM * Selahattin GELBAL** Ching-Pin TSAI*** Öz Bu aaştımada, aynı evenden tesadüfi olaak seçilen öneklemleden elde edilen Maddele için Sınılandıılmış Gi İlişki Deeceleinin (MİSGİD) tutalılığının ve Madde Uyaı İndekslei (MUİ) aacılığı ile geçekleştiilen madde sınıflandımalaı aasındaki uyumun incelenmesi amaçlanmıştı. Bu amaç doğultusunda, 20 madde ve bu maddelee dayalı 1000 adet yanıt öüntüsü simülasyon yoluyla elde edilmiş, yanıt öüntülei içeisinden seçkisiz olaak seçilen ve 30 yanıt öüntüsü içeen 10 faklı vei seti (öneklem) oluştuulmuştu. Öneklemlein he biinden elde edilen MİSGİD değeleinin faklı öneklemle aası tutalılığının belilenebilmesi amacıyla Seaman Sıa Faklaı Koelasyon Katsayılaı hesalanmış ve buna ek olaak değe otalamalaı aasındaki fakın anlamlılığı Kuskal Wallis-H Testi ile incelenmişti. Ayıca öneklemleden elde edilen MUİ ile yaılan sınıflandımalaın ne oanda uyum göstediği yüzde oanla yadımıyla incelenmişti. Elde edilen bulgula, Sato Test Kuamında maddelein kalitesinin belilenebilmesi için üetilen MİSGİD aameteleinin ve MUİ aametesine dayalı yaılan sınıflandımalaın tutalı sonuçla vediğini göstemişti. Anahta Kelimele: Sato test kuamı, öğenci-oblem çizelgesi, madde analizi. Abstact On this eseach, it has been aimed to the examination of consistency of Localized Gey Relational Gade- Poblem (LGRG-P) values and accommodation item classifications which ae made via Poblem Caution Index (PCI) between diffeent samles that ae andomly chosen fom the same univese. In accodance with this uose, 20 items and 1000 esonse attens based on these items have been obtained by simulation, 10 diffeent dataset (samle) which ae andomly chosen among esonse attens and involve 30 esonse attens have been constucted. In ode to examination of consistency of obtained LGRG-P values among diffeent samles, Seaman Rank-Ode Coelation Coefficients have been calculated and additionally significance of diffeence among value aveages has been examined by Kuskal Wallis-H Test. Moeove, with the hel of ecentages at what ate of item classifications made by PCI obtained fom samles show accommodation. Findings which ae obtained have showed that Sato Theoy Paametes which ae oduced in ode to detemine the quality of items have given consistent esults. Keywods: Sato test theoy, student-oblem chat, item analysis. GİRİŞ Moden tolumda eğitimde ve sikolojide kullanılan testle bieylein hayatında çok önemli bi ol oynamaktadı. Test uanlaı, bieylein eğitim göeceklei okullaı büyük ölçüde belilemekte dolayısıyla uzmanlaşacaklaı mesleklein belilenmesi süecinde kitik bi unsu olaak otaya çıkmaktadı. Başka bi bakış açısıyla test uanlaı, kişinin hayatı boyunca kendisini nasıl göeceği ve başkalaının onu nasıl göeceğini belileyen bi etmen haline gelmişti. Bu anlamda test uanlaının nasıl elde edileceği ve nasıl youmlanacağı konulaı üzeinde dikkatle duulmalıdı. Eğitimde ve *Doktoa Öğencisi, Hacettee Ünivesitesi, Eğitim Bilimlei Enstitüsü, Ankaa-Tükiye, e-osta:saitcum@hotmail.com ** Pof. D., Hacettee Ünivesitesi, Eğitim Fakültesi, Eğitim Bilimlei Bölümü, Ankaa-Tükiye, e- osta:sgelbal@gmail.com *** D., National Taichung Univesity, Eğitimde Ölçme ve İstatistik Enstitüsü, Taichung-Tayvan, e-osta: tsai.chenbin@msa.hinet.net Eğitimde ve Psikolojide Ölçme ve Değelendime Degisi, Cilt 7, Sayı 1, Yaz 2016, , Vol. 7, Issue 1, Summe 2016, Geliş Taihi: DOI: /eod Kabul Taihi:

2 Çüm S., Gelbal, S., Tsai, C-P. / Sato Test Kuamı Yöntemleiyle Faklı Öneklemleden Elde Edilen Madde Paameteleinin Tutalılığının İncelenmesi sikolojide test geliştime ve ölçme süeçlei, oldukça kamaşık ve geniş kasamlı bilgile bütünü üzeine inşa edilmiş bi bilimdalı olan sikometi çeçevesinde ele alını. Psikometistle, test maddeleinin nasıl geliştiileceği, nasıl seçileceği, veilen cevalaın sayılaa nasıl dönüştüüleceği, bunlaın nasıl youmlanacağı ve elde edilen veilein kalitesinin nasıl değelendiileceği gibi soulaa matematiksel ve istatistiksel teoilee dayalı olaak yanıt aala. Söz konusu teoilee test kuamı ya da sikometik kuam adı veilmektedi (Suen, 1990). Klasik Test Kuamı (KTK) ve Madde Teki Kuamı (MTK) geçmişten günümüze üzeinde en fazla çalışılan başlıca iki test kuamı olaak öne çıkmaktadı. Alanyazında, Klasik Test Kuamı ve Madde Teki Kuamının bazı üstün ve zayıf yönleinin tatışıldığı göülmektedi. Hambleton, Swaminathan ve Roges (1991), Klasik Test Kuamının sınılılıklaını şu şekilde açıklamaktadıla: Madde ve test istatistiklei guba bağlı olaak hesalanı. Bu sınılılık madde ve test özellikleinin bibiinden ayılamamasıyla ilişkilidi. Eğe bi test zo ise kişi düşük yeteneğe, eğe kolay ise yüksek yetenek düzeyine sahimiş gibi göünebili. Katılımcılaın yeteneği ise test maddeleinin güçlük düzeyini belilemektedi çünkü KTK da maddelein ayıt ediciliği ve güçlüğü belli bi gu için geçelidi. Bu nedenle madde aametelei uygulamanın yaıldığı guba bağlı olaak değişecekti. Bu duum aalel fomla oluştuma ve faklı testlee katılan bieylei kaşılaştıma konulaında sounlaın yaşanmasına neden olu. Ayıca KTK ya göe doğu yanıtlanan tolam sou sayısından elde edilen uan bieyin yetenek düzeyi olaak kabul edili. Bu tü bi hesalamada faklı soulaa doğu yanıt vemiş olmalaına ağmen eşit sayıda doğu yanıtı bulunan bieyle aynı yetenek düzeyinde kabul edilmektedi. Öneğin, 20 maddelik bi matematik testini alan ve faklı yedi maddeye doğu yanıt veen iki öğenci olduğu vasayılısa bu öğencilein ayıt edebilmesi sounu otaya çıkacaktı. Doğu yanıt veilen maddelein güçlükleinin ve ayıt edicilikleinin önemli deecede bibiinden faklı olması duumunda iki bieyin aynı yetenek düzeyinde kabul edilmesinin ölçme sonuçlaının hatalı youmlanmasına yol açacağı öngöülebili. Böyle bi duumda, test sonuçlaını eğitimin iyileştiilmesi için bi dönüt olaak kullanacak olan öğetmenin yedi kolay souya doğu yanıt veen öğenci ile yedi zo souya doğu yanıt veen öğenci için uygulayacağı yöntemlei seçeken test uanlaını göz önünde bulunduması yetesiz olmanın ötesinde yanıltıcı da olacaktı. Özellikle biçimlendiici değelendime (fomative assesment) duumlaında KTK ya dayalı ölçme süeçleinden istenilen düzeyde etkili sonuçla elde edilemeyeceği göüşü öne süülebili. MTK modellei faklı yanıt öüntüsüne sahi eşit sayıda doğu yanıtı bulunan bieylein yetenek düzeyi bakımından bibileinden ayıt edilebilmesi konusunda etkili çözümle sunmaktadı fakat MTK ya dayalı aametelein daha hatasız kestiilebilmesi için uygulamalaın geniş öneklemle üzeinde yaılması geekmektedi (Hulin, Lissak ve Dasgow, 1982; Ree ve Jensen, 1983; Hambleton ve van de Linden, 1997; de Ayala, 2009). Okullada yaılan ölçmele ise küçük katılımcı gulaı üzeinde yüütülmekte bu duum başlı başına MTK ya dayalı test uygulamalaını olanaksız kılmaktadı. Üstelik MTK ya dayalı test geliştimek ve sonuçlaı değelendimek alan uzmanlığı geektien bi süeçti. Söz konusu nedenleden dolayı öğetmen yaımı testlein geliştiilmesi ve test sonuçlaının değelendiilmesi süecinde KTK ya dayalı tekniklein kullanılmasının daha uygun olduğu göüşü öne süülebili. Buna kaşın KTK nın sınılılıklaı düşünüldüğünde ölçme sonuçlaının geçeliği, güveniliği ve kaşılaştıılabililiği bakımından önemli sounlaın otaya çıkması küçük öneklemlede daha etkili ölçmelein yaılabilmesini sağlayacak faklı yöntem ve tekniklein geliştiilmesi ihtiyacını doğumaktadı. Takahio Sato 1969 da diğe test kuamlaının sınılılıklaından doğan ihtiyaçtan haeketle katılımcılaın ceva öüntülei üzeinden efomanslaını ayıt etmeye yönelik küçük öneklemle üzeinde de etkili sonuçla üetebilecek bi sistem üzeinde çalışmalaını yüütmüştü. Sato nun geliştimiş olduğu Öğenci-Madde Çizelgesi Analizi (Student-Poblem Chat Analysis) ile hem maddelein kalitesi hem de öğencilein bilme ve öğenme duumlaı belilenebilmektedi. Bu anlamda Sato Test Kuamı moden test kuamlaı aasında yeini almaktadı (Switze ve Connell, 1990; Wu, 1999; Sheu, Nguyen, Nguyen, Pham, Tsai ve Nagai, 2014). Öğenci-Madde Çizelgesi Analizi ile Öğenci Uyaı İndeksi (Student Caution Index) ve Madde Uyaı İndeksi (Poblem Caution Index) olmak üzee iki tü indeks üetilmektedi. Öğenci Uyaı İndeksi (ÖUİ) aacılığıyla öğencile sınıflandıılaak he bi öğencinin testle ölçülen konu 171

3 Eğitimde ve Psikolojide Ölçme ve Değelendime Degisi alanlaını öğenme ve maddelei dikkatli bi şekilde yanıtlama duumlaına ilişkin dönüt alınmaktadı. Benze şekilde Madde Uyaı İndeksi (MUİ) aacılığıyla maddele sınıflandıılaak he bi maddenin işleliği hakkında dönüt alınmaktadı. Bu indeksle aşağıdaki fomüllele hesalanı (Sheu, Nguyen, Ngyuyen, Pham, Tsai ve Nagai, 2014; Lin ve Yih, 2015). m: Maddele (m=1,2,3, M) n: Öğencile (n=1,2,3, N) Ynm: n. öğencinin m. maddeden aldığı uan (doğu:1, yanlış: 0) Ym: Öğencilein m. maddeden aldıklaı uanlaın tolamı Yn: n. öğencinin tolam test uanı u :,, Madde Uyaı İndeksi (MUİ), maddelei döt faklı sınıfa atamak için kullanılı. He bi madde için hesalanan MUİ değeinin 0,50 den daha büyük bi değe alması ilgili maddede bazı sounlaın olabileceğine ilişkin bilgi vei. Elde edilen MUİ değei maddenin doğu yanıtlanma oanı ile bilikte youmlanı. Yaılan sınıflandımala ve bunlaa ilişkin yaılabilecek youmla aşağıda veilmişti (Sheu, Pham, Nguyen ve Nguyen, 2013). A: Düzgün çalışan bi madde. A': Kısmi olaak sounlu bi madde. Teka gözden geçiilebili. B: Zo bi madde. B': Sounlu bi madde. Tes işliyo olabili. Testten atılmalı ya da yeniden yazılmalı. Öğenci Uyaı İndeksi (ÖUİ) ise, öğencilei altı faklı sınıfa atamak için kullanılı. He bi öğenci için hesalanan ÖUİ değeinin 0,50 den daha büyük bi değe alması ilgili öğencinin öğenme eksiklikleinin olabileceğine ya da dikkatsizlikle kaçıdığı soulaın olabileceğine ilişkin bilgi vei. Elde edilen ÖUİ değei öğencinin maddelei doğu yanıtlama oanı ile bilikte youmlanı. Yaılan sınıflandımala ve bunlaa ilişkin yaılabilecek youmla aşağıda veilmişti (Sheu, Pham, Nguyen ve Nguyen, 2013). A: Etkili öğenme geçekleşmiş. A : Öğenme va fakat çok dikkatsiz. B: Genel olaak iyi ancak biaz daha fazla çalışmaya ihtiyacı va. B : Biaz dikkatsiz ve daha fazla çalışmaya ihtiyacı va. C: Öğenme düzeyi yetesiz. C : Öğenme geçekleşmemiş. Söz konusu ÖUİ ve MUİ indeksleinin öğencilein yetenek düzeylei ve maddelein kalite düzeylei hakkında yeteli bilgi vemediği iddia edilebili. Bunun nedeni, nitel vei düzeyindeki çıktılaın, bieylei ve maddelei kaşılaştıabilme, yaılan değelendime sonucu çeşitli kaala alabilme anlamında sınılı kalmasıdı. Öğenci-Madde Çizelgesi nin bu sınılılığını otadan kaldımak 172

4 Çüm S., Gelbal, S., Tsai, C-P. / Sato Test Kuamı Yöntemleiyle Faklı Öneklemleden Elde Edilen Madde Paameteleinin Tutalılığının İncelenmesi amacıyla Nagai (2010) bulanık mantığa (fuzzy logic) dayalı Gi İlişki Analizi nin Sato Test Kuamı na dahil edilmesini öneeek Gi Öğenci-Madde Çizelgesi Analizi ni (Gey Student- Poblem Chat Analysis) geliştimişti. Bu analize dayalı olaak öğencilein test efomanslaı üzeinden üetilen Öğencile için Sınılandıılmış Gi İlişki Deecesi ÖİSGİD- (Localized Gey Relational Gade-Student) ve maddelee veilen yanıtla üzeinden üetilen Maddele için Sınılandıılmış Gi İlişki Deecesi MİSGİD- (Localized Gey Relational Gade-Poblem) elde edilmektedi (Sheu, Nguyen, Ngyuyen, Pham, Tsai ve Nagai, 2014). Gi ilişki deecelei hesalanılıken kullanılan vektöle ve fomülle aşağıda veilmişti (Sheu, Nguyen, Tsai, Pham, Ngyuen ve Nagai, 2014). Gi ilişki analizinde kaşılaştıılan vektöle, : Refeans vektö : İncelenen vektö Gi öğenci-madde çizelgesi analizinde incelenen vektöle, k = 1,2,3,,n i= 1,2,3,,m : i. öğencinin tüm maddelee vediği yanıtla vektöü, : k. maddeye tüm öğencilein vediği yanıtla vektöü, :Refeans vektö ve incelenen vektö (öğencile için) aasındaki Minkowski uzaklık ölçüsü :Refeans vektö ve incelenen vektö (maddele için) aasındaki Minkowski uzaklık ölçüsü için maksimum değe için minimum değe Gi İlişki Analizi nin dahil edilmesiyle bilikte Sato Test Kuamı öğencile ve öğetim süecinin etkililiği ile ilgili dönüt alabilmek için kullanılabilmesinin (biçimlendiici değelendime) yanı sıa düzey belilemeye ve buna bağlı olaak öğencilein eğitim duumlaı ile ilgili kaa almaya (özetleyici değelendime) yönelik olaak kullanılabilmektedi. Sato Test Kuamı üzeinde Tükiye de çok az sayıda çalışma yaıldığı ve kuama ilişkin uygulamalaın genellikle Uzak Doğu Ülkeleinde yaygınlaştığı belitilebili. Günümüzde eğitim, sikoloji, sağlık ve endüsti gibi ek çok faklı alanda ölçme ve değelendime çalışmalaına veilen 173

5 Eğitimde ve Psikolojide Ölçme ve Değelendime Degisi önem yaygınlaşmakta ve ölçme faaliyetleinin önemli bi bölümü küçük katılımcı gulaı üzeinde geçekleştiilmektedi. Bu bağlamda değelendiildiğinde Sato Kuamcılaının küçük öneklemle üzeinde etkili sonuçlaın elde edilmesine olanak sağlayan yöntemle sunduklaına dai iddialaının dikkate alınmaya değe olduğu sonucuna vaılabili. Kuama ilişkin yöntemlein geçeliği ve güveniliğine ilişkin çalışmalaın sayısının atmasının kuamın işleliğinin ve kullanılabililiğinin otaya koyulması bakımından büyük önem taşıdığı açıktı. Aaştımanın Amacı Bu aaştımanın amacı, aynı evenden tesadüfi olaak seçilen öneklemleden elde edilen Maddele için Sınılandıılmış Gi İlişki Deeceleinin (MİSGİD) tutalılığının ve Madde Uyaı İndekslei (MUİ) aacılığı ile geçekleştiilen madde sınıflandımalaı aasındaki uyumun incelenmesidi. Bu amaç doğultusunda aşağıdaki soulaa yanıt aanmıştı: 1) Öneklemleden elde edilen Maddele için Sınılandıılmış Gi İlişki Deecelei aasında ne düzeyde bi ilişki bulunmaktadı? 2) Öneklemleden elde edilen Maddele için Sınılandıılmış Gi İlişki Deeceleinin otalamalaı aasındaki fak istatistiksel olaak anlamlı mıdı? 3) Öneklemleden elde edilen Madde Uyaı İndekslei ile yaılan sınıflandımala ne oanda uyum göstemektedi? YÖNTEM Bu aaştımada, simülatif olaak oluştuulmuş 20 maddelik bi testi yanıtlayan 1000 kişi içeisinden seçilen 30 a kişilik 10 faklı öneklemden elde edilen Maddele için Sınılandıılmış Gi İlişki Deeceleinin (MİSGİD) tutalılığının ve Madde Uyaı İndekslei (MUİ) aacılığı ile geçekleştiilen madde sınıflandımalaı aasındaki uyumun incelenmesi amaçlanmıştı. Aaştıma, bilgi üetmeye yönelik kuamsal bi çalışma özelliği taşıması bakımından temel aaştıma niteliğindedi. Veilein Oluştuulması Aaştımada, WinGen3 ogamı ile yetenek düzeylei -3 ve +3 aalığında değişen 1000 kişilik bi katılımcı gubu ile a aametesi 0 ve 2 aalığında; b aametesi -3 ve +3 aalığında; c aametesi 0 ve 0,20 aalığında değişen 20 maddeden oluşan, 1-0 şeklinde uanlanan bi test oluştuulaak he bi katılımcı için yanıt öüntüsü elde edilmişti. WinGen ogamı genellikle Madde Teki Kuamı kasamında yaılan çalışmala için simülasyon vei üetmek amacıyla kullanılmaktadı. Bu nedenle maddele MTK aameteleine dayalı olaak üetilmiş olmasına kaşın bu çalışma için aametelein çok fazla öneminin olmadığı belitilebili. Aaştımada WinGen ogamı geçeğe daha uygun yanıt öüntülei elde etmek amacıyla tecih edilmişti. Yanıt öüntülei elde edildikten sona bunlaın içeisinden seçkisiz olaak seçilen ve 30 a kişinin yanıt öüntüleinden oluşan 10 faklı vei seti (öneklem) oluştuulmuştu. Söz konusu öneklemlein ve maddelein daha iyi betimlenebilmesi amacıyla he bi önekleme seçilen yanıt öüntülei üzeinden Klasik Test Kuamı yaklaşımıyla madde güçlük indekslei (, doğu yanıt uan tolamı/30) ve madde ayıt edicilik indekslei (, madde-tolam test uanlaı aası Çift Seili Koelasyon Katsayısı) hesalanmıştı. Elde edilen bulgula Tablo 1 ve Tablo 2 de sunulmuştu. 174

6 Çüm S., Gelbal, S., Tsai, C-P. / Sato Test Kuamı Yöntemleiyle Faklı Öneklemleden Elde Edilen Madde Paameteleinin Tutalılığının İncelenmesi Tablo 1. Faklı öneklemleden elde edilen madde güçlük indekslei Maddele Ön1 Ön2 Ön3 Ön4 Ön5 Ön6 Ön7 Ön8 Ön9 Ön10 1 0,13 0,13 0,10 0,13 0,07 0,23 0,07 0,27 0,17 0,20 2 0,50 0,67 0,50 0,43 0,50 0,57 0,47 0,53 0,40 0,50 3 0,30 0,40 0,37 0,40 0,40 0,57 0,17 0,37 0,30 0,57 4 0,70 0,53 0,67 0,80 0,60 0,77 0,60 0,67 0,70 0,67 5 0,40 0,23 0,30 0,43 0,27 0,43 0,43 0,40 0,33 0,30 6 0,43 0,47 0,40 0,50 0,47 0,60 0,40 0,50 0,60 0,57 7 0,43 0,37 0,33 0,63 0,47 0,47 0,40 0,43 0,40 0,47 8 0,83 0,87 0,83 0,90 0,77 0,90 0,97 0,77 0,97 0,87 9 0,40 0,33 0,37 0,57 0,40 0,57 0,43 0,60 0,43 0, ,30 0,43 0,30 0,43 0,37 0,60 0,30 0,43 0,50 0, ,90 0,87 0,80 0,87 0,80 0,87 0,77 0,77 0,87 0, ,33 0,23 0,30 0,53 0,37 0,53 0,33 0,50 0,37 0, ,27 0,23 0,23 0,30 0,23 0,40 0,27 0,40 0,23 0, ,87 0,87 0,87 0,90 0,97 0,90 0,90 0,93 0,87 0, ,23 0,27 0,20 0,37 0,23 0,30 0,37 0,30 0,30 0, ,73 0,53 0,57 0,77 0,57 0,70 0,57 0,67 0,73 0, ,40 0,50 0,43 0,50 0,43 0,63 0,33 0,67 0,47 0, ,33 0,17 0,20 0,17 0,17 0,23 0,27 0,17 0,23 0, ,50 0,70 0,57 0,60 0,67 0,77 0,57 0,37 0,63 0, ,47 0,50 0,53 0,47 0,40 0,63 0,50 0,47 0,53 0,50 Tablo 1 incelendiğinde, 1, 13, 15 ve 18. maddelein zo; 8,11 ve 14. maddelein ise kolay maddele olduğu göüşü öne süülebili. Tablo 2. Faklı öneklemleden elde edilen madde ayıt edicilik indekslei Maddele Ön1 Ön2 Ön3 Ön4 Ön5 Ön6 Ön7 Ön8 Ön9 Ön10 1 0,21 0,26 0,07 0,25 0,24 0,02 0,06 0,30 0,13 0,05 2 0,33 0,18 0,18 0,43 0,21 0,44 0,24 0,52 0,33 0,68 3 0,28 0,50 0,66 0,65 0,40 0,01 0,56 0,53 0,30 0,37 4 0,56 0,68 0,56 0,46 0,70 0,52 0,79 0,69 0,55 0,67 5 0,56 0,65 0,48 0,51 0,34 0,60 0,64 0,51 0,43 0,57 6 0,53 0,58 0,70 0,59 0,68 0,06 0,62 0,71 0,65 0,86 7 0,53 0,79 0,77 0,76 0,72 0,64 0,64 0,64 0,77 0,72 8 0,64 0,50 0,50 0,38 0,58 0,29 0,21 0,64 0,28 0,52 9 0,42 0,28 0,43 0,51 0,62 0,01 0,68 0,52 0,40 0, ,41 0,41 0,38 0,58 0,74 0,17 0,57 0,31 0,53 0, ,41 0,35 0,50 0,37 0,34 0,08 0,58 0,32 0,31 0, ,36 0,28 0,28 0,41 0,45 0,40 0,44 0,53 0,22 0, ,43 0,26 0,60 0,50 0,16 0,60 0,21 0,62 0,46 0, ,62 0,33 0,41 0,43 0,13 0,40 0,41 0,21 0,31 0, ,53 0,57 0,38 0,49 0,40 0,73 0,33 0,57 0,46 0, ,51 0,75 0,62 0,71 0,79 0,16 0,78 0,74 0,41 0, ,31 0,52 0,31 0,40 0,46 0,10 0,31 0,30 0,33 0, ,53 0,40 0,35 0,33 0,24 0,66 0,04 0,34 0,31 0, ,21 0,39 0,28 0,05 0,26 0,48 0,04 0,48 0,04 0, ,62 0,26 0,43 0,24 0,36 0,03 0,03 0,17 0,26 0,10 175

7 Eğitimde ve Psikolojide Ölçme ve Değelendime Degisi Tablo 2 incelendiğinde, Çift Seili Koelasyon Katsayısı yöntemi ile hesalanan madde ayıt edicilik indeksleinin faklı öneklemle aasında büyük faklılıkla göstediği göülmektedi. Öneğin, 3. maddenin ayıt edicilik indeksi Öneklem 3 veilei ile hesalandığında 0,66 değeini alıken Öneklem 6 veilei ile hesalandığında 0,01 değeini almaktadı. Benze şekilde 20. maddenin ayıt edicilik indeksi Öneklem 1 de 0,62 olaak hesalanmış fakat Öneklem 6 ve Öneklem 7 de 0,03 olaak belilenmişti. Tablodan haeketle biçok madde için benze duumladan söz edilebili. Klasik Test Kuamı yöntemlei küçük öneklemlede madde aametelei hesalamak için sıklıkla kullanılmaktadı fakat kaşılaşılan bu ti duumla KTK nın bi dezavantajı olaak ifade edilebili. Veilein Analizi Çalışmada, Maddele için Sınılandıılmış Gi İlişki Deecelei (MİSGİD) seçkisiz olaak belilenen 10 faklı öneklemin he biinden, Sheu, Pham, Nguyen ve Nguyen (2013) taafından Öğenci- Madde Çizelgesi Analizi ve Gi Öğenci-Madde Çizelgesi Analizi için geliştiilen Matlab Paketi ile elde edilmişti. Paket, Matlab R2013b vesiyonu üzeinde çalıştıılmıştı. Elde edilen MİSGİD değeleinin faklı öneklemle aası tutalılığının belilenebilmesi amacıyla Seaman Sıa Faklaı Koelasyon Katsayılaı hesalanmış ve buna ek olaak değe otalamalaı aasındaki fakın anlamlılığı Kuskal Wallis-H Testi ile incelenmişti. Söz konusu analizle için SPSS V22 ogamı kullanılmıştı. Son olaak öneklemleden elde edilen Madde Uyaı İndekslei ile yaılan sınıflandımalaın ne oanda uyum göstediği yüzde oanla yadımıyla incelenmişti. BULGULAR Öncelikle, Öneklemleden elde edilen Maddele için Sınılandıılmış Gi İlişki Deecelei (MİSGİD) aasında ne düzeyde bi ilişki bulunmaktadı? sousuna yanıt bulmak amacıyla, 10 faklı vei setinden (öneklem) elde edilen MİSGİD değelei hesalanmış ve elde edilen bulgula Tablo 3 te sunulmuştu. Tablo 3. Faklı Öneklemleden Elde Edilen MİSGİD Değelei Maddele Ön1 Ön2 Ön3 Ön4 Ön5 Ön6 Ön7 Ön8 Ön9 Ön10 1 0,07 0,07 0,05 0,07 0,12 0,03 0,03 0,14 0,09 0,11 2 0,42 0,29 0,29 0,25 0,34 0,29 0,27 0,32 0,23 0,32 3 0,23 0,16 0,20 0,23 0,34 0,23 0,09 0,20 0,16 0,16 4 0,32 0,45 0,42 0,55 0,52 0,37 0,37 0,42 0,45 0,42 5 0,12 0,23 0,16 0,25 0,25 0,14 0,25 0,23 0,18 0,16 6 0,27 0,25 0,23 0,29 0,37 0,27 0,23 0,29 0,37 0,34 7 0,20 0,25 0,18 0,39 0,27 0,27 0,23 0,25 0,23 0,27 8 0,63 0,59 0,59 0,68 1,00 0,52 0,82 0,52 0,82 0,63 9 0,18 0,23 0,20 0,34 0,34 0,23 0,25 0,37 0,25 0, ,25 0,16 0,16 0,25 0,37 0,20 0,16 0,25 0,29 0, ,63 0,68 0,55 0,63 0,63 0,55 0,52 0,52 0,63 0, ,12 0,18 0,16 0,32 0,32 0,20 0,18 0,29 0,20 0, ,12 0,14 0,12 0,16 0,23 0,12 0,14 0,23 0,12 0, ,63 0,63 0,63 0,68 0,68 0,82 0,68 0,74 0,63 0, ,14 0,12 0,11 0,20 0,16 0,12 0,20 0,16 0,16 0, ,32 0,48 0,34 0,52 0,45 0,34 0,34 0,42 0,48 0, ,29 0,23 0,25 0,29 0,39 0,25 0,18 0,42 0,27 0, ,09 0,18 0,11 0,09 0,12 0,09 0,14 0,09 0,12 0, ,45 0,29 0,34 0,37 0,52 0,42 0,34 0,20 0,39 0, ,29 0,27 0,32 0,27 0,39 0,23 0,29 0,27 0,32 0,29 176

8 Çüm S., Gelbal, S., Tsai, C-P. / Sato Test Kuamı Yöntemleiyle Faklı Öneklemleden Elde Edilen Madde Paameteleinin Tutalılığının İncelenmesi Tablo 3 incelendiğinde, 10 faklı öneklem üzeinden yaılan hesalamalada 8. madde haicinde diğe tüm maddelein 0,75 in altında MİSGİD değei elde ettiği göülmektedi. MİSGİD değeinin 0-1 aalığında değiştiği göz önünde bulunduulduğunda madde kaliteleinin yüksek olmadığı belitilebili. Daha sonaki aşamada, elde edilen MİSGİD değelei aasındaki ilişkile Seaman Sıa Faklaı Koelasyon Katsayısı tekniği ile belilenmiş ve elde edilen bulgula Tablo 4 te sunulmuştu. Tablo 4. MİSGİD Değelei Aasındaki Koelasyonlaa İlişkin Bulgula Ön1 Ön2 Ön3 Ön4 Ön5 Ön6 Ön7 Ön8 Ön9 Ön10 Ön1 Ön2,874 * Ön3,950 *,933 * Ön4,770 *,866 *,857 * Ön5,934 *,841 *,954 *,844 * Ön6,943 *,926 *,956 *,893 *,904 * Ön7,829 *,929 *,879 *,852 *,809 *,852 * Ön8,741 *,780 *,813 *,832 *,793 *,781 *,733 * Ön9,899 *,886 *,919 *,895 *,959 *,899 *,873 *,814 * Ön10,922 *,858 *,900 *,867 *,935 *,912 *,853 *,819 *,972 * *Koelasyon,01 düzeyinde anlamlıdı. Tablo 4 incelendiğinde, faklı öneklemleden 20 madde için elde edilen MİSGİD değeleinin bibilei ile yüksek düzeyde ozitif koelasyon göstediği ve söz konusu koelasyon değeleinin,01 düzeyinde anlamlı olduğu göülmektedi. Bu bulgudan haeketle, Sato Test Kuamı kasamında hesalanan ve maddelein kalitesi hakkında bilgi veen Maddele için Sınılandıılmış Gi İlişki Deeceleinin, aynı maddelei yanıtlayan katılımcıla aasından seçilen faklı öneklemlede tutalı sonuçla vediği iddia edilebili. Bu iddiayı sağlamlaştıabilmek amacıyla, Öneklemleden elde edilen Maddele için Sınılandıılmış Gi İlişki Deeceleinin otalamalaı aasındaki fak istatistiksel olaak anlamlı mıdı? sousuna yanıt aanmış ve faklı öneklemleden elde edilen MİSGİD değeleinin otalamalaı aasındaki fakın anlamlılığı nonaametik bi test olan Kuskal Wallis-H testi ile incelenmişti. Elde edilen bulgula Tablo 5 te sunulmuştu. Tablo 5. MİSGİD Değeleinin Otalamalaı Aasındaki Fakın Anlamlılığına İlişkin Bulgula MİSGİD Ki-Kae 8,929 sd 9,444 Tablo 5 incelendiğinde, MİSGİD değeleinin otalamalaı aasındaki fakın istatistiksel olaak anlamlı olmadığı (= 0,444) göülmektedi. Bu bulgunun, faklı öneklemleden elde edilen MİSGİD aameteleinin tutalı sonuçla vediğine ilişkin ikincil bi kanıt oluştuduğu ifade edilebili. Son olaak, Öneklemleden elde edilen Madde Uyaı İndekslei (MUİ) ile yaılan sınıflandımala ne oanda uyum göstemektedi? sousuna yanıt aanmış, yaılan sınıflandımala ve bunlaa ilişkin uyum yüzdelei Tablo 6 da sunulmuştu. 177

9 Eğitimde ve Psikolojide Ölçme ve Değelendime Degisi Tablo 6. Madde Uyaı İndekslei ile Yaılan Sınıflandımalaın Uyumuna İlişkin Bulgula Maddele Ön1 Ön2 Ön3 Ön4 Ön5 Ön6 Ön7 Ön8 Ön9 Ön10 Uyum 1 B B B' B B' B B' B' B' B' %60 2 A' A' A' B' A' A' B' A' B' A' %70 3 B B' B B A' B' B B B' B %60 4 A A A A A A A A A A %100 5 B B B B B B B B B B %100 6 B B B A A B B B A A %60 7 B B B A B B B B B B %90 8 A A A A A A A A A A %100 9 B' B B A A' B B A B A %50 10 B B B B A' B B B' A A' %60 11 A A A A A A A A' A A %90 12 B' B' B' A A B' B A B' B' %60 13 B' B B B B B' B' B B' B %60 14 A A A A A A A A A A % B B B B B B B' B B B' %80 16 A A A A A A A A A A % A B' B' A A' B B' A' B' A' %40 18 B B B B B B' B' B' B' B %60 19 A' A' A' A' A' A' A' B' A' A' %90 20 A' B A B' A' B' A' B' A' A' %50 Tablo 6 da ye alan sınıflandımalaın faklı öneklemle üzeinden yaılan hesalamala sonucu değişkenlik gösteebildiği belilenmişti. Buna kaşın 4, 5, 8, 14 ve 16. maddelein 10 faklı öneklemde de aynı şekilde (%100 uyum) sınıflandııldığı, 2, 7, 11, 15 ve 19. maddelein de sınıflandıma uyumlaının yüksek olduğu belilenmişti (uyum yüzdelei için modu en yüksek olan sınıf baz alınmıştı). Sınıflandıılma bakımından en fazla değişkenlik gösteen maddenin 17. madde olduğu (%40 uyum) ifade edilebili. Söz konusu madde haicindeki tüm maddelein %50 ve üzei uyum oanında sınıflandııldığı bulgusu göz önünde bulunduulduğunda Madde Uyaı İndeksleine dayalı olaak yaılan sınıflandımalaın tutalı olduğu göüşü öne süülebili. SONUÇLAR ve TARTIŞMA Bu aaştımada, simülatif olaak oluştuulmuş 20 maddelik bi testi yanıtlayan 1000 kişi içeisinden seçilen 30 a kişilik on faklı öneklemden elde edilen Maddele için Sınılandıılmış Gi İlişki Deeceleinin tutalılığının ve Madde Uyaı İndekslei aacılığı ile geçekleştiilen madde sınıflandımalaı aasındaki uyumun incelenmesi amaçlanmıştı. Faklı öneklemleden 20 madde için elde edilen MİSGİD değeleinin bibilei ile yüksek düzeyde ozitif koelasyon göstediği ve söz konusu koelasyon değeleinin,01 düzeyinde anlamlı olduğu belilenmişti. Buna ek olaak Kuskal Wallis-H testi ile yaılan incelemelede MİSGİD değeleinin otalamalaı aasındaki fakın istatistiksel olaak anlamlı olmadığı (= 0,444) göülmüştü. Elde edilen bulguladan haeketle, Sato Test Kuamında maddelein kalitesinin belilenebilmesi için üetilen MİSGİD aameteleinin oldukça küçük öneklemle (30 kişi) üzeinden hesalanmasına kaşın tutalı ve yakın değele aldığı sonucuna ulaşılmıştı. Madde Uyaı İndekslei ile yaılan sınıflandımalaın öneklemle aası değişkenlik göstediği belilenmiş buna kaşın beşi %100 uyum göstemekle bilikte tolamda 10 maddenin yüksek düzeyde uyum oanıyla sınıflandııldığı ve bi madde haicinde %50 nin altında uyum oanıyla sınıflandıılan madde olmadığı göülmüştü. Elde edilen bulgula, Sato Test Kuamı kasamında yaılan test analizleinin küçük öneklemlede bile iyi sonuçla vediği iddialaına kanıt 178

10 Çüm S., Gelbal, S., Tsai, C-P. / Sato Test Kuamı Yöntemleiyle Faklı Öneklemleden Elde Edilen Madde Paameteleinin Tutalılığının İncelenmesi oluştuabilecek niteliktedi. Sheu ve diğelei (2014), Gi Öğenci-Poblem Çizelgesi Analizinin yalnızca küçük öneklemlede değil büyük öneklemlede de kullanılabileceği sonucuna ulaşmışladı. Bu çalışma ise, küçük öneklemle üzeinde Sato Test Kuamına dayalı üetilen madde aameteleinin tutalılığının incelenmesi süeciyle sınılandıılmıştı. Alanyazında benze çalışmalaa ulaşılamaması bu konu üzeinde yaılabilecek tatışmalaı sınılandımaktadı. Sato Test Kuamıyla ilgili çalışmalaın son yıllada yalnızca Uzak Doğu Ülkeleinde bi atış göstediği bunlaın da kuamı tanıtma (Lin ve Chen, 2006; Wang, Sheu ve Nagai, 2011; Wang ve Chen 2013) ya da kuama ilişkin geliştiilen bi yazılımı tanıtma (Wu, 1999; Sheu, Pham, Nguyen ve Nguyen, 2013; Sheu, Nguyen, Nguyen, Pham, Tsai ve Nagai, 2014; Pham, Sheu ve Nagai, 2015) amacıyla yaıldığı belilenmişti. Bu anlamda, kuam çeçevesinde üetilen aametelein çeşitli koşulla altında incelenmesi ve bu alanda yaılan çalışmalaın sayısının atıılması geekliliği otaya çıkmaktadı. Benze çalışmalaın sayısının atması ve kuamın güvenili ve geçeli sonuçla üetebildiğine dai bulgulaın fazlalaşması, küçük öneklemlede Klasik Test Kuamına altenatif yöntemlein kullanımının yaygınlaşması bakımından oldukça önemlidi. Söz konusu çabala, daha etkili ölçme aaçlaı geliştime, bieylein bi takım özellikleiyle ilgili daha doğu bilgile elde edebilme ve bieyle hakkında yaılan değelendimelein isabetliliği bakımından alandaki ilelemeye katkı sağlayacaktı. Tüm bunlaın yanısıa, kuamın uygulanabililiği, iç geçeliğin sağlanmasıyla ilişkili olduğu kada dış geçeliğin sağlanmasını da zounlu kılmaktadı. Söz konusu nedenle, kuama ilişkin aametelein hem kendi içeisinde tutalılığının belilenebilmesi hem de diğe test kuamlaına dayalı yöntemlele üetilen aametelele kaşılaştıılaak sonuçlaın incelenmesi, daha sona yaılacak çalışmalada ele alınması bakımından öneilebili. KAYNAKÇA de Ayala, R. J. (2009). The theoy and actice of item esonse theoy. New Yok: The Guilfod Pess. Hambleton, R. K., Swaminathan, H., ve Roges, H. (1991). Fundamentals of item esonse theoy. Newbuy Pak CA: Sage. Hambleton, R. K., ve van de Linden, W. J. (1997). Handbook of moden item esonse theoy. New Yok:Singe. Hulin, C. L., Lissak, R. I., ve Dasgow, F. (1982). Recovey of two and thee-aamete logistic item chaacteistic cuves: A Monte Calo study. Alied Psychological Measuement, 6, Lin, Y.H., ve Chen, S.M. (2006). The investigation of S-P chat analysis on the test evaluations of equality axiom concets fo sixth gades. Poceedings of the 2 nd Intenational Confeence on Educational Technologies, Romania, Buchaest. Lin, Y.H., ve Yih, J.M. (2015). Alication of IIRS in mathematics instuction to omote uils decimal concet. The Intenational Confeence on Language, Education and Psychology, Taiwan. Pham, D.H., Sheu, T.W., ve Nagai, M. (2015). PCSP 1.0 softwae fo atial cedit S-P chat analysis. Intenational Jounal of Hybid Infomation Technology. 8(6), Ree, M. J., ve Jensen, H. E. (1983). Effects of samle size on linea equating of item chaacteistic cuve aametes. In D. J. Weiss & R. D. Bock (Eds.), New hoizons in testing: Latent tait test theoy and comuteized adative testing ( ). New Yok: Academic Pess. Suen, H.K. (1990). Pinciles of test theoies. Hillsdale, NJ: Lawence Elbaum Associates. Sheu, T. W., Nguyen, P. T., Nguyen, P. H., Pham, D. H., Tsai, P. C., ve Nagai, M. (2014). A MATLAB toolbox fo misconcetions analysis based on S-P chat, gey elational analysis and ROC. Tansactions on Machine Leaning and Atificial Intelligence, 2, Sheu, T.W., Nguyen, P.T., Tsai, C.P., Pham, D.H., Nguyen, P.H. ve Nagai, M. (2014). Using gey studentoblem chat in the evaluation of tests with lage data sets. Education Pactise and Innovation, 1(2), Sheu, T.W., Pham, D.H., Nguyen, P.T., ve Nguyen, P.H. (2013). Amatlab toolbox fo student-oblem cht and gey student-oblem chat and its alication. Intenational Jounal of Kansei, 4(2), Switze, D. M. ve Connell, M. L. (1990). Pactical alications of student esonse analysis, Educational Measuement: Issue and Pactice, 9, Wang, B.T., Sheu, T.W., ve Nagai, M. (2011). Evaluating the english-leaning of engineeing students using the gey S-P chat: a facebook case study in Taiwan. Global Jounal of Engineeing Education, 13(2),

11 Eğitimde ve Psikolojide Ölçme ve Değelendime Degisi Wang, C.H. ve Chen, C.P. (2013). Emloying online S-P diagnostic table fo qualitative comments on test esults. The Electonic Jounal of e-leaning, 11(3), Wu, H. (1999). Softwae Based on S-P Chat Analysis and Its Alications. Poceedings of the National Science Council, 8, EXTENDED ABSTRACT Intoduction Psychometists seach esonse fo questions such as how test items will be imoved, how they will be chosen, how given answes will be tun into numbes, how they will be commented and how quality of obtained data will be assessed, as deending on mathematical and statistical theoies. Afoementioned theoies ae called "test theoy" o sychometic theoy" (Suen, 1990). Classical Test Theoy (CTT) and Item Resonse Theoy (IRT) have become ominent as main two test theoies that they have been studied mostly fom ast u to the day. On the liteatue, it has been seen that some of stengthening and weaknesses of Classical Test Theoy and Item Reaction Theoy have been discussed. Alications equie to be made on lage samles in the ode that aametes based on IRT ae to be estimated moe faultlessly (Hulin, Lissak and Dasgow, 1982; Ree and Jensen, 1983; Hambleton and van de Linden, 1997; de Ayala, 2009). Measuements made at schools ae conducted on small aticiant gous, this case ecludes test alications based on IRT at thee. Futhemoe, develoing test based on IRT and assessing esults ae a ocess which equies domain exetise. Due to afoementioned easons, a view has been suggested about that using techniques based on CTT is moe aoiate fo develoment of teache - made tests and assessment of test esults, but still limitations of CTT ae consideed, that imotant oblems occu in tems of measuement esults validity, eliability and comaability. Because of this thee is a need to develo diffeent method and techniques which will ovide to make moe efficient measuements on small samles. When it is assessed with this sense, it can be concluded that suggestions on which Sato Theoists esent methods oviding ootunity to obtain effective esults on small samles ae things to conside. The goal of this eseach is to the examination of consistency of Localized Gey Relational Gade- Poblem (LGRG-P) values and accommodation item classifications which ae made via Poblem Caution Index (PCI) between diffeent samles that ae andomly chosen fom the same univese. In accodance with this uose, the following questions seached fo answes: 1) What a level of the elation is thee among Localized Gey Relational Gade Poblem obtained fom Samles? 2) Is the diffeence among aveages of Localized Gey Relational Gade Poblem obtained fom samles significant as statistic? 3) At what ate classifications made by Poblem Caution Indexes obtained fom samles show accommodation? Method The eseach has a basic eseach quality in tems of having featue to be a theoitic study elated to oduce infomation. On this eseach, 1000 esonse attens fo each aticiants that thei ability levels change at the ange -3 and +3 with consists of 20 items (dichotomously) which change at the ange of -3 and +3 fo b aametes; at the ange of 0 and 0,20 fo c aametes; at the ange of 0 and 2 fo a aamete on WinGen3 ogam. Afte esonse attens have been obtained, 10 diffeent dataset (samle) which ae andomly chosen among them and consist of esonse attens of 30 esons. On the study, Used Matlab Pack which is develoed fo Analysis of Student-Poblem Chat and Analysis of Gey Student-Poblem Chat by Sheu, Pham, Nguyen and Nguyen (2013) to obtain that 180

12 Çüm S., Gelbal, S., Tsai, C-P. / Sato Test Kuamı Yöntemleiyle Faklı Öneklemleden Elde Edilen Madde Paameteleinin Tutalılığının İncelenmesi Localized Gey Relational Gades. The ack has been un on Matlab R2013b vesion. In ode to examination of consistency of obtained LGRG-P values among diffeent samles, Seaman Rank- Ode Coelation Coefficients have been calculated and additionally significance of diffeence among value aveages has been examined by Kuskal Wallis-H Test via SPSSV22. Results and Discussion It has been detemined that LGRG-P values obtained fo 20 items fom diffeent samles show highly ositive coelation with each othe and afoementioned coelation values ae significant at 0.01 level. Additionally, on the examinations which ae made by Kuskal Wallis-H Test, it has been seen that the diffeence among aveages of LGRG-P values ae not statistically significant (P=0,444). Fom this oint of obtained findings, although LGRG-P aametes oduced to detemine quality of items on Sato Test Theoy ae calculated though quite small (30 esons) samles, it has been concluded that consistent and close values ae gotten. It has been detemined that Classifications made by Poblem Caution Index have showed change among samles but it has been seen that five of them have showed 100% accommodation and total 10 items have been classified with high level accommodation atio and excet fom one item, thee is not any items classified with accommodation atio unde 50%. Findings which ae obtained have quality to ovide evidence against suggestions that test analyses made within the concet of Sato Test Theoy have given well-esults even on small samles. This study has been limited with examination ocess of item aametes consistency oduced only as deending on Sato Test Theoy. With this sense, a necessity eveals about that aametes oduced fo individuals esonding test within the fame of the theoy ae to be examined unde vaious conditions. It can be emhasized on a view that many studies which ae conducted unde diffeent conditions ae equied in the ode that consistency of aametes elated to the theoy in itself and also accuacy of esults is to be discussed as comaing with aametes oduced by methods based on othe test theoies. 181