ÖRNEKLEM BÜYÜKLÜĞÜNÜN VE TEST UZUNLUĞUNUN MTK PARAMETRE KESTİRİMİNE ETKİSİ

Transkript

1 10. BÖLÜM ÖRNEKLEM BÜYÜKLÜĞÜNÜN VE TEST UZUNLUĞUNUN MTK PARAMETRE KESTİRİMİNE ETKİSİ Neşe ÖZTÜRK GÜBEŞ, Insu PAEK, Mengyao CUI DOI: /

2 Örneklem Büyüklüğünün ve Test Uzunluğunun Mtk Parametre Kestirimine Etkisi Giriş Klasik test kuramı (KTK) ve madde tepki kuramı (MTK) test geliştirme ve test puanlarının eşitlenmesi gibi ölçme ve değerlendirme problemlerinin çözümünde kullanılan iki popüler teoridir (Hambleton ve Jones, 1993). KTK gözlenen ham puanların gerçek puanlar ve hata puanlarının toplamı olduğu ve hata puanlarının gerçek puanlar ve diğer hata puanları ile ilişkisiz olması gibi basit tanımlara ve göreceli olarak zayıf varsayımlara dayanmaktadır (Yen ve Fitzpatrick, 2006). Bu varsayımların gerçek test uygulamalarında karşılanmasının kolay olması KTK yı kullanışlı kılmaktadır (Hambleton ve Jones, 1993). Bunun yanında, KTK nın en önemli sınırlılıklarından biri kişi (örneğin, gözlenen puan) ve madde (örneğin, madde güçlüğü ve madde ayırt ediciliği) istatistiklerinin örnekleme bağımlı olmasıdır. Örneğin madde güçlük indeksi, yeteneği yüksek bir gruptan elde edilirse ortalama yetenek düzeyine sahip bir grup ile karşılaştırılınca daha yüksek çıkma eğiliminde olmaktadır. Benzer şekilde madde ayırt ediciliği heterojen bir gruptan elde edilirse homojen gruptan elde edilen değerden daha yüksek çıkmaktadır (Hambleton ve Swaminathan, 1985). Madde ve kişi istatistiklerini gruptan bağımsız elde etmek için çözüm madde tepki kuramı ile ilişkili kavram, model ve yöntemlerde bulunmuştur (Hambleton ve Jones, 1993). Madde tepki kuramı, test madde verisini analiz etmede istatistiksel modellerin kullanıldığı bir ailedir (Yen ve Fitzpatrick, 2006, s. 111). Bir madde tepki modeli, bireyin gözlenen test performansı ile bireyin test ile ölçülmek istenen gözlenmeyen özellikleri ya da yetenekleri arasındaki ilişkiyi tanımlar ve bu ilişkinin büyüklüğü matematiksel bir fonksiyonla açıklanır (Hambleton ve Swaminathan, 1985). Bireyin yetenek düzeyi ve madde parametreleri verildiğinde MTK modelinin özü şu şekilde formüle edilebilir (Yen ve Fitzpatrick, 2006): P i (θ) P i (X i = x i {θ}, {δ i }) (1) Eşitlik 1 e madde tepki fonksiyonu denilmektedir ve grafiksel olarak sunulduğunda madde tepki eğrisi adını almaktadır. İkili puanlanan maddelerde madde karakteristik fonksiyonu ve madde karakteristik eğrisi eşittir ve birbiri yerine kullanılmaktadır. Eşitlik 1 deki, {θ} yeteneği ya da yeteneklerine sahip bir bireyin {δ i } parametre ya da parametrelerine sahip i. maddeye x i cevabını verme olasılığını göstermektedir. Madde tepki kuramı kapsamında, madde karakteristik eğrilerinin matematiksel formu için çok sayıda seçenek mevcut olduğu için çok sayıda model tanımlanabilir. MTK çerçevesinde çok sayıda model formüle edilmiş ve gerçek test durumlarına uygulanmıştır (Hambleton ve Swaminathan, 1985). İlk MTK modeli normal ogive modeldir ve Lord (1952) tarafından tanımlanmıştır (akt. Hambleton, Swaminathan ve Rogers, 1991). İki-parametreli normal ogive model (2) numaralı eşitlikte görüldüğü gibi tanımlanmıştır (Hambleton ve Swaminathan, 1985) : P i (θ) = a i (θ b i ) 1 2π e z2 /z dz (2) Eşitlik 2 deki, tesadüfi olarak seçilen ϴ yeteneğine sahip bir bireyin i maddesini doğru cevapla-ma olasılığını göstermektedir. a i ve b i i maddesinin parametreleridir ve z ise ortalaması b i ve standart sapması 1/a i olan bir dağılımdan normal sapmadır. Sonuç, yeteneğin monoton olarak artan bir fonksiyonu olmaktadır. Eşitlikteki b i parametresi madde güçlüğü indeksidir, bir bireyin bir i maddesini %50 doğru cevaplama olasılığının yetenek ölçeğindeki noktasına tekabül etmektedir. a i parametresi de madde ayırt ediciliği adını almaktadır ve ϴ=b i noktasında P i (ϴ) nin eğimi ile orantılıdır. Bir grup için yetenek dağılımı ortalaması sıfır ve standart sapması bir olacak şekilde alındığında b-parametresi genellikle ile arasında değerler alır. Güçlük parametresinin ve civarında olması maddelerin çok kolay, ve civarında olması ise maddelerin çok zor olduğunu gösterir. Madde ayırt ediciliği, a-parametresi, teorik olarak (-,+ ) ölçeğinde değerler alır fakat negatif ayırıcılığa sahip maddeler yetenek testlerine alınmazlar. Dolayısıyla madde ayırt edicilik parametresi genellikle (0.00,2.00) aralığında değerler alır ve yüksek değerler yeteneğin bir fonksiyonu olan madde karakteristik eğrisinin çok dik, düşük değerler ise daha yavaş yükseldiğini gösterir (Hambleton ve Swaminathan, 1985). 136

3 Değişen Dünyada Eğitim Birnbaum (1968), madde karakteristik fonksiyonlarının bir formu olarak iki-parametreli normal ogive fonksiyona karşılık iki-parametreli lojistik fonksiyonu önermiştir. Birnbaum tarafından önerilen iki-parametreli lojistik model (3) numaralı eşitlikte görülmektedir (akt. Hambleton ve Swaminathan, 1985): P i (θ) = eda i (θ b i ) 1+e Da i (θ b i ) (3) Eşitlik 3 teki P(ϴ), b i, a i ve ϴ Eşitlik 2 de verilen normal ogive model ile temel olarak aynı anlamlara sahiptir. Lojistik fonksiyonların en önemli avantajı, normal ogive eğrileri ile karşılaştırıldığında çalışılmasının daha elverişli ve matematiksel olarak daha işlenebilir olmasıdır. Eşitlik 3 teki D, ölçekleme sabitidir ve 1.70 normal ve lojistik fonksiyonlar arasındaki farkı minimuma indiren değerdir. Bir diğer deyişle, D ölçekleme sabiti lojistik fonksiyonu normal ogive fonksiyona yaklaştırmak için kullanılan değerdir (Hambleton ve Swaminathan, 1985; Hambleton vd., 1991). Halley (1952) yaptığı çalışmasında, D=1.70 alındığında iki-parametreli normal ogive ve iki-parametreli lojistik modellerin yetenek ölçeğindeki tüm ϴ lar için P(ϴ) ların 0.01 mutlak değerinden daha az farklılığa sahip olduğunu göstermiştir (akt. Camilli, 1994). MTK da model ve veri uyumu sağlanırsa madde ve yetenek parametreleri değişmezlik özelliğine sahip olur bir diğer deyişle örnekleme bağımlı olmaz (Patsula, 1995). Örneğin, bir gruptan elde edilen madde ve yetenek parametreleri farklı gruplardan kestirildiğinde de kararlı bir şekilde aynı elde edilir (Sireci, 1991). MTK nın sınırlılığı ise doğru parametre kestirimleri için büyük örneklemleri gerektirmesidir (Hambleton, 1989). Ancak, birçok test uygulaması küçük örneklemlerde gerçekleşmektedir. Sireci nin (1991) de belirttiği gibi daha önce yapılan araştırmalar, doğru parametre kestirimleri için minimum örneklem büyüklüğünün test uzunluğuna ve seçilen MTK modeline göre farklılık gösterdiğini vurgulamaktadır. Uzun testler ve kompleks MTK modelleri daha büyük örneklemler gerektirmektedir. MTK da testteki her bir madde, madde parametrelerinin (ayırt edicilik ve güçlük vb.) yanında kendi standart hatası ile birlikte açıklanmaktadır. MTK da maddenin standart hatası yapılan parametre kestiriminin doğruluğunun bir ölçüsünü vermektedir ve standart hatalar küçüldükçe parametre kestiriminin doğruluğu artmaktadır (Theissen ve Wainer, 1982). Test maddelerinin standart hataları MTK yı içeren birçok uygulamada kullanılmaktadır. Örneğin bilgisayar ortamında bireye uyarlanmış test (Computerized Adaptive Test (CAT)) uygulamalarında standart hatalar testin sonlandırma ölçütü olarak kullanılmaktadır. Test, bireyin örtük yeteneğinin kestirimine ait standart hata değeri yeterince küçüldüğü zaman sonlanmaktadır (Cheng ve Yuan, 2010). Standart hatalar, değişen madde fonksiyonu (Differential Item Functioning (DIF)) ve madde parametre kayması (Item Parameter Drift (IPD)) gibi MTK nn kullanıldığı uygulamalarda da kullanılmaktadır. Bahsedilen bu uygulamalar için parametrelere ilişkin doğru standart hataların kestirimi oldukça önemlidir (Toland, 2008). Standart hataların kestirimi örneklem büyüklüğü ve doğru parametre kestirimi ile yakından ilişkilidir (Custer, 2015). Emberetson ve Reise (2000), örneklem büyüklüğü ile birlikte araştırmacıların mutlaka madde parametrelerinin standart hatalarını da incelemeleri gerektiğini, standart hataların kabul edilebilir değerlerde olup olmadıklarını belirlenmesi gerektiğini belirtmiştir. Bu araştırmanın amacı, örneklem büyüklüğü ve test uzunluğunun MTK iki-parametreli modelin model parametreleri ve standart hatalarının kestirimine etkisini incelemektir. Literatürde, örneklem büyüklüğünün ve test uzunluğunun MTK madde parametrelerinin kestirimine etkisini inceleyen çok sayıda araştırma (Akour ve Al-Omari, 2013; Chuah, Drasgow ve Luecht, 2006; Çakıcı-Eser ve Gelbal, 2015; Harwell ve Janosky, 1991; Hulin, Lissak ve Drasgow, 1982; Patsula, 1995; Stone, 1992; Şahin ve Anıl, 2017) olmasına rağmen, standart hatalara etkisinin incelendiği sınırlı sayıda çalışma (Drasgow, 1989; Paek ve Cai, 2014; Toland, 2008; Wang ve Cheng, 2005) bulunmaktadır. Ayrıca, standart hataların kestirimine test uzunluğu ve örneklem büyüklüğünün PARSCALE programında incelendiği herhangi bir araştırmaya rastlanmamıştır. MTK uygulamalarında kritik öneme sahip parametre kestiriminin standart hatasına örneklem büyüklüğünün ve test uzunluğunun etkisini incelemek literatürdeki boşluğu doldurması açısından bir ihtiyaçtır. Literatürde D ölçekleme sabiti kullanılarak 137

4 Örneklem Büyüklüğünün ve Test Uzunluğunun Mtk Parametre Kestirimine Etkisi lojistik ve normal ogive model arasındaki fark genellikle net olarak açıklanmamaktadır. D sabitini farklı almanın parametre kestirimine etkisinin incelendiği yurt içinde ve yurt dışında yapılmış bir araştırmaya da rastlanmamıştır. Bu araştırmanın bir diğer amacı parametre kestiriminde D ölçekleme sabitini farklı almanın (D=1.00 veya D=1.70) parametre kestirimini etkileyip etkilemediğini inceleyerek bu konuda araştırmacı ve uygulayıcılara ışık tutmaktır. Araştırma Verileri Yöntem Araştırma simülasyon verileri kullanılarak yürütülmüştür. Veri türetiminde, kısa (K=11), orta (K=22) ve uzun (K=44) olmak üzere üç farklı test uzunluğu ile küçük (N=200), orta (N= 500) ve büyük (N=1000) olmak üzere üç farklı örneklem büyüklüğü alınıp dokuz farklı koşul kullanılmıştır. Veri türetmede kullanılan ayırt edicilik parametreleri (a i ) log normal dağılımdan (a i ~lognormal(. 30, )), güçlük parametreleri (b i ) standart normal dağılımdan (b i ~N(0.00,1.00)) tesadüfi olarak seçilmiştir. Kişilerin yetenek parametreleri yine standart normal dağılımdan tesadüfi olarak seçilmiştir (θ~n(0.00,1.00)). Veriler 2-parametreli lojistik model (D=1.00) kullanılarak R programlama dilinde (R Development Core Team, 2005) kod yazılarak türetilmiştir. Araştırmada kullanılan tekrar sayısı 4000 dir. Veri türetmede kullanılan parametrelere ilişkin betimsel istatistikler Tablo 1 de görülmektedir. Tablo 1. Veri Türetmede Kullanılan Parametrelere İlişkin Betimsel İstatistikler. Ayırt Edicilik Parametresi Minimum Medyan Ortalama Maksimum Ss 11-maddelik test 22-maddelik test 44-maddelik test Güçlük Parametresi Minimum Medyan Ortalama Maksimum Ss 11-maddelik test 22-maddelik test 44-maddelik test Verilerin Analizi Dokuz koşul için türetilen[9 x 4000] veri setine ilişkin parametreler iki parametreli model altında PARSCALE (Muraki ve Bock, 2003) bilgisayar programında D=1.00 ve D=1.70 ölçekleme sabitlerini kullanılarak kestirilmiştir. D=1.70 ölçekleme sabiti kullanıldığı durumlarda, ayırt edicilik parametresi 1.70 e bölünerek değerlendirmeye alınmıştır, güçlük parametresine herhangi bir işlem uygulanmamıştır. PARSCALE programında özellikle küçük örneklem ve uzun testlerde yakınsama problemi oluşmuştur. Yakınsama problemi olan veriler araştırmaya dâhil edilmemiştir. Yakınsama probleminin oluştuğu koşullar ve çıkartılan verilere ilişkin bilgiler Tablo 2 de görülmektedir. Tablo 2 de verilen bilgilere dayalı olarak en fazla yakınsama probleminin madde sayısının en fazla, örneklem büyüklüğünün en küçük olduğu koşulda (K=44, N=200) olduğunu ve aynı koşullarda D=1.00 ölçekleme sabiti yapılarak elde edilen parametre kestirimlerinin daha çok yakınsama problemine maruz kaldığını söyleyebiliriz. 138

5 Değişen Dünyada Eğitim Tablo 2. Yakınsama Probleminin Oluştuğu Koşullara İlişkin Bilgi. Koşullar Ölçekleme Sabiti Çıkartılan Veri Sayısı % K=22, N=200 D= D= K=44, N=200 D= D= K=44, N=500 D= D= Her bir koşul için 4000 tekrar sonucu kestirilen madde parametreleri ve madde parametrelerinin standart hataları bias (yanlılık) ve RMSE (hata karelerinin ortalamasının karekökü (root mean squared error) ) değerlendirme ölçütlerinin ortalaması alınarak karşılaştırılmıştır. Bias, parametre kestirimindeki sistematik hataların bir ölçüsünü, RMSE ise parametre kestirimindeki mutlak doğruluğun (accuracy) bir diğer deyişle kestirilen ve gerçek değer arasındaki fark arasındaki uzaklığın genel bir ölçüsünü vermektedir. Tıpkı bias gibi RMSE kestirilen ve gerçek parametre değerleri arasındaki farka dayanmaktadır, yanlılık ölçümünden farkı farkın karesi alınarak farkın yönünün bertaraf edilmesidir. Bu sayede sadece farkın büyüklüğü hesaba katılmaktadır. Bias ve RMSE indeksleri aşağıda verilen formüller kullanılarak testteki tüm maddelere ait parametreler için hesaplanmış ve testte yer alan tüm maddeler için ortalaması alınarak her bir koşul için özetlenmiştir (Walther ve Moore, 2005). Bias = ( 1 ) R R r=1 φ r φ (4) R RMSE = r=1(φ r φ) 2 /R (5) Yukarıda verilen eşitliklerde yer alan R tekrar numarası indeksini (r=1,2,,r), φ r r. tekrarda kestirilen madde parametresi ve φ ise parametrenin gerçek değerini göstermektedir. Araştırmada kullanılan PARSCALE programı R tabanlı çalıştırılarak analizler seri bir şekilde yapılmış, bias ve RMSE indekslerinin hesaplanmasında yine R programlama dilinden yararlanılmıştır. Bulgular Araştırma bulguları, 2-parametreli model parametreleri olan ayırt edicilik ve güçlük parametreleri ile bu parametrelere ilişkin standart hataların her bir ölçekleme sabiti ile elde edilen ortalama bias ve RMSE değerleri için çizdirilen grafikler aracılığı ile sunulmuştur. Şekil-1 de ayırt edicilik ve güçlük parametrelerinin D=1.00 ve D=1.70 ölçekleme sabitleri kullanılarak kestirimleri için elde edilen bias ve RMSE ortalamaları için çizdirilen grafikler görülmektedir. Şekil 1 de verilen 1a ve 1b grafiklerine dayalı olarak, D=1.00 ve D=1.70 ölçekleme sabitleri ile elde edilen ayırt edicilik parametresi kestirimlerinin bias değerlerinin benzer örüntü gösterdiği söylenebilir. Grafikler 1a ve 1b de görüldüğü üzere, örneklem büyüklüğü arttıkça tüm test uzunlukları için ayırt edicilik parametresine ilişkin bias değerleri azalmış, en yüksek bias değerleri N=200 olduğu koşullarda elde edilirken N=500 ve N=1000 örneklem büyüklüklerinde sıfıra yakın bias kestirimleri elde edilmiştir. 139

6 Örneklem Büyüklüğünün ve Test Uzunluğunun Mtk Parametre Kestirimine Etkisi Şekil 1. Ayırt edicilik ve güçlük parametrelerinin bias ve RMSE değerleri için çizilen grafikler. 1: 11- maddelik test; 2: 22-maddelik test; 3: 44-maddelik test 140

7 Değişen Dünyada Eğitim Ayrıca, N=200 olduğu koşullarda madde sayısının 11 den 22 ye çıkartılması bias değerlerinde bir azalmaya sebep olurken, madde sayısının 44 e çıkartılması bias değerlerini arttırmış hatta en yanlı kestirimler madde sayısının 44 olduğu koşullarda elde edilmiştir (Bkz. Grafik 1a ve 1b). Güçlük parametresi için elde edilen bias değerleri ortalamalarına ilişkin Şekil 1 de verilen grafikler 1e ve 1f ye dayalı olarak D=1.00 ve D=1.70 ölçekleme sabitleri ile elde edilen bias değerlerinin benzer örüntü gösterdiği söylenebilir. Tüm test uzunlukları için en yüksek bias değerleri N=200 olduğu koşullarda elde edilirken N=500 ve N=1000 olduğu koşullarda sıfıra yakın bias değerleri elde edilmiştir. Örneklem büyüklüğünün 200 olduğu koşullarda madde sayısının artması bias değerlerinde artışa sebep olmuş hatta en yüksek bias değerleri madde sayısının 44 olduğu koşullarda elde edilmiştir. Örneklem büyüklüğünün 500 ve 1000 olduğu koşullarda madde sayısının artması güçlük parametresine ilişkin kestirilen bias değerlerinde belirgin bir farka sebep olmamıştır. Şekil 1 de verilen grafikler 1c, 1d, 1g ve 1h incelendiğinde ayırt edicilik ve güçlük parametrelerinin D=1.00 ve D=1.70 ölçekleme sabitleri kullanılarak elde edilen kestirimlerine ait RMSE ortalamalarının benzer örüntü gösterdiği söylenebilir. Ayırt edicilik ve güçlük parametreleri en yüksek RMSE değerlerine örneklem büyüklüğünün 200 olduğu koşullarda sahip olurken en düşük RMSE değerlerine örneklem büyüklüğünün 1000 olduğu koşullarda sahip olmuştur ve örneklem büyüklüğü arttıkça tüm test uzunlukları için RMSE değerleri azalmıştır. Şekil 1 de verilen grafik 1c ve 1d incelendiğinde, tüm örneklem büyüklüklerinde madde sayısının 11 den 22 ye çıkmasının ayırt edicilik parametresinin RMSE değerlerinde azalmaya sebep olduğu söylenebilir. Fakat madde sayısının 44 e çıkartılması N=200 örneklem büyüklüğünde RMSE değerlerinde artışa sebep olurken N=500 ve N= 1000 olduğu koşullarda kısmen de olsa bir azalışa sebep olmuştur. Şekil 1 de verilen grafikler 1g ve 1h ye dayalı olarak güçlük parametresinde madde sayısının 11 den 22 ye çıkartılmasının tüm örneklem büyüklükleri için RMSE değerlerinde bir değişime sebep olmadığı ancak madde sayısının 44 e çıkartılmasının N=200 olduğu koşullarda RMSE değerinde artışa, N=500 ve N=1000 olduğu koşullarda kısmen de olsa bir azalışa sebep olduğu söylenebilir. Ayırt edicilik ve güçlük parametrelerinin standart hatalarının bias ve RMSE ortalamalarına dayalı olarak çizdirilen grafikler Şekil-2 de görülmektedir. Şekil 2 de verilen grafikler (2a,2b,2e,2f) incelendiğinde, ayırt edicilik ve güçlük parametrelerinin standart hatalarına ait bias değerleri sıfıra çok yakın değerlerde olmakla birlikte D=1.00 ve D=1.70 ölçekleme sabiti ile farklı örüntülerde elde edilmiştir. Grafikler 2a ve 2b incelendiğinde, ayırt edicilik parametresinin standart hatası N=200 örneklem büyüklüğünde, en yüksek bias değerine D=1.00 ölçekleme sabiti ile kestirildiğinde madde sayısının 22 olduğu koşulda sahip olurken D=1.70 olduğu koşullarda madde sayısının 44 olduğu koşularda sahip olmuştur. Madde sayısının 11 olduğu koşullarda, her iki ölçekleme sabiti ile elde edilen ayırt edicilik parametresinin standart hatası tüm örneklem büyüklüklerinde sıfıra yakın bias değerlerine sahip olmuştur. Her iki ölçekleme sabiti ile yapılan kestirimlerde örneklem büyüklüğünün artmasının özellikle orta (K=22) ve uzun (K=44) testlerde genel olarak ayırt edicilik parametresinin standart hatasına ait kestirilen bias değerlerinde bir azalmaya sebep olduğu söylenebilir. Küçük örneklemde (N=200) ise madde sayısının artmasının ise bias değerlerinde genel olarak bir artışa, orta (N=500) ve büyük (N=1000) örneklemlerde önemli bir değişime sebep olmadığı söylenebilir. Şekil 2 de ayırt edicilik parametresinin standart hatasına (se(a)) ilişkin verilen grafikler 2c ve 2d incelendiğinde; D=1.00 ölçekleme sabiti kullanıldığında en yüksek RMSE değeri N=200 ve K=11 koşulunda elde edilirken, D=1.70 ölçekleme sabiti kullanıldığında en yüksek RMSE değerleri N=200 ve K=44 olduğu koşullarda elde edilmiştir. Her iki ölçekleme sabiti ile elde edilen se(a) parametre kestirimleri için tüm test uzunluklarında örneklem büyüklüğü arttıkça RMSE değerlerinin azaldığı söylenebilir. Madde sayısının 11 den 22 ye çıkartılması N=200 olduğu koşullarda RMSE değerlerinde bir azalmaya sebep olurken madde sayısının 22 den 44 e çıkartılması D=1.00 ölçekleme sabiti kullanıldığında RMSE değerlerinde değişikliğe sebep olma iken D=1.70 alındığında artışa sebep olmuştur. Orta ve büyük örneklemlerde ise madde sayısının artışının her iki ölçekleme sabiti ile elde edilen se(a) kestirimlerinin RMSE değerlerinde bir değişime neden olmadığı söylenebilir. 141

8 Örneklem Büyüklüğünün ve Test Uzunluğunun Mtk Parametre Kestirimine Etkisi Şekil 2. Ayırt edicilik ve güçlük parametrelerinin standart hatalarına ilişkin bias ve RMSE değerleri için çizilen grafikler. Not. 1: 11-maddelik test; 2: 22-maddelik test; 3: 44-maddelik test Şekil 2 de güçlük parametresinin standart hatasına ilişkin verilen grafikler 2e ve 2f incelendiğinde N=200 ve K=11 olduğu koşullarda her iki ölçekleme sabiti kullanılarak elde edilen kestirimlerin tüm örneklem büyüklüklerinde sıfıra çok yakın bias değerlerine sahip olduğu söylenebilir. Ölçekleme sabitinin D=1.00 alınıp K=22 ve K=44 olduğu koşullarda, örneklem büyüklüğü arttıkça bias 142

9 Değişen Dünyada Eğitim değerlerinde azalma gözlenmiştir. Ayrıca madde sayısının artması küçük ve orta örneklemlerde güçlük parametresinin bias değerlerinde artışa sebep olurken büyük örneklemlerde madde sayısının artışı bias değerlerini etkilememiştir. D=1.70 ölçekleme sabiti alındığında ise genel olarak (N=200 ve K=44 koşulu hariç) örneklem büyüklüğünün madde sayısının artışı bias değerlerinde bir değişime sebep olmamıştır. Şekil 2 de verilen güçlük parametresinin standart hatasının (se(b)) RMSE değerlerine ilişkin çizilen 2g ve 2h grafikleri incelendiğinde en yüksek RMSE değerleri her iki ölçekleme sabiti ile elde edilen kestirimlerde N=200 ve K=44 olduğu koşullarda elde edildiği görülmektedir. Genel olarak, örneklem büyüklüğünün 200 den 500 e çıkartılması RMSE değerlerinde azalışa sebep olurken, 500 den 1000 e çıkartılması RMSE değerlerini etkilememiştir. Madde sayısının artması ise orta ve büyük örneklemlerde güçlük parametresinin standart hatasına ilişkin RMSE değerlerinde bir değişime sebep olmaz iken küçük örneklemde madde sayısının 22 den 44 e çıkartılması RMSE değerlerini arttırmıştır. Araştırmanın bir diğer amacı olan D=1.00 ve D=1.70 ölçekleme sabitleri ile elde edilen ayırt edicilik ve güçlük parametreleri ile bu parametrelere ilişkin standart hataların farklılık gösterip göstermediği Şekil 3 te görülen grafikler aracılığıyla incelemiştir. Şekil 3 te verilen grafikler 3a ve 3b incelendiğinde ayırt edicilik parametresi D=1.70 ölçekleme sabiti kullanılarak kestirildiğinde daha düşük bias ve RMSE değerlerine sahip olma eğiliminde olduğu görülmüştür. Benzer bulgu ayırt edicilik parametresinin standart hatası için de elde edilmiştir. Şekil-3 te verilen grafikler 3c ve 3d incelendiğinde, ayırt edicilik parametresinin standart hatasının genel olarak (Koşul 7 hariç: N=200, K=44) ayırt edicilik parametresinin standart hatası D=1.70 ölçekleme sabiti ile daha düşük bias ve RMSE değerlerine sahip olduğu söylenebilir. Şekil 3 te verilen grafikler 3e, 3f, 3g ve 3h incelendiğinde ise genel olarak (Koşul 7: N=200, K=44) hariç) tüm koşullarda D=1.00 ve D=1.70 ölçekleme sabitleri ile güçlük parametresi ve güçlük parametresinin standart hatasının benzer bias ve RMSE değerlerine sahip olduğu söylenebilir. Tartışma, Sonuç ve Öneriler Bu araştırmada, örneklem büyüklüğünün ve test uzunluğunun MTK 2-parametreli model parametrelerinin kestirimine etkisi simülasyon verileri kullanılarak incelenmiştir. Parametre kestirimleri bias ve RMSE ölçütleri kullanılarak değerlendirilmiştir. Araştırma bulguları, örneklem büyüklüğü arttıkça ayırt edicilik ve güçlük parametreleri ve bu parametrelerin standart hatalarının kestirimine ait hesaplanan RMSE değerlerinde düşüş olduğunu göstermiştir. Araştırmamızın bu bulgusu beklenen bir sonuçtur. Örneklem büyüklüğü arttıkça daha yansız ve daha doğru parametre kestirimlerinin elde edildiği sonucunu geçmişte yapılan araştırmalar (Akour ve AL-Omari, 2013; Stone, 1992; Şahin ve Anıl, 2017) da destekler niteliktedir. Örneklem büyüklüğü arttıkça, kestiricinin tutarlılığı artmakta ve gerçek parametre değerine daha yakın kestirimler elde edilmektedir (Hulin vd., 1982). Ayrıca, örneklem büyüklüğü arttıkça örneklem dağılımına ilişkin standart hatalar azalmakta dolayısıyla parametre kestirimlerine ilişkin RMSE değerleri azalmaktadır (Stone, 1992). Edelen ve Reeve in (2007) de belirttiği gibi örneklem büyüklüğü arttıkça parametre kestirimlerine ait standart hatalar da küçülmektedir. Bu araştırmadan elde edilen bir diğer bulgu küçük örneklemde (N=200) madde sayısının artmasının ayırt edicilik ve güçlük parametrelerine ilişkin kestirilen bias ve RMSE değerlerinde genel olarak bir yükselişe sebep olmasıdır. Ayırt edicilik ve güçlük parametreleri en yüksek bias ve RMSE değerlerini örneklemin en küçük (N=200) ve testin en uzun (K=44) olduğu koşullarda sahip olmuştur ve PARSCALE programı parametre kestiriminde yakınsama problemini en çok bu koşulda yaşamıştır. 143

10 Örneklem Büyüklüğünün ve Test Uzunluğunun Mtk Parametre Kestirimine Etkisi Şekil 3. Tüm koşullara ilişkin çizilen grafikler. K madde sayısını ve N örneklem büyüklüğünü göstermek üzere 1: K=11, N=200; 2: K=11, N=500; 3: K=11, N=1000; 4: K=22, N=200; 5: K=22, N=500; 6: K=22, N=1000; 7: K=44, N=200; 8: K=44, N=500, 9: K=44, N=1000 Bunun sebebi, PARSCALE programının madde sayısının fazla (K=44) ve örneklem büyüklüğünün küçük olduğu (N=200) durumlarda uç noktalarda parametre kestirimi yapması olabilir. Benzer durum Stone nun (1992) çalışmasında da görülmüştür. Stone (1992) çalışmasında uzun test ve küçük 144

11 Değişen Dünyada Eğitim örneklemde (K=40 ve N=250) RMSE değerinin büyük çıkmasını çalışmasında kullandığı MULTILOG programının uzun test ve küçük örneklemlerde uç değerde parametre kestirimleri yapmasına bağlamıştır. Dolayısıyla, 44 maddelik bir test için 200 örneklem büyüklüğünün PARSCALE programında yansız ve doğru parametre kestirimleri için yetersiz olduğu söylenebilir. Araştırmamızın bir diğer bulgusu, tüm test uzunluklarında (K=11, K=22 ve K=44) orta (N=500) ve büyük örneklemlerde (N=1000) yansız ve gerçek parametre değerine yakın ayırt edicilik ve güçlük parametresi kestirimleri elde edilmesidir. Dolayısıyla bu araştırmanın bulgularına dayalı olarak, 2- parametreli model kullanarak parametre kestirimi yapmak için 11, 22 ya da 44 maddeden oluşan testlerde örneklem büyüklüğünün 500 ya da 1000 alınması önerilebilir. Literatürde 2-parametreli model ile parametre kestirimi için diğer araştırmalar da benzer örneklem büyüklüklerini önermişlerdir. Örneğin; Hulin vd. (1982) 30 madde için 500, 20 madde için Lim ve Drasgow (1990) 750, Stone (1992) ve Şahin ve Anıl (2017) yine 20 madde için 500 örneklem büyüklüğünün doğru parametre kestirimi için yeterli olduğunu belirtmişlerdir. Araştırma bulguları, orta ve büyük örneklemlerde madde sayısının artmasının ayırt edicilik ve güçlük parametresine ait bias değerlerini etkilemediğini fakat ayırt edicilik parametresine ait RMSE değerlerinde bir düşüşe sebep olduğunu göstermiştir. Güçlük parametresinde ise N=500 ve N=1000 örneklem büyüklüklerinde madde sayısının 11 den 22 ye çıkartılması RMSE değerlerini etkilemezken madde sayısının 22 den 44 e çıkartılması RMSE değerlerinde düşüşe sebep olmuştur. Stone (1992) da yaptığı araştırmasında benzer test uzunlukları (K=10, K=20 ve K=40) ve örneklem büyüklükleri (N=250, N=500 ve N=1000) ile madde sayısının artışının güçlük ve ayırt edicilik parametrelerine ait RMSE değerlerinde düşüşe sebep olduğunu bulmuştur. Orta ve büyük örneklemlerde madde sayısı arttıkça genel olarak ayırt edicilik ve güçlük parametre kestirimlerine ilişkin elde edilen RMSE değerlerinin azalışı MTK modellerinin probabilistik bir diğer deyişle olasılığa dayalı modeller olması ile açıklanabilir. RMSE katsayısı parametre kestiriminin doğruluğunun (accuracy) bir ölçüsüdür ve parametre kestirimine karışan yanlılık ile random hatanın toplamının bir göstergesidir (Walther ve Moore, 2005). Testteki madde sayısının artışının RMSE değerinde azalışa sebep olması parametre kestirimine karışan random hatanın madde sayısı arttıkça azalmasıyla açıklanabilir (Feuerstahler, 2018). Araştırma bulguları, madde sayısının artışının ayırt edicilik ve güçlük parametrelerinin standart hatalarına ait bias ve RMSE değerlerinde özellikle orta ve büyük örneklemlerde önemli bir değişime sebep olmadığını göstermiştir. Bunun sebebi her bir maddeye ilişkin kestirilen standart hataların diğer maddelerden bağımsız olarak kestirilmesi olabilir (Harwell, Baker ve Zwarts, 1988). Araştırma bulguları, ayırt edicilik parametresinin ve ayırt edicilik parametresinin standart hatasının genel olarak D=1.70 ölçekleme sabiti (ya da normal ogive modele yaklaştığında) kullanıldığında daha düşük bias ve RMSE değerlerine sahip olduğunu göstermiştir. Güçlük parametresi ve güçlük parametresinin standart hatası ise genel olarak her iki ölçekleme sabitinde benzer bias ve RMSE değerlerine sahip olmuştur. Bu araştırmada, MTK nın klasik olarak kullanılan parametreleştirme formu kullanılmıştır (Bkz. Eşitlik 3). Bu formda lojistik ve normal ogive modeller sadece ayırt edicilik parametresinde farklılaşmaktadır. Eğer lojistik model normal ogive model ile karşılaştırılmak isteniyor ise ayırt edicilik parametresi 1.70 ölçekleme sabitine bölünmelidir (Thissen ve Wainer, 1982). Bu çalışmada, lojistik ve normal ogive model ile yapılan parametre kestirimlerinde sadece ayırt edicilik parametre kestirimlerinin farklılaşma sebebi olarak kullanılan MTK formülü gösterilebilir. Embretson ve Reise (2000), lojistik ve normal ogive modellerin birbirine çok yakın madde karakteristik eğrileri verdiklerini sadece model veya parametre kestiriminde küçük farklılıklar olabileceğini belirtmişlerdir. Haley (1952), D=1.70 alındığında 2-parametreli normal ogive ve 2- parametreli lojistik modellere ait madde karakteristik fonksiyonlarının bütün yetenek değerleri için 0.01 den daha az farklılık gösterdiğini belirtmiştir (akt. Hambleton ve Swaminathan, 1985). Araştırmamızın bu bulgusu ayırt edicilik parametresi bazında Embretson ve Reise nin (2000) parametre kestiriminin farklılaşabildiği görüşünü destekler niteliktedir. Ancak, madde karakteristik eğrilerinin farklılaşıp ileride yapılacak olan araştırmalarda incelenmelidir. Crocker ve Algina (1986), D 145

12 Örneklem Büyüklüğünün ve Test Uzunluğunun Mtk Parametre Kestirimine Etkisi sabitinin keyfi olarak 1.00 veya 1.70 olarak seçilebileceğini fakat D sabitinin genellikle 1.70 alındığını belirtmiştir. Araştırmamızın sonucunda, ayırt edicilik parametresi ve ayırt edicilik parametresinin standart hatasının genel olarak D=1.70 ölçekleme sabiti kullanıldığında daha yansız ve gerçek parametre değerine daha yakın kestirimler vermesine dayalı olarak parametre kestirimlerinde D sabitinin 1.70 alınması önerilebilir. Bu araştırmanın sınırlılığı simülasyon verileri ile çalışılmış olmasıdır. Simülasyon verileri her ne kadar araştırmacılara aynı anda bir çok faktörü çalışma imkanı vermesi açısından değerli olsa (Harris ve Crouse, 1993) da gerçek test durumlarını yansıtmayabilir. Dolayısıyla bu araştırmanın bulgularını genellerken dikkatli olunması ve bu araştırmada ele alınan örneklem büyüklüğü ve test uzunluğunun MTK parametreleri ile standart hatalarına etkisinin gerçek veri ile sınanması önerilmektedir. Kaynakça Akour, M. ve Al Omari, H. (2013). Empirical investigation of the stability of IRT item-parameters estimation. International Online Journal of Educational Sciences, 5(2), Camilli, G. (1994). Origin of the scaling constant d=1.70 in item response theory. Journal of Educational and Behavioral Statistics, 19(3), Cheng, Y., ve Yuan, K. (2010). The impact of fallible item parameter estimates on latent trait recovery. Psychometrika, 75(2), Chuah, S. C., Drasgow F., ve Luecht, R. (2006). How big is big enough? Sample size requirements for cast item parameter estimation. Applied Measurement in Education, 19(3), Crocker, L. ve Algina, J. (1986). Introduction to classical and modern test theory. Orlando: Harcourt Brace Jovanovich College Publishers. Custer, M. (2015, October). Sample size and item parameter estimation precision when utilizing the one-parameter Rasch model. Mid-Western Educational Research Association Konferansında Sunulan Bildiri, Evanston, Illınois. 16 Nisan 2018 tarihinde adresinden erişilmiştir. Çakıcı-Eser, D. ve Gelbal, S. (2015). Farklı boyutluluk özelliklerindeki basit ve karmaşık yapılı testlerin çok boyutlu madde tepki kuramına dayalı parametre kestiriminin incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(2), Drasgow, F. (1989). An evaluation of marginal maximum likelihood estimation for the two-parameter logistic model. Applied Psychological Measurement, 13, Edelen, M. O. ve Reeve, B. B. (2007). Applying item response theory (IRT) modeling to questionnaire development, evaluation, and refinement. Qual Life Res, 16, Embretson, S. E. ve Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Erlbaum. Feuerstahler, L. M. (2018). Sources of error in IRT trait estimation. Applied Psychological Measurement, 42(5), Hambleton, R. K. (1989). Principles and selected applications of item response theory. R. L. Linn (Ed.), Educational measurement (3.baskı, ss ) içinde. Washington, DC: American Council on Education and Macmillan. Hambleton, R. K. ve Jones, R. W. (1993). Comparison of classical test theory and item response theory and their applications to test development. Educational Measurement: Issues and Practice, 12(3),

13 Değişen Dünyada Eğitim Hambleton, R. K. ve Swaminathan, H. (1985). Item response theory: Principles and applications. Boston: Kluwer-Nijhoff Publishing. Hambleton, R. K., Swaminathan H., ve Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage. Harris, D. J. ve Crouse, J. D. (1993). A study of criteria used in equating. Applied Measurement in Education, 6(3), Harwell, M. R., Bakar, F. B., ve Zwarts, M. (1988). Item parameter estimation via marginal maximum likelihood and an EM algorithm: A didactic. Journal of Educational Statistics, 13(3), Harwell, M. R. ve Janosky, J. E. (1991). An empirical study of the effects of small datasets and varying prior variances on item parameter estimation in BILOG. Applied Psychological Measurement, 15(3), Hulin, C. L., Lissak, R. I., ve Drasgow, F. (1982). Recovery of two and three-parameter logistic item characteristic curves: A Monte Carlo study. Applied Psychological Measurement, 6(3), Lim, R. G. ve Drasgow, F. (1990). Evaluation of two methods for estimating item response theory parameters when assessing differential item functioning. Journal of Applied Psychology, 75(2), Muraki, E. ve Bock, R. D. (2003). PARSCALE 4.1 [Bilgisayar programı]. Mooresville, IN: Scientific Software. Paek, I. ve Cai, L. (2014). A comparison of item parameter standard error estimation procedures for unidimensional and multidimensional item response theory modelin. Educational and Psychological Measurement, 74(1), Patsula, L. N. (1995). A comparison of item parameter estimates and ICCs produced with TESTGRAF and BILOG under different test lengths and sample size. Yayımlanmamış yüksek lisans tezi, University of Ottova. R Development Core Team, 2005, R: A language and environment for statistical computing, reference index version R Foundation for Statistical Computing, Vienna: Austria. Sireci, S. G. (1991). "Sample-Independent" Item Parameters? An investigation of the stability of IRT item parameters estimated from small data sets. The Annual Meeting of the Northeastern Educational Research Association konferansında sunulan bildiri, Ellenville, NY. 16 Nisan 2018 tarihinde adresinden erişilmiştir. Stone, C. A. (1992). Recovery of marginal maximum likelihood estimates in the two-parameter logistic response model: An evaluation of Multilog. Applied Psychological Measurement, 16(1), Şahin, A. ve Anıl, D. (2017). The effects of test length and sample size on item parameters in item response theory. Educational Sciences: Theory & Practice, 17(1), Thissen, D. ve Wainer, H. (1982). Some standard errors in item response theory. Psychometrika, 47, Toland, M. Determining the accuracy of item parameter standard error of estimates in BILOG-MG 3. Yayımlanmamış yüksek lisans tezi, Universtiy of Nebraska-Lincoln Walther, B. A. ve Moore, J. L. (2005). The concepts of bias, precision and accuracy, and their use in testing the performance of species richness estimators, with a literature review of estimator performance. Ecography, 28(6), Yen, W. ve Fitzpatrick, A. R. (2006). Item response theory. R. L. Brennan (Ed.), Educational measurement (4. baskı., ss ) içinde. Westport, CT: Praeger Publishers. 147

14 Örneklem Büyüklüğünün ve Test Uzunluğunun Mtk Parametre Kestirimine Etkisi 148