Ankara Unversty, Journal of Faculty of Educatonal Scences, year: 26, vol: 39, no: 2, 27-44 Obtanng Classcal Relablty Terms from Item Response Theory n Multple Choce Tests Hall Yurdugül * ABSTRACT: The classcal testng theory and tem response theory are commonly used n the analyss of educatonal measurements. On the other hand, classcal relablty s only obtaned from the terms of classcal testng theory. In tem response theory, however, the relablty s derved from nformaton functons. Dmtrov has revealed that classcal relablty terms could also be obtaned from tem response theory by equatons whch he developed. Ths study frstly nvestgates tem and test relablty obtaned through tem response theory by usng Dmtrov s equatons. Then, these relabltes would be compared wth classcal relablty. Keywords: Item response theory, classcal testng theory, relablty, tem relablty, test relablty Purpose and sgnfcance: Methods: SUMMARY Results: ρ D, the tem relablty based on the ρthe *
28 Hall YURDUGÜL Dscusson and Conclusons: Ankara Ünverstes Eğtm Blmler Fakültes Dergs, yıl: 26, clt: 39, sayı: 2, 27-44 Çoktan Seçmel Testlerde Klask Güvenrlk Termlernn Madde-Yanıt Kuramından Elde Edlmes Hall Yurdugül * ÖZ: Klask test kuramı ve madde-yanıt kuramı eğ tmde ölçme sonuçlarının çözümlenmesnde yaygın olarak kullanılan k farklı yaklaş ımdır. Öte yandan klask güvenrlkler klask test kuramının termlernden elde edlmektedr. Madde-yanıt kuramında se güvenrlkler blg fonksyonlarından elde edlmektedr. Dmtrov, gelştrm ş olduğu eştlkler le klask güvenrlk termlernn madde- yanıt kuramından elde edlebleceğn ortaya koymuş tur. Bu çalışmada, çoktan seçmel testlerde Dmtrov eş tlkler kullanılarak *
Çoktan Seçmel Testlerde Klask Güvenrlk Termlernn 29 madde-yanıt kuramına dayalı olarak madde ve test güvenrlkler ele alınmış tır. Daha sonra bu güvenrlkler klask güvenrlkler le karşılaştırılmıştır. Anahtar Sözcükler: Madde-yanıt kuramı, klask test kuramı, güvenrlk, madde güvenrlğ, test güvenrlğ GİRİŞ Eğ tm alanındak ölçme sonuçlarının çözümlenmesnde yaygın olarak klask test kuramı (classcal test theory) ve madde-yanıt kuramı (tem response theory) kullanılmaktadır. Klask test kuramı model, tek br ölçmeye/maddeye lşkn olarak gözlenen puanlar (X), ölçülmek stenlen gerçek puanlar (T ) ve ölçmeye karışan hata puanları (E) arasındak doğrusal bağ ıntı le fade edlr. Madde-yanıt kuramı modelnde se breylern br maddey doğru yanıtlama olasılığ ı, ölçmeye konu olan alandak yeterlk düzey ve maddenn karakterstk özellkler arasındak doğrusal olmayan bağ ıntı le açıklanmaktadır (Lord, 198). Her k kuramsal yaklaşım, fonksyonel bağ ıntı olarak brbrnden farklı olsa da ölçme kümeler normal dağılım gösterdğ durumlarda klask test kuramı (KTK) modelnde yer alan madde parametrelern, madde-yanıt kuramı (MYK) modelnden elde etmek olanaklıdır (Hambleton ve Swamnathan, 1985; Kelecoğlu, 21). Ancak normal dağılım koş ulu altında MYK termlernden KTK termlernn elde edlmesne karş ın MYK ndan KTK modelndek termlern varyanslarını elde etmek çn gelştrlm ş br yöntem yakın zamana kadar söz konusu değ ld. Dmter Dmtrov (23a, 23b) yapmı ş olduğ u smülatf br çözümleme le KTK modelndek termlere lşkn varyansları çeş tl fonksyonlar yardımıyla MYK modelnden elde edlebleceğn göstermştr. Blndğ gb; KTK modelnde yer alan gözlenen puan, gerçek puan ve hata puanları termlernn varyansları güvenrlk le doğrudan lş kldr. Ölçme araçlarının hatasızlığ ının br ölçütü olan güvenrlk kavramı, KTK modelndek termlern varyansları le fade edlr (güvenrlk, gerçek puanlar varyansının gözlenen puanlar varyansına oranıdır). Dmtrov (23a, 23b), bu termlern MYK modelnden de elde edlebleceğn ortaya koymuş tur. Bu durum Dmtrov un (23a, 23b) gelştrdğ eş tlkler yardımı le madde-yanıt kuramından klask güvenrlklern elde edlebleceğ anlamına gelmektedr.
3 Hall YURDUGÜL MYK nda (KTK nın aksne) doğrudan ölçme sonuçlarına lş kn br güvenrlk kestrm söz konusu değ ldr (Doran, 25). Çünkü MYK nda her br yetenek düzeynden elde edlen blg fonksyonlarıyla (nformaton functon) fade edleblen br güvenrlkten bahsedleblr. Dğ er taraftan Doran (25), blg fonksyonlarına dayalı olarak elde edlen güvenrlklern klask güvenrlkten farklı olduğunu ortaya koymuş tur. Dmtrov un (23a, 23b) gelştrdğ eştlkler yardımı le MYK ndan elde edlen değ erler le klask güvenrlklern elde edlmes olanaklı duruma gelmştr. Bu çalışmada çoktan seçmel testlerde, Dmtrov un (23a) eş tlkler kullanılarak MYK modelnden elde edlen termler yardımıyla üretlen klask güvenrlkler le KTK modelnden elde edlen madde ve test güvenrlk katsayıları karşılaştırılmıştır 1. Klask Test Kuramı ve Güvenrlk Eğtm alanında kullanılan ölçme araçlarının güvenrlğ aynı zamanda ölçme sonuçlarının kesnlğnn br ölçüsüdür. Güvenrlk kavramına lş kn operasyonel tanım genellkle klask test kuramının (X=T+E) doğ rusal modelnn termleryle fade edlr. X=T+E (1) Var(X)=Var(T)+Var(E) (2) Buna göre güvenrlk; gerçek puanlar (T) varyansının gözlenen puanlar (X) varyansına oranı ya da hata puanları (E) varyansının br fonksyonu olarak elde edlr. 2 Var(T) Var(E) ρ XT = = 1 (3) Var(X) Var(X) KTK modelndek gözlenen puanların br bleşen olan gerçek puanlar doğrudan gözlenemedğ nden dolayı Lord ve Novck (1968) tarafından kullanılan fadeye göre platonk br yapısı vardır. Bu nedenle Eş tlk 3 le verlen güvenrlk ndeksn elde edeblmek çn paralel, eşdeğer (tau- equvalent) ya da eş bçml (essentally tau-equvalent) ölçmelere htyaç duyulur (Traub, 1994). Eğtmde paralel ya da eşdeğ er ölçmeler olarak genellkle k adet maddeden oluşan tek boyutlu brleş k testler (composte test) kullanılır (X=X 1 +X 2 +...+X k ). Brleş k test maddeler arasındak korelasyon aynı zamanda güvenrlk ndeksnn kestrcs olan güvenrlk katsayısını (ρ X1,X2 ) verr (Lord ve Novck, 1968). 1 klask güvenrlkler
Çoktan Seçmel Testlerde Klask Güvenrlk Termlernn 31 2 ρ XT ρ (4) X1,X2 Çoktan seçmel testlerden elde edlen puanların güvenrlklern kestrlmesnde en yaygın kullanılan güvenrlk katsayısı, Kuder-Rchardson tarafından gelştrlen KR2 ve KR 21 katsayılarıdır. k π (1 π ) k = 1 KR 2 = 1 k 1 Var(X) (5) Burada π ;. maddenn güçlük ndeksn, [π (1-π )];. Madde puanları varyansını ve Var(X) se brleş k test puanlarının varyansını göstermektedr (Lord ve Novck, 1968). Klask Güvenrlk Termlernn Madde-Yanıt Modelnden Elde Edlmes MYK na göre; öğrenclern herhang br maddey doğ ru yanıtlama olasılıkları, öğrenclern sahp olduğ u özellk düzey ve maddenn karakterstk özellkler le açıklanır. KTK, ölçülmek stenlen özellk le gözlem sonuçları arasındak bağıntıyı doğ rusal br model le açıklarken; MYK se bu bağıntıyı doğ rusal olmayan model le açıklamaktadır (Hambleton ve Swmnathan, 1985). Buna göre 2 parametrel model; a ( θ b ) e P ( θ ) = (6) a ( θ b ) 1+ e burada P (θ), θ yeteneğne sahp öğrencnn. maddey doğ ru yanıtlama olasılığını, a;. maddenn ayırıcılık gücünü ve b se. maddenn güçlük düzeyn göstermektedr. Buna göre. maddeye lşkn doğ ru yanıtların marjnal olasılığı: P π = ( θ) ϕθ ( ) dθ (7) burada ϕ(θ); ölçülmeye çalışılan özellğn dağılımına lş kn fonksyondur. Dmtrov (23a, 23b), bu fonksyonun smülatf çözümünü yapmı ş ve bast br fonksyona ndrgemştr.
32 Hall YURDUGÜL 1 hf ( η ) π = (8) 2 Burada π ; klask test kuramındak madde güçlük (aslında madde kolaylık) ndeksne karşılık gelmektedr ve hf( η ) se. maddeye lş kn hata fonksyonudur. Bu fonksyonun parametres Eş tlk 9 da ve fonksyonu Eştlk 1 da verlmştr. a b η = 2 (9) 2(1 + a ) 1 hf ( η) = 1 2 3 1+.278393η+.23389η +.972η +.7818η Madde güçlüklerne lşkn hesaplamalarda, b< olduğunda η < olacaktır ve bu durumda hata fonksyonun mutlak değer, η ve hata fonksyonunun negatf alınır, hf(-η)=-hf(η) (Dmtrov, 23a, 23b). Madde Varyansları Dmtrov un (23a) gelştrdğ fonksyonlar kullanılarak, KTK modelnde yer alan termlern varyansları, MYK modelnn çözümlenmes le elde edleblmektedr. Bu termler gözlenen puanlar varyansı [Var(X )], gerçek puanlar varyansı [Var(T )] ve hata puanları varyansıdır [Var(E )]. Çoktan seçmel brleş k ölçmelerde gözlenen puanlarda varyansı, multnomnal dağılımın parametres olarak Eş tlk 1 le verlen fade le elde edleblr. Var(X )=π (1-π ) (1) Burada π, Eş tlk 8 le çözümlenen madde güçlük düzeylern göstermektedr. MYK na göre; herhang br maddeye lş kn hata varyansı se Eştlk 11 de verlmştr. a θ θ 2 e ( b ).5 = e Var(E ) dθ a ( θ b ) 2 + [1 e (11) ] 2π 4 4
Çoktan Seçmel Testlerde Klask Güvenrlk Termlernn 33 Eştlk 11 dek fadenn çözümlenmes le. maddeye lş kn hata varyansı elde edlmektedr. Dmtrov (23a, 23b), bu fadenn fonksyonel çözümünü a ve b nn fonksyonu olacak ş eklde bast br fonksyona ndrgeyerek önermştr. Var(E ) 2 / 2 (.2646.118a +.187a ). e.5(b d ) = (12) burada d =(.7427)+(.781/a )+(.74/a 2 ). Tek br maddeye lşkn gerçek puanlar varyansı, Eştlk 1 ve Eş tlk 2 le verlen KTK modelndek doğrusal lş klerden elde edleblmektedr. Buna göre. maddenn gerçek puan varyansı, Eş tlk 1 le verlen maddeye lşkn gözlenen puanlar varyansı le Eş tlk 12 le verlen madde hata puanları varyansının farkına eşttr. Var(T )= π (1-π )-Var(E ) (13) Eştlk 1, Eştlk 12 ve Eştlk 13 yardımı le maddelere lş kn güvenrlkler; Var(T) ρ D = Var(X) π (1 π ) Var(E) ρ D = (14) π (1 π ) şeklnde elde edleblmektedr. Madde güvenrlklernn klask test kuramındak karşılığı se; ρ = ρ X Var(X ) (15) şeklndedr. Burada (Baykul, 2). Test Varyansları ve Güvenrlk ρ x, maddenn ayırıcılık gücünü göstermektedr Tek boyutlu brleş k testlerde yer alan madde puanlarının toplamı, tüm maddelern ölçmeye yöneldğ tek br özellğe lş kn toplam gözlenen puanları verr. Benzer ş eklde madde varyanslarının toplamı da testn tümüne lşkn varyanslara eşttr. Buna göre testn hata varyansı; k Var(E)= Var (E ) (16) = 1 Testn gerçek puanlar varyansı;
34 Hall YURDUGÜL k k Var(T)= (17) = 1 j= 1 [ π (1 π ) Var(E )][ πj(1 πj) Var(E j)] şeklnde elde edlmektedr (Dmtrov, 23a, 23b). Buna göre; Eştlk 1 ve Eştlk 3 le verlen bağ ıntılardan çoktan seçmel test puanlarının güvenrlğ, Dmtrov (23a) yaklaş ımına göre; Eştlk 18 le verlen fade le elde edleblr. ρ D = k k = 1 j= 1 [ π (1 π ) Var(E k = 1 π (1 π ) )][ π (1 π ) Var(E )] j j j (18) Bu çalış mada çoktan seçmel test sonuçları üzernde klask madde güvenrlkler olarak ρ D ve ρ, klask test güvenrlkler olarak da KR 2 ve ρ D katsayıları karşılaştırılmıştır. YÖNTEM Bu çalışmanın uygulama bölümü k aşamalı olarak ele alınmıştır. İ lk aşamada KTK na dayalı klask madde güvenrlkler ve Dmtrov teknğ le MYK ndan elde edlen madde güvenrlklernn karşılaş tırılmalarına yer verlmştr. Bu karşılaştırmalara dayanak oluş turması açısından aynı zamanda kovaryans termler le elde edlen doğ rulayıcı faktör analznde (DFA) maddelere lşkn model determnasyon (R 2 ) değ erler madde güvenrlkler olarak kullanılmış tır. Buna göre, üç farklı yöntemden elde edlen madde güvenrlkler karşılaştırılmıştır. Karşılaş tırmalarda 21 yılında uygulanan Ortaöğretm Kurumları Öğrenc Seçme ve Yerleş trme Sınavı (OK-ÖSYS) Türkçe alt testnde yer alan 25 maddeye lş kn 55318 adet öğrencnn yanıtlarından oluşan ver kümes kullanılmıştır. Madde Yanıt Kuramı Modelnn Çözümlenmes Madde puanlarından oluşan ölçme kümes Eş tlk 6 le verlen 2 parametrel lojstk MYK modelnden yararlanılarak çözümlenmş tr. Bu çözümlemelerde BILOG paket programından yararlanılmış tır. Modeln çözümlenmesyle elde edlen a ve b parametreler Dmtrov teknğ ne grd olarak kullanılarak KTK modelndek termlern varyans karş ılıkları bulunmuştur. Eş tlk 8 le verlen fade kullanılarak madde güçlük düzeyler (π ), Eştlk 1 le madde puanları varyansları, Eş tlk 13 le maddelern gerçek puanlar varyansları, Eştlk 12 le hata varyansları ve Eş tlk 14 le
Çoktan Seçmel Testlerde Klask Güvenrlk Termlernn 35 verlen madde güvenrlkler kestrlmştr. Aynı şeklde brleşk teste lş kn test varyansları da elde edlerek test güvenrlkler kestrlmştr (Eştlk 18). Klask Test Kuramı Modelnn Çözümlenmes Bu kapsamda lgl maddelern KTK lkelerne dayalı olarak madde analz yapılmış tır. Madde analz sonucu madde parametreler (güçlük düzeyler ve madde ayırıcılık düzeyler) ve aynı zamanda Eş tlk 15 le verlen fade kullanılarak madde güvenrlkler elde edlmş tr. Ancak, KTK modelndek gerçek ve hata puanları termlernn varyanslarını elde edeblmek çn doğrulayıcı faktör analtk çözümlemesne gdlmştr. Doğrulayıcı Faktör Analtk Modelnn Çözümlenmes Doğ rulayıcı faktör analtk (DFA) modelnn çözümlenmesnde maddelere lşkn varyans-kovaryans matrs grd olarak kullanılmış tır. Bu yöntem le standartlaştırılmamı ş faktör yükler elde edlmş tr (McDonald, 1999). Varyans-kovaryans matrsnn köş egen elemanları lgl maddelern V(X ) termlernden oluş maktadır (Ek 2). Gerçek puanlar varyansları se maddeler arası kovaryans termlernden üretlmektedr. V(T )= V(T j )=Kov(X,X j ) Doğrulayıcı faktör analznde elde edlen faktör yükler ( λ ) aynı zamanda kovaryans termnn fonksyonu olduğu çn; Kov(X,X j )= λ λ j Var(T )=λ 2 yaklaşımlarıyla maddelere lşkn gerçek puanlar varyansı elde edlmş tr (McDonald, 1999). Doğ rulayıcı faktör analtk modelndek her br maddeye lşkn doğrusal modellern X =µ +λ F+E hata termlernn varyansları, modellern DFA yöntemyle çözümlenmesyle elde edlmştr. Bu yaklaşımla Var(X ), Var(T ) ve Var(E ) termler elde edlmştr ve bu modellern determnasyon katsayıları (R 2 ) madde güvenrlkler olarak ele alınmıştır. DFA çözümlemesne lş kn sonuçlar Ek 1 de verlmştr. Uygulamanın buraya kadar olan bölümünde KTK ve MYK modellernden elde edlen madde güvenrlkler karşılaştırılmış tır. Uygulamanın 2. aşamasında se test güvenrlkler ele alınmı ş ve KR2 le MYK modelnden elde edlen güvenrlk katsayıları karşılaştırılmış tır. Karşılaştırmalar; br öncek aş amada ele alınan ver kümesnden 1 adet
36 Hall YURDUGÜL örneklem çeklerek elde edlen örneklem kümeler üzernden yapılmış tır. Örneklem kümeler, bast rasgele örneklem yöntem le her br 1 öğrencnn madde yanıtlarından oluşturulmuştur. BULGULAR Bu çalışmada 21 yılındak OK-ÖSYS Türkçe alt testne lş kn ölçme sonuçları kullanılmıştır. Bunun temel neden; 55318 öğ rencnn Türkçe alt testnde yer alan 25 madde puan toplamlarından oluşan verlern yaklaş ık normal dağılım göstermesdr (Yurdugül ve Aş kar, 24). Dolayısıyla bu çalışmada normal dağ ılımlı ver kümesnn kullanımı aynı zamanda çalışmanın br sınırlılığı olarak fade edleblr. Bu ver kümesne lş kn betmsel bulgular Tablo 1 de verlmştr. Tablo 1: Türkçe alt testne lşkn betmsel bulgular Madde Sayısı 25 Öğrenc Sayısı 55318 Ortalama 13.62 Varyans 2.79 Çarpıklık -,4 Basıklık -,67 Güvenrlk (KR 2),77 Tablo 1 e görüldüğü gb ele alınan ölçme kümes normal dağ ılım göstermektedr. Ancak dağılımın yaklaşık smetrk olmasına karş ın haffçe basık br dağılım olduğu görülmektedr. Öğ renclern 25 maddeye verdkler yanıtların KTK, MYK ve DFA modellerne göre çözümlenmesyle elde edlen parametre değerler Tablo 2 de verlmştr. Bu değ erler madde parametreler, madde güçlük düzeyler (π), maddelern gözlenen puan varyansları [V(X )], gerçek puan varyansları [V(T )] ve hata puanları varyanslarıdır [V(E )]. Çalışmaya konu olan ρ D katsayısı se Dmtrov eştlkler le MYK modelnden elde edlen ve klask madde güvenrlğ n, aynı şeklde ρ se klask madde analznden elde edlen klask madde güvenrlklern göstermektedr. R 2 se DFA sonucunda elde edlen ölçme modelnn determnasyon katsayısını fade etmektedr.
Çoktan Seçmel Testlerde Klask Güvenrlk Termlernn 37 Tablo 2: Türkçe alt testne lşkn MYK ve KTK modellernn kestrmler Madde Yanıt Kuramı Klask Test Kuramı Parametreler Dmtrov Teknğ Parametreler Doğrulayıcı Faktör Analz No a j b π ι V(X ) V(E ) V(T ) ρ D p r ρ λ V(X ) V(E ) V(T ) R 2 1,41,33 2,87-2,13 3,77-1,17 4,25 2,55 5,48,98 6,33,21 7,83 -,8 8,3 -,45 9,4-1,1 1,71 -,53 11,51,61 12,41,75 13,7-1,21 14,46 -,82 15,31 2,5 16,12,87 17,75,32 18,66 -,23 19,54-1,67 2,43 -,22,45,92,76,27,34,47,7,55,65,62,39,39,76,63,23,46,42,55,79,53,25,22,3,7,7,,18,14,4,2,19,1,22,19,3,25,23,2,21,16,5,25,23,2,12,6,2,5,13,9,25,8,45,35,92,5,76,52,26,21,33,4,47,29,69,56,55,26,23,2,2,11,65,33,24,18,5,24,2,4,24,21,3,18,15,3,23,2,3,18,17,1,25,25,,24,18,6,25,19,5,23,16,12,18,13,6,,25,22,62,51,39,41,38,35,76,49,64,37,17,14,22,9,19,14,26,13,16,25,2,17,21,18,23,26,11,46,11,42,54,55,5,17,15,2,11,79,4,25,22,3,13,54,36,5,27,25,16,18,16,9,19,7,17,12,22,12,14,23,18,14,18,16,9,5,24,23,13,16,25,23,3,1,8,7,1,1,18,14,4,2,19,18,,3,22,19,3,13,25,23,1,6,21,16,5,24,25,24,1,6,23,21,2,9,24,19,5,19,24,21,3,13,24,22,2,9,18,15,3,18,23,2,3,11,17,16,1,5,25,25,,1,24,18,6,18,25,2,5,22,17,15,2,1,25,22,3,1
38 Hall YURDUGÜL 21,84 -,92 22,63,35 23,8-1,26 24,35 2,14 25,84 -,46,72,43,78,24,62,2,15,5,24,19,5,17,14,3,18,17,1,24,17,7,24,21,2,7,12,72,56,42,48,78,52,24,27,61,57,25,24,21,12,28,21,21,18,9,25,2,16,4,22,24,2,4,18,17,14,3,2,18,17,1,5,24,18,6,27 Tablo 2 den görüleceğ gb MYK ve KTK modellernden elde edlen madde güçlük ndeksler eşt çıkmaktadır. Eş tlk 8 le MYK modelnden elde edlen π değerler le klask madde analznden elde edlen p değ erler arasında Tablo 3 te verldğ gb 1, düzeynde br korelasyon elde edlmştr. Buna göre Eştlk 8 le verlen π nn madde güçlük düzey olan p nn y br kestrcs olduğu fade edleblr. Dğ er taraftan Ek 2 de maddelern varyans-kovaryans matrs verlmştr. Maddelern varyans-kovaryans matrslernn köşegen değ erler lgl maddenn gözlenen puanlar varyansını [V(X )] vermektedr. Varyanskovaryans matrs kullanılarak çözümlenen doğ rulayıcı faktör analz le maddelern gerçek puan varyansları [V(T )], ve hata puan varyansları [V(E )], elde edlmş tr. KTK ve MYK dan elde edlen maddelern gözlenen puanlar varyansları arasındak korelasyon 1, ve hata puanları varyansları arasındak korelasyon se,99 olarak hesaplanmış tır. Verlen karşılaştırmalar arasında en düş ük korelasyon MYK modelne dayalı madde güvenrlkler le KTK modelnden elde edlen madde güvenrlk değerlernde gözlenmş tr (,91). Tablo 3 te, üç adet madde güvenrlk kestrcler (ρ D, ρ, R 2 ) arasında k korelasyon değerler verlmştr. Tablo 3: Kestrm değerler arasındak korelasyonlar Klask Test Kuramı π V(X) V(T) V(E) ρ R 2 π 1, V(X) * 1, V(T) *,96 V(E) *,99 ρ D,91,95 * aretl termler Dmtrov tarafından gel trlen e tlkler yardımıyla MYK ş ş ş modelnden üretlmştr. Dmtrov eş tlkler yardımı le MYK modelnden elde edlen madde güvenrlkler le doğ rulayıcı faktör analznden elde edlen madde güvenrlkler arasındak korelasyon se Tablo 3 te belrtldğ gb,95 olarak elde edlmştr.
Çoktan Seçmel Testlerde Klask Güvenrlk Termlernn 39 Çzm 1 de KTK modelnden elde edlen maddelere lş kn gerçek puanlar varyansları le MYK modelnden elde edlen gerçek puanlar varyanslarının saçılım grafkler verlmş tr. Gerçek puanlar varyansının her k kestrm yöntemne göre elde edlmesnden hesaplanan regresyon denklemnn yuvarlatılmı ş bçm V(T) MYK=,91xV(T) KTK ş eklndedr. Buna göre MYK modelnden elde edlen gerçek puanlar varyansı, KTK modelnden elde edlen ve DFA le kestrlen gerçek puanlar varyansının br yordayıcısı olduğu söyleneblr. Çzm 1: Maddelere lşkn gerçek puanlar varyansının saçılım grafğ Buraya kadar yapılan karşılaştırmalar maddelere lş kn model termlernn varyansları ve madde güvenrlklern kapsamakta d. Bu aşamada se, test oluş turan maddeler üzernden elde edlen test güvenrlkler karşılaştırılmıştır. Bu karşılaş tırmalar çn br öncek aş amada kullanılan ölçme kümesnden 1 adet gözlem çeren bast rasgele örnekleme yöntem le 1 adet örneklem çeklmş tr. Her br örneklemden elde edlen KTK modelne dayalı KR 2 güvenrlk katsayısı le MYK
4 Hall YURDUGÜL modelnden elde edlen (Eştlk 18) test güvenrlkler ( ρ D ) karşılaştırılmıştır. Karşılaştırma sonuçların da klask güvenrlk olan KR2 le ρ D güvenrlk kestrmler yaklaşık sonuçlar vermş tr. Bu sonuçlara lşkn kestrm değerler Tablo 4 te verlmş tr. Tablo 4 te yer alan güvenrlk değerlerne göre ρ D, KR 2 güvenrlk değ erlernden ortalama,3 kadar düşük değ erde elde edlmektedr. Ancak daha çok tekrar sayılı yüksek düzeyl smülasyon çalışmaları le daha kesn sonuçlar elde edleblr. Tablo 4: Örneklemlere lşkn test güvenrlkler Örneklem ρ D KR 2 Fark 1,78,8,2 2,77,8,3 3,77,8,3 4,77,8,3 5,77,8,3 6,75,78,3 7,78,8,2 8,77,8,3 9,78,8,2 1,78,8,2 Ortalama,3 Tablo 4 tek değerlere göre MYK modelnden elde edlen ρ D le KR 2 güvenrlk değerler arasındak farklılık değerlernde br sstematk olduğ u görülmektedr. Çalış ma kapsamında ele alınan 1 örneklem kümesne göre bu farklılık ortalama,3 değer cvarındadır. Her k güvenrlk kestrm değ erlerne yönelk br genelleme yapablmek çn çok sayıda örneklem üzernde çalış makla olanaklıdır. Bu çalış mada kuramsal br genellemeye yapılması yerne güvenrlk katsayılarının bast karşılaştırmaları yapılmış tır. Bu nedenle, 1 adet örneklem üzernde yapılan çalışma le yalnızca ρ D güvenrlk kestrmnn KR 2 değernden büyük elde edldğ sonucu rapor edlmştr. SONUÇ VE ÖNERİLER Blndğ gb güvenrlk kavramı KTK modelnn termler le fade edlmektedr ve bu tür güvenrlkler klask güvenrlk olarak adlandırılmaktadır (Dmtrov, 22). MYK nda se madde ve test güvenrlklern elde etmek çn blg fonksyonlarından yararlanılmaktadır. Ancak Doran (25) blg fonksyonundan elde edlen güvenrlklern klask güvenrlkten farklı olduğunu fade etmektedr. Buna karş ılık; Dmtrov (23a, 23b), MYK modelnn parametrelern kullanarak KTK termlernn varyanslarının elde edlebleceğn çeştl eş tlkler yardımıyla göstermştr. Bu çalış mada lgl termlern varyansları kullanılarak MYK modelnden klask madde ve test güvenrlkler elde edlmş tr. Elde edlen bu eş tlkler klask madde analzne dayalı madde güvenrlkler ve DFA nde yer alan ölçme modellernn determnasyon katsayısı le yüksek korelasyon
Çoktan Seçmel Testlerde Klask Güvenrlk Termlernn 41 vermektedr. Aynı şeklde Dmtrov eş tlkler le elde edlen klask test güvenrlğ le KR2 güvenrlk katsayısı yaklaşık eşt değ erler üretmektedr. Böylelkle MYK ndan elde edlen klask güvenrlk katsayıları, KTK ndan elde edlen güvenrlklern br kestrc olduğ u fade edleblr. Bu yaklaş ım, MYK nda kullanılan blg fonksyonlarına dayalı güvenrlklern br alternatf olarak görüleblr. Bu konuda göz önünde tutulması gereken br dğ er konu se; KTK ve MYK modeller arasındak bağ ıntı, Hambleton ve Swamnathan ın (1985) belrttğ gb ölçme kümelernn normal dağılım gösterdğ durumlarda geçerldr. Ancak bu durumda KTK modelndek madde parametrelernn MYK modelnden elde edleblrlğ söz konusudur. Dğ er yandan bu çalışmada kullanılan ver kümes betmsel bulgularda belrtldğ gb yaklaşık olarak doğrusal dağılım göstermektedr. Üzernde çalış ılan ver kümesnn normal dağılımdan uzaklaştığ ı durumlarda MYK modelnden elde edlen klask güvenrlklern davranışı farklı br çalış ma kapsamında ele alınablr. KAYNAKÇA Baykul, Y. (2). Eğ tmde ve Pskolojde Ölçme, Ankara: ÖSYM Yayınları. Dmtrov, D. M. (22) Relablty: Arguments for multple perspectves and potental problems wth generalzaton across studes. Educatonal and Psychologcal Measurement (62), 783-81. Dmtrov, D. M. (23a) Margnal True-Score Measures and Relablty for Bnary Items as a Functon of Ther IRT Parameters. Appled Psychologcal Measurement, 27(6), 44-58. Dmtrov, D. M. (23b). Relablty and true-score measures of bnary tems as a functon of ther Rasch dffculty parameter. Journal of Appled Measurement, 4(3), 222-233. Doran, H. C. (25). The Informaton Functon for the One-Parameter Logstc Model: Is t Relablty? Educatonal and Psychologcal Measurement, 65(5), 665-675. Hambleton, R. K. & Swamnathan, H. (1985). Item response theory: prncples and applcatons. Boston: Kluwer-Njhoff Publshng. Kelecoğ lu, H. (21). Örtük özellkler teorsndek b ve a parametreler le klâsk test teorsndek p ve r statstkler arasındak lşk, Hacettepe
42 Hall YURDUGÜL Ünverstes, Eğ tm Fakültes Dergs, 2, 14-11. Klne, P. (1986). A handbook of test constructon: Introducton to p.sychometrc desgn. New York: Methuen. Lord, F.M. (198). Applcatons of tem response theory to practcal testng problems. Mahwah, NJ: Erlbaum Lord, F. M., & Novck, M. R. (1968). Statstcal theores of mental test scores. Readng, MA: Addson-Wesley. McDonald, R. P. (1999). Test theory: A unfed treatment. Mahwah NJ: Erlbaum. Nunnally, J. C. ( 1967). Psychometrc theory. New York: McGraw-Hll. Traub, R. E. (1994) Relablty for the Socal Scences: Theory and Applcatons. Sage, Thousand Oaks, CA. Yurdugül, H ve Aş kar, P. (24). Ortaöğ retm Kurumları Ögrenc Seçme ve Yerleştrme Sınavı nın cnsyete göre madde yanlılığ ı açısından ncelenmes. Egtm Blmler ve Uygulama Dergs, 3(5), 3-2 EK 1: Ortaöğretm Kurumları Öğrenc Seçme ve Yerleş trme Sınavı (OK-ÖSYS; 21) Türkçe alt testnde yer alan 25 maddeye lş kn 55318 adet öğrencnn yanıtlarından elde edlen doğ rulayıcı faktör analtk çözümlemes.
Çoktan Seçmel Testlerde Klask Güvenrlk Termlernn 43
44 Hall YURDUGÜL