Pedagojik Formasyon Eğitimi SERTİFİKA PROGRAMI ÖLÇME VE DEĞERLENDİRME Prof. Dr. Mehmet Küçük
Ünite 3: Test Geliştirme ve Madde Analizi Bu sunu, KTÜ Fatih Öğretim Üyesi Prof. Dr. Muammer Çalık tarafından hazırlanmıştır.
Ölçme Araçlarının Geliştirilme Aşamaları Testin amacını belirleme Test ile ölçülecek hedeflerin (kazanımların) belirlenmesi ve belirtke tablosunun oluşturulması Soru Sayısının ve Tipinin belirlenmesi Sınav Süresini Belirleme Test Maddelerinin Yazılması ve Uzman Kişilerce İncelenmesi Testin Pilot Uygulaması Madde Analizi ve Madde Seçimi Testte Son Şeklinin Verilmesi
Testin amacını belirleme Öğrencilerin bir konu veya alandaki yeterlilik ve yetersizliklerini belirleme ve gerekli düzeltmeleri yapma Konu veya genel başarıyı ölçmek Belli bir seviye veya yaş grubundaki öğrenciler arasından birinciyi seçmek
Belirtke tablosunun faydaları hedeflerin konu ve öğrenme alanları açısından toplam sayılarını belirlemede, kapsam geçerliğini sağlayacak şekilde soru sayısının belirlenmesinde, evreni temsil etme gücü yüksek ve geçerli soruların seçiminde, kritik davranışlara göre soru hazırlamada faydalıdır
Soru Sayısının ve Tipinin belirlenmesi Testin amacı, Hazırlanan belirtke tablosu, Konuların önem derecesi, Soru tipi amaca yönelik olarak belirlenmeli (açık uçlu, çoktan seçmeli, boşluk doldurma vb.); soruların basit orta ve zor düzeylerine dağılımı ne olmalır? Yani sorular, Bloom Taksonomisi nin seviyeleri olan bilgi kavrama, uygulama, analiz, sentez, değerlendirme düzeylerine nasıl dağılmalıdır?
adde Analizi ) Testin güçlüğü(p) ) Madde güçlüğü (p) ) Madde varyansı (Sjx) ) Madde ayırt edicilik gücü (rjx) ) Madde güvenirliği (rx) ) Testin güvenirliği (KR-20)
ADDE ANALİZİ Bir testte yer alan maddelerin uygulamasından elde edilen sonuçlarının seçilen ölçüte göre yarayıp yaramadığını, işe yaramıyorsa bunun muhtemel nedenlerini anlamak ve amaca hizmet etmesini sağlamak için gerekli düzeltmeleri yapmaya Madde Analizi denir. Kısaca, hazırlanan bir testin uygulandıktan sonra madde güçlüğüne, soru maddesinin ayırt ediciliğine ve seçeneklerin çeldiriciliğine bakılmasına testin madde analizi denir. Madde analizinin amacı, ölçülmek istenilen öğrenme alanı için güvenirliği ve geçerliği yüksek verimli bir ölçeğin elde edilmesidir. Elimizde geçerliği ve güvenirliği yüksek bir sınav olsa bile uygulandığı sınıfı daha iyi tanıyabilmesi için öğretmenin tekrar madde analizi yapmasında yarar vardır. Madde analizi yoluyla, öğretmen o sınıftaki öğrencilerin eksiklerini, öğrenme güçlüklerin ve yetersiz kaldıkları noktaları daha iyi görme fırsatı bulmuş olur.
adde analizi niçin gereklidir? Testteki her maddenin güçlük derecesi arzu edilen düzeyde midir? Maddenin ayırıcılığı yeterli düzeyde midir? Madde sadece bir doğru cevap mı içeriyor? Çeldiriciler yeterli işlerliğe sahip midir? Madde kafa karıştırıcı mıdır? (Testte kusurlu bir madde var mıdır?) Geçerli ve güvenilir bir test elde edildi mi? Öğrenciler hangi konularda öğrenme güçlüğü çekmekteler? Hangi öğrenci grubuna bu madde uygundur? Testin süresi uygun mudur?
est güçlüğü/ortalama güçlüğü (P): Bir testin güçlük düzeyi hakkında bilgi verir. Bir testin kolay, orta ve zor düzeyde olup olmadığına karar verilir. P X T K P Testgüçlü ğ ü X T K değeri 1 e ne kadar yakında test o kadar kolay, değeri 0 a ne kadar yakında o kadar zor, değeri 0.50 civarında ise orta güçlüktedir. Testortala mas ı Maddesay ıa ı <0,30 ise zor bir test.30<p<0,70 ise orta güçlükte test >0.70 ise kolay test denir.
dde Güçlüğü (pj): avdaki herhangi bir soru maddesini doğru cevaplayanların sayısının sınava girenlerin sayısına ora oru maddesinin güçlük derecesi denir. r maddenin doğru cevaplanma oranını gösterir. p j D N doğru cevap sayısını öğrenci sayısı olmak üzere madde güçlüğü 0< P <1 dir. in değer aralıkları; -0.35 arası zor madde.35-0.75 arası orta zorlukla madde.75-1.00 arası kolay madde j ir testte kolay, zor ve orta güçlükte madde olmalıdır. adde güçlüğünün 0.50 düzeyinde olması beklenilir. X N p j
rnek
adde varyansı/standart sapması Testin standart sapması S ( x x ) 2 / N T i T
adde ayırt ediciliği (rjx) Bir test maddesinin ve çeldiricilerin bilen ile bilmeyen öğrenciyi ayırt edebilme düzeyidir. Yani, bir maddenin gruptaki başarı düzeyi yüksek öğrencileri, başarısı düşük öğrencilerden ayırıp ayırmadığını belirlemede kullanılan ölçüttür. Bir teste yer alan soruların ayırt edicilik güçlerinin yüksek olması beklenir. Ayırt edicilik gücü çok zayıf olan maddelerin testten çıkartılması gerekmektedir.
adde ayırt edicilik gücü şu şekilde hesaplanır; Sınava katılanların kâğıtları puanlanır ve en yüksekten en düşüğe doğru sıralanır. Bu sıralamada öğrencilerin yukarıdan aşağıya doğru ilk %27 si üst grup ve aşağıdan yukarı ilk %27 si de alt grup olarak belirlenir. D üst: Üst gruptan soruya doğru cevap verenlerin sayısı D alt: Alt gruptan soruya doğru cevap verenlerin sayısı olmak üzere; r jx Düst Dalt altgrupsay ısı
adde ayırt edicilik gücü maddenin ayırt ediciliği de -1 < rjx (di) < 1 arasında değişir. Madde Ayırt Edicilik Endeksi (r) Maddenin Değerlendirilmesi 0.40 ve daha büyük -Çok iyi bir madde (Ayırt etme gücü yüksek) 0.30 0.39 arası -Oldukça iyi bir madde 0.20 0.29 arası -Üzerinde çalışılması ve düzeltilmesi gereken madde 0.19 ve daha küçük -Çok zayıf madde (Ayırt etme gücü düşük)
Bir sorunun madde güçlüğünü farklı bir yoldan da hesaplayabiliriz. oşul: Öğrenci sayısı veya soru sayısının fazla olması durumunda!) D üst: %27 üst gruptaki doğru cevap sayısı D alt : %27 alt gruptaki doğru cevap sayısı M : Alt ve üst gruptaki öğrencilerin toplam sayısı olmak üzere; Madde güçlüğü; P 1 D ü M D a
Her bir sorunun madde güçlüğü ve madde ayırt ediciliği hakkında ne söyleyebiliriz? P2=0,63 ve r2x (d2)= 0,6 P3=0,4 ve r3x (d3)= 0,2 P4=0,75 ve r4x (d4)= -0,1
Testin güvenirliği (KR-20 formülü) R 20 K K 1 1 p S i 2 X.q i KR 21 K K 1 1 K. X K.S ( X ) 2 x 2 K: Testteki madde sayısı pi: i. maddenin güçlük indeksi qi: 1-pi S 2 x: Test puanlarına ait varyans adde güvenirliği KR-21 formülü, madde güçlükleri indekslerinin eşit olduğu varsayımına dayandığından, madde güçlük arasındaki farklılıklara duyarlı değildir. Eğer testtek maddeler güçlük indeksi bakımından birbirinden farklı, yani heterojen bir dağılım gösteriyor ise KR-2 formülü ile hesaplanan güvenirlik katsayısı, KR-20 formülü ile hesaplanandan daha düşük çıkacaktır. rj = r * sj jx
Test Maddeleri Hazırlayanlara Yönelik Öneriler Daha sonra bir kısmı eleneceği için ihtiyaç duyduğunuzdan daha fazla test maddesi yazınız. Sorular kolaydan zora sıralayınız. Herhangi bir madde sayfa sonuna geliyorsa seçenekleri ile aynı sayfaya gelecek şekilde düzenleme yapınız. Test bölümlerden oluşuyorsa her bir bölüme bir açıklama yazınız Aynı konu ile ilgili sorular alt alta gelecek şekilde bir düzenleme yapınız. Basit ve anlaşılır bir dil kullanınız.
Test Maddeleri Hazırlayanlara Yönelik Öneriler Diğer soruların cevabı için ipucu teşkil edecek ifadelerden kaçınınız. Her bir maddenin uzmanlar tarafından hemfikir olunan tek bir doğru cevabının olmasına dikkat ediniz. Ayırt ediciliği yüksek orta güçlükte sorular hazırlamaya çalışınız. Yazdığınız maddenin gerçekten ölçmek istediğiniz özelliği ölçüp ölçmediğine emin olunuz. Soru hazırlama profesyonel bir iştir, mutlaka uzman desteği alınız.