8. HAFTA Test Geliştirme Aşamaları Madde Analizleri Madde Güçlüğü Madde Ayırıcılığı Madde varyansı ve standart sapması Madde güvenirlik katsayısı Test ortalaması, standart sapması ve ortalama güçlüğü Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 1
Amacın belirlenmesi Kapsamın belirlenmesi Maddelerin yazılması ve düzeltilmesi Ön uygulama Madde analizi ve madde seçimi Son testin oluşturulması, uygulanması ve planlanması Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 2
Ölçme araçlarının birimlerinden bahsederken soru ifadesi yerine madde ifadesi kullandığımızı hatırlatalım. Sınavlarda yer alan sorular her zaman puanlanmadığı için puanlanabilen soruları da içeren madde kavramı daha uygun bir ifadedir. Ölçme araçlarının güvenilir ve geçerli olmasının sağlanabilmesi için testin ön uygulama sonuçlarından yararlanılarak testteki her bir maddenin analizi yapılır ve maddenin istenilen özelliklere sahip olup olmadığı araştırılır. Yapılacak analizler: madde güçlüğü, madde ayırıcılığı, madde varyansı ve standart sapması, madde güvenirliği. Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 3
Çoktan seçmeli test maddelerinin analizi iki yöntemle yapılabilir. 1. Basit Yöntem (Alt-üst grup yöntemi): en yüksek puan alan öğrenciler ile en düşük puan alan bazı öğrencilerin oluşturduğu gruplar analize alınır. Öğrenci sayısı 300-400 ya da daha çok olduğu durumlarda tavsiye edilir. Bu yöntemin kullanılması için test puanları dağılımının simetrik olması istenir. 2. Yöntem: Bu yöntemde testin uygulandığı tüm öğrenciler analize dahil edilir. Öğrenci sayısının çok daha az olduğu (60-70 gibi) durumlarda tercih edilebilir. Bu iki yöntemin uygulanabilmesi için madde puanları matrisi hazırlanmalıdır. Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 4
TEST MADDELERİ 1 2 3 4 5 6 7 8 9 10 Doğru Yanıt E C E D B B A D B B Tolga E C E E C A A D B - Ersan E C C A D E D B B A İsmail E A C C D B B D E C Veli E C E E D C A D E C Necip E E B C B E B D C B Oğuzhan E C E E D B A D B C Gökhan E C E E C D - D B A Olcay E B D C D B D D E C Kerim E C E E D B A D B C Cenk E C E C D C A D B C 10 7 6 0 1 4 5 9 6 1 Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 5
1 2 3 4 5 6 7 8 9 10 Doğru Yanıt E C E D B B A D B B Öğrenci puanı Tolga 1 1 1 0 0 0 1 1 1 0 6 Ersan 1 1 0 0 0 0 0 0 1 0 3 İsmail 1 0 0 0 0 1 0 1 0 0 3 Veli 1 1 1 0 0 0 1 1 0 0 5 Necip 1 0 0 0 1 0 0 1 0 1 4 Oğuzhan 1 1 1 0 0 1 1 1 1 0 7 Gökhan 1 1 1 0 0 0 0 1 1 0 5 Olcay 1 0 0 0 0 1 0 1 0 0 3 Kerim 1 1 1 0 0 1 1 1 1 0 7 Cenk 1 1 1 0 0 0 1 1 1 0 6 Madde puanı 10 7 6 0 1 4 5 9 6 1 49 Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 6
Basit Yöntem (alt-üst yöntemi) ile madde analizi aşağıdaki basamakları takip ederek yapılır: Cevapların kodlaması yapılır. Doğru cevaplar 1 puan; yanlış, boş ve geçersiz cevaplar da 0 olarak kodlanır. Daha sonra bu 0 ve 1 ler toplanarak her bir öğrencinin toplam test puanı hesaplanır. Öğrencilerin puanları en yüksekten en düşüğe doğru sıralanır. Test puanına göre en düşük %27 ile en yüksek puanlı %27 lik gruplar seçilir (üst grup ve alt grup adı verilir). Bu işlemden sonra madde analiz tabloları oluşturulur. Bu tablolar yardımıyla her bir maddenin analizi yapılır. Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 7
1.madde A B C *D E Üst grup 11 12 8 15 4 50 Alt grup 21 13 8 5 3 50 TOPLAM 32 25 16 20 7 100 Maddenin doğru cevabı D seçeneğidir. Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 8
Madde güçlüğü testteki bir maddeyi doğru cevaplayan öğrenci sayısının testi alan tüm bireylerin sayısına bölümü şeklinde ifade edilir. Bir önceki slayttaki tabloda verilen verilere göre maddenin güçlüğü. Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 9
Madde güçlüğü 0 ile 1 arasında değerler alır! Bir soruyu 50 kişilik bir sınıfta herkes doğru cevaplamışsa madde güçlüğü p=50/50=1 olarak bulunur. Eğer herkes doğru cevap veriyorsa bu soru çok kolay bir soru demektir. Bir soruya hiç kimse doğru cevap veremiyorsa madde güçlüğü p=0/50=0 olarak bulunur. Eğer hiç kimse doğru cevap veremiyorsa bu soru çok zor bir sorudur. Eğer sınıfın yarısı doğru cevap vermişse o maddenin güçlüğü p=25/50=0,5 olarak bulunur ve madde orta derecede güçlüğe sahip denir. Madde güçlük değeri 0 a yaklaştıkça madde zorlaşır eğer madde güçlüğü 1 e yaklaşıyorsa madde kolaydır denir. Bu açıklamalara göre örneğimizde yer alan maddenin güçlük düzeyinin düşük yani zor bir madde olduğunu söyleyebiliriz (p=0,2) Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 10
SORU1 75 öğrencinin girdiği bir Fizik sınavında 1. maddeyi 15 öğrenci doğru cevaplamıştır. Buna göre 1. maddenin güçlük indeksi kaçtır? SORU2 100 kişilik bir sınıfta Kimya dersinin 2. sorusuna 40 kişi yanlış cevap vermiş, 10 kişi de boş bırakmıştır. Buna göre maddenin güçlüğü kaçtır? Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 11
Madde ayırt ediciliği maddenin bilenler ile bilmeyenleri ayırt edebilmesi ile ilgilidir. Maddeye ait en önemli istatistiklerdendir. Madde ayırt ediciliği madde güvenirliği ile ilişkilidir. Bu sebeple bir maddenin teste alınıp alınmamasına karar verirken ilk bakılacak istatistiklerdendir. Eğer ayırt ediciliği yüksek ise madde iyidir. Örneğimizdeki maddenin ayırt ediciliği; Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 12
Madde ayırt ediciliği -1 ile 1 arasında değerler alır. Diyelim ki bir sınıfta 50 kişi vardır. Eğer üst gruptaki ve alt gruptaki herkes bir maddeyi doğru bilirse madde ayırtediciliği [(25-25)/25 = 0] `0` olur. Eğer üst gruptaki tüm öğrenciler maddeyi doğru cevaplarken alt gruptaki hiçbir öğrenci doğru cevap veremezse madde ayırt ediciliği [(25-0)/25 = 1] `1` olur.>istenilen DURUM. Eğer üst gruptaki tüm öğrenciler maddeyi yanlış cevaplarken alt gruptaki tüm öğrenciler doğru cevap verirse madde ayırt ediciliği [(0-25)/25 = -1] `-1` olur.> İSTENİLMEYEN DURUM. EĞER BİR MADDENİN AYIRT EDİCİLİĞİ 0,3 VE ÜZERİNDE BİR DEĞER ALIYORSA O MADDE (AYIRTEDİCİLİK BAKIMINDAN) İYİ BİR MADDEDİR DİYEBİLİRİZ!!! Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 13
Madde ayırt ediciliği 1 e yakın olmalıdır. İLK BAKILACAK ÖZELLİK Madde güçlüğü ne çok düşük ne de çok yüksek olmalıdır (0,5 civarı olması gerekir). Çeldiricileri işaretleyen üst gruptaki öğrenci sayısının alt gruptaki öğrenci sayısından az olması gerekir. Çeldiricileri işaretleyen öğrenci sayısının olabildiğince dengeli bir dağılım göstermiş olması istenir. Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 14
1.madde A *B C D E Üst grup 7 15 8 20 0 50 Alt grup 22 15 8 0 5 50 Doğru cevap: B TOPLAM 29 30 16 20 5 100 Bir maddeye verilen cevaplar tabloda gösterilmiştir. A, C, D ve E seçenekleri çeldirici olarak düşünüldüğünde çeldiricilerin daha çok alt grup öğrencilerini çeldirmesi gerekir. E seçeneği en iyi çeldiricidir çünkü sadece alt grup öğrencilerini çeldirmiş ve E cevabı vermelerini sağlamıştır. A seçeneği de E seçeneği kadar olmasa da iyi bir çeldiricidir çünkü alt grup öğrencilerini daha çok çeldirmiştir. C seçeneği 2 grubu da eşit oranda çeldirmiş (8 er) D seçeneği çok kötü bir çeldiricidir çünkü sadece üst grup üyelerini çeldirmiştir. Aslında sadece alt grup öğrencilerini yani bilmeyenleri çeldirmesi gerekliydi. Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 15
maddeye verilen cevapların değişimi madde varyansı ve madde standart sapması ile gösterilir. 6. slaytta verilen tablodaki 1. maddeyi öğrencilerin hepsi doğru cevaplamıştır güçlük düzeyi 10/10=1 ve buradan madde varyansı =1*(1-1)=0. yani hiç değişim yoktur. 7.maddeye bakarsak güçlük=5/10=0,5 ve madde varyansı = 0,5*(1-0,5)=0,25 olur ve madde standart sapması = 0,5 olur. Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 16
Madde güvenirliği, maddenin ayırt ediciliği ve madde standart sapması kullanarak hesaplanabilir. Madde ayırt ediciliği doğrudan güvenirliği artıran bir özellik olduğu için bir maddede ayırt edicilik değeri olabildiğince yüksek olmalıdır. Aynı şekilde madde standart sapması da güvenirlikle doğru orantılıdır. Madde standart sapması arttıkça madde güvenirliği de artar. Madde güçlük değeri 0,5 olduğunda madde standart sapması maksimum değeri (0,25) alır. Bu sebeple bir maddenin madde güçlük değerinin 0,5 civarında olması istenir. Madde standart sapması Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 17
1.madde A *B C D E Üst grup 10 15 5 15 5 50 Alt grup 22 15 8 5 0 50 TOPLAM 32 30 13 20 5 100 Maddenin doğru cevabı B seçeneğidir. Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 18
Bu yöntem kullanarak yapılan madde analizinde testi alan öğrencilerin hepsinin puanları kullanılır Basit yöntem ile Henrysson yönteminden elde edilen sonuçlar her zaman aynı olmayabilir. Henrysson yöntemini elle hesaplama yaparak uygulamak basit yönteme göre çok daha zordur. Eğer bilgisayar ya da hesap makinesi kullanma imkanı varsa bu yöntem tercih edilebilir. Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 19
TEST ARİTMETİK ORTALAMASI ve STANDART SAPMASI Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 20
Madde güçlüğü Madde ayırt ediciliği Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 21
Testin aritmetik ortalaması Testin ortalama güçlüğü Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 22
Güler, N. (2014). Eğitimde Ölçme ve Değerlendirme, Pegem Akademi: Ankara. Yrd. Doç. Dr. Sedat ŞEN 19.01.2016 23