6. SUNUM Test Geliştirme Aşamaları Madde Analizleri Madde Güçlüğü Madde Ayırıcılığı Madde varyansı ve standart sapması Madde güvenirlik katsayısı Test ortalaması, standart sapması ve ortalama güçlüğü Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 1
Amacın belirlenmesi Kapsamın belirlenmesi Maddelerin yazılması ve düzeltilmesi Ön uygulama Madde analizi ve madde seçimi Son testin oluşturulması, uygulanması ve puanlanması Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 2
Ölçme araçlarının birimlerinden bahsederken soru ifadesi yerine madde ifadesi kullandığımızı hatırlatalım. Sınavlarda yer alan sorular her zaman puanlanmadığı için puanlanabilen soruları da içeren madde kavramı daha uygun bir ifadedir. Ölçme araçlarının güvenilir ve geçerli olmasının sağlanabilmesi için testin ön uygulama sonuçlarından yararlanılarak testteki her bir maddenin analizi yapılır ve maddenin istenilen özelliklere sahip olup olmadığı araştırılır. Yapılacak analizler: madde güçlüğü, madde ayırıcılığı, madde varyansı ve standart sapması, madde güvenirliğidir. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 3
Çoktan seçmeli test maddelerinin analizi iki yöntemle yapılabilir. 1. Basit Yöntem (Alt-üst grup yöntemi): en yüksek puan alan öğrenciler ile en düşük puan alan bazı öğrencilerin oluşturduğu gruplar analize alınır. Öğrenci sayısı 300-400 ya da daha çok olduğu durumlarda tavsiye edilir. Bu yöntemin kullanılması için test puanları dağılımının simetrik olması istenir. 2. Yöntem: Bu yöntemde testin uygulandığı tüm öğrenciler analize dahil edilir. Öğrenci sayısının çok daha az olduğu (60-70 gibi) durumlarda tercih edilebilir. Bu iki yöntemin uygulanabilmesi için madde puanları matrisi hazırlanmalıdır. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 4
TEST MADDELERİ 1 2 3 4 5 6 7 8 9 10 Doğru Yanıt E C E D B B A D B B Günay E C E E C A A D B - Serdar E C C A D E D B B A İsmail E A C C D B B D E C Veli E C E E D C A D E C Necip E E B C B E B D C B Oğuzhan E C E E D B A D B C Gökhan E C E E C D - D B A Olcay E B D C D B D D E C Kerim E C E E D B A D B C Cenk E C E C D C A D B C Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 5
1 2 3 4 5 6 7 8 9 10 Doğru Yanıt E C E D B B A D B B Günay 1 1 1 0 0 0 1 1 1 0 Serdar 1 1 0 0 0 0 0 0 1 0 İsmail 1 0 0 0 0 1 0 1 0 0 Veli 1 1 1 0 0 0 1 1 0 0 Necip 1 0 0 0 1 0 0 1 0 1 Oğuzhan 1 1 1 0 0 1 1 1 1 0 Gökhan 1 1 1 0 0 0 0 1 1 0 Olcay 1 0 0 0 0 1 0 1 0 0 Kerim 1 1 1 0 0 1 1 1 1 0 Cenk 1 1 1 0 0 0 1 1 1 0 Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 6
1 2 3 4 5 6 7 8 9 10 Doğru Yanıt E C E D B B A D B B Öğrenci puanı Günay 1 1 1 0 0 0 1 1 1 0 6 Serdar 1 1 0 0 0 0 0 0 1 0 3 İsmail 1 0 0 0 0 1 0 1 0 0 3 Veli 1 1 1 0 0 0 1 1 0 0 5 Necip 1 0 0 0 1 0 0 1 0 1 4 Oğuzhan 1 1 1 0 0 1 1 1 1 0 7 Gökhan 1 1 1 0 0 0 0 1 1 0 5 Olcay 1 0 0 0 0 1 0 1 0 0 3 Kerim 1 1 1 0 0 1 1 1 1 0 7 Cenk 1 1 1 0 0 0 1 1 1 0 6 Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 7
1 2 3 4 5 6 7 8 9 10 Doğru Yanıt E C E D B B A D B B Günay 1 1 1 0 0 0 1 1 1 0 Serdar 1 1 0 0 0 0 0 0 1 0 İsmail 1 0 0 0 0 1 0 1 0 0 Veli 1 1 1 0 0 0 1 1 0 0 Necip 1 0 0 0 1 0 0 1 0 1 Oğuzhan 1 1 1 0 0 1 1 1 1 0 Gökhan 1 1 1 0 0 0 0 1 1 0 Olcay 1 0 0 0 0 1 0 1 0 0 Kerim 1 1 1 0 0 1 1 1 1 0 Cenk 1 1 1 0 0 0 1 1 1 0 Madde puanı 10 7 6 0 1 4 5 9 6 1 Testin en zor maddeleri: Testin en kolay maddeleri: Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 8
Basit Yöntem (alt-üst yöntemi) ile madde analizi aşağıdaki basamakları takip ederek yapılabilir: Cevapların kodlaması yapılır. Doğru cevaplar 1 puan; yanlış, boş ve geçersiz cevaplar da 0 olarak kodlanır. Daha sonra bu 0 ve 1 ler toplanarak her bir öğrencinin toplam test puanı hesaplanır. Öğrencilerin puanları en yüksekten en düşüğe doğru sıralanır. Test puanına göre en düşük %27 ile en yüksek puanlı %27 lik gruplar seçilir (üst grup ve alt grup adı verilir). Bu işlemden sonra madde analiz tabloları oluşturulur. Bu tablolar yardımıyla her bir maddenin analizi yapılır. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 9
1.madde A B C *D E Üst grup 11 12 8 15 4 50 Alt grup 21 13 8 5 3 50 TOPLAM 32 25 16 20 7 100 Maddenin doğru cevabı D seçeneğidir. Bu tabloyu kullanarak bu maddenin ne kadar zor/kolay olduğunu ve ne kadar ayırt edici olduğunu tahmin edebiliriz. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 10
Madde güçlüğü testteki bir maddeyi doğru cevaplayan öğrenci sayısının testi alan tüm bireylerin sayısına bölümü şeklinde ifade edilir. Basit analiz yönteminde elimizde üst ve alt grubun cevapları bulunduğunda aşağıdaki formülü kullanarak madde güçlük değerini bulabiliriz Bir önceki slayttaki tabloda verilen verilere göre maddenin güçlüğü 20/100=0,2 dir. Burada payda kısmına üst grup ve alt gruptaki öğrencilerin toplam mevcudu yazılacaktır!!! Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 11
Madde güçlüğü 0 ile 1 arasında değerler alır! Bir soruyu 50 kişilik bir sınıfta herkes doğru cevaplamışsa madde güçlüğü p=50/50=1 olarak bulunur. Eğer herkes doğru cevap veriyorsa bu soru çok kolay bir soru demektir. Bir soruya hiç kimse doğru cevap veremiyorsa madde güçlüğü p=0/50=0 olarak bulunur. Eğer hiç kimse doğru cevap veremiyorsa bu soru çok zor bir sorudur. Eğer sınıfın yarısı doğru cevap vermişse o maddenin güçlüğü p=25/50=0,5 olarak bulunur ve madde orta derecede güçlüğe sahip denir. Madde güçlük değeri 0 a yaklaştıkça madde zorlaşır eğer madde güçlüğü 1 e yaklaşıyorsa madde kolaydır denir. Bu açıklamalara göre örneğimizde yer alan maddenin güçlük düzeyinin düşük yani zor bir madde olduğunu söyleyebiliriz (p=0,2) Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 12
Madde ayırt ediciliği maddenin bilenler ile bilmeyenleri ayırt edebilmesi ile ilgilidir. Maddeye ait en önemli istatistiklerdendir. Madde ayırt ediciliği madde güvenirliği ile ilişkilidir. Bu sebeple bir maddenin teste alınıp alınmamasına karar verirken ilk bakılacak istatistiklerdendir. Eğer ayırt ediciliği yüksek ise madde iyidir. Örneğimizdeki maddenin ayırt ediciliği: (15-5)/50=0,2 Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 13
Madde ayırt ediciliği -1 ile 1 arasında değerler alır. Diyelim ki bir sınıf 100 kişi vardır. Eğer üst gruptaki ve alt gruptaki herkes bir maddeyi doğru bilirse madde ayırtediciliği [(27-27)/50 = 0] 0 olur. Eğer üst gruptaki tüm öğrenciler maddeyi doğru cevaplarken alt gruptaki hiçbir öğrenci doğru cevap veremezse madde ayırt ediciliği [(27-0)/50 = 0,54] 0,54 olur.>istenilen DURUM. Eğer üst gruptaki tüm öğrenciler maddeyi yanlış cevaplarken alt gruptaki tüm öğrenciler doğru cevap verirse madde ayırt ediciliği [(0-27)/50 = -0,54] -0,54 olur.> İSTENİLMEYEN DURUM. EĞER BİR MADDENİN AYIRT EDİCİLİĞİ 0,3 VE ÜZERİNDE BİR DEĞER ALIYORSA O MADDE (AYIRTEDİCİLİK BAKIMINDAN) İYİ BİR MADDEDİR DİYEBİLİRİZ!!! Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 14
Madde ayırt ediciliği 1 e yakın olmalıdır. İLK BAKILACAK ÖZELLİK Madde güçlüğü ne çok düşük ne de çok yüksek olmalıdır (0,5 civarı olması gerekir). Çeldiricileri işaretleyen üst gruptaki öğrenci sayısının alt gruptaki öğrenci sayısından az olması gerekir. Çeldiricileri işaretleyen öğrenci sayısının olabildiğince dengeli bir dağılım göstermiş olması istenir. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 15
1.madde A *B C D E Üst grup 0 15 8 20 7 50 Alt grup 22 15 8 0 5 50 Doğru cevap: B TOPLAM 29 30 16 20 5 100 Bir maddeye verilen cevaplar tabloda gösterilmiştir. A, C, D ve E seçenekleri çeldirici olarak düşünüldüğünde çeldiricilerin daha çok alt grup öğrencilerini çeldirmesi gerekir. A seçeneği en iyi çeldiricidir çünkü sadece alt grup öğrencilerini çeldirmiş ve A cevabı (yanlış olan cevabı) vermelerini sağlamıştır. C seçeneği 2 grubu da eşit oranda çeldirmiş (8 er) D seçeneği çok kötü bir çeldiricidir çünkü sadece üst grup üyelerini çeldirmiştir. Aslında sadece alt grup öğrencilerini yani bilmeyenleri çeldirmesi gerekliydi. E seçeneği de iki grubu çeldirmiş fakat üst grubu daha çok çeldirmiştir. Bu nedenle E seçeneği de iyi bir çeldirici değildir. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 16
maddeye verilen cevapların değişimi madde varyansı ve madde standart sapması ile gösterilir. 6. slaytta verilen tablodaki 1. maddeyi öğrencilerin hepsi doğru cevaplamıştır güçlük düzeyi 10/10=1 ve buradan madde varyansı =1*(1-1)=0. yani hiç değişim yoktur. Aynı slayttaki 7.maddeye bakarsak güçlük=5/10=0,5 ve madde varyansı = 0,5*(1-0,5)=0,25 olur ve madde standart sapması = 0,5 olur. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 17
Madde güvenirliği, maddenin ayırt ediciliği ve madde standart sapması kullanarak hesaplanabilir. Madde ayırt ediciliği doğrudan güvenirliği artıran bir özellik olduğu için bir maddede ayırt edicilik değeri olabildiğince yüksek olmalıdır. Aynı şekilde madde standart sapması da güvenirlikle doğru orantılıdır. Madde standart sapması arttıkça madde güvenirliği de artar. Madde güçlük değeri 0,5 olduğunda madde standart sapması maksimum değeri (0,25) alır. Bu sebeple bir maddenin madde güçlük değerinin 0,5 civarında olması istenir. Madde standart sapması Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 18
1.madde A *B C D E Üst grup 10 15 5 15 5 50 Alt grup 22 15 8 5 0 50 TOPLAM 32 30 13 20 5 100 Maddenin doğru cevabı B seçeneğidir. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 19
Bu yöntem kullanarak yapılan madde analizinde testi alan öğrencilerin hepsinin puanları kullanılır Basit yöntem ile Henrysson yönteminden elde edilen sonuçlar her zaman aynı olmayabilir. Henrysson yöntemini elle hesaplama yaparak uygulamak basit yönteme göre çok daha zordur. Eğer bilgisayar ya da hesap makinesi kullanma imkanı varsa bu yöntem tercih edilebilir. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 20
TEST ARİTMETİK ORTALAMASI ve STANDART SAPMASI Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 21
Madde güçlüğü Madde ayırt ediciliği Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 22
Testin aritmetik ortalaması Testin ortalama güçlüğü testi alan öğrencilerin aritmetik ortalamasının kişi sayısına bölünmesiyle elde edilir. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 23
Bir testin ortalama güçlüğü o testin maddelerine ait güçlük indeksi değerlerinin toplamının madde sayısına bölünmesiyle de elde edilir. Madde No 1.Madde 0,2 2.Madde 0,3 3.Madde 0,4 4.Madde 0,1 5.Madde 0,5 Madde güçlüğü Test ortalama güçlüğü= (0,2+0,3+0,4+0,1+0,5)/5=0,3 Yandaki testin ortalama güçlüğü 0,3 tür. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 24
Güler, N. (2014). Eğitimde Ölçme ve Değerlendirme, Pegem Akademi: Ankara. Yrd. Doç. Dr. Sedat ŞEN 08.09.2016 25