Ölçme Araçlarında Bulunması Gereken Nitelikler. Geçerlik. Geçerlik Türleri. Geçerlik. Kapsam Geçerliği

Transkript

1 BÖLÜM 3 Ölçme Araçlarında Bulunması Gereken Nitelikler Yrd. Doç. Dr. Çetin ERDOĞAN cetinerdogan@gmail.com Ölçme Araçlarında Bulunması Gereken Nitelikler Geçerlik Güvenirlik Kullanışlılık Geçerlik Geçerlik, bir ölçme aracının ölçmeyi amaçladığı özelliği, başka herhangi bir özellikle karıştırmadan tam ve doğru olarak ölçebilme derecesidir. Bir ölçme aracının geliştirilme amacına hizmet etme derecesidir. Termometre ile hava basıncı ölçemezsiniz. Matematik dersine hazırlanan bir test ile Türkçe de okuma anlama becerisi ölçülmez. Geçerlik için güvenirlik ve uygunluk şartı aranır. 2 3 Geçerlik Geçerlik ve güvenirlik arasında matematik bağıntı: Bir ölçme aracının geçerliği, güvenirlik katsayısının kareköküne eşittir. Güvenirlik değeri r=0,81 olan bir ölçme aracının geçerlik katsayısı 0,90 dır. Geçerlik Türleri Yapı Geçerliği 3. Yordama Geçerliği 4. Görünüş Geçerliği 5. Mevcut Hal Geçerliği 6. Ayırt Etme Geçerliği Öncelikle ölçme aracının neyi ölçeceğine karar verilmelidir. Kapsam geçerliği, bir testi/ölçeği oluşturan soruların, ölçülecek tutum/davranış/bilgi evrenini kapsama veya temsil etme yeterliğidir. Bir dersteki başarıyı ölçen testin kapsam geçerliği olması için o dersteki hedef kazanımların tamamı testte temsil edilmelidir. Kapsam geçerliği, ölçüm sonuçlarına göre verilecek kararın doğruluk derecesini artırır

2 ni Hesaplama İki yol vardır: 1. Mantıksal veya Rasyonel Yaklaşım 7 1. Mantıksal Yaklaşım Testteki maddelerin dağılımının testin ölçmeye çalıştığı hedef kazanımları kapsayıp kapsamadığına bakılır. Bunun iki yolu vardır: a) Belirtke Tablosu b) Uzman Görüşü 8 a) Belirtke Tablosu Bir testin önce amacı sonra ölçülecek özellikler belirlenmelidir. Belirtke tablosu, bir testte ölçülecek özellikler ile hedef kazanımlar arasında soruların tür ve sayılarının dağılımının yapıldığı iki boyutlu tablodur. Hedef Kazanımlar 1. Mantıksal Yaklaşım Testteki Soru Sayısı Oranı Kazanım 1 3 %30 Kazanım 2 4 %40 Kazanım 3 3 %30 Toplam 10 %100 9 b) Uzman Görüşü Ölçme aracının/testin ölçülecek hedef kazanımları/davranışları kapsayıp kapsamadığına ilişkin alanı uzmanı veya ölçme uzmanı öğretmenlerin, araştırmacıların görüşlerine başvurarak kapsam geçerliği sağlanır. Uzman görüşlerine göre testte gerekli düzeltmeler yapılır. 1. Mantıksal Yaklaşım 10 İstatistiksel yaklaşımda da iki yol vardır: a) Geçerli bir ölçme aracıyla karşılaştırma b) İki farklı gruba uygulama 11 a) Geçerli bir ölçme aracıyla karşılaştırma Eldeki test, aynı amaca yönelik olarak hazırlanmış ve geçerliği kanıtlanmış başka bir ölçme aracı ile birlikte uygulanır. Her iki testin sonuçları arasındaki ilişkiye/korelasyona bakılır. Elde edilen korelasyon katsayısı testin geçerlik katsayısıdır. İlişki yüksek ise testimiz de geçerlidir. Ölçüt alınan testin geçerliği esas alındığı için çok tercih edilen bir yöntem değildir. 12 2

3 b) İki farklı gruba uygulama Geliştirilen test başarılı ve başarısız olduğu bilinen iki farklı gruba uygulanır. Başarılı ve başarısız grupların sonuçları arasında anlamlı fark var ise test geçerlidir. Ancak öğrencilerin önceki başarı ölçümünün geçerli olması koşulu vardır. Yapı Geçerliği Testteki her bir maddenin testin bütünüyle uyumlu, amacıyla tutarlı olması durumudur. Yapı geçerliği testin/ölçeğin bir yapıyı/özelliği ölçüp ölçmediğinin belirlenmesidir. Yapı geçerliği test/ölçek maddelerine verilen cevaplar arasındaki ilişkilerin düzeyine bakılarak hesaplanır. Ölçekteki her madde, ölçülmek istenen en az bir hedefle/özellikle ilişkili olmalı, hedef kazanımlardan bağımsız olmamalıdır. Yapı Geçerliği Örneğin, 30 maddelik bir testte 1. sorunun testin bütünü ile ilişkili olduğunu anlamak için diğer 29 soru ile arasındaki ilişkiye bakılır. İlişki düzeyi yüksek ise 1. sorunun yapı geçerliği vardır denir. Aynı işlem tüm sorular için yapılır. Yapı geçerliği olmayan maddeler çıkarılır veya değiştirilir Yapı Geçerliği Yordama Geçerliği Görünüş Geçerliği Bir derste ölçme aracının yapı geçerliğinin sağlanması için: Dersin hedefleri iyi belirlenmelidir. Her hedef nesnel olarak ifade edilmelidir. Hedefler gözlenebilir davranışlara dönüştürülmelidir. Her davranış sınanabilmelidir. 16 Yordama: Eldeki verilere dayalı olarak geleceği tahmin etme, kestirme işlemidir. Yordama geçerliği, ölçme aracının eldeki verilere göre geleceği kestirebilme derecesidir. Seçme sınavları, eldeki verilerle gelecekteki başarıları yordamaya yönelik bir ölçümdür. Yordama geçerliği ön test son test yöntemiyle hesaplanabilir. Sıra ile ön test eğitim son test yapılır. Ön test son test başarı sıraları arasındaki ilişkinin düzeyi, yordama geçerliğini gösterir. 17 Ölçme aracının ne ölçtüğüyle ilgili değil, ne düzeyde ve ne kadar ölçüyor göründüğüyle ilgilidir. Ör: Ölçeğin başlığı ile içeriği arasındaki uyum Görünüş geçerliği ölçeğin, bir ölçekte bulunması gereken niteliklere sahip olması ve soruların konu alanıyla ilgili olmasıdır. Uzman görüşü ile belirlenir. 18 3

4 Mevcut Hal Geçerliği Testin ölçtüğü özelliğe ilişkin bir ölçüt olduğunda test sonuçları ile ölçüt puanlar arasındaki ilişkinin derecesidir. Testte/ölçekte yer alan sorular ölçülen kişilerin seviyesini belirleyebilmelidir. Ör: ÖSS hazırlıkta Seviye belirleme sınavları Yeni hazırlananların başarı düzeyi düşük, iyi bir hazırlıktan sonra sınava yakın uygulandığında yüksek ise mevcut hal geçerliği vardır. Ayırt Etme Geçerliği Ölçeğin farklı yapıları ölçen ölçme araçlarıyla arasındaki ilişki düşük olmalıdır. Ölçeğin aynı yapıları ölçen benzer ölçeklerle ilişkisi yüksek, farklı yapıları ölçen ölçeklerle ilişkisi düşük olmalıdır. Güvenirlik Bir ölçme aracının kararlı, duyarlı ve tutarlı bir ölçme yapabilme özelliğidir. Ölçeğin, aynı koşullardaki her ölçümde aynı/benzer sonuçları verebilmesidir. Ölçek ölçtüğü özellikle ilgili yeterli hassaslıkta olmalıdır. Ölçümde dış hatalar, ölçme hataları arttıkça güvenirlik azalır. Sabit hata için bu durum geçerli değildir Güvenirlik Hesaplama Yöntemleri Test-Tekrar Test Yöntemi Paralel Testler Yöntemi Test-Tekrar Test Yöntemi Paralel Testler Yöntemi Testin iki yarıya bölünmesi Kuder Richardson KR Formülleri Cronbach Alfa (a) yöntemi Puanlama Güvenirliği Aynı test aynı gruba kısa süre sonra tekrar uygulanır Sonuçlar arasındaki ilişki yüksekse güvenirlik vardır. Bir testin iki eşdeğer formu aynı gruba uygulanır Grubun puan dağılımları arasındaki ilişki hesaplanır. İlişki yüksek ise güvenirlik vardır

5 Testin iki yarıya bölünmesi Bir gruba uygulanan test iki eşdeğer yarıya bölünür. Öğrencilerin iki eşdeğer yarıdan aldıkları puanlar arasındaki korelasyon hesaplanır. İlişki yüksek ise güvenirlik vardır. Sonuç testin iç tutarlığını verir. 25 Kuder Richardson KR Formülleri Testin iç tutarlığını hesaplamada kullanılır. Doğru-yanlış, evet-hayır tipi ölçeklere uygundur. KR-20 testin varyansına göre; KR-21 aritmetik ortalamaya göre hesaplanır. KR-20 nin daha basitleştirilmiş hali KR-21 dir. KR-20, KR-21 den daha hassas, daha büyük sonuç. Test maddelerin güçlük düzeyleri eşit ise KR-21, Güçlük düzeyleri farklı ise KR-20 kullanılır. Testin tamamı cevaplanmamışsa sonuç hatalı çıkar. Öğrencilerin %90 dan fazlası testin tamamını cevaplamışsa uygulanabilir. 26 Cronbach Alfa (a) yöntemi İç tutarlık hesaplama yöntemidir. KR-20 ile benzerdir. Çoklu puanlanan testlerde (2 değil 4, 5 seçenekli) uygulanır. Örnek: Likert tipi tutum ölçekleri 27 Puanlama Güvenirliği Farklı puanlayıcılar arasındaki tutarlığın ölçüsü hesaplanır. Ör: Sınavı farklı öğretmenlerin okuyup puanlamaları arasındaki tutarlık Tutarlığın yüksek olması güvenirliği artırır. Test puanlarına karışan hata kaynaklarını belirlemeye de yarar. Ölçme Hataları Tesadüfi (random) Hata : Ölçmeyi tesadüfi olarak etkileyen hatalardır. Ör: Ölçme esnasındaki psikoloji, Gruptan bazıları olumlu, bazıları olumsuz tesadüfi hatalar yapar, gruptaki etkisi sıfırlanır. Bireysel başarıyı etkiler, grubun ortalama başarısını etkilemez. Ortalama etrafındaki değişkenliği etkiler. Tesadüfi hataya verideki kirlilik/gürültü denir. Ölçme Hataları Sistematik Hata : Ölçme sonuçlarını sistematik olarak etkileyen faktörlerden kaynaklanan hatalardır. Gruptaki herkesi aynı yönde (olumlu/olumsuz) etkileyen hatalardır. Ör. Dersliğin aşırı soğuk olması. Sistematik hatalar +/- yönde süreklilik gösterir. Ölçmede yanlılık olarak da adlandırılır

6 Ölçme Hataları Ölçmenin Standart Hatası: Standart Hata, bireyin ölçülen özelliğinin aynı kalması koşulu ile, bireyin üzerinde yapılan ölçmelerin standart sapmasıdır. Kişinin puanlarının bir ölçme durumundan diğerine ne kadar farklılaşacağı ile ilgilidir. Güvenirlik katsayısı arttıkça SH azalır. SH = SS x (1-G) SH=Standart Hata SS= Standart Sapma (Merkezi eğilim istatistikleri) G= Güvenirlik Katsayısı(indeksi) Cronbach Alfa Katsayısı 31 Geçerliği Artırmak İçin Testteki her soru hedef kazanımlardan en az biriyle ilgili olmalı Sorular bilenle bilmeyeni ayırt edebilmeli, ne çok kolay ne çok zor olmalı. Güvenilir olmalı geçerlik için güvenirlik şarttır Test, hedef konuları dengeli biçimde kapsamalı Sınavdan önce çok sayıda soru verip bir kısmını sınavda sormak geçerliği düşürür Ölçek/test uzman görüşüne sunulmalı Sınav düzenli disiplinli bir şekilde uygulanmalı Tarafsız, standart puanlama yapılmalı. 32 Geçerlik İçin Soruların Zorluk Düzeyi % 10 - Çok kolay % 20 Kolay % 40 Ortalama zorlukta % 20 Zor % 10 Çok zor 33 Güvenirliği Sağlamak İçin Güvenirlik, ölçme işleminin hatadan arınmasıdır! Ölçenden kaynaklanan hata için; Farklı kişilere ölçtürerek, puanlatarak puanların ortalaması alınabilir. Ölçme koşullarından kaynaklanan hata için; Kısa süre sonra, farklı koşullarda ölçümü tekrarlanarak korelasyona bakılabilir. Ölçekten kaynaklanan hata için; Aynı özelliği başka güvenilir ölçeklerle ölçüp korelasyona bakılabilir. Güvenirliği Artırmak İçin Az sorulu/maddeli test/ölçek yerine çok sorulu test kullanmak. Ölçme birimi küçüldükçe ölçümdeki hata oranı azalır. Test, öğrenci seviyesine uygun ve hedef davranışları ölçebilir nitelikte olmalı. Sınav süresi çok az ya da çok fazla olmamalı. Sorular açık ve anlaşılır olmalı. Puanlama, cevap anahtarı ile standart yapılmalı Soruların zorluk seviyesi dengeli dağılmalı Kullanışlılık Bir testin kullanılması esnasında uygulayan ve uygulananlara zorluk çıkarmaması durumudur. Önce geçerlik-güvenirlik sonra kullanışlılık. Kolaylık-kullanışlılık için geçerlik güvenirlikten taviz verilmez

7 Kullanışlılık Ölçütleri Test kolay uygulanabilir olmalı Sorular açık, net anlaşılır olmalı. Nasıl cevaplanacağı yönergelerle açıklanmalı Test okunaklı, temiz, uygun punto ve satır aralığında olmalı. Formların biçimsel düzeni kullanışlı olmalı