Amaçlar NİCEL (Quantitative) VERİ TOPLAMA ARAÇLARI Bu bölümde ölçümlerin geçerlilik ve güvenilirliği ile veri toplama teknikleri üzerinde durulacaktır. Araştırmanın amacına göre her bir aracın nasıl uygulanacağı ve güçlü yönleri ile zayıf yönleri anlatılacaktır. Geçerlik ve Güvenirlik (Kalem-Kağıt Testleri) Nicel Veri Toplama Teknikleri Alternatif Değerlendirme Türleri Bilişsel Olmayan (Noncognitive) Ölçümler Anketler, Mülakatlar ve Gözlemler Test Geçerliği (Test Validity) Ölçme aracının kullanılma amacına hizmet etme derecesidir. Geçerlik, test puanlarından elde edilen sonuçların ne kadar doğru, anlamlı ve kullanılışlı olduğunun ifadesidir. Başka bir ifadeyle geçerlik, spesifik bir konu ile ilgili araştırma sonuçlarına ulaşmak için yapılan ölçümlerin doğruluğu ve bu ölçümlerin genellenebilirliğidir. Test Geçerliği Bir testin geçerliği incelenirken; Araştırmanın amacı Araştırmanın evreni ve Verilerin toplandığı çevrenin özellikleri bilinmelidir. Test geçerliği duruma özgüdür. Bir durumda geçerli olan bir test başka bir durum için geçerli olmayabilir Test Geçerliği Türleri İçerik Geçerliği İçerikle (Content) ilgili Yapı Geçerliği Soyut Yapılarla (Construct) İlgili. Soyut Yapının yeterince temsil edilmemesi (Construct underrepresentation) Soyut Yapıyla ilgili olmayan şeylerin teste katılması (Construct irrelevant variance) Ölçüt ve Yordama Geçerliği test sonuçlarının gelecek hakkında yorum yapmayla (Criterionrelated Validity) ilgili. 1
Test Geçerliği Bileşenleri Test Geçerliği Bileşenleri 1. İçerikle ilgili bileşenler (evidence based on content): Uzman görüşü, belirtke tablosu ve aynı kapsamı ölçtüğü bilinen bir testten elde edilen puanlar ile geçerliğini belirlemek istediğiniz testten aynı grup öğrencilerin aldığı puanlar arasındaki korelasyona bakılır. Görünüş (face) geçerliği ile içerik geçerliği birbirine benzerdir. Fakat görünüş geçerliği daha çok bir ölçme aracının ilk bakıldığında şekilsel olarak ilgili konuyla alakalı olup olmadığı hakkında fikir edinmeye yararken, içerik geçerliği daha somut veriye dayalı olarak ölçme aracının gerçekten ölçülmek istenen şeyleri içerip içermediğini gösterir. 2. Zıt gruplara ilişkin bileşenler (evidence based on contrasted groups):birbirine ters olduğu bilinen gruplara aynı ölçek uygulandığında alınan cevaplarında durumu yansıtacak şekilde zıt olmasıyla anlaşılabilir. 3. Cevaplama Süreciyle ilgili bileşenler (evidence based on response processes): Bir ölçeğin cevaplanması sürecinde ölçülmek istenen niteliklerin kullanılarak cevaplanabileceği tipte sorular içermesi gerekir. Örneğin, muhakeme yeteneğininin ezber sorularıyla ölçülmemesi gerekir. 4. İçsel yapılarla (İç tutarlılık) ilgili bileşenler (evidence based on internal structure): Faktör analiziyle yapılır. 5. Diğer değişkenlere ilişkileri inceleyen bileşenler (evidence based on relations to other variables): Güvenirlik (Reliability) Nicel araştırmalarda güvenirlik araştırmanın benzer gruplara uygulandığında benzer sonuçları vermesi olarak tanımlanabilir. Başka bir deyişle güvenirlik ölçümlerin hatadan ne kadar arındırıldığının göstergesidir. Güvenirlik (Reliability) Güvenirlik yapılan hataya göre değerlendirilir. Hata ne kadar fazla ise güvenirlik az; Hata ne kadar az ise güvenirlik fazladır. Hata oranı (güvenirlik katsayısı) 0,00 ile 0,99 arasında bir değerdir. Çoğu araştırmalarda kabul gören değer ise 0,70 ile 0,90 arasındadır. Kabul gören değerler araştırma türüne göre değişebilir. Özellikle insan davranışlarını konu alan nicel araştırmalarda kabul gören değer alt sınırı 0,50 ye kadar düşebilir. Ölçümlerde Hata Kaynakları Testin Kendinden veya Uygulamadan Kaynaklanan Hatalar: Testin Uygulandığı Bireylerden Kaynaklanan Hatalar: Zaman sınırlamasındaki değişiklikler Testteki bazı maddelere karşı Farklı puanlandırma cevap verenlerin tepkileri Testin uygulamasındaki kesintiler Test uygulayıcısının cinsiyeti ve ırkı Sağlık Testin uygulandığı zaman Motivasyon Test maddelerinin seçimi Ruh hali Testteki yazım hataları ve net Yorgunluk, bitkinlik olmayan ifadeler Şans Direktifleri yanlış anlama Uygulama ortamının fiziksel durumu Dikkat ve hafıza bozukluğu Gözlemcilerdeki farklılıklar Tutum Test becerisi Açıklamaları anlama yeteneği Heyecan Adı Tanımı Uygulama Örnek Kararlılık (testretest) Testi- Yarılama Testi- Yarılama ve Kararlılık Belli bir süre içerisinde sonuçların değişmeden kalması Aynı gruba aynı konu ile ilgili özdeş testlerin aynı zamanda uygulanmasından elde edilen iki ölçümün Aynı gruba aynı konu ile ilgili özdeş testlerin farklı zaman dilimlerinde uygulanmasından elde edilen ölçümlerin Aynı test aynı gruba belli aralıklarla uygulanır Aynı testin özdeş olan değişik formları aynı bireylere aynı zamanda uygulanır Aynı konu ile ilgili özdeş testler aynı kişilere farklı zaman dilimlerinde uygulanır Yetenek testleri, IQ testleri Başarı testleri Kişilik testleri ve uzun süreli ölçümler 2
Adı Tanımı Uygulama Örnek Adı Zaman 1 Zaman 2 İç Tutarlılık (Split-half; K-R; Cronbach Alpha) Uzlaşma/ Anlaşma Tek bir seferde yapılan ölçüm sonuçlarının ikiye bölünerek her iki yarının Verilen puanların veya gözlem sonuçlarının tutarlılığıdır Test bir kez uygulanır ve testteki her bir madde diğeriyle korelasyonuna bakılır. İki veya daha fazla kişi aynı olayı gözler veya puanlandırır Tutum testleri ve diğer birçok ölçüm türü Gözlem ve mülakatlar Kararlılık (test-retest) A A Testi-Yarılama A B Testi-Yarılama ve Kararlılık İç Tutarlılık (Split-half; K- R; Cronbach Alpha) Uzlaşma/ Anlaşma R1 R2 A ve B aynı testin değişik formlarını temsil etmektedir. R1 ve R2 ise farklı gözlemci veya puanlayıcıları temsil etmektedir. A A B Güvenirlik katsayısını etkileyen faktörler Güvenirliğin Araştırmaya Etkileri Grup ne kadar heterojense güvenirlik katsayısı da o kadar yüksektir. Anket veya test ne kadar çok maddeden oluşuyorsa güvenirlik katsayısı da o kadar yüksektir. Ranj ne kadar büyükse güvenirlik katsayısı da o kadar yüksektir. Başarı testlerinde ne kadar çok orta seviyede soru varsa güvenirlik katsayısı da o kadar yüksektir. Konuya aşina olan kişilere uygulanırsa güvenirlik katsayısı da o kadar yüksek olur. Testte bilenlerle bilmeyenleri ayırt edecek ne kadar çok soru varsa güvenirlik katsayısı da o kadar yüksektir. Test güvenirliği araştırmanın da ne kadar güvenilir olduğunun göstergesidir. Bu sebepten güvenirliğin mutlaka hesaplanması gerekir. Daha önce kullanılmış bir doküman kullanılsa bile güvenirliğin yeniden hesaplanması gerekir. Yaş, cinsiyet, gelir, iş ve çalışma süresi gibi demografik verilerle ilgili sorularda güvenirlik hesaplamasına gerek yoktur. Güvenirlik katsayısının kullandığımız veri toplama tekniklerinin tipine göre kabul aralıkları değişebilir. Kişiler hakkında sonuca ulaşılacak araştırmalarda, gruplar hakkında sonuca ulaşılacak araştırmalardan daha yüksek güvenirliğe ihtiyaç duyulur. Geçerlik ve Güvenirlik Bir testin geçerli olabilmesi için önce güvenilir olması gerekir. Yani güvenirlik geçerlik için bir ön şarttır. Fakat güvenilir olan her test geçerli olmayabilir. Geçerli olan testler güvenilirdir. Çünkü geçerli olabilmesi için güvenilir olması gerekir. (Kalem-Kağıt Testleri) Değişik konularda bireylere yazılı olarak (kağıt üzerinde veya bilgisayar ortamında) sunulan ve bilişsel yapıları belirlemeye yönelik sorulardan oluşurlar. Testler bireyin başarısını, öğrenme yeteneğini, ilgilerini, tutumlarını, değerlerini belirlemeye yönelik olabilir. 3
1. Standardize Testler 2. Bağıl yada Mutlak Değerlendirmeye Dayalı Testler 3. Yetenek Testleri 4. Başarı testleri Bilişsel Olmayan (Noncognitive) Ölçümler (Envanterler) Tutum envanterleri Değerler envanterleri İlgi envanterleri Kişilik envanterleri Alternatif Değerlendirme Şekilleri 1. Performans-Esaslı Değerlendirme 2. Portfolio Değerlendirmesi Anketler Anket deneklerden genişçe bilgi elde etmek için kullanılır. Anketler ekonomiktir. Tüm deneklere aynı sorular ve ismini yazmadan cevaplama imkanı sunulur. Anketi Oluşturma Süreci 1. Gerekliliğini ve haklılığını anlama 2. Amaçları belirleme 3. Anket sorularının yazılması 4. Soruların gözden geçirilmesi 5. Genel formatı oluşturmak 6. Ön test yapmak 7. Revizyon Soruların- Maddelerin Yazılması Maddeler açık olmalıdır, Maddeler birden fazla fikri içermemelidir, Cevap verenler konu hakkında yetenekli, bilgili olmalı Sorular konu ile ilgili olmalı Kısa ve basit maddeler en iyisidir Olumsuz ifadelerden kaçının Önyargılı ve taraflı ifadelerden kaçının 4
Mülakat (Interview) Mülakat Türleri Nicel araştırmada mülakat aslında anketlerin sesli olarak uygulanmasıdır. Anket hazırlama ile aynı süreçler uygulanır. Anketten temel ayrım noktası araştırmacının veri toplanan kişiler ile direkt iletişim kurmasıdır. 1. Yapılandırılmış (Structured) Mülakatlar 2. Yarı-Yapılandırılmış (Semi-Structured) Mülakatlar 3. Yapılandırılmamış (Unstructured) Mülakatlar Mülakatı Etkileyen Etmenler Mülakat yapan kişinin yaşı Mülakat yapan kişinin branşı Mülakat yapan kişinin eğitim seviyesi Mülakat yapan kişinin mülakat deneyimi Irka dayalı faktörler Mülakat yapan kişinin cinsiyeti Sosyal ekonomik seviye Dini farklılıklar Gözlem Araştırmacının olay veya olgu ve davranışları gerçekleştiği ortamda gözlemleyerek verilerin toplandığı tekniktir. Gözlem de kayıt tutma şekilleri Davranışların gerçekleşme sürelerini gözleme Davranışların sıklığını gözleme Belli bir süreyle tek bir bireyi gözleme Belli bir davranışı uzun bir zaman dilimde gözleme Belli zaman dilimleri seçerek bu durumlarda belli bir davranışı gözleme 5