GEÇERLİK VE GÜVENİRLİK

Transkript

1 Ölçme GEÇERLİK VE GÜVENİRLİK Validity and Reliability Ölçme, birey ya da nesnelerin niteliklerinin uygun araçlar kullanılarak gözlenip, gözlem sonuçlarının sembollerle gösterilmesidir. Temel Kavramlar... Niteliklerin kendileri ile aynı türden araçlarla ölçülmesi doğrudan ölçmedir. Metre ile uzunluğun, terazi ile ağırlığın ölçülmesi gibi. Niteliklerin göstergeleri ile ölçülmesi dolaylı ölçmedir. Test ile başarının, anket ile görüşlerin ölçülmesi böyledir. Temel Kavramlar... Ölçme düzeyi (ölçek türü), birey ya da nesnelerin ölçülen özelliklerine ilişkin elde edilen ölçme sonuçlarının matematiksel nitelikleridir. Sınıflama, sıralama, aralık ve oran olmak üzere dört ölçme düzeyi vardır. Ölçme hatası, gözlenen puanların gerçek puanlardan olan sapma miktarıdır. Ölçmelere karışan hatalar sabit, sistematik ve tesadüfi (seçkisiz) olmak üzere üç grupta incelenir. Güvenirlik... Ölçme sonuçlarının tesadüfi hatalardan arınık olma derecesidir. Aynı bireyler üzerinde aynı ya da paralel formlar kullanılarak yapılan ölçmelerin tutarlılığıdır. Bir özelliğin doğru olarak ölçülebilme derecesidir. Güvenirlik... (Fraenkel & Wallen, 2000) 1

2 Güvenirlik... Farklı araştırmacılar aynı yöntemleri kullanarak araştırmayı tekrar edebiliyor ve benzer sonuçlar elde edebiliyorsa veriler güvenilirdir. Güvenirlik Tekrarlanabilirlik Not - Güvenirlik... Güvenirlik, aracın kendisine değil, bir ölçme aracıyla elde edilmis ölçümlere (veya sonuçlara) isaret eder. Güvenirlik testin kendisinin değil, eldeki veriler veya ölçümlerin bir özelliğidir. Böylelikle, testin güvenirliği veya aracın güvenirliği ya da test güvenilirdir diye ifade etmek doğru değildir. Güvenirlik, yalnızca kullanılmıs olan ölçme aracı tarafından değil, örneklem tarafından da etkilenmektedir. Bir test güvenilir veya güvenilmez değildir ve test ölçümleri veya eldeki veriler güvenilir veya güvenilmezdir. Güvenirlik ve Üç Kavram... Tutarlılık: Bir ölçme aracındaki (test) maddelerin (soruların) test bütünü ile olan uyumudur Kararlılık: Ölçme konusu olan özellik aynı ölçme aracıyla farklı zamanlarda birkaç defa ölçüldüğünde aynı değerleri vermesi durumudur. Duyarlılık: Ölçme aracının veya ölçme sonuçlarının biriminin büyüklülüğü ile ilgilidir. Birimi aralığı küçük olan ölçme daha güvenilirdir. Güvenirliği inceleme yöntemleri... I. Tek uygulamaya dayalı yöntemler Kuder Richardson (KR) 20-21: D/Y, E/H ikili cevap seçenekleri Maddelerin birbiriyle tutarlılığı- Cronbach Alpha: Derecelemeli cevap (Likert) seçenekleri Hoyt un varyans analizi Testi Yarılama: Spearman Brown ve Rulon formülleri Güvenirliği inceleme yöntemleri... II. İki uygulamaya dayalı yöntemler Eşdeğer (Alternatif, Paralel) Formlar Test-Tekrartest: Aynı test ya da eş formlar belli aralıklarla Güvenirliği inceleme yöntemleri... III. Değerlendirmeciler Arası Tutarlılık: İki veya daha çok uzmanın aynı nitelikleri aynı yönergeye dayalı değerlendirmeleri arasındaki uyumun düzeyidir. IV.Ölçmenin Standart Hatası. Bireysel puanların yorumlanmasında kullanılır. Belli güven düzeyleri için bireyin teste ilişkin gerçek puanının (performansının) hangi sınırlar içinde kalacağını tahmin etmede kullanılanılır. 2

3 Güvenirliği etkileyen faktörler Ölçme aracı Ölçme yöntemi / aracı ve kullanılan soru sayısı Soruların homojenliği Yönerge Puanlama nesnelliği Testi alan birey ve gruba bağlı faktörler Bireyin sağlık durumu Grubun heterojen olması Uygulama koşulları ve zaman Geçerlik Ölçülmek istenen özelliğinin diğer özelliklerle karıştırılmaksızın ölçülebilme derecesidir. Ölçme sonuçlarının geçerliği, amaçlanan ölçmenin gerçekleştirilebilme derecesidir. Geçerliği Etkileyen Faktörler Ölçme sonuçlarının güvenirliği Ölçme yöntemi ve soru sayısı Puanlayıcı yanlılığı Uygulama koşulları Geçerlik Türleri Ölçülmek istenen özelliğin diğer özelliklerle karıştırılmadan ölçülebilme derecesidir. Geçerlik sonuçlarımızın, yaptığımız çıkarımların veya önerilerimizin gücüdür. Internal Validity (İç Geçerlik): Bir araştırmanın doğruluğu ile ilgilidir. Araştırmacı düşündüğü şeyi doğru olarak gözlüyor veya ölçüyor mu? External Validity (Dış Geçerlik): Çalışmanın sonuçlarının diğer örneklere ve durumlara genellenebilirliği ile ilgilidir. Araştırmada Geçerlik Validity Accuracy Geçerlik-Doğruluk Geçerlik- Güvenirlik İlişkisi Bir ölçüm güvenilir olabilir, fakat geçerli değildir, (Kafatasi Ornegi). Bir ölçüm geçerlikten önce ilk olarak güvenilir olmalıdır. Bu yüzden güvenirlik gereklidir, fakat yeterli değildir, (geçerlik şartı) Bir ölçüm sürekli olarak bir olguyu ölçebilir, fakat ölçüm istediğiniz şeyi test etmedikçe, geçerli değildir. 3

4 Geçerlik- Güvenirlik Alanyazın bu konuda ikiye ayrılır: Nicel araştırma geleneğini kullanan araştırmacılar Nitel araştırmanın alternatif terimlerini kullanan araştırmacılar Geçerlik- Güvenirlik Merriam, S. B. (1998) Internal Validity Reliability(Güvenirlik) Çeşitleme Araştırmacıların Üye kontrolleri pozisyonu Uzun süreli gözlem Çeşitleme Akran değerlendirmesi Denetim yolu Araştırmacı önyargıları External Validity Zengin,ayrıntılı anlatım Çoklu durumlar Geçerlik- Güvenirlik Terimler Lincoln & Guba (1985) Credibility (inandırıcılık) Confirmability (teyit Çeşitleme edilebilirlik) Uzun süreli gözlem Çeşitleme Sürekli gözlem Çoklu yöntemler Transferability (Aktarılabilirlik) Denetim yolu Zengin, ayrıntılı anlatım Dependability (tutarlık) Denetim yolu Pozitivist kavramlar güvenirlik ve geçerlik Güvenirlik ve geçerlik için alternatif kavramlar Credibility(inandırıcılık) equivalent to internal validity Transferability(aktarılabilirlik) equivalent to external validity Dependability(tutarlık) equivalent to reliability Confirmability(teyit edilebilirlik) equivalent to objectivity Nitelde Güvenirlik Nitel araştırmalarda güvenirlik= teyit edilebilirlik (objektiflik) anlamında kullanılır. Farklı araştırmacılar benzer sonuçlara ulaşırlar Tekrarlanan çalışmalar benzer gözlemler üretirler Çoklu araştırmacılar aynı veriden benzer yorumlar yaparlar (üretirler) Nitelde İç Güvenirlik İç güvenirlik: Başka araştırmacıların aynı veriyi kullanarak aynı sonuçlara ulaşıp ulaşamayacağına ilişkindir. Verilerin Betimsel Bir Yolla Doğrudan Sunulması Çoklu Araştırmacılar Çoklu Yöntemler Akran Değerlendirmesi Kavramsal Çerçeveye Bağlı Olarak Yapılan Veri Analizi 4

5 Nitelde Dış Güvenirlik Dış Güvenirlik: Araştırma sonuçlarının benzer ortamlarda aynı şekilde elde edilip edilemeyeceğine bakar. Araştırmacının Pozisyonu Veri Kaynaklarının Seçimi ve Tanımlanması Sosyal Ortamlar ve Şartlar Kavramsal Çerçevenin Tanımlanması Veri Toplama ve Analiz Yöntemleri Nitel veriyi analiz etmek belirsiz, sezgisel ve kişiseldir. Nitelde güvenilir bir veri için 1. Triangulation (Çeşitleme) 2. Peer Examination (Akran Değerlendirmesi) 3. Audit Trail (Denetim Yolu) Nitelde güvenilir bir veri için 1. Görüşmelerin, gözlemlerin, vs. detaylı kayıtları 2. Yazılı alan notları 3. Analizlere ve yorumlara grup yaklaşımları 4. Güvenilir bir transkript için a.transkriptlerin bağımsız değerlendirilmesi b.başkaları tarafından denetime açık kayıtlar ve transkriptler c.aynı kişi veya farklı kişiler tarafından video-kasetlerin çoklu izlenimleri d.aynı kişi veya farklı kişiler tarafından ses-kasetlerin çoklu dinlenimleri e.aynı kişi veya farklı kişiler tarafından ses-kasetlerin çoklu transkriptleri 5. Gözlemci güvenirliğini değerlendirmek için a. İki gözlemci gerçekleşmekte olan şey üzerinde fikir birliğinde mi? b.gözlemcileri eğitme c. Gözlemcileri izleme Nitel Araştırmada Geçerlik Bulguların ve verilerin geçerliği araştırmanın doğruluğu ve tamlığı (mükemmelliği) anlamına gelir(lewis J. & Ritchie J.). Nitel araştırmada çalışılan olgu, araştırma popülasyonu tarafından algılandığı gibi doğru bir şekilde yansıtılmalıdır. Nitel Araştırmada Geçerlik (devam) Nitel Araştırmada Geçerlik (devam) Bir problemi araştırmayı veya bir durumu, bir süreci, sosyal bir grubu, veya etkileşimli bir modeli açıklamayı amaçlayan nitel bir çalışmanın gücü onun geçerliği ile ilgilidir(marshall & Rossman). Nitel literatürde geçerlik için bazen credibility, transferability or plausibility gibi alternatif terimler kullanılır. Araştırmacı düşündüğü şeyi gerçekten gözlemliyor veya ölçüyor mu? Internal Validity Bir araştırmanın sonuçları benzer ortamlara ve durumlara genellenebiliyor mu? External Validity (LeCompte & Goetz) 5

6 İç Geçerlik Araştırma bulguları kendi içinde tutarlı ve anlamlı mıdır? Bulguları teyit etmede kullanılan kurallar stratejiler var mı? Açık olmayan olgular ya da olaylar belirlenmiş midir? Bulgular araştırmaya katılan bireyler tarafından gerçekçi bulunmuş mudur? (Lewis & Ritchie). İç Geçerlik (devam) İç geçerliği artırmak için; 1. Çeşitleme -Triangulation 2. Üye kontrolleri- Member checks 3. Uzun süreli gözlem-long-term observation 4. Akran değerlendirmesi-peer examination 5. Araştırmanın katılımcı ve işbirlikçi aşamaları-participatory or collaborative modes of research 6. Araştırmacının önyargıları-researcher s biases (Merriam, S. B.) İç Geçerlik (devam) İç Geçerlik (devam) 1. Çeşitleme : çok sayıda araştırmacı, çoklu veri kaynakları, veya bulguları doğrulamak için çoklu yöntemler kullanmak. 2. Üye kontrolleri: elde edilen sonuç veya çıkarımlar makul ve mantıklı mı? bunları elde ettiğimiz veri kaynaklarına tekrar kontrol ettirme 3. Uzun süreli gözlem: bulguların geçerliğini artırmak için aynı olguyu uzun süreli veya tekrarlı gözlemlere tabii tutmak 4.Akran değerlendirme: bulgularda ortay çıkan yorumların meslektaşlar tarafından değerlendirilmesi 5.Araştırmanın katılımcı ve işbirlikçi aşamaları: çalışmanın kuramsal aşamasından bulguların yazım aşamasına kadar tüm aşamalarda katılımcıların yer alması 6. Araştırmacı ön yargıları: çalışmanın başında araştırmacının varsayımları, dünya görüşü, ve teorik eğilimi açıklığa kavuşturulmalı. Dış Geçerlik Dış geçerlik araştırma sonuçlarının genellenebilirliğine ilişkindir. Eğer bir araştırmanın sonuçları benzer ortamlara ve durumlara genellenebiliyorsa araştırmanın dış geçerliğinin olduğu söylenebilir. Nitel araştırmada, araştırmacı özel bir durumu derinlemesine anlamak istediğinden (çoğunluğun gerçeğini bulmak istemediğinden) tek bir durum veya küçük rastgele olmayan bir örneklem seçer(merriam, S. B.). Üretilen, işlenen veya test edilen soyut yapıların veya postulatların popülasyon içindeki diğer gruplara uygulanabilirliği ile ilgilidir(lecompte & Goetz). Dış Geçerlik (devam) Sosyal olayların, içinde bulunan ortama göre değiştiği varsayımından hareketle hiçbir araştırmanın sonuçları başka bir duruma doğrudan genellenemez. Ancak bir dereceye kadar benzetilerek genellenebilir. Nicel araştırmada bu genelleme doğrudan olabilirken nitel araştırmada genelleme dolaylı olarak yapılabilir. 6

7 Dış Geçerlik (devam) Araştırma örnekleminin ortamının ve süreçlerinin özellikleri başka örneklemlerle karşılaştırma yapabilecek düzeyde ayrıntılı olarak tanımlanmış mıdır? Örneklem genellemeye izin verecek ölçüde çeşitlendirilmiş midir? Araştırma sonuçları araştırma sorusu ile ilgili kuramlarla tutarlı mıdır? Dış Geçerlik (devam) Nitel araştırma sonuçlarının olasılığını artırmak için; 1. Zengin, ayrıntılı anlatım: 2. Özgün ve kalıcı kategori: 3. Çoklu durumlar: Araştırma bulguları benzer ortamlarda kolaylıkla test edilebilir mi? Dış Geçerlik (devam) Geçerliliği Ve Güvenirliği Sağlamak Amacıyla Kullanılan Stratejiler Ölçüt Nicel araştırma Nitel araştırma Kullanılan yöntemler Her nitel araştırmacının bu soruların tümüne doğru yanıtlar vermesi güç olabilir. Ancak araştırma sonuçlarının benzer ortamlara genellenebilmesi için araştırmacının okuyucuyu yaptığı çalışmanın tüm aşamaları hakkında ayrıntılı bir şekilde bilgilendirmesi gerekmektedir. Araştırma sonuçları yoluyla gerçeğin doğru temsili Sonuçların uygulanması Tutarlılığı sağlama İç geçerlik İnandırıcılık Uzun süreli etkileşim derinlik odaklı veri toplama çeşitleme uzman incelemesi katılımcı teyidi Dış geçerlik (genelleme) Aktarılabilirlik Ayrıntılı betimleme amaçlı örnekleme İç güvenirlik Tutarlılık Tutarlılık incelemesi Nesnel olma Dış güvenirlik Teyit edilebilirlik Teyit incelemesi Özet Olarak Geçerlik ve Güvenirlik Nitel ve Sosyal Bilimlerde Geçerlik ve Güvenirlik Kolay Değildir? Doğal yapılar and tekli durumlar tekrarlanabilir değildir Araştırmacının kişisel stratejileri İnsan davranışı durağan değildir Etkileşim günden güne değişir Eğitimde (Fraenkel Araştırma & Wallen, Yöntemleri 2000) 7

8 So what should we do? 1. Consistent Observation Guidelines Tutarlı/uyumlu Gözlem Katılımcılara güven telkin etme Kültürü öğrenme Değişimleri gözleme Değişimleri anlama Araştırmacı ve katılımcıları eğitme 2. Triangulation Guidelines Çeşitleme/Güçlendirme Bulguların niteliğini artırma Çoklu araştırmacılar kullanma Çoklu veri kaynağı kullanma Çoklu yöntemler kullanma 3. Peer Review Guidelines Akran Değerlendirmesi Araştırma sürecinin dış denetimini sağlama Elde edilen bulgular üzerinde akranların yorumunu alma Akran sorgulaması araştırmacı dürüstlüğünü ortaya koyar 4. Negative Case Analysis Guidelines Ters Durum Analizi Refining working hypotheses in the light of negative or disconfirming evidence 5. Clarifying Researcher Bias Guidelines Araştırmacının Yanlılığını ve Önyargılarını Açıklama Araştırmayı etkileyen önyargıları veya İddiaları anlama Araştırmacı çalışmaya yaklaşımında ve yorumunu şekillendirmede geçmiş deneyimlerini, önyargılarını ve eğilimlerini katıyor mu? 6. Member Checks Guidelines Çıkarımları Veri Kaynağına Kotrol Ettirme Bulgular ve yorumların inandırıcılığı ile ilgili veri kaynaklarının görüşlerine başvurma Katılımcılardan araştırmacının çalışmasının kaba taslağını incelemeleri ve alternatif dil, eleştirel gözlemler veya yorumlar yapmaları istenebilir. 8

9 7. Rich, Thick Description Guidelines Yöntemin Zengin ve Ayrıntılı Anlatılması Aktarılabilirlik ile ilgili kararlar alma çalışmadaki katılımcıları ve kuramsal yapıyı detaylı bir şekilde tanımlama 8 - External Audits Guidelines Dış Denetime Açma Hem süreci hem de sonucu inceleme, onların doğruluğunu değerlendirme Dış bir uzman Sonucu değerlendirmede, denetçi bulguların, yorumların, ve sonuçların veriler tarafından desteklenip desteklenmediğini inceler Instrument Strategy Application 1. Validity 1.1. The questionnaires (Q1, Q2, and Q4) and all interview guides were developed after doing a literature review Each of the questionnaires and interview guides were examined by at least three peers (graduate students) Each of the questionnaires and interview guides were reviewed by at least four experts Pilot tests were conducted to decrease the researcher s biases for the questionnaires (Q2 and Q4) and all guides All instruments were checked by a Turkish language expert for clarity of the language Each question on the questionnaires and interview guides had just one thought. 2. Reliability 2.1. The questionnaires (Q1, Q2, and Q4) and all interview guides were developed after doing a literature review Pilot tests were conducted to check reliability of the questionnaires (Q2 and Q4) and all guides Most of the questions on the questionnaires and guides were relevant to answering the research questions. Study Strategy Criteria Application 1. Internal 1.1.Triangulatio The data collection methods, data analysis, and literature review Validity / n were used to verify interviews and categorization of the data gathered. Credibility 1.2.Member Interview participants reviewed the accuracy of the details in the checking transcriptions of each interview. Transcripts and open-ended responses 1.3.Peer were also triangulated with literature. examination The synthesis of all data gathered was reviewed by peers, 1.4.Researcher advisor, and co-advisor of the study. s biases The researcher s assumptions, limitations, delimitations, and theoretical orientation at the outset of the study were clarified The results of the study were compared to the literature in the chapter External 2.1.Nominated Every used sampling technique and the criteria for selecting Validity / sample participants were provided in population and sample sections. Transferability 2.2.Dense A complete description of methodology was given in this chapter description (3). 3. Reliability / 3.1.Dependabili All questions in the instruments were developed after doing a Dependability ty audit literature review and conducting pilot interviews. A full description of 3.2.Methodolog the data analysis protocol is provided in this chapter (3). In addition, y Triangulation advisor and co-advisor of the study provided valuable input with 3.3.Peer respect to interview and open-ended material. examination The research methodology was fully described. The data 3.4.Evaluation collection methods and data analysis were used to triangulate and 3.5. Reliable verify interviews and categories were identified from the data gathered. transcribe The synthesis of all data gathered was reviewed by peers, advisor, and co-advisor of the study A consensus discussion of the synthesized data was held with the researcher, advisor, and co-advisor of the study Tapes/transcripts open to inspection by others Multiple listenings and transcriptions of audio tape by the researcher and a different person. 4. Objectivity / 4.1.Confirmabil The synthesis of all data gathered was reviewed by peers, Conformatibilit ity Audit Eğitimde advisor, Araştırma and Yöntemleri co-advisor of the study. y KAYNAKLAR Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö.E., Karadeniz, Ş. ve Demirel, F. (2008). Bilimsel araştırma yöntemleri. Ankara: Pegem Yayınları. Bogdan, R. C. & Biklen, S. K. (1998). Qualitative research methods for education: An introduction to theory and methods. Needham Heights, MA: Allyn and Bacon. Cohen, L., Manion, L., & Morrison, K. (2000). Research methods in education (5thed.). New York: RoutledgeFalmer. Creswell, J. W. (1998). Qualitative inquiry and research design: Choosing among five traditions.thousand Oaks, CA: Sage. Fraenkel, J. R., & Wallen, N. E. (2000). How to design and evaluate research in education (4 ed.). New ork:mcgraw Hill. Le Compte, M. D. & Goetz, J. P. (1982). Problems of reliability and validity in ethnographic research. Review of Educational Research, 52, Marshall, C. & Rossman, G. B. (1999). Designing qualitative research (3rd ed.). Thousand Oaks, CA: Sage. Merriam, S. B. (1998). Qualitative research and case study applications in education. (2 ed.) San Francisco: Jossey-Bass. Stake, R. E. (1995). The art of case study research. Thousand Oaks, CA: Sage Publications. Strauss, A. L. & Corbin, J. (1990). Basics of qualitative research: Grounded theory procedures and techniques. Thousand Oaks, California: Sage. Yıldırım, A. & Şimşek, H. (2000). Sosyal bilimlerde nitel araştırma yöntemleri [Qualitative research methods in social sciences] (2nd ed.). Ankara: Seçkin Yayıncılık. Yin, R. K. (1996). Case study research: Design and methods. (2nd ed.) Thousand Oaks, CA: Sage. Bu sunum; yukarıdaki sunu ve kaynaklardan yararlanılarak hazırlanmıştır. Emek sahiplerine teşekkür ederiz... 9