Araştırmalarda Ölçme - Güvenilirlik Geçerlilik

Transkript

1 Derleme / Review Article TAF Prev Med Bull 2012; 11(3): Araştırmalarda Ölçme - Güvenilirlik Geçerlilik [Measurement-Reliability-Validity in Research] ÖZET Bilim; anlamak, değerlendirmek, ayırt etmek ve bir sonuca varmak için ölçümleri kullanır. Ölçme bir nesne, olgu ya da tutuma ait özelliği, sayılabilir simgelerle göstermektir. Bilimsel ölçümler belirli bir olguyla ilgili olarak değer oluşturmaya ya da önceden belirlenmiş bir değerle karşılaştırma yapmaya yöneliktir. Ölçümlerde eğer yapılan ölçümün genellenebilirliğini gösteren önceden saptanmış bir norm değeri yoksa güvenilirlik ve geçerlilik sorunu gündeme gelir. Bu çalışmada, önceden saptanmış bir değer olmadan yapılan ölçümlerde güvenilirlik ve geçerlilik kavramları incelenmiştir. SUMMARY Science use measurement understanding, evaluating and differentiating. Measurement is the display of a feature belonging to an object, fact or attitude with countable symbols. Scientific measurements is intended to create value in relation to a particular phenomenon or the comparision predetermined value. In case there is no predetermined norm value which displays the generalisation of the measurement, problems of reliability and validity arise. In this study, reliability and validity concepts in measurements made without a predetermined value were analyzed. DOI: /pmb Hülya Çakmur Bornova Devlet Hastanesi, İzmir. Anahtar Kelimeler: Ölçme, Güvenilirlik, Geçerlilik. Key Words: Measurement, Reliability, Validity. Sorumlu yazar/ Corresponding author: Hülya Çakmur 524 S. No 47 Şirinyer, İzmir, Türkiye. hulyacakmur@gmail.com GİRİŞ Bilimselliğin temel koşulu araştırılan kavramın ölçülebilir olmasıdır. Araştırmalarda ölçme, araştırmanın amaçlarına uygun olarak düzenlenmiş yöntemin öngördüğü veri toplama sistematiği ile sağlanır (1,2). Bilimsel ifadeler ancak ölçülebilir kavramlarla yapılır. Ölçme doğrudan (sayı) ve dolaylı (olgusal-yargısal; görüş, tutum belirleme amaçlı) yöntemlerle yapılabilir (3). Ölçüm, tanımlanmış kurallara göre belirlenmiş özelliklerin sayısal ifadesidir. Ölçek kavramı özünde ölçme sonuçlarının matematiksel özelliklerini göstermekle birlikte davranış bilimlerinin birçok alanında veri - bilgi toplama amacıyla kullanılır. Veri toplama aracının özelliğine göre değişik düzeylerde ölçüm yapılabilir (3,4). Ölçümlerde eğer önceden saptanmış bir kriternorm değeri yoksa güvenilirlik ve geçerlilik sorunu gündeme gelir. Güvenilirlik ve geçerlilik testleri önceden saptanmış bir norm değeri olmadan yapılan ölçümlerde ölçümün doğru yapılabilmesini sağlayan unsurlardır. Klasik ölçüm kuramında güvenilirlik; test veya ölçek sonuçlarının kavramsal yapıya ilişkin olguyu doğru bir şekilde ortaya çıkarması, ölçüm sonuçları farklı yerlerde uygulandığında benzer sonucu vermesidir. Modern ölçüm kuramında ise güvenilirlik örneklemden bağımsız olarak maddeye verilen yanıtın fonksiyonudur (4). Bir ölçümün güçlü olmasını sağlayan ikinci unsur geçerliliktir. Geçerlilik ölçümün amacına uygunluk ve ölçüm yapılan ana kütleye genelleme yapabilme anlamına gelir. Ölçüm aracının ölçmeyi amaçladığını ölçebilirliği geçerlilik kavramıyla değerlendirilir. Geçerlilik, test sonucuyla ne yapılabileceğini belirler (1,4,5). Ölçüm aracının içerdiği maddelerin kavramsal yapıyı ne ölçüde temsil ettiği belirlenirken güvenilirlik ile geçerliliğin bir arada olduğu görülür (4). Cronbach güvenilirlik ve geçerlilik kavramlarını bütünleştirerek genellenebilirlik olarak ifade etmiştir. Güvenilirlik ve geçerlilik kavramları birlikte kullanıldığında standardizasyon anlamına gelir. Bir ölçümün farklı alanlarda geçerlilik güvenilirlik analizleri yapılarak uygun güvenilirlik katsayılarına ulaşılmasıyla o ölçüm aynı zamanda standartlaştırılmış olur (4,7). Cronbach tarafından geliştirilen ve modern ölçüm kuramı olarak isimlendirilen genellenebilirlik kuramında yapılan ölçümlerin gerçek puan a ne ölçüde uygun olduğundan çok ölçüm sonuçlarının genelleme yapılan evrene ne ölçüde uygun olduğu üzerine durulur (4)

2 GÜVENİLİRLİK Güvenilirlik, ölçümün tutarlı olmasının ölçütüdür. Ölçüm sonuçları farklı yerlerde uygulandığında benzer sonucu vermelidir. Yani bağımsız ölçümlerde benzer kararlı sonuç alınmalıdır. Güvenilirlik, bir ölçeğin ölçmek istediği özelliği ne ölçüde doğru ölçtüğünü, ölçeğin üretkenliğini ve sürekliliğini gösterir. Güvenilirlik için testin tekrarlanabilir ve aktarılabilir olması gerekir. Güvenilirlik bir ölçme aracında bütün soruların birbirleriyle tutarlılığını, ele alınan oluşumu ölçmede türdeşliğini, yeterliliğini ortaya koyan bir kavramdır (4-10). Kavramın değerlendirilmesinde güvenilirlik gereklidir ancak yeterli değildir (8). Güvenilirlik analizleri psikometriciler tarafından dört grupta ele alınmıştır: 1-İç tutarlılık güvenilirliği 2-Test-tekrar test güvenilirliği 3-Paralel formlar güvenilirliği 4-Gözlemciler arası güvenilirlik 1. İç tutarlılık güvenilirliği Ölçek maddelerinin belli bir kavramsal yapıya sahip olması, maddelerinin birbirleriyle ilişkili olarak aynı yapıyı ölçmelidir. İç tutarlılık analiziyle tek bir ölçüm kullanılarak ve tek bir seansta ölçüm yapılarak maddelerin belirli bir kavramsal yapıyı tutarlı bir şekilde ölçüp ölçmediği araştırılır. Güvenilir test ve ölçekler iç tutarlılığı yüksek olan araçlardır. Bir ölçeğin çok sayıda madde içermesi belirlenen maddelerin alanı çok iyi kapsadığı anlamına gelmez. Alanın çok iyi kapsandığı durumda ise testin/ölçeğin geçerliliği zayıflar (4). İç tutarlılık analizleri için farklı hesaplama ve istatistik yöntemler vardır. Bunlar: a-maddeler arası korelasyon katsayılarının ortalaması Bu analizde ölçeğin toplam puanları hesaplamaya katılmaz. Yalnız maddeler arasında korelasyon analizleri yapılır ve değişkenlerin korelasyon katsayılarının ortalaması alınır. Bu analiz ölçek maddelerinin ne ölçüde birbiriyle ilişkili olduğunu gösterir. b-madde-toplam puan korelasyonu katsayılarının ortalaması Ölçeğin toplam puanlarıyla her bir maddeye ait puanların korelasyonun alınmasıdır. Madde toplam puan korelasyon katsayılarının ortalaması testin güvenilirliğini verir. c-iki şıklı değerlere ait korelasyon analizi Biserial korelasyon analizi de denilmektedir. Sürekli veri niteliğindeki toplam puan değerleri ile maddeleri 1-2 veya 0-1 şeklinde kodlanan puan değerleri karşılaştırılır. d-cronbach alfa değeri Likert türü toplamalı ölçeklerde, anlamsal farklılık ölçeklerinde, Stapel ölçeklerinde toplam veya ortalama puana dayanan diğer psikometrik testlerde ve bileşik maddelerden oluşan indeks türü ölçüm araçlarında maddelerin birbiriyle tutarlı olup olmadığını ve maddelerin hipotetik bir değişkeni ölçüp ölçmediğini belirler. Alfa değerinin esas işlevi iç tutarlılığı saptamasıdır. Esas olarak bir güvenilirlik indeks değeri olan Cronbach alpha, ölçeğin içerdiği maddelerin birbiriyle ne ölçüde tutarlı olduğu ve arka planda gizli, hipotetik değişkeni ne ölçüde temsil ettiği hakkında bilgi verir (1,4). 2- Test-tekrar test güvenilirliği: Bir test ya da ölçeğin tutarlılığı faklı zamanlarda yapılan ölçüm sonuçlarının benzerliliği ile belli olur. Bu durum test-tekrar test yöntemi ile belirlenir. Her tür ölçekte kullanılması zordur. Daha çok standardizasyonu yapılmak istenilen test ve ölçeklerde kullanılır. Tekrar test işleminde zaman aralığının kısa oluşu ile ezberleme etkisi, uzun oluşu ile gelişim etkisi dezavantaj olarak görülür. 3- Paralel formlar güvenilirliği: Testin iki zaman diliminde yapılmasında güçlük varsa test-tekrar test uygulaması yerine paralel form uygulaması yapılır. Ancak bu yöntemde ölçülmek istenilen özellik açısından grupların birbirine tam paralel olması gerekir

3 4- Gözlemciler arası güvenilirlik: Bir ölçümün eş değerlilik güvenilirliği iki şekilde saptanır; alternatif formlar güvenilirliği ve gözlemciler arasındaki tutarlılık. Gözlemciler önceden belirlenmiş bir puanlama sistemine bağlı olarak belirli bir olguyu bağımsız şekilde değerlendirebilirler. Bu değerlendirmelerde verilen puanların birbirine benzer oluşu puanların güvenilir olduğunu gösterir (4,5). Tutarlılık analiz yöntemleri Bir test ya da ölçeğin tutarlılığı farklı zamanlarda yapılan ölçüm sonuçlarının benzer oluşu ile belli olur. Tutarlılık test-yeniden test yöntemi ile belirlenir. Bu yöntem daha çok standardizasyonu yapılmak istenen test ve ölçeklerde uygulanır. Güvenilirliği belirleyen tek ölçüt değildir (4). Zaman aralığı Zaman aralığının kısa olması durumunda ezberleme etkisi olurken, uzun olması durumunda gelişme etkisi ile karşılaşılır. Zorluk düzeyi Eğer test maddeleri çok kolay ya da çok zorsa testyeniden test güvenilirliği yüksek çıkar. İdeal bir güvenilirlik katsayısı için testi zorluk düzeyi.50 civarında olmalıdır. Katılımcılar Katılımcıların özelliği uygulamayı etkiler. Test eğer klinik bulgular gösteren bir grupta uygulanmışsa ikinci kez yine aynı grupta denenmelidir (4,5). Test-yeniden test işleminin tanımlayıcı istatistiksel analizleri Bu uygulamada korelasyon analizi sonuçlarından önce merkezi dağılım ölçüleri, standart sapma, varyans, çarpıklık ve basıklık katsayıları alınarak her iki ölçüm sonuçları karşılaştırmalı ele alınır (4). Örnek büyüklüğü Bu uygulamada korelasyon katsayısı kadar örneklemin standart hatası da önemlidir. Örnek büyüklüğü arttıkça standart hata küçülür. Bu nedenle test-yeniden test uygulamalarının her birinde örnek büyüklüğü en az yüz kişiden oluşmalıdır (3). Test-yeniden test uygulamasının dezavantajları: Ezberleme/öğrenme etkisi Aradan belli bir zaman geçmemişse test soruları ezberlenebilir. Hatta ikinci test uygulanacağı söylenilmişse teste hazırlık yapabilirler. Bu uygulama sonuçta güvenilirlik katsayısını etkiler. Uygulama etkisi İlk uygulamayla beraber kişiler testin nasıl uygulanacağı konusunda bilgi sahibi olurlar. İkinci uygulamada puanların daha yüksek çıkması testin tutarlılığını değil uygulamaya aşina olunduğunu gösterebilir. EŞ DEĞERLİLİK ANALİZLERİ Eş değerlilik güvenilirlik bileşenidir. Aynı zamanda uygulanan iki veya daha fazla testin benzer sonuçlar vermesidir (6). Bir ölçümün eş değerlilik güvenilirliği iki şekilde saptanır; *alternatif formlar güvenilirliği, *gözlemciler arası tutarlılık. Alternatif formlar güvenilirliği Güvenilirlik kullanılan alternatif formlar arasında yüksek derecede ilişki bulunmasıyla belirlenir. Alternatif form genel bir terimdir. Bu terim paralel form, eş değer form ve karşılaştırılabilir form anlamında kullanılır. Paralel form; yapılan ölçümlerde formların içeriklerinin farklı olması, madde sayılarının aynı olması, aritmetik ortalama değerinin aynı olması, standart sapma ve varyans değerlerinin eşit olması, maddelerin güçlük derecelerinin eşit olması ve bu formlar başka bir ölçüm aracıyla karşılaştırıldığında 341

4 her bir testin o ölçüm aracıyla benzer korelasyon katsayılarına sahip olduğu anlamına gelir (4). Gözlemciler arası tutarlılık Gözlemciler önceden belirlenmiş bir puanlama sistemine bağlı olarak belirli bir olguyu bağımsız olarak değerlendirdiklerinde, verilen puanların benzer oluşu bu puanların güvenilir olduğunu gösterir. Her bir güvenilirlik analizinin avantaj ve dezavantajları vardır. Öncelikle yapılan ölçümün ve kullanılan ölçüm aracının niteliğine uygun güvenilirlik analizi belirlenmelidir. Ölçüm gözleme dayanıyorsa en iyi yöntem, gözlemciler arası güvenilirlik analizinin uygulanmasıdır. Araştırma ölçek gibi bir ölçüm aracı kullanılarak yapılıyorsa keşfedici faktör analizi yöntemiyle alt boyutlar belirlendikten sonra güvenilirlik analizi için öncelikle alfa güvenilirlik katsayısı düşünülmelidir (4). GEÇERLİLİK Geçerliliğin ilk tanımı 1937 yılında Garret tarafından ölçülmek istenen özelliğin amaca uygun olarak ölçülme derecesi olarak tanımlanmıştır (4). Bir ölçeğin ölçmeyi amaçladığını ölçüp ölçmediğini ve genellenebilirliğini gösterir. Ölçülmesi düşünülen olgunun doğru olarak ölçüldüğünü belirtir. Ölçümün geçerli oluşu, ölçme aracının ölçmeyi planladığı özellikleri gerçekten ölçüyor olması anlamına gelir. Geçerlilik için bir test, deney ya da ölçek, tekrarlayan ölçümlerde aynı sonucu vermelidir. Geçerlilik, araştırmanın genel doğruluğunu zedeleyecek hataların bulunmaması durumudur. Bir ölçümün geçerli olabilmesi için ölçülmek istenilen özellik başka bir özellikle karıştırılmadan ölçülmüş olmalıdır. Ancak ölçeğin geçerli olabilmesinin ilk koşulu güvenilir olmasıdır. Geçerli bir test aynı zamanda güvenilirdir ama güvenilirliği yüksek bir test geçerli olmayabilir (1,4-12). Geçerlilik: içerik, yüzey, ölçüt ve yapı geçerliliği olarak dört şekilde değerlendirilir. 1- Yüzey geçerliliği: Bir ölçeğin araştırılan yapıyı ölçüp ölçmediğine ilişkin olarak araştırmacının kendisinin ve konuda uzman olan olmayan bireylerin görüşlerinin alınmasıyla belirlenir. Mantıksal geçerlilik de denilmektedir. İstatistik bir değerlendirme yapılamaz. 2-İçerik geçerliliği: Ölçek maddelerinin kavramsal ana kütleyi temsil etme derecesidir. Örneklem geçerliliği de denilmektedir. Beş aşaması vardır; kavramsal yapı veya test evreninin tanımlanması, kavramsal yapıya ait boyutların ortaya çıkarılması, ölçek maddelerinin oluşturulması, hakem görüşünün alınması, matematiksel analizlerin yapılması".içerik geçerliliği ölçülmek istenilen kavramsal yapının temel boyutları ve ölçüm alanının kapsanması yönünden önemlidir. Ancak kavramsal alanın sınırlarını net ve kesin bir şekilde belirlemez (4,9,11). 3- Ölçüt geçerliliği: Geliştirilen ölçekle elde edilen sonuçların standart ölçüm puanlarıyla karşılaştırılmasıdır. Ölçüt geçerliliği geliştirilen ölçek sonuçlarının değerlendirilmesi amacıyla değil, ileriye yönelik tahmin yapma amacıyla kullanılır. Ölçüt geçerliliğinde geliştirilen ölçek veya test sonuçlarıyla karşılaştırma yapmak için daha önce geçerlilik ve güvenilirlik analizi yapılmış standart bir ölçek ya da birden fazla ölçüt temel alınır (4). 4- Yapısal geçerlilik: Somut bir ölçüm yerine, belirli bir davranış alanına ve kavramsal yapıya ilişkin inceleme yapıldığı zaman uygulanır. Değişkenlerin bir faktör üzerindeki faktör ağırlıkları yüksekse bu değişkenlerin yapısal geçerliliğe sahip oldukları söylenir. Ancak bu yeterli değildir, faktör sayısının ve faktörler arasındaki ilişkilerinde kuramla uyumlu olması gerekir (3,11,14). Yapısal geçerliliği kanıtlamak için kullanılan yöntemler: Dış testler ile yapısal geçerliliğin test edilmesi; Geliştirilen ölçeğin geçerliliğini kanıtlamak için bir yandan benzer yapıları, diğer yandan farklı kavramsal yapıları ölçen testler aynı bireylere uygulanarak elde edilen sonuçların karşılaştırılmasıdır. Grup farklılıklarıyla yapısal geçerliliğin test edilmesi Geliştirilen bir testten farklı iki grubun farklı puanlar almasıyla sağlanmış olur. Örneğin yetişkinlerin genel 342

5 yeteneğini ölçen bir test maddesi ilk okul öğrencilerine uygulandığında aralarındaki korelasyon katsayısı.95 çıkmışsa testin geçerliliğinin düşük olduğu sonucuna varılır (4,5). Faktör analizi yöntemiyle yapısal geçerliliğin test edilmesi Faktör analizi yöntemi, çok sayıda değişkenin arka planında yatan temel yapıyı ortaya çıkarmak için yapılır. Bu işlemin amacı; aralarında ilişki bulunduğu düşünülen çok sayıda değişken arasındaki ilişkilerin anlaşılmasını ve yorumlanmasını kolaylaştırmak için yapıyı daha az sayıda temel boyuta indirgemektir. Faktör analizi yapmak için öncelikle ölçümün kavramsal alanının belirlenmesi gerekir (4,13-18). Bu kavramsal alandan belirli bir ölçüm konusuyla ilgili testler, ana kütleden ise örneklem seçilir. Bu alandan seçilen maddeler yüzey değişkenleri olarak bilinir. Bu değişkenlerin arka planında faktör olarak isimlendirilen değişkenlere iç değişkenler adı verilir. Faktörler bir anlamda yüzey değişkenlerinin nedeni olarak değerlendirilir. Faktör analizinin yapısal geçerlilik olarak sunumunda Tek boyutluluğun kanıtlanması, çift boyutluluğun kanıtlanması, boyutlar arasındaki ilişki ve faktöriyel yapıyı doğrulama incelenir. Her bir maddenin hangi diğer maddelerle birliktelik gösterdiğini, bu maddelerin bu gruplara ne kuvvetle bağlandıklarını görmek amacıyla araştırıcı faktör analizi, bir kültürde geliştirilen ölçeğin başka bir kültüre uyarlanmasında doğrulayıcı faktör analizi kullanılır. Bu işlemin uygulanmasında, örneklemin değişken başına en az üç, tercihen beş olgu olacak kadar büyük olması gerekmektedir (4,13-18). SONUÇ Bilimde ölçüm; ölçülen olguyu anlamada bir netlik derecesi elde etmek için mekanizma sağlar. Ölçümün amacı, yorumda çelişkiye düşmeden kesin bir yargı oluşturmaktır. Bilimde ölçümün hedefi, belirli bir kavramsal yapıyı ortaya çıkarılabilmek ve bilimsel bir sonuca ulaşabilmek için olgularda ki değişiklik ya da ilişkiyi somut olarak gösterebilmektir. Ölçüm aracının ölçmeyi amaçladığı olguyu doğru ölçmesi ve yineleyen ölçümlerde benzer sonuçları elde etmek, ölçüm aracının genellenebilirliğini (standardizasyonu) gösterir. Bilimsel araştırmalarda somut bir yargıya varabilmek için güvenilirliği ve geçerliliği kanıtlanmış yani genelleştirilebilinir ölçek ve ölçüm araçları ile elde edilen verinin sınanması gerekmektedir. Bu çalışmada ölçüm aracının niteliğine uygun olarak yapılması gereken güvenilirlik ve geçerlilik analizleri incelenmiştir. KAYNAKLAR 1. Portney LG, Watkins MP. Foundation of Clinical Research. 1993, p , 56-57, Aksakoğlu G. Sağlıkta Araştırma ve Çözümleme. 2. Basım, D.E.Ü. Rektörlük Basımevi, İzmir, 2006; 84-99, Erdoğmuş Ş, Koç E, Ayhan S. Dokuz Eylül Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi Türkiye de Yaygın Kullanılan Web Portallarının Kullanıcı Hislerine Dayanılarak Kansei Mühendisliği ile Değerlendirilmesi. html [Erişim Tarihi: ]. 4. Şencan H. Sosyal ve Davranışsal Ölçümlerde Geçerlilik ve Güvenilirlik. 1.Basım. Ankara. Seçkin Yayıncılık, 2005, s Özdamar K. Paket Programlar ile İstatistiksel Veri Analizi. 5. Baskı. Eskişehir. Kaan Kitabevi, 2004, s , Demirkutlu K. Başkent Üniversitesi İktisadi ve İdari Bilimler Fakültesi Elyadal Dizisi, İstatistiksel formüller ve tablolar kitapçığı. 1. Basım. Ankara. 2005_http://analiz.ibsyazilim.com/egitim/koran.ht ml [Erişim Tarihi: ]. 7. Golapshani N. Understanding Reliability and Validity in Qualitative Research The Qualitative Report. 2003; 8(4): Robson C. Real World Research. 6. Edt. Oxford UK. Blackwell Publishers Ltd, 1998, p , Yılmaz M. Sosyal bilimlerde güvenilirlik ve geçerlilik._http:// /tutorial/colosi/lcolosi2.html [Erişim tarihi: ]. 10. Yıldırım A, Şimşek H. Sosyal Bilimlerde Nitel Araştırma Yöntemleri. 6. Basım. Ankara. Seçkin Yayıncılık, 2006, s Aydemir Ö. Ölçek geliştirme, güvenilirlik ve geçerlilik._http:// demir. [Erişim Tarihi: ]

6 12. Şenocak M. Biyoistatistik.1. Basım. İstanbul. Cerrahpaşa Tıp Fakültesi, 1998, s Tonta Y. Varyans analizi, faktöryel anaova. ient&hl=tr&ie=utf- [Erişim Tarihi: ]. 14. Sosyal Bilimler Dergisi 2004/.1Lisrel ile Yapısal Eşitlik Modelleri:Tüketici Şikayetlerine Uygulanması. Yılmaz V. u [Erişim Tarihi: ]. 15. Büyükşahin A. Çok boyutlu ilişki ölçeği; geçerlilik ve güvenilirlik çalışması.türk Psikiyatri Dergisi 2005; 16(2): Ercan İ, Kan İ. Ölçeklerde güvenilirilik ve geçerlilik. Uludağ Üniversitesi Tıp Fakültesi Dergisi: 30 (3) Erdemir E. Yönetim ve örgüt araştırmalarında ölçek_kullanımı._http://iibf.ogu.edu.tr/eerdemir/m akaleler/olcek.pdf [Erişim Tarihi: ]. 18. Baydur H, Eser E. Uygulama: yaşam kalitesi ölçeklerinin psikometrik çözümlenmesi. Sağlıkta Birikim. 2006; 1(2):