ÖLÇEK GELISTIRME, GÜVENILIRLIK VE GEÇERLILIK Dr. Ömer Aydemir Celal Bayar Üni. Tip Fak. Psikiyatri A. D.
Ölçülecek Özelligin Tanimlanmasi Ölçülecek özelligin belirlenmesi Gözlenebilir ve ölçülebilir bir biçimde ise vuruk tanimlama Ölçek teknigine uygun biçimde düzenleme Maddeler olumlu ve olumsuz ifadelerden olusmali
Ölçümde Kullanilan Maddelerin Belirlenmesi Rolls Royce modeli Volkswagen modeli Ifadeler düsünsel, duyussal ve eyleme yönelik olmali Tüm yönleri kapsamali Yanitlayici kitle taninmali Tüm kaynaklar taranmali
Denemelik Ifadeler Ifadeler ayri düzeylerdeki bireyleri ayirt etmeli Bütün maddeler arzu edilenlerin ifadesi olmali Ölçek maddeleri degisik anlamlara yol açmamali Ölçek maddeleri öz ve sade olmali Uçta olumlu ve olumsuz özellik ifadeleri tercih edilmeli Bos birakma ya da kalip karar engellenmeli Besli Likert tipi ideal
Ölçek Materyalinin Hazirlanmasi Yanitlamayi etkilemeyecek tüm görünüm özellikleri dikkate alinmali Ölçek maddeleri birbirinden kolayca ayrilmali Baski kalitesi gereksiz ayrinti ve süslerden arindirilmali
Ölçek Yönergesi Ölçegin amaci Ölçekteki madde sayisi Yanitlama biçimi ve örnegi Tahmini yanitlama süresi
Ön Inceleme Maddeler alan kapsamini tümüyle temsil eder Yazilan her ifade, madde yazilim özelliklerini tasir Olumlu ve olumsuz ifadeler denktir Ayni özellik hem olumlu hem olumsuz ifade ile birlikte bulunmaz Iki ifade arasinda anlamca kesisim yoktur, ifadeler anlamca birbirlerinden bagimsizdir
Ön Inceleme Basim materyalinde yazim ya da anlatim hatasi yoktur Yanitlayici ve uygulayici için yönerge açikça anlasilirdir Maddelerin ve yanit kagidinin okuma ve doldurma zorlugu yoktur Çogaltilan kopyalarda baski hatasi yoktur
Deneme Uygulamasi Deneme uygulamasi ölçegin performansi için önemlidir Örneklem hedef kitleyi temsil etmelidir Deneme ölçümünde ideal kosullar saglanmalidir Yanitlamanin yönünü etkileyecek durumlardan kaçinmalidir
Deneme Ölçümünün Analizi Madde ve ölçek puan belirlenmesi Yanit formunun puanlama anahtarina dönüstürülmesi Verilerin düzenlenmesi Ölçek puaninin hesaplanmasi
Puan Dagiliminin Özellikleri Çan egrisi dagilimi En yüksek-en düsük puan dagilim araligi genis olmali Beklenen-elde edilen ortalama uyumu Çan egrisinin çarpikligi, sivriligi
Madde Analizi Madde - toplam puan bagintilari Alt-üst grup ortalamalari farki (%27) Alt-üst grup puan bagintisi Alt-üst grubu ayirt eden/etmeyen maddeler Madde puan dagilimlari Sorunlu maddeler disarida tutularak yeniden analiz
Madde Analizi Madde puani ile ölçek puani arasinda dogrusal iliski Madde puanlarindan ölçek puanini yordamak için basit dogrusal regresyon Madde puani bagimsiz degisken, ölçek puani bagimli degisken
Ölçek Kullanimi Klinisyenin amaci sorun alanini tanimlayip girisimde bulunmak Arastirmacinin amaci sorunu saptamak ve karsilastirma yapmak
Yasam kalitesi degerlendirmesi tanim geregi öznel yasantilara ve belirtilere dayanir
Öznel yasantinin degerlendirilmesi ölçeklerle olur Yasam kalitesindeki bozulmayi ölçer Yasam kalitesinde etkilenme alanlarini belirler Tani koymaya yaramaz Risk gruplarini belirleyebilir
Öznel degerlendirmede 4 tip hata vardir yorum hatasi bireysel hata degisken hatasi sabit hata
Yorum Hatasi Yasam kalitesi degerlendirmesinde mutlak sifir noktasi yoktur. Denegin elde ettigi puan tek basina anlam tasimaz Yorum hatasini asmanin yolu standardizasyondur
Yorum Hatasi Standardizasyon: degerlendirmede kritik islem noktalarini içerir Elde edilen puan karsilastirilabilir ve yorumlanabilir olur Karsilastirmali çalismalarda standardizasyon olmazsa olmaz degildir
Bireysel Hata Degerlendirmecinin öznelliginden kaynaklanir Bireysel hatayi asmanin yolu nesnelliktir Güvenilirlik hesaplanmasinda sabit katsayi olarak bulunur Soru biçimi nesnelligi belirler
Degisken Hatasi Kontrol edilemeyen dis etkenlere bagli hatalardan kaynaklanmaktadir Degerlendirme sirasindaki çesitli kosullardan etkilenir Degisken hatasini asmanin yolu güvenilirliktir
Degisken Hatasi Güvenilirlik Degerlendirme aracinda mutlaka bulunmasi gerekir Bir ölçegin ölçmek istedigi özelligi ne kadar iyi ve dogru ölçtügünü gösterir Deneklerden birinden digerine ayrimin tutarli ölçümüdür Ölçegin üretkenligini ve sürekliligini gösterir Ölçek her durumda güvenilir degildir
Degisken Hatasi Güvenilirlik Içsel Güvenilirlik (Tutarlilik) maddeler bir bütün olusturarak üretken olmali ölçek maddelerinin birbirleriyle iliskisine dayanir ölçek puani ile maddeler ya da alt ölçekler arasi iliski Cronbach alfa Kuder-Richardson 20 Yariya bölme
Degisken Hatasi Güvenilirlik Test-yeniden test güvenilirligi zaman içindeki istikrari gösterir kosullari yerine getirmek zordur animsama ve degiskenlik temel sorun
Degisken Hatasi Güvenilirlik Esdegerli (paralel) ölçek güvenilirligi ayni yolla ayni degiskeni ölçen ayri ölçekler kullanilir animsama riski en aza indirilir degisken durumlarda kullanisli
Degisken Hatasi Güvenilirlik Degerlendirmeciler arasi güvenilirlik ayni grubu degerlendiren farkli degerlendirmecilerin uyumu yineleyen ölçüm olanakli degilse kullanilir uyumsuz maddeler iyi tanimlanamamistir
Sabit Hata Degerlendirmenin dogrudan degil, dolayli yapilmasindan kaynaklanir Amaca uygun ya da özgü degerlendirme araci ile asilir Sabit hatayi asmanin yolu geçerliliktir
Sabit Hata Geçerlilik Dogruluga ve gerçeklige dayanir Bir ölçegin ölçmeyi amaçladigini ölçüp ölçmedigini belirtir
Sabit Hata Geçerlilik Üç temel geçerlilik alani vardir içerik geçerliligi...ölçek performansi ile iliskili deneysel/yapi geçerliligi...davranisi belirleyen özellik ile iliskili deneysel geçerlilik...ölçüt ile iliskili
Sabit Hata Içerik geçerliligi yüzey geçerliligi (face validity) öznel degerlendirmeyle ne ölçülebilecegi ortaya konur dogrulugu en az kanitlanabilir mantik ya da örneklem geçerliligi tanimlanmis evreni temsil yetenegi konuyla iliskili kaynaklar ve referanslar incelenir ölçegin soru örüntüsü incelenir
Sabit Hata Içerik geçerliligi Faktör geçerliligi ölçegin ne ölçüde istenilen alanlari kapsadigi ortaya konur ölçegin kendi içindeki ayrik ana alanlar da belirlenir
Faktör Geçerliligi Deliryum Derecelendirme Ölçegi Faktör 1 Faktör 2 psikomotor etkinlik 0.69* 0.43 yönelim 0,91* 0,02 dikkat 0,80* 0,16 bellek 0,84* 0,02 algilama 0,38 0,73* düsünce süreci 0,62* 0,55 düsünce içerigi 0,22 0,76* uyku uyaniklik döngüsünde bozulma 0,52* 0,51 güniçi degiskenlik/dalgalanma 0,26 0,62* duygudurumda dalgalanma 0,64* 0,18 özdegeri (eigenvalue) 5,21292 1,16872 toplam varyans (%) 52,1 11,7
Faktör Geçerliligi Hastane Anksiyete-Depresyon Ölçegi BELIRTILER HAD # Faktör 1 Faktör 2 Emosyonel gerginlik 1 0.68* 0.45 Zevk alamama (siddet açisindan) 2 0.32 0.72* Korku 3 0.77* 0.44 Gülememe 4 0.31 0.71* Endise verici düsünceler 5 0.77* 0.38 Nesesizlik 6 0.41 0.68* Psikomotor ajitasyon 7 0.45 0.65* Psikomotor retardasyon 8 0.67* 0.61 Tedirginlik hissi 9 0.76* 0.46 Dis görünüse ilgi kaybi 10 0.40 0.44 Huzursuzluk hissi 11 0.72* 0.32 Gelecegi hevesle beklememe 12 0.37 0.61* Panik duygusu 13 0.83* 0.42 Zevk alamama (siklik açisindan) 14 0.38 0.72* Özdegeri 5,64481 1,43870 Toplam varyans (%) 40.3 10.3
Sabit Hata Geçerlilik Deneysel geçerlilik ölçüt ile iliskili etkinligin ortaya konmasi hem geçerlilige hem güvenilirlige katkisi var
Sabit Hata Deneysel geçerlilik Yordama geçerliligi: standarda göre yordama özgüllük: saglikli grupta sagliklilari ayirt etme duyarlilik: hasta grubunda hastalari ayirt etme negatif ve pozitif yordama degeri ROC egrisi
ROC Egrisi Deliryum Derecelendirme Ölçegi 120 100 80 60 Özgüllük Duyarlilik 40 20 0 6 7 8 9 10 11 12 13 14 15
ROC Egrisi Calgary Depresyon Ölçegi 120 özgüllük duyarlilik 100 80 60 40 20 0 c0 c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18
Deneysel geçerlilik Sabit Hata Birlikte geçerlilik ayni alanda kullanilan bir baska geçerli ve güvenilir ölçek ile baginti Çapraz geçerlilik baska bir örneklem grubundaki performans degerlendirmesi özgün gruptakine yakin bir performans beklenir hedef toplum disinda kullanilabilmenin sarti
Sabit Hata Geçerlilik Yapi geçerliligi benzer ölçeklerle nasil kesistigi iliskisiz ölçeklerden nasil ayristigi örtüstürücü - ayristirici geçerlilik multitrait-multimethod matrix bir gruptaki tüm ölçekler > tüm gruplardaki bir ölçek
Multitrait-Multimethod Matriks Fizik fonksiyon Sosyal fonksiyon SF-36 Agri Mental saglik Vitalite SF-36 Fizik fonksiyon 0.75* Sosyal Fonksiyon 0.29 0.75* Agri 0.48 0.41 0.76* Mental Saglik 0.12 0.38 0.16 0.76* Vitalite 0.38 0.46 0.41 0.63 0.73* NSP Fiziksel hareketlilik -0.59** -0.25-0.50-0.24-0.34 Sosyal izolasyon -0.11-0.44** -0.07-0.48-0.40 Agri -0.38-0.17-0.57** -0.14-0.24 Emosyonel tepkiler -0.15-0.22-0.14-0.65** -0.51 Enerji -0.51-0.24-0.45-0.24-0.57 * *
Multitrait-Multimethod Matriks Klinisyen Hasta Klinisyen Hasta Apati Depresyon Anksiyete Apati Depresyon Anksiyete Apati Depresyon 0.51 Anksiyete 0.31 0.76 Apati 0.95 0.49 0.34 Depresyon 0.57 0.76 0.56 0.56 Anksiyete 0.51 0.70 0.79 0.58 0.82