T.C. ÇUKUROVA ÜNİVERSİTESİ SAĞLIK BİLİMLERİ ENSTİTÜSÜ BİYOİSTATİSTİK ANABİLİM DAL ÖLÇÜMLERİN UYUMLULUĞU VE TIPTAKİ UYGULAMALARI SADE KILIÇ YÜKSEKLİSANS TEZİ TEZ DANIŞMANI Prof. Dr. H. REFİK BURGUT ADANA-2009
TEŞEKKÜR Tezimin hazırlanması, planlanması ve yürütülmesi aşamalarında bana destek olan tez danışmanım Prof. Dr. H. Refik BURGUT a, tezime olan katkıları ve eğitim süresince verdiği destek için Prof. Dr. Z. Nazan ALPARSLAN a, tezimin düzeltilmesindeki katkıları nedeni ile Prof. Dr. Mehmet KARAKAŞ a ve Doç. Dr. Gülşah SEYDAOĞLU na, tezimin yazımında her konuda yardımını esirgemeyen Öğr. Gör. Dr. Yaşar SERTDEMİR ve Arş. Gör. İlker ÜNAL a teşekkür ederim. Sade KILIÇ iii
İÇİNDEKİLER KABUL VE ONAY ii TEŞEKKÜR iii İÇİNDEKİLER iv ÇİZELGELER DİZİNİ vi SİMGELER VE KISALTMALAR DİZİNİ viii ÖZET ix ABSTRACT x 1 GİRİŞ VE AMAÇ 1 2 GENEL BİLGİLER 3 2.1 İsimsel Ölçekler İçin Uyumluluk Ölçütleri 4 2.1.1 Temel Uyumluluk İndeksleri 4 2.1.2 Kappa 10 2.2 Sıralı Ölçekler İçin Uyumluluk Ölçütleri 21 2.2.1 Ağırlıklandırılmış Kappa 21 2.2.2 Goodman ve Kruskal γ 25 2.2.3 Kendall τ 26 2.2.4 Kendall Uyumluluk Katsayısı (W) 27 2.3 Sürekli Değişkenler İçin Uyumluluk Ölçütleri 30 2.3.1 Pearson Korelasyon Katsayısı 30 2.3.2 Spearman Sıra Korelasyon Katsayısı 31 2.3.3 Sınıf İçi Korelasyon Katsayısı 32 2.4 Tüm Ölçekler için Alternatif Yaklaşım - Krippendorff Alfa 37 2.4.1 İsimsel Ölçekte Değerlendirme Yapan İki Değerlendirici 38 2.4.2 İsimsel Ölçekte Değerlendirme Yapan Çoklu Değerlendirici 40 2.4.3 Sıralı Ölçekte Değerlendirme Yapan Çoklu Değerlendirici 42 2.4.4 Sürekli Ölçekte Değerlendirme Yapan Çoklu Değerlendirici 43 3 GEREÇ VE YÖNTEM 46 3.1 İsimsel Ölçekte Değerlendirme Yapan İki Değerlendirici 46 3.2 İsimsel Ölçekte Çoklu Değerlendirme Yapan Çoklu Değerlendirici 46 iv
3.3 Sıralı Ölçekte Değerlendirme Yapan İki Değerlendirici 47 3.4 Sıralı Ölçekte Çoklu Değerlendirme Yapan Çoklu Değerlendirici 48 3.5 Sürekli Ölçekte Değerlendirme Yapan İki Değerlendirici 49 3.6 Sürekli Ölçekte Değerlendirme Yapan Çoklu Değerlendirici 49 3.7 Eksik Veri Olması Durumunda 49 4 BULGULAR 51 4.1 İsimsel Ölçekte Değerlendirme Yapan İki Değerlendirici 51 4.2 İsimsel Ölçekte Çoklu Değerlendirme Yapan Çoklu Değerlendirici 52 4.3 Ordinal Değerlendirme Yapan İki Değerlendirici 53 4.4 Sıralı Ölçekte Çoklu Değerlendirme Yapan Çoklu Değerlendirici 54 4.5 Sürekli Ölçekte Değerlendirme Yapan İki Değerlendirici 54 4.6 Sürekli Ölçekte Değerlendirme Yapan Çoklu Değerlendirici 55 4.7 Eksik Veri Olması Durumu 56 4.7.1 Sıralı Ölçekte Eksik Değerlendirme Yapan Çoklu Değerlendirici 56 4.7.2 Sürekli Ölçekte Eksik Değerlendirme Yapan Çoklu Değerlendirici 57 5 TARTIŞMA 58 5.1 İsimsel Ölçekte Değerlendirme Yapan İki Değerlendirici 58 5.2 İsimsel Ölçekte Değerlendirme Yapan Çoklu Değerlendirici 58 5.3 Sıralı Ölçekte Değerlendirme Yapan İki Değerlendirici 58 5.4 Sıralı Ölçekte Çoklu Değerlendirme Yapan Çoklu Değerlendirici 59 5.5 Sürekli Ölçekte Değerlendirme Yapan İki Değerlendirici 59 5.6 Sürekli Ölçekte Değerlendirme Yapan Çoklu Değerlendirici 60 5.7 Eksik Veri Olması Durumu 60 6 SONUÇ VE ÖNERİLER 61 7 KAYNAKLAR 63 8 ÖZGEÇMİŞ 67 v
ÇİZELGELER DİZİNİ Çizelge 2.1 İkili değerlendirme yapan iki değerlendiriciye ait değerlendirme sonuçları 4 Çizelge 2.2 Çoklu değerlendirme yapan iki değerlendiriciye ait değerlendirme sonuçları 6 Çizelge 2.3 K tane hastanın üç kategori içerisinde kaç defa değerlendirildiğine ait sonuçlar 7 Çizelge 2.4 Değerlendiricilerin, durum k için, j. kategoride kaç defa değerlendirdiklerine ait sonuçlar 7 Çizelge 2.5 İki klinisyene ait tanı değerlendirmesi 12 Çizelge 2.6 k kategorili ölçek üzerindeki iki değerlendiricinin değerlendirmelerinin ortak olasılıkları 14 Çizelge 2.7 On hastanın 14 psikiyatris tarafından 5 kategoride değerlendirilmesi ile elde edilen sonuçları 16 Çizelge 2.8 On dört psikiyatrist tarafından 5 kategoride değerlendirilen 10 hastaya ait değerlendirmelerin kategorilere göre genel oranları, kappa değerleri ve bunlarla ilgili hesaplamalar 16 Çizelge 2.9 (A)Lateral kaymanın varlığının değerlendirilmesi (B) Aynı verinin a ve d hücreleri eşit uyumluluk olarak verecek şekilde düzeltilmiş hali. 17 Çizelge 2.10 İki klinisyenin 100 hastada koyduğu bel kayması ile ilgili tanı 19 Çizelge 2.11 Omuz eklemindeki harekete bağlı ağrı değerlendirmelerinin test-tekrar test uyumluluğu 22 Çizelge 2.12 Dört farklı düzeyi olan ordinal ölçek üzerinde; ağırlıklandırılmamış, lineer ve ikinci dereceden ağırlıklar 23 Çizelge 2.13 Spinal ağrı değerlendirmelerinin değerlendiriciler arası uyumluluğu 23 Çizelge 2.14. Siz ve eşiniz için cinsellik ne kadar zevklidir sorusuna eşlerden alınan yanıtlar 26 Çizelge 2.15 SPECT cihazı ile bölgesel miyokardial tracer bulgularının 8 lik ve 16 lık düzende 4 noktalı skorlama sistemi kullanılarak karşılaştırılması 27 Çizelge 2.16 Altı hastanın 3 uzman tarafından değerlendirme sonuçları 29 Çizelge 2.17 Çizelge 2.16 daki verinin dizinlere göre düzenlenmiş hali 29 Çizelge 2.18 İki değişken X ve Y için n= 8 gözlem değeri 31 Çizelge 2.19 İki değişken X ve Y gözlem değerleri üzerinde bazı hesaplamalar 32 Çizelge 2.20 Sınıf içi korelasyon katsayısının çeşitleri 34 Çizelge 2.21 Dört değerlendiricinin 6 birime ait değerlendirme sonuçları 35 Çizelge 2.22 Çizelge 2.21 deki değerlendirmeler için tek yönlü varyans analizi 35 Çizelge 2.23 Çizelge 2.21 deki değerlendirmeler için iki yönlü varyans analizi 36 Çizelge 2.24 İki gözlemci tarafından 12 birim üzerinde yapılan değerlendirmelerin sonuçları 38 Çizelge 2.25 Elde edilen çakışma matrisi 39 Çizelge 2.26 Çizelge 2.24 deki veriye ait çakışma matrisi 40 Çizelge 2.27 Nominal değerlendirme yapan m sayıdaki değerlendirici için veri matrisi 40 Çizelge 2.28 Nominal değerlendirme yapan m sayıdaki değerlendirici için çakışma matrisi 41 Çizelge 2.29 Dört gözlemcinin 12 birime ait değerlendirme sonuçları 41 Çizelge 2.30 Çizelge 2. 29 deki veriye ait çakışma matrisi 42 Çizelge 2.31. Çizelge 2.29 daki veriye ait ordinal metrik farklar 43 Çizelge 2.32 Çizelge 2.29 daki veriye ait oransal metrik farklar 44 Çizelge 2.33 Ölçek tiplerine ve değerlendirici sayısına göre uygun uyumluluk ölçütleri 45 Çizelge 4.1 TOAST sınıflaması kullanarak iskemik inme alt tiplerine göre 104 inme vakasının iki nörolog tarafından sınıflandırılması 51 vi
Çizelge 4.2 TOAST sınıflaması kullanarak iskemik inme alt tiplerine göre inme vakalarını değerlendiren iki nörolog arasındaki uyumluluğu ölçmek için hesaplanan Kappa, Krippendorff alfa değerleri ve bu ölçütlere ait p değerleri 51 Çizelge 4.3 Otuz bireyin 6 psikiyatris tarafında 5 kategoride değerlendirilmesi ile elde edilen sonuçlar 52 Çizelge 4.4 0tuz bireyi değerlendiren 6 psikiyatris arasındaki uyumu ölçmek için Fleiss kappa, Krippendorff alfa değerleri ve bu değerlere ait p değerleri 53 Çizelge 4.5 İşgörmezlik derecesi bakımından Değiştirilmiş Dizin Skalası kullanılarak hastane bilgilerine göre inme vakalarının iki nörolog tarafından değerlendirilmesi 53 Çizelge 4.6 İşgörmezlik derecesi bakımından Değiştirilmiş Dizin Skalası kullanılarak hastane bilgilerine göre inme vakalarını değerlendiren iki nörolog arasındaki uyumluluğu ölçmek için ağırlıklandırılmış kappa değeri, Goodman ve Kruskal γ, Kendall τ, Krippendorff alfa değerleri ve bu değerlere ait p değerleri 53 Çizelge 4.7 Profesör, asistan ve hemşireler için eğitim öncesi ve sonrası için hesaplanan Krippendorff alfa, Kendall W değerleri ve ölçütlere ait p değerleri. 54 Çizelge 4.8 Wei ve Lanchin nin çalışmasındaki plasebo grubundaki ilk 34 hastanın başlangıç, altıncı, onikinci ve yirminci aya ait serum kolesterol değerleri 55 Çizelge 4.9 Başlangıç ve altıncı aya ait serum kolesterol ölçümleri arasındaki uyumu belirlemek için hesaplanan Pearson korelasyon katsayısı, Spearman sıra korelasyon katsayısı, ICC, Krippendorff alfa değerleri ve bu değerlere ait p değerleri 55 Çizelge 4.10 Başlangıç, altıncı ay, onikinci ay ve yirminci aya ait serum kolesterol ölçümleri arasındaki uyumu belirlemek için hesapladığımız ICC, Krippendorff alfa değerleri ve bu değerlere ait p değerleri 56 Çizelge 4.11 Aşil tendonu kopması durumunda ameliyat geçiren kontrol grubundaki 26 hastanın başlangıç, 6 ay ve 12 ay sonrasındaki EuroQol aktivite skorları 56 Çizelge 4.12 Başlangıç, 6 ay ve 12 ay sonrasındaki değerlendirmeler arasındaki uyumluluğu ölçmek için hesaplanan Krippendorff alfa, Kendall W değerleri, bu değerlere ait p değerleri ve analizde kullanılan birey sayısı 57 Çizelge 4.13 Wei ve Lanchin nin çalışmasındaki plasebo grubundaki ilk 34 hastanın başlangıç, altı ay serum kolesterol değerlerinden beş gözlem silinerek elde edilen veri 57 Çizelge 4.14 Wei ve Lanchin nin çalışmasındaki plasebo grubundaki ilk 34 hastanın başlangıç, altı ay serum kolesterol değerlerinden beş gözlem silinerek elde edilen veri için elde edilen ICC ve Krippendorff alfa değerleri ve bu değerler ait p değerleri 57 vii
SİMGELER VE KISALTMALAR DİZİNİ α γ ICC κ κ w p o p s ρ τ W Krippendorff alfa Goodman ve Kruskall gamma Sınıf içi korelasyon katsayısı Kappa Ağırlaklandırılmış Kappa Genel uyumluluk oranı Özel uyumluluk oranı Korelasyon katsayısı Kendall tau Kendall W viii
ÖZET ÖLÇÜMLERİN UYUMLULUĞU VE TIPTAKİ UYGULAMALARI Tıp alanında yapılan çalışmalarda ölçümlerin tekrar elde edilebilirliği; deney hatasını küçültmede ve araştırma sonuçlarının benzer araştırma sonuçlarıyla kıyaslanmasında önemli bir rol oynamaktadır. Uyumluluk ölçüsü; bir hasta hakkında, iki klinisyenin değerlendirmelerinin tutarlılığının veya bir klinisyenin farklı zamanlardaki değerlendirmelerinin tutarlılığının ölçütüdür. Uyumluluk ölçütleri farklı değerlendiriciler veya aynı değerlendiricilerin farklı zamanlarda tekrar ölçümlerindeki uyumluluğunun belirlenmesinde; ölçümlerin kategorik ve sürekli oluşuna göre farklı uyumluluk ölçütleri kullanılması gerekmektedir. Bunlar temel uyumluluk ve genel uyumluluk indeksleri altında toplanmış olup bu çalışmada genel uyumluluk oranı,p 0, özel uyumluluk oranı, p s, Kappa, Ağırlıklandırılmış Kappa, Kendall W, Goodman ve Kruskal γ, Kendall τ, Sınıf içi korelasyon katsayısı ve Krippendorff alfa literatürden alınan örnek veriler kullanılarak incelenmiştir. Ayrıca Çukurova Üniversitesi Tıp Fakültesi Hastanesi Cilt Hastalıkları Anabilim Dalında yapılan bir çalışmada elde edilen verilerin alt grubu farklı uyumluluk ölçütlerini değerlendirmede ve karşılaştırmada kullanılmıştır. Literatürdeki çalışmalardan elde edilen veriler için alternatif uyumluluk ölçütleri uygulanmış ve karşılaştırılmıştır. Bu karşılaştırmalar değerlendirici sayısına ve değişken tipine göre yapılmıştır. Çalışmada bulgular üç başlık altında değerlendirilebilir: Ordinal değerlendirme yapan çoklu değerlendirici için Kendall W nin ölçümler yerine dizin değerlerini kullandığı için bazı durumlarda uyumu doğru yansıtamamaktadır. Bu nedenle Krippendorff alfa değerininde hesaplanması ve Kendall W değeri ile karşılaştırması doğru olacaktır. Nominal, ordinal veya sürekli ölçekte çoklu değerlendiricili eksik veri durumunda; Krippendorff alfa eksik değerlendirmesi olan bireyleri de hesaba kattığından diğer ölçütlerden daha avantajlıdır. Ayrıca ilişki katsayılarından Goodman ve Kruskal γ, Kendall τ, Pearson ve Spearman korelasyon katsayıları bazı durumlarda uyumluluğu doğru yansıtmadığından dikkatli kullanılmalıdır. Anahtar kelimeler: Uyumluluk, Fleiss kappa, Kendall W, Krippendorff alfa, Sınıf içi korelasyon katsayısı ix
ABSTRACT AGREEMENT OF MEASUREMENTS AND APPLICATIONS IN MEDICINE Reproducibility of the measurements in medical studies has an important role both in reducing the error of experiment and in comparison of the results with results of similar research. Measurement of agreement is the criterion of the consistency between two clinicians ratings of a patient or consistency of a clinician s ratings of a patient over a number of occasions. Assesment of the agreement for different raters or repeated measurements by the same raters, depending on whether measurements are categorical or continuous require use of different measures. This study summarizes the measures of basic and general agreement indices such as p 0, p s, kappa, weighted kappa, Fleiss kappa, Kendall s W, Goodman and Kruskal s γ, Kendall s τ, ICC and Krippendorff s alpha and evaluates them by using data from literature. Additionally data from a study conducted in the department of dermatology at the medical school of Cukurova University is used in the evaluation and comparison of different measures of agreement. Alternative measures of agreement were applied on and compared for data from literature. Comparisons of these measures are made depending on the number of raters and types of variables. The study concludes with three main findings: Kendall W does not reflect true agreement in some cases, because it uses rank of measurements instead of the originals. Thus calculating Krippendorff alfa and comparing it with Kendall W are recommended. For ratings made on nominal, ordinal or continuous scale for multiple raters with missing data, Krippendorff alfa has the advantage that it uses information from individuals with missing ratings. And lastly, the association measures Goodman and Kruskal γ, Kendall τ, Pearson and Spearman correlation coefficient that should be used with care becuause they may not reflect true agreement. Key words: Agreement, Fleiss kappa, Kendall s W, Krippendorff s alfa, Intraclass correlation coefficient x
1 GİRİŞ VE AMAÇ Klinisyen veya tedavi araçları tarafından alınan ölçümlerin güvenilirliği sağlık hizmetlerinin etkin dağıtımının temelidir. Bu nedenle klinisyenler ve sağlık elemanları hatalı olacak ölçümlerin büyüklüklerini ve gerçek değerden sapacak kliniksel skorların düzeylerini değerlendirme ihtiyacının farkına varmışlardır. Özellikle, klinik değerlendirmeler süresince kaydedilen değerlendirmeler ve bulgular ister aynı klinisyen tarafından farklı zamanlarda veya kısa bir süre içinde farklı klinisyenler tarafından kaydedilsin, tutarlı olmak zorundadır. Değerlendirmelerin tutarlılığı uyumluluğu yansıtmaktadır. Uyumluluk ölçüsü; bir hasta hakkında, iki klinisyenin değerlendirmelerinin tutarlılığının veya bir klinisyenin farklı zamanlardaki değerlendirmelerinin tutarlılığının ölçütüdür. Yüksek uyumluluk; farklı zamanlarda ve diğer laboratuarlarda sonuçların yeniden tekrarlanabilirliğinin bir göstergesidir 1. Tıp bilimlerinde birçok konuda tutarsızlığın var olduğu ve bu konuda sorunların olduğu bilinmektedir. Ölçümlerde; tıbbi cihazların kendilerine özgü hassasiyetlerine, cihazı kullanan değerlendiricilerin eğitimine ve yeteneğine, ilgilenilen birimlerin özelliklerine göre farklılıklar olabilmektedir. Bu nedenle tanıda ortaya çıkabilen farklılıklar sorun oluşturmaktadır 2. Shoukri, farklı tıp alanlarında tutarsızlıkları ve yanlışlıkları tanımlamıştır 2. Örneğin, akciğer tüberkülozu tanısı koymaya çalışan beş değerlendirici arasındaki tutarsızlığı tanımlayan Birkelo ve ark. nın 3 (1947) çalışmasından söz etmiştir. Fletcher a 4 (1952) göre, klinisyenler rutin göğüs muayenesinde de çok fazla tutarsızlılık göstermektedir. Doktorların tanı koymadaki tutarsızlıkları yaygın ve ciddi bir problemdir. Radyolojide tutarsız ve yanlış tanı koyma sorunları çok iyi bilinmesine rağmen tıbbın diğer alanları için aynısı söylenemeyebilir 2. Değerlendiriciler arasındaki tutarsızlık, klinik denemelerde hastanın iyileşme derecesini değerlendirmede önemli bir sorundur. Örneğin, Faz-2 denemelerde, hastanın tedaviye yanıtı, genellikle radyolojideki bir alet tarafından ölçülen tümör büyüklüğünü göz önüne alan radyolog grubu tarafından değerlendirilir. Radyologların değerlendirmesindeki farklılıkların kliniksel denemenin sonucu üzerinde önemli etkisi 1
vardır. Değerlendiriciler arasındaki çok büyük farklılıklar klinik denemelerin sonuçlarının daha az güvenilir olmasına neden olmaktadır 2. Uyumluluğun istatistiksel analizi; tıpta birçok alanda yapılmaktadır. Örneğin; radyoloji alanında görüntülemedeki gözlemci uyumluluğun istatistiksel analizi üç neden için yapılır. Birincisi: Gözlemci uyumluluğu, görüntüleme tanısının güvenilirliği hakkında bilgi sağlar. Güvenilir yöntem, bilgili gözlemciler tarafından kullanıldığında iyi uyumluluk ortaya koymalıdır. İkincisi: Gözlemci uyumluluğu, hastalığın ciddiyeti ve yaygınlığını gösteren anormalliğin sınıflandırılması için kullanılan metodun tutarlılığının kontrol edilmesinde ve hastalığa ait belirtilerin saptamasında kullanılır. Üçüncüsü: Özgüllük ve hassaslık ölçümleri göz önünde bulundurulmadan teşhis koymada bağımsız bir yöntem uygulanır ise, gözlemci uyumluluğu görüntüleme yönteminin genel tahminini verir 5. Çoklu karar vericilerin, uzmanların, tanı testlerinin değerlendirmeleri arasındaki uyumluluk çalışmalarına, birçok alanda sıkça rastlanır. İlgilenilen kategorik değerlendirmeler; ikili sınıflandırma(evet/hayır, var/yok, v.b.), sıralı kategorik(düşük, orta, yüksek) ve isimsel (şizofrenik, manik depresyon, ağır depresyon, v.b.) değerlendirmelerdir. Değerlendiriciler ifadesi; gözlemcileri, karar vericileri veya tanı testlerini, değerlendirmeler ifadesi ise değerlendirilen birimlerin (kişi veya röntgen gibi) sonuçlarını belirtmede kullanılmaktadır 6. Bu tezde; değişik veri tipleri (kategorik ve sürekli) için geliştirilmiş uyum ölçütlerinin hangi durumlarda kullanıldığını göstermek, yaygın kullanımda olmayan bazı ölçütleri tanıtmak amaçlanmıştır. 2
2 GENEL BİLGİLER Verileri uyumluluk için analiz ederken en sık rastlanan sorun, hangi yöntemin kullanılacağının kesin olarak bilinmemesidir. Sadece uyumluluğu bir şekilde ölçmek yeterli değildir. Uyumluluğu ölçmek için farklı nedenler olabilmektedir. Bu nedenlere bağlı olarak hangi istatistiksel yöntemin kullanılacağını belirlemek önemlidir 6. Bazen hedef, altın standardın yokluğunda değerlendirmelerin doğruluğunu tahmin etmektir. Bu gibi durumlarda uyumluluk analizinin kullanımı uygundur. Bu analiz, yapılan değerlendirmelerin doğruluğu hakkında bilgi verir. Ayrıca, yeni geliştirilmiş bir ölçüm aracı daha önceden kanıtlanmış olan altın standart olarak kabul edilen bir ölçüm aracına göre ne kadar doğru ölçüm yapıp yapmadığı uyumluluk analizlerinden faydalanılarak test edilmektedir 6. Uyumluluğu analiz etmede karşılaşılan diğer bir sorun: geliştirilmiş olan teorilerin eldeki veriye uygunluğu düşünülmeden analiz edilmesidir. Uyumluluğu analiz etmek için kullanılan birçok istatistiksel yöntemler varsayımlara dayanmaktadır. Eğer veriyle ilgili varsayımlar yapılmıyorsa, uygun yöntemi seçmek oldukça zordur. Yapılan varsayımların karmaşık olması gerekmemektedir. Ölçülen özellik kesikli (patojenin varlığı veya yokluğu) veya sürekli mi? Sürekli ise kesikli düzeylere(mesela düşük, orta, yüksek) bölünebiliyor mu? Ölçülen özelliğin normal dağıldığını varsaymak uygun mu veya daha uygun dağılımlar var mı 6? Uyumsuzluğun farklı bileşenlere sahip olduğu göz önünde tutulmalıdır. Sıralı kategorik(ikili sınıflama dahil) değerlendirmeler, uyumsuzluğun iki farklı kaynağını ayırt edebilmelidir. Değerlendiriciler; (a) özelliğin tanımında, (b)özel değerlendirme seviyeleri veya kategorilerin tanımlanması konusunda farklı görüşte olabilirler. Özelliğin tanımı, birkaç değişkenin ağırlıklandırılmış bileşimi olarak düşünülebilir. Örneğin; bir değerlendirici için zeka: %50 sözel beceri, %50 matematiksel beceri, bir başkası için %33 sözel beceri, %33 matematiksel beceri ve %33 devinim becerisi anlamına gelebilir. Bu nedenle, özelliğin tanımlanmasında farklılık gözlenebilmektedir 6. Değerlendiriciler, ilgilenilen özelliği değişik aralıklara böldüğünden dolayı kategorik tanımlar farklılık göstermektedir. Örneğin; düşük beceri, bir değerlendirici için 3
birinciden yirminci yüzdeliğe (percentil) kadar olan bireyler, diğer değerlendirici için birinciden onuncu yüzdeliğe kadar olan bireyler anlamına gelebilir 6. 2.1 İsimsel Ölçekler İçin Uyumluluk Ölçütleri 2.1.1 Temel Uyumluluk İndeksleri Temel uyumluluk indeksleri; genel uyumluluk oranı(p 0 ) ve özel uyumluluk oranı(p s ) olmak üzere iki başlık altında incelenecektir. Genel uyumluluk oranı p 0 veya basit varyantı 2p 0-1 (1964) Holley ve Guilford ve (1977) Maxwell tarafından uyumluluk indeksleri olarak önerilmiştir. Özel uyumluluk oranı p s ; (1945) Dice tarafından benzerlik ölçütü olarak önerilmiştir 7. 2.1.1.1 Genel Uyumluluk Oranı 2.1.1.1.1 İkili (Dichotomous) Değerlendirme Yapan İki Değerlendirici İki değerlendiricinin(eksper, bilirkişi, tanı testi v.b.) değerlendirme sonuçları aşağıda gösterilmektedir. Çizelge 2.1 İkili değerlendirme yapan iki değerlendiriciye ait değerlendirme sonuçları Değerlendirici 2 Değerlendirici 1 - + Toplam - a b a+b + c d c+d Toplam a+c b+d N 4
a, b, c ve d değerleri her bir olası kombinasyonlar için değerlendirici 1 ve değerlendirici 2 tarafından yapılan değerlendirme sonuçlarının gözlenen frekanslarını göstermektedir. p 0 ile gösterilen genel uyumluluk oranı, değerlendirici 1 ve değerlendirici 2 nin uyumlu oldukları durumların oranıdır. Bu oran aşağıdaki gibi hesaplanır. = + + + + = + (1) Genel uyumluluk oranı, ilgilenilen özelliğin pozitif ve negatif uyumluluğunu ayırt edemez. Çok nadir bir özellik için pozitif değerlendirme sonuçlarının; pozitif tanıya karşılık geldiği bir epidemiyolojik uygulamada prevelansın 1000000 da 1 olduğu belirlenmiştir. Eğer p 0 çok yüksek yani 0,99 un üstünde ise; ilgilenilen özelliğin negatif düzeyi üzerindeki uyumluluktan dolayı olduğu varsayılabilir. Bu; Cohen in (1960) p 0 hakkındaki orijinal eleştirisi ile bağdaşmaktadır. Hatta değerlendiriciler değerlendirmelerini tamamen rastgele yaptıkları zaman p 0 daha yüksek olabilir 8. 2.1.1.1.2 Çoklu Değerlendirme Yapan İki Değerlendirici İki değerlendiricinin çoklu(sıralı kategorik veya isimsel) değerlendirme sonuçları; C kategori veya düzeylerin sayısı olmak üzere C*C tablosunda Çizelge 2.2 deki gibi gösterilmektedir. 5
Çizelge 2.2 Çoklu değerlendirme yapan iki değerlendiriciye ait değerlendirme sonuçları Değerlendirici 2 Değerlendirici 1 1 2 C Toplam 1 n 11 n 12 n 1C n 1. 2 n 12 n 22 n 2C n 2........... C n C1 n C2 n CC n C. Toplam n.1 n.2 n.c N n ij ; değerlendirici 1 tarafından kategori i de değerlendirilen ve değerlendirici 2 tarafından kategori j de değerlendirilen durumların sayısını gösterir. n i.; j=1, 2,, C için n ij lerin toplamını veya değerlendirici 1 için kategori i deki marjinal toplamı gösterir. n.j ; i=1,2,,c için n ij lerin toplamını veya değerlendirici 2 için kategori j deki marjinal toplamı gösterir. Çizelge 2.2 için p 0, {n ii } ana köşegenin frekansları toplamının örneklem büyüklüğüne bölünmesi ile elde edilir 8. =1 (2) 2.1.1.1.3 Genelleştirilmiş Durum Genelleştirilmiş formüller; iki değer alan değişkenli, sıralanmış kategorili ve isimsel değerlendirmelere uygulanır ve her durumu değerlendiren değerlendirici sayısını kısıtlamadan farklı değerlendiricilere izin verir. k = 1,.,K ile gösterilen K tane değerlendirilmiş durum(hasta) olsun. n jk ; k. hastanın kategori j(j=1,,c) içerisinde kaç defa değerlendirildiğini gösterir. Örneğin j=1,2,3 olsun, eğer durum 1(örneğin 1. hasta), 5 kere değerlendirilir ve elde edilen değerlendirmeler 1, 1, 1, 2, 2 olursa; n 11 =3, n 21 =2, n 31 =0 dır. 6
Çizelge 2.3 K tane hastanın üç kategori içerisinde kaç defa değerlendirildiğine ait sonuçlar Değerlendirilen durumlar(hastalar) Kategori(j) 1 K 1 3 n 1K 2 2 n 2K 3 0 n 3K 5 Çizelge 2.4 te durum k(k. hasta) üzerinde yapılan değerlendirmeler; {n jk }(j=1,,c)={n 1k, n 2k,,n Ck } olarak özetlenmektedir. Aşağıdaki eşitlikte n k ; durum k(k. hasta) üzerinde yapılan toplam değerlendirme sayısını göstermektedir. = (3) Çizelge 2.4 Değerlendiricilerin, durum k için, j. kategoride kaç defa değerlendirdiklerine ait sonuçlar Değerlendirilen Durumlar(k) Kategori(j) 1 2 K 1 n 11 n 12 n 1K 2 n 21 n 22 n 2K.... C n C1 n C2 n CK n k n 1 n 2 n K Değerlendirme düzeyi j üzerindeki k.durum(hasta) için uyumlu değerlendirmelerin sayısı n jk (n jk -1) dir. Bütün durumlar üzerinden özellikle j değerlendirme düzeyinde uyumlu değerlendirmelerin toplam sayısı (4) deki eşitlik ile hesaplanır. 7
( ) = ( 1) (4) Uyumlu değerlendirmelerin toplam sayısı, kategoriye bakılmaksızın bütün kategoriler üzerinden S(j) lerin toplamına eşittir. = ( ) (5) Olası uyumlu değerlendirmelerin toplam sayısı aşağıdaki gibidir. = ( 1) (6) Uyumluluğun genel oranı aşağıdaki gibi hesaplanır 8. = (7) 8
2.1.1.2 Özel Uyumluluk Oranı 2.1.1.2.1 İkili Değerlendirme Yapan İki Değerlendirici Çizelge 2.1 için pozitif ve negatif değerlendirme sonuçlarına ait özel uyumluluk oranı (p s + ve p s - ) aşağıdaki gibi hesaplanır. = 2 2 + +, = 2 2 + + (8) + Bu oranlar, tahmin edilmiş koşullu olasılıklar gibi yorumlanabilir. Örneğin; p s rastgele seçilmiş değerlendiricilerden birinin pozitif değerlendirme yaptığı bilgisi verildiğinde, diğerinin de pozitif değerlendirme yapma olasılığının koşullu tahmini değerini verir. p + s ve p - s nin birlikte değerlendirilmesi; çok düşük veya çok yüksek prevelanslı çalışmalarda uyumluluğun sadece tesadüfi olarak yüksek olup olmadığını gösterebilmektedir. Daha önce bahsettiğimiz 1000000 da 1 prevelanslı epidemiyolojik örnekte(bölüm 2.1.1.1.1), rastgele değerlendirmeler yüksek p 0 ve p - s değerlerine neden olur. Eğer rastgele değerlendirmeler yapılıyor ise, p + s aşırı düşük olur. p + - s ve p s değerlerinin her ikisinin de yüksek olması; gözlenen uyumluluk düzeyinin tesadüfen meydana gelen uyumluluk düzeyinden daha yüksek olduğunu göstermektedir. Bu nedenle p + s ve p - s nin her ikisinin de hesaplanması ve uyumluluğun yeterli düzeyde olduğunun düşünülmesi için her ikisinin de yüksek olması gerekmektedir 8. Rogot ve Goldberg(1966) p ve p arasında seçim yapmak yerine ortalamalarını alarak aşağıdaki uyumluluk indeksini önermişlerdir 7. = 1 2 ( + ) = 2a+b+c + 2d+b+c (9) 9
2.1.1.2.2 İki Değerlendirici, Çoklu Değerlendirme Sonuçları Çizelge 2.2 için kategori i ye özgü uyumluluk oranı aşağıdaki gibi hesaplanmaktadır. ( ) = 2. +. (10) 2.1.1.2.3 Genelleştirilmiş Durum Çizelge 2.4 için özellikle kategori j üzerinde durum k için olası uyumlu değerlendirmelerin sayısı n jk (n k -1) dir ve bütün durumlar üzerinden kategori j üzerindeki olası uyumlu değerlendirmelerin sayısı aşağıdaki gibidir. ( ) = ( 1) (11) Kategori j ye özgü uyumluluk oranı aşağıdaki gibi hesaplanır 8. ( ) = ( ) ( ) (12) 2.1.2 Kappa Kappa istatistiği ilk olarak (1960) Cohen tarafından önerilmiştir 7. Araştırmacıların hastalık veya başka bir faktörün varlığını veya yokluğunu belirlemek 10
için isimsel ölçekte uyumluluğun değerlendirilmesinde kappa istatistiği sık kullanılmaktadır. İki araştırmacı veya klinisyenin tanı koymada aynı inceleme aracını kullandığı veya değişik araçları kullandığı durumlarda uyumluluk belirlenebilir. İki klinisyen arasındaki uyumluluğu ölçmede uyumluluğun genel yüzdesi (bütün eşlenmiş değerlendirmeleri hesaplayarak) veya etkin yüzdesi (en az bir klinisyenin hastalığın varlığını teşhis ettiği eşlenmiş değerlendirmeler üzerinden hesaplama) kullanılmaktadır. Bu değerler uyumluluğun ölçütlerini vermesine rağmen tesadüfen ortaya çıkan uyumluluğu hesaba katmaz. Eğer klinisyenler tesadüfen uyumlu oluyorlar ise, hiçbir şekilde gerçekten uyumlu değillerdir; sadece tesadüfen beklenenin dışındaki uyumluluğun gerçek uyumluluk olduğu düşünülebilir. Kappa, gerçek uyumluluk ölçütüdür. Kappa tesadüfen beklenenin dışındaki uyumluluğun oranını gösterir. Bu aşağıdaki gibidir 9. = ö ü 1 ü (13) ; gözlenen uyumluluk oranı ve ; rasgele beklenen uyumluluk oranı olmak üzere sembol olarak aşağıdaki gibidir 9. = 1 (14) i ve j; birinci ve ikinci değerlendiricinin indisleri olmak üzere kappaya ait varyans (15) deki eşitlik yardımıyla hesaplanır 10. ( ) = 1 (1 ) (1 ) + 2(1 )[2 ( + )] (1 ) + (1 ) ( + ) 4 (1 ) (15) 11
Kappa katsayısı, klinisyenlerin uyumsuzluğunun şansa bağlı olarak mı yoksa sistematik farklılıklardan (örneğin; bunlar sürekli bir gidişattan) dolayı mı olduğunu göstermez 11 ve veri buna göre değerlendirilmelidir 9. Landis ve Koch (1977) uyumluluğun derecesine göre kappanın değerlerinin değişik aralıklarını tanımlamıştır. 0,75 veya daha büyük değerler; mükemmel uyumluluğu, 0,40 veya daha altındaki değerler; zayıf uyumluluğu, 0,40 ve 0,75 arasındaki değerler; orta dereceli uyumluluğu gösterir 7. Kategori sayısı ne kadar küçük olursa kappa değeri de o kadar büyük olmaktadır 9. 2.1.2.1 İkili Değerlendirme Yapan İki Değerlendirici İki kategorili isimsel ölçek üzerinde eşlenmiş değerlendirmeler genellikle 2*2 olasılık tablosunda gösterilir 12. Çizelge 2.5 İki klinisyene ait tanı değerlendirmesi Klinisyen 2 Klinisyen 1 Risk var Risk yok Toplam Risk var a b g 1 Risk yok c d g 2 Toplam f 1 f 2 n Hücre a; her iki klinisyenin risk var kararı verdiği hasta sayısını, hücre d; her iki klinisyenin risk yok kararı verdiği hasta sayısını, hücre b ve c klinisyenlerin uyumlu olmadıkları hasta sayısını gösterir. Klinisyen 2 nin risk var değerlendirmesi yaptığı hasta sayısı f 1 marjinal toplamı ve risk yok değerlendirmesi yaptığı hasta sayısı marjinal toplamı olarak verilir. Klinisyen1 için karşılık gelen marjinal toplamlar g 1 ve g 2 dir 9. Ana köşegen hücrelerindeki(a ve d hücreleri) frekansların toplanması ile gözlenen uyumluluğun frekansı ve n'ye bölünmesi ile gözlenen uyumluluğun oranı elde edilir. Çizelge 2.5 de gözlenen uyumluluğun oranı aşağıdaki gibi hesaplanır 9. 12
= ( + ) (16) Beklenen uyumluluğun oranı, klinisyenler arasındaki değerlendirmelerin bağımsızlığı varsayımına dayanır. Bu nedenle, risk var değerlendirmesi için beklenen uyumluluğun frekansı ana köşegen üzerindeki her bir hücreye karşılık marjinal toplamların çarpılması ve n ye bölünmesi ile hesaplanır. Bu hücrelerdeki beklenen uyumlulukların toplanması ve n ye bölünmesi beklenen uyumluluğun oranını verir. Çizelge 2.5 deki veri için, bu aşağıdaki gibi hesaplanır 9. = + (17) Formülde yerine konularak κ aşağıdaki gibi elde edilir 9. = 1 (18) 2.1.2.2 Çoklu Değerlendirme Yapan İki Değerlendirici k kategorili ölçek üzerindeki iki değerlendiricinin değerlendirmelerinin ortak olasılıkları Çizelge 2.6 da verilmiştir. 13
Çizelge 2.6 k kategorili ölçek üzerindeki iki değerlendiricinin değerlendirmelerinin ortak olasılıkları Değerlendirici B Değerlendirici k 1 2 A Toplam 1 p 11 p 12 p 1k p 1. 2 P 21 p 22 p 2k p 2........... k p k1 p k2 p kk p k. Toplam p.1 p.2 p.k 1 Gözlenen uyumluluğun genel oranı; = (19) ve tesadüfi-beklenen uyumluluğun genel oranı aşağıdaki gibidir. =.. (20) Kappa aşağıdaki formül ile hesaplanır 7. = 1 (21) 14
2.1.2.3 Çoklu Değerlendirme Yapan Çoklu Değerlendirici Fleiss (1981) tarafından önerilen çoklu değerlendiriciler arasındaki uyumluluğun ölçütü, Cohen kappa istatistiğinin genellemesidir. n bireyin her biri, birbirini dışlayan ve kapsamlı k( 2) kategoride m( 2) değerlendirici tarafından bağımsız olarak değerlendirilmektedir. x ij ; m değerlendirici tarafından değerlendirilen birey i(i=1,2,,n) için kategori j(j=1,2,...,k) deki değerlendirme sayısı, ; kategori j deki değerlendirmelerin genel oranı ve ; kategori j için kappa değeri olmak üzere aşağıdaki eşitlikler ile hesaplanır 14. = (22) =1 ( ) ( 1) (1 ) (23) hesaplanır 14. nin ağırlıklandırılmış ortalaması olan kappa ve ( ) aşağıdaki gibi = (1 ) (1 ) (24) 2 ( ) = ( 1) (25) 15
14 psikiyatrisin 10 hastayı incelemesi istenmiştir. Her psikiyatris her hastayı 5 tanıdan birinde değerlendirmiştir. Çizelge 2.7 de 10 hastanın 14 değerlendirici tarafından toplam 5 kategorideki değerlendirme sonuçları gösterilmektedir 15. Çizelge 2.7 On hastanın 14 psikiyatris tarafından 5 kategoride değerlendirilmesi ile elde edilen sonuçları Tanı(j) Hasta(i) 1 2 3 4 5 1 0 0 0 0 14 2 0 2 6 4 2 3 0 0 3 5 6 4 0 3 9 2 0 5 2 2 8 1 1 6 7 7 0 0 0 7 3 2 6 3 0 8 2 5 3 2 2 9 6 5 2 1 0 10 0 2 2 3 7 Toplam =20 =28 =39 =21 =32 Çizelge 2.8 On dört psikiyatrist tarafından 5 kategoride değerlendirilen 10 hastaya ait değerlendirmelerin kategorilere göre genel oranları, kappa değerleri ve bunlarla ilgili hesaplamalar j (1 ) (1 ) 1 0,143 0,202 0,123 0,025 2 0,2 0,08 0,16 0,013 3 0,279 0,172 0,201 0,035 4 0,15 0,033 0,128 0,004 5 0,229 0,508 0,177 0,09 Toplam 0,789 0,167 = (1 ) (1 ) = 0,167 0,789 =0,212 16
2.1.2.4 Kappa Değerini Etkileyen Faktörler Önceden belirtildiği gibi, kappanın önemi tesadüfi beklenenden daha büyük uyumluluk oranını göstermesidir. Ancak katsayının yorumlanması çok açık değildir, çünkü katsayının büyüklüğünü ve yorumunu etkileyebilecek diğer faktörler de vardır. Bu faktörler arasında kappanın büyüklüğünü etkileyebilecekler; prevelans, yanlılık ve değerlendirmelerin bağımsız olmamasıdır 9. 2.1.2.4.1 Prevelans Kappa katsayısı, özelliğin(örneğin; hastalık veya klinik belirti) prevelansı tarafından etkilenir. Bir özellik ile ilgili olarak ya pozitif ya da negatif olarak sınıflandırılmış durumlar arasından değerlendiricilerin seçtiği bir durum için, pozitif sınıflandırma üzerindeki uyumluluğun oranı negatif sınıflandırmadan farklı olduğunda prevelans etkisi vardır. Bu, prevelans indeksi olarak ifade edilebilir. Çizelge 2.5 deki ifadeler kullanılarak, ; bu hücrelerin frekansları arasındaki farkın değeri (işaretler ihmal edilir) ve n; eşlenmiş değerlendirmelerin sayısı olmak üzere prevalans indeksi aşağıdaki gibi hesaplanır 9. = (26) Çizelge 2.9 (A)Lateral kaymanın varlığının değerlendirilmesi (B) Aynı verinin a ve d hücreleri eşit uyumluluk olarak verecek şekilde düzeltilmiş hali. A Klinisyen 2 Klinisyen 2 B Var Yok Toplam Var Yok Toplam Klinisyen 1 Var 28(a) 3(b) 31 Klinisyen 1 Var 15(a) 3(b) 18 Yok 6(c) 2(d) 8 Yok 6(c) 15(d) 21 Toplam 34 5 39 Toplam 21 18 39 17
Eğer prevelans indeksi yüksek(pozitif değerlendirmenin prevelansı ya yüksek ya da düşüktür) ise, tesadüfi uyumluluk yüksek olur ve bundan dolayı kappa değeri düşer 16. Çizelge 2.9(A) da, prevelans indeksi yüksektir 9 : = 28 2 39 =0,67 Bundan dolayı tesadüf uyumluluk oranı aynı zamanda oldukça yüksektir(0,72), ve kappanın değeri 0,18 dir. Oysa Çizelge 2.9( B) için aşağıdaki gibidir 9 : = 15 15 39 =0 = (28 +2) 39 (21 18) =0,769 = 39 + 39 (18 21) 39 =0,497 = 1 = 0,769 0,497 1 0,497 =0,54 Değerlendiriciler Çizelge 2.9(A) daki gibi aynı sayıda(30) uyumlu oldukları halde, düşük prevelans indeksi tesadüfi uyumluluğu 0,50 ye düşürür ve kappanın değeri buna göre 0,54 e yükselir 9. Bannerjee ve Fielding 17 (1997) popülasyondaki gerçek prevelans; kappanın büyüklüğünü etkileyendir fikrini ileri sürmüştür. Prevelans indeksi hastalığın gerçek prevelansının doğrudan göstergesini vermediğinden, bu tamamıyla doğru değildir. Hastalığın yaygın veya nadir görülmesi klinisyenin tanı koyma sırasındaki 18
değerlendirmesini etkiler. Klinisyenlerin tanı koyma davranışları ile belirlenen prevelans indeksi, gerçek prevelansın sadece dolaylı bir göstergesidir 9. Prevelans indeksi göz önüne alınmadan prevelanstan etkilenen kappa değerinin doğru yorumlanması zordur 9. 2.1.2.4.2 Yanlılık (Bias) Yanlılık değerlendiricilerin hemfikir olmadıkları pozitif(veya negatif) durumların oranının ölçüsüdür ve Çizelge 2.5 deki b ve c hücrelerinin farkıyla yansıtılmaktadır. Yanlılık indeksi aşağıdaki gibi hesaplanır 9. ı ı = (27) Çizelge 2.10 İki klinisyenin 100 hastada koyduğu bel kayması ile ilgili tanı Klinisyen 2 Klinisyen 2 A B Var Yok Toplam Var Yok Toplam Klinisyen Var (a)29 (b)21 50 Klinisyen Var (a)29 (b)6 35 1 Yok (c)23 (d)27 50 1 Yok (c)38 (d)27 65 Toplam 52 48 100 Toplam 67 33 100 Yanlılık; kappa katsayının yorumlanmasını etkiler. Çizelge 2.10; iki klinisyenin değerlendirdiği 100 hastanın bel kayması tanısıyla ilgili veriyi göstermektedir. Çizelge 2.10 (A) ve (B) de, klinisyenin uyumlu oldukları durumların oranı aynıdır, genel uyumluluk oranı=0,56; ama iki çizelge arasındaki uyumsuzluk her bir klinisyenin durumları aynı oranda pozitif değerlendirmemesinden dolayı farklı olmaktadır. Çizelge 2.10(A) da pozitif olarak değerlendirilen durumların oranları klinisyen 1 ve klinisyen 2 için sırasıyla 0,50 ve 0,52 iken Çizelge 2.10(B) de 0,35 ve 0,67 dir. Çizelge 2.10(A) da uyumsuzluk oldukça simetriktir. Bu nedenle yanlılık indeksi düşük olur: 19
ı ı = 23 21 100 =0,02 Buna karşın Çizelge 2.10(B) de uyumsuzluk simetrik değildir. Bu nedenle yanlılık indeksi Çizelge 2.10(B) de daha yüksektir: ı ı = 38 6 100 =0,32 Çizelge 2.10(A) daki yanlılık indeksi Çizelge 2.10(B) dekinden daha küçük olmasına rağmen kappa değerleri sırası ile 0,12 ve 0,20 dir. Yanlılığın büyük olduğu durumlarda kappa değeri, yanlılığın düşük veya sıfıra yakın olduğu durumlardan daha büyük olur 12. Prevelansın tersine, yanlılığın etkisi kappa küçük olduğu zaman daha büyük olur 18. Prevelans ile olduğu gibi, kappa yanlılık indeksi göz önüne alınarak yorumlanmalıdır 9. 2.1.2.4.3 Değerlendirmelerin Bağımlılığı Kappa katsayısı ile ilgili en önemli varsayımlarından biri klinisyenlerin değerlendirmeleri ile ilgili hataların bağımsız olmasıdır 19. Buda değerlendirilen birimlerin ve değerlendirmelerin bağımsız olmasını gerektirir 20. Farklı değerlendiricilerin aynı birimleri değerlendirmeleri bağımsızlık varsayımını bozmaz 9. Bu nedenle kappa katsayısı, değerlendiricilerin kişi veya birimle ilgili yapılan önceki değerlendirmeleri onaylamasını ya da onaylamamasını gerektiren durumlar için uygun değildir. Bu gibi durumlarda önceki değerlendirmeye olan eğilim nedeniyle kappa değeri büyür. İlk değerlendirme bazen ikinci değerlendirmeyi etkileyebilmektedir ve bu bağımsızlık varsayımının bozulmasına neden olabilir. Bu şekilde görünen uyumluluk önceki kararın anımsanması etkisini yansıtır. Klinisyenin uygun karar 20
konusunda şüpheli olduğu durumda, anımsama etkeni klinisyenin uyumsuzluktan uyumluluk lehine karar alarak kappa değerinin yükselmesine neden olur 19. Bu nedenle, değerlendiriciler içi ve değerlendiriciler arası uyum çalışmaları birim veya bireylerin mümkün olduğunca bağımsız olarak değerlendirilebileceği şekilde tasarlanmalıdır. Aksi halde kappa değeri gerçek değerinden çok daha yüksek gözlenebilir. Bu tip çalışmalarda değerlendirmeler arasındaki bağımsızlığın korunamadığı anlaşıldığı durumlarda kappa değeri dikkatlice yorumlanmalıdır 19. Değerlendirmeler arasındaki bağımlılığı azaltmak için değişik stratejiler önerilmektedir. Tekrarlanan değerlendirmeler arasındaki zaman aralığı önemlidir. Eğer aralık çok kısa ise değerlendirici daha önceki değerlendirmeyi hatırlayabilir veya aralık çok uzun ise inceleme altındaki özellik değişebilir. Önceki değerlendirmelerin anımsanabildiği durumlarda yanlılığın üstesinden gelmek için; tekrarlanmış incelemeler arasında olabildiğince uzun zaman periyotları, ilk değerlendirmede değerlendiricilerin körlenmesi ve her değerlendirici için farklı rastgele sıralanmış hastalar veya birimlerin kullanılması önerilmektedir 9. 2.2 Sıralı Ölçekler İçin Uyumluluk Ölçütleri 2.2.1 Ağırlıklandırılmış Kappa Ağrının değişmesinin beklenmediği sırada iki kez tek bir muayeneci tarafından harekete bağlı ağrı değerlendirmeleri Çizelge 2.11 de gösterilmiştir. Değerlendirme kategorileri ağrı yok, hafif ağrı, orta seviyede ağrı ve şiddetli ağrıdır. Bu kategoriler sıralı ve harekete bağlı ağrının artan seviyelerini gösterir. Burada, 2 ölçek noktasına göre uyumsuzluk (mesela ağrı yok - orta seviyede ağrı ); 1 ölçek noktasına göre uyumsuzluktan (mesela ağrı yok, - hafif ağrı ) daha önemlidir. Uyumsuzluğun derecesini yansıtmak için kappa ağırlıklandırılabilir, böylece değerlendiriciler arasındaki küçük farklara göre büyük farkların etkisi arttırılır 9. Ağırlıklandırmanın birçok sayıda yöntemi mevcuttur 21, fakat ikinci dereceden ağırlıklandırma yaygındır. Ağırlıklandırılmamış kappa bütün uyumsuzlukları eşit olarak ele alırken, 21
ağırlıklandırılmış kappa uyumsuzlukları önemine göre değerlendirir. Ağırlıklandırılmamış kappa, bu nedenle, sıralı ölçekler için uygun değildir 22. Çizelge 2.11 Omuz eklemindeki harekete bağlı ağrı değerlendirmelerinin test-tekrar test uyumluluğu Test 2 Test1 Ağrı yok Hafif ağrı Orta seviyede ağrı Şiddetli ağrı Toplam Ağrı yok 15 3 1 1 20 Hafif ağrı 4 18 3 2 27 Orta seviyede ağrı 4 5 16 4 29 Şiddetli ağrı 1 2 4 17 24 Toplam 24 28 24 24 100 ; hücrelerdeki ağırlıklandırılmış gözlenen frekansların toplamı ve ; hücrelerdeki ağırlıklandırılmış tesadüfi beklenen frekansların toplamı olmak üzere ağırlıklandırılmış kappa( ) formülü aşağıdaki gibidir 9. = (28) İlgili hücre için i-j ölçek üzerindeki satır kategorisi ile sütun kategorisi arasındaki fark(uyumsuz kategorilerin sayısı) ve k ölçek üzerindeki noktaların sayısı olmak üzere lineer ve ikinci dereceden ağırlıklar aşağıdaki gibi hesaplanır 9 : ğı ı =1 1 (29) ğı ı =1 1 (30) 22
Ağırlıklandırılmış kappanın büyüklüğünün yorumlanması ise; ağırlıklandırılmış kappa, 0,75 mükemmel uyumluluk ve 0,40 zayıf uyumluluk anlamına gelir 7. Dört farklı düzeyi olan sıralı ölçek üzerinde uyumluluk için ağırlıklandırılmamış, lineer ağırlıklandırılmış ve ikinci dereceden ağırlıklandırılmış kappalar için ağırlıklar aşağıdaki gibidir 9. Çizelge 2.12 Dört farklı düzeyi olan ordinal ölçek üzerinde; ağırlıklandırılmamış, lineer ve ikinci dereceden ağırlıklar Ağırlıklandırılmamış Lineer ağırlıklar İkinci dereceden Ağırlıklar Uyumsuzluk yok 1 1 1 1 kategoriye göre Uyumsuzluk 0 0,67 0,89 2 kategoriye göre Uyumsuzluk 0 0,33 0,56 3 kategoriye göre Uyumsuzluk 0 0 0 Çizelge 2.11 deki veri için uyumsuzluğun çoğu 1 kategoriye göre uyumsuzluk olduğu için, ikinci dereceden kappa (0,67) ağırlıklandırılmamış kappadan(0,55) daha yüksektir. Değişik ağırlıklandırmalar aynı veri üzerinde farklı değerli ağırlıklandırılmış kappa değerlerini verir, örnek olarak lineer ağırlıklandırma 0,61 kappa değerini verir 9. Çizelge 2.13 Spinal ağrı değerlendirmelerinin değerlendiriciler arası uyumluluğu Klinisyen 1 Pozisyon bozulma sendromu Disfonksiyon Sendromu Postural Sendrom Toplam Pozisyon bozulma Sendromu Klinisyen 2 Disfonksiyon Sendromu Postural Sendrom Toplam 22(a) 10(b) 2(c) 34 6(d) 27(e) 11(f) 44 2(g) 5(h) 17(i) 24 30 42 30 102 23
Bazı uyumsuzlukların diğerlerinden daha önemli olduğu düşünüldüğünde, bunun gibi ağırlıklandırmalar üç veya daha fazla kategorili isimsel ölçeklere uygulanabilir 9. Pozisyon bozulma, disfonksiyon ve postural sendromun bulunması üzerinde McKenzie tarafından önerilen spinal ağrının sınıflandırılmasına göre iki değerlendiricinin uyumluluğunun verisi Çizelge 2.13 de gösterilmiştir 23. Bu veri için kappa değeri 0,46 dır. Normalde, kappanın hesaplanmasında ağırlıklandırılırken, uyumluluk hücrelerine (hücre a,e ve i) 1 değeri ve geri kalan uyumsuzluk hücrelerine 0 değeri uygulanır. Disfonksiyon sendromu ile postural sendrom arasındaki uyumsuzluk; pozisyon bozulma sendromu ile disfonksiyon sendromu arasındaki veya pozisyon bozulma sendromu ile postural sendrom arasındaki uyumsuzluktan kliniksel olarak daha az önemli bulunursa bu hücre frekanslarına lineer ağırlıklandırma uygulanır. Buna göre; ağırlıklandırma yapılırken b,c, d ve g hücrelerine 0 değeri uygulanırken, h ve f hücrelerine 0,5 değeri uygulanır. Bu ağırlıklandırma ile kappanın değeri 0,5 olur. Toplam 36 uyumsuzluğun 16 uyumsuzluğu(h ve f hücreleri) lineer ağırlıklandırma aracılığıyla daha az önemli hale getirilerek, kappa değeri yükseltilmiştir 9. İki kategoriden fazla isimsel ölçekli değerlendirmelerde kappanın elde edilen değeri, hangi kategoride yüksek veya düşük uyumluluk olduğunu belirlemez 24. Ağırlıklandırma, 2 kategoriden daha fazla isimsel ölçek üzerinde değerlendiriciler arasındaki uyumsuzluğun kaynağını ve bu uyumsuzlukların kappa değeri üzerine etkisinin saptanmasını sağlar 16. Belirli bir uyumsuzluğun görüldüğü hücre uyumsuzluk yokmuş gibi ağırlıklandırılabilir(uyumsuzluk gösteren hücreye ağırlıklandırma olarak 1 değeri uygulanır). Böylece uyumsuzluğun bu kaynağı uyumluluk olarak gösterilir. Kappanın değerindeki bu değişim genel uyumluluk üzerinde uyumsuzluğun etkisini ölçmeye yarar ve uyumsuzluğun olası kaynakları bu yolla karşılaştırılabilir. Çizelge 2.13 deki veriye dönüldüğünde, pozisyon bozulma ve disfonksiyon sendromu(b ve d hücreleri) arasında değerlendiricilerin uyuşmadığı örnekte eğer uyumluluk olarak ağırlıklandırılırsa, kappa ağırlıklandırılmaksızın 0,46 dan ağırlıklandırılarak 0,50 ye çıkar. Yada eğer disfonksiyon ve postural sendrom(f ve h hücreleri)arasındaki uyumsuzluğa uyumluluk ağırlıklandırması uygulanırsa, kappa belirgin bir şekilde 0,55 e yükselir. Disfonksiyon ve postural sendrom arasındaki uyumsuzluk kappada önemli bir artışa neden olduğundan, pozisyon bozulma ve disfonksiyon sendrom arasındakinden daha çok genel uyumluluğa katkıda bulunduğu görülebilir. Bu bulgu, postural ve 24
disfonksiyon sendrom arasındaki farklılığın pozisyon bozulma ve disfonksiyon sendrom arasındaki farklılıktan daha zor saptanacağına işaret eder. Bu bilgi değerlendiricilerin yeniden eğitilmesi gerektiğini veya inceleme protokolünde değişiklik yapılması gerektiğini gösterir 9. 2.2.2 Goodman ve Kruskal γ Sıralı ölçekte kullanılan ölçütlerin birçoğunun yapısı gözlemlerin uyumlu ve uyumsuz çiftlerine dayanmaktadır. Örneğin c*c tablosundan iki birey seçelim. X l vey l ; l inci birey için ve X m ve Y m ; m inci birey için birinci ve ikinci değerlendiricinin skorudur. Eğer bireylerden biri hem X hem de Y için diğer kişiden daha yüksek(daha düşük) olursa çiftin uyumlu olduğu söylenir. Özellikle eğer X 1 >X m ve Y1>Y m veya X 1 <X m ve Y 1 <Y 2 ise (X 1,Y 1 ) (X m,y m ) çifti uyumludur. Uyumlu çiftlerin sayısını, N C, hesaplamanın en basit yolu; her bir hücreye ait frekansı, n jk,sağ alt hücrelerdeki bireylerin toplam sayısı ile çarpılması ve sonrada sonuçların toplanmasıdır. Eğer X l >X m ve Y l <Y m veya X l <X m ve Y l >Y m ise (X l,y l )(X m,y m ) çifti uyumsuzdur. Uyumsuz çiftlerin toplam sayısı, N D, her bir hücreye ait frekansın, n jk, sol alt hücrelerdeki bireylerin toplam sayısı ile çarpılması ve sonrada toplanması ile elde edilir 1. Gamma ölçütü Goodman ve Kruskal tarafından(1954) aşağıdaki gibi önerilmiştir 25. = + (31) Çizelge 2.14 de, 91 evli çiftin anket sorusuna verdiği cevapları özetlemektedir. Soru: Siz ve eşiniz için cinsellik ne kadar zevklidir? (a) hiçbir zaman, (b) oldukça sık, (d)çok sık ve (e) hemen hemen her zaman 26 25
Çizelge 2.14. Siz ve eşiniz için cinsellik ne kadar zevklidir sorusuna eşlerden alınan yanıtlar Kadının değerlendirmesi Erkeğin Hiçbir zaman Oldukça Çok Hemen hemen değerlendirmesi zevkli Sık Sık her zaman Toplam Hiçbir zaman zevkli 7 7 2 3 19 Oldukça sık 2 8 3 7 20 Çok sık 1 5 4 9 19 Hemen hemen her zaman 2 8 9 14 33 Toplam 12 28 18 33 91 N C =7(8+3+7+5+4+9+8+9+14)+7(3+7+4+9+9+14)+2(7+9+14)+2(5+4+9+8+9+14)+8(4 +9+9+14)+3(9+14)+1(8+9+14)+5(9+14)+4(14)=1508 N D =7(2+1+2)+2(2+8+1+5+2+8)+3(2+8+3+1+5+4+2+8+9)+8(1+2)+3(1+5+2+8)+7(1+ 5+4+2+8+9)+5(2)+4(2+8)+9(2+8+9)=709 = 1508 709 1508+709 =0,36 2.2.3 Kendall τ Sıralı ölçekte iki değişken arasındaki korelasyonun ölçütüdür. Kare tablolar için daha uygundur. n gözlem için n(n-1)/2 tane (X l,y l ) ve (X m,y m ) olası karşılaştırma noktası vardır. Eğer X l =X m veya Y l =Y m veya her iki eşitlik mevcut ise, karşılaştırma eşdeğer olarak adlandırılır. T 1 ; değerlendirici 1 e ait toplam eşdeğer değerlendirme sayısı, T 2 ; değerlendirici 2 e ait toplam eşdeğer değerlendirme sayısı olmak üzere τ aşağıdaki hesaplanır 27. = 1 2.. 1 = 1 2.. 1 (32) 26
= 2 2 (33) Çizelge 2.15 SPECT cihazı ile bölgesel miyokardial tracer bulgularının 8 lik ve 16 lık düzende 4 noktalı skorlama sistemi kullanılarak karşılaştırılması 8-frame gating 16-frame gating Grade0 Grade1 Grade2 Grade3 Toplam Grade0 206 9 0 0 215 Grade1 24 23 7 0 54 Grade2 1 14 22 1 38 Grade3 0 5 8 22 35 Toplam 231 51 37 23 342 N C =206(23+ +22)+9(7+ +22)+0+0+24(14+ +22)+23(22+1+8++22)+7(1+22)+0+1 (5+8+22)+14(8+22)+22(22)=25599 N D =9(24+1+0)+0+0+23(1+0)+7(14+1+0+5)+0+14(0)+22(5+0)+1(8+5+0)=511 T 1 =1/2[215(215-1)+54(54-1)+38(38-1)+35(35-1)]=25734 T 2 =1/2[231(231-1)+51(51-1)+37(37-1)+23(23-1)]=28759 = 342 2 25734 25599 511 342 2 28759 =0,809 2.2.4 Kendall Uyumluluk Katsayısı (W) Kendall uyumluluk katsayısı; sıralı(ordinal) ölçekte değerlendiriciler arası uyumluluğu değerlendirmek için kullanılır. Kendall W; 0(uyumluluk yok) ile 1(tam uyumluluk) aralığındadır 29. 27
n tane kişiyi değerlendiren p tane değerlendirici arasındaki uyumluluğun ölçüsüdür. Kendall W yü hesaplamak için iki yol bulunmaktadır. İlk olarak bireylere göre elde edilen dizinlerin (rankların) satır marjinal toplamları R i den S veya S hesaplanmaktadır 30. = ( ) = = (34) S; dizinlerin(rank) satır toplamları üzerinden kareler toplamıdır. ; değerlerinin ortalamasıdır. Kendall W aşağıdaki formüllerin herhangi birinden elde edilebilir 30. = 12 ( ) = 12 3 ( +1) ( ) (35) t k ; eşdeğer değerlendirmeler içeren m grubun her biri içindeki eşdeğer olan dizinlerin sayısı olmak üzere, eşdeğer dizinler için düzeltme faktörü T aşağıdaki gibi hesaplanır 30. = ( ) (36) Friedman ın (n-1) serbestlik dereceli istatistiği aşağıdaki gibi elde edilir 30. = ( 1) (37) 28
Çizelge 2.16 Altı hastanın 3 uzman tarafından değerlendirme sonuçları Hasta Uzman 1 Uzman 2 Uzman 3 1 1 1 1 2 2 3 2 3 1 2 2 4 2 2 2 5 3 4 3 6 3 3 4 Veri dizinlere göre yeniden düzenlendiğinde çizelge 2.17 deki gibi elde edilir. Çizelge 2.17 Çizelge 2.16 daki verinin dizinlere göre düzenlenmiş hali Hasta Uzman 1 Uzman 2 Uzman 3 1 1,5 1 1 3,5 2 3,5 4,5 3 11 3 1,5 2,5 3 7 4 3,5 2,5 3 9 5 5,5 6 5 16,5 6 5,5 4,5 6 16 Uzman1 için eşdeğer değerlendirmeler içeren 3 grup vardır ve bu üç grubun her biri 2 eşdeğer dizin içermektedir. Uzman 2 için eşdeğer değerlendirmeler içeren 2 grup vardır ve bu iki grubun her biri 2 eşdeğer dizin içermektedir. Uzman 3 için eşdeğer değerlendirmeler içeren 1 grup vardır ve bu grup 3 eşdeğer dizin içermektedir. Eşdeğer değerlendirmeler içeren toplam 6 grup vardır. = ( ) = (2 2) + (2 2) + (2 2) + (2 2) + (2 2) + (3 3) =54 29
=63 6=10,5 ( ) =130 = 12 130 3 (6 6) 3 54 =0,903 2.3 Sürekli Değişkenler İçin Uyumluluk Ölçütleri 2.3.1 Pearson Korelasyon Katsayısı Korelasyon katsayısı, bağımsız değişkenler arasındaki ilişkinin yönü ve büyüklüğünü belirten katsayıdır. Bu katsayı, (-1) ile (+1) arasında bir değer alır. Pozitif değerler aynı yönlü doğrusal ilişkiyi; negatif değerler ise ters yönlü bir doğrusal ilişkiyi belirtir. Korelasyon katsayısı 0 ise söz konusu değişkenler arasında doğrusal bir ilişki yoktur. Matematik beklenti değerleri μ x ve μ y, standart sapmaları σ x ve σ y olan iki bağımsız değişken X ve Y arasındaki Pearson korelasyon katsayısı (ρ x,y ), şu şekilde tanımlanır 31 : ρ, = Cov(X,Y) σ σ = E((X μ )(Y μ )) σ σ (38) E değişkenin beklenen değerini, cov ise kovaryansı ifade eder. n çaplı bağımsız örnekte X ve Y değişkenleri eşit aralıklı ya da oranlama düzeyinde ölçülmüş ise örnek korelasyon katsayısı olan r istatistiği aşağıdaki eşitlikten hesaplanır. = ( )( ) ( ) ( ) (39) 30