DERLEME (Review) Hacettepe Diş Hekimliği Fakültesi Dergisi Cilt: 34, Sayı: 1-2, Sayfa: 46-52, 2010 2x2 Tablolarda Gözlemciler/Gözlemler Arası Uyumun Değerlendirilmesi Evaluation of Agreement Between Observers/Observations in 2x2 Tables *Arş. Gör. Harika G. GÖZÜKARA BAĞ,* Öğr. Gör. Erdem KARABULUT, *Prof. Dr. C. Reha ALPAR * Hacettepe Üniversitesi Tıp Fakültesi Biyoistatistik Anabilim Dalı ÖZET Diş hekimliğinde yapılan bazı çalışmalar, gözlemler ya da gözlemciler arasındaki uyumun belirlenmesi amacına dayalıdır. Bu tür çalışmalarda, değerlendirmeler arasındaki uyum incelenip ölçümlerin güvenirliği değerlendirilir. Bu amaçla geliştirilmiş katsayılardan üçü; basit uyum katsayısı ( ), Cohen in kappa katsayısı (κ ) ve PABAK katsayısıdır. Bu çalışmanın amacı, bu üç katsayıyı örneklerle incelemektir. Bu çalışmada, iki gözlemci/gözlem olması durumunda iki kategorili nitel bir değişken için gözlemciler içi ve gözlemciler arası uyumun değerlendirilmesinde kullanılan üç önemli istatistik; basit uyum katsayısı, Cohen in kappa katsayısı ve PABAK katsayısı tanıtılacak ve hipotetik uyum tabloları kullanılarak sonuçlar yorumlanacaktır. 2x2 tablolarda uyumu göstermek için basit uyum katsayısı yerine, sıklıkla kappa katsayısı kullanılmakla birlikte iki sorun nedeniyle kappanın yorumlanmasında güçlüklerle karşılaşılabilmektedir. PABAK katsayısı, kappadaki sorunları çözebilmektedir. ABSTRACT In dentistry, some of the studies are based on the determination of the agreement among observers or observations. In such studies, agreement between measures is considered to examine the reliability of these measures. For this purpose, three of the recommended coefficients are; simple percentage of agreement ( ), Cohen s kappa coefficient (κ ) and PABAK coefficient. Our aim in this study is to examine those three coefficients with examples. In this study, three important statistics used in case of the presence of two observers/observations and a variable with two categories to evaluate intra-observer and inter-observer agreement, namely simple proportion of agreement, Cohen s kappa coefficient and PABAK coefficient will be introduced and results will be explained using hypothetical agreement tables. In fourfold tables usually kappa coefficient is used rather than a simple proportion of agreement, but because of two paradoxes, there are difficulties in its interpretation. PABAK coefficient can solve those problems of kappa. ANAHTAR KELİMELER Gözlemciler arası uyum, gözlemciler içi uyum, basit uyum katsayısı, kappa katsayısı, PABAK KEYWORDS Inter-observer agreement, intra-observer agreement, simple proportion of agreement, kappa coefficient, PABAK
47 GİRİŞ Diş hekimliğinde yapılan bazı çalışmalar, gözlemler arasındaki uyumun, bir diğer deyişle, gözlemciler arasındaki ya da gözlemciler içi uyumun belirlenmesi amacına dayalıdır. Uyumun değerlendirilmesinde kullanılan değişkenler sürekli değişkenler olabileceği gibi kategorik (sınıflı) değişkenler de olabilir. Değişkenlerin türüne göre kullanılacak uyum istatistikleri de değişkenlik gösterir. Farklı durum ve varsayımlar için geliştirilmiş çeşitli uyum ölçüleri vardır. Örneğin, kategorik değişkenlerde ilgilenilen değişkenin kategori sayısına ya da yapılan değerlendirme (ölçüm) sayısına göre kullanılan uyum ölçüleri de farklılık gösterir. Uyum yüksek ise yapılan değerlendirmeler güvenilir olarak kabul edilir. Güvenirlik, bir ölçüm sürecinde, ölçüm işleminin tekrarlanabilirliği ya da tekrarlardaki tutarlılık olarak tanımlanabilir 1. İki gözlemci tarafından ölçülen değişken iki sınıflı (var yok, evet hayır vb.) olduğunda, gözlemciler arası uyumun değerlendirilmesi için çeşitli istatistikler (ölçüler) önerilmiştir. Bu istatistiklerin en bilinenlerinden ikisi basit uyum katsayısı ( ) ve Cohen in Kappa katsayısıdır (κ ). Bir diğer katsayısı da Kappa katsayısına alternatif olarak önerilen PABAK katsayısıdır. Bu makalede, ilgili ölçüler tanıtılarak hipotetik veri setlerinden elde edilen sonuçlar tartışılacaktır. UYUM KATSAYILARI Basit uyum katsayısı İki sınıflı veride, gözlemciler ya da aynı gözlemci tarafından yapılan iki ölçüm arasındaki uyumun en yalın göstergesi basit uyum katsayısıdır. Gerek bu katsayıyı gerekse aşağıda tartışılacak olan diğer iki katsayıyı hesaplamak için gerekli örnek tablo, Tablo I de verilmiştir. Tablo I yardımıyla basit uyum katsayısı,, Eşitlik 1 yardımıyla hesaplanır. a + d p0 = (1) n ın değeri 0 ile 1 arasında değişmekle birlikte genel olarak yorumlama aralığı 0.5 ile 1 arasındadır ve 1 e yakın olması istenir. 0.5 in altında elde edilen bir değeri genellikle şansa bağlı uyum a atfedilir. Basit uyum katsayısının zayıf yönü ise a veya d gözelerinden hangisinde yoğunlaşma olduğu hakkında bilgi vermemesidir 2. 2x2 Uyum Tabloları için Kappa Katsayısı İki sınıflı veride, gözlemciler arası uyum sadece basit uyum ile değil genellikle Cohen in kappa katsayısı (κ ) ile incelenir 3,4,5. Basit uyuma göre κ katsayısının avantajı, uyumun şans ile ortaya çıkması beklenen kısmını düzeltmesidir 3,6. Tablo I yardımıyla Cohen in kappa katsayısı, κ, Eşitlik 2 ile verilir. p p 0 e κ = (2) 1 pe Burada, p e, şansa bağlı uyumu gösterir ve Eşitlik 3 ile elde edilir. TABLO I Örnek Tablo Var a b (a+b) Yok c d (c+d) Toplam (a+c) (b+d) n
48 [( a + c) ( a + b) ] + [( b + d ) ( c d )] + p e = (3) 2 n Kappa katsayısı -1 ile +1 arasında değişir. Tam uyum söz konusu olduğunda κ =1 olur. Gözlenen uyumun şansa bağlı uyuma eşit ya da ondan büyük olması durumunda κ 0 iken, gözlenen uyumun şansa bağlı uyumundan küçük olması durumunda κ <0 olur. Kappa katsayısının yorumlanabilir aralığı 0 ile +1 arasında olup, negatif (κ <0) değerlerinin güvenirlik açısından bir anlamı yoktur 2. Landis ve Koch 7 uyumun derecesini elde edilen kappa katsayısı 0.20 ye eşit yada küçük ise zayıf uyum, 0.21-0.40 aralığında ise Ortanın altında uyum, 0.41-0.60 aralığında ise Orta düzeyde uyum, 0.61-0.80 aralığında ise İyi düzeyde uyum ve 0.81-1.00 aralığında ise Çok iyi düzeyde uyum olarak tanımlamışlardır. İki gözlemci arasındaki uyumun şansa bağlı kısmını düzelten bir uyum ölçüsü olarak tanıtılan κ katsayısının iki sorunu vardır 3,4,5,8,9. Birinci sorun; basit uyum ( ) yüksek olmasına rağmen, satır sütun toplamlarındaki büyük dengesizlikler nedeniyle küçük bir κ katsayısının elde edilmesidir (Tablo IV). İkinci sorun ise; satır-sütun toplamlarında asimetrik dengesizlik (Tablo VI) olduğunda κ katsayısının, simetrik dengesizlik (Tablo V) olması durumuna göre daha yüksek bulunabilmesidir. (a+c) ile (b+d) ve (a+b) ile (c+d) toplamlarının eşit ya da birbirine yakın olması durumunda satır-sütun toplamlarının dengeli olduğu söylenir. Bu toplamlar birbirinden uzaklaştıkça satır-sütun toplamları dengesizleşmeye başlar. (a+c) ile (a+b) ve (b+d) ile (c+d) toplamlarının eşit ya da birbirine yakın olması durumunda ise satır-sütun toplamlarının simetrik olduğu söylenir. Yine bu toplamların birbirinden uzaklaşması satır-sütun toplamlarının asimetrik olmasına yol açmaktadır. PABAK Katsayısı Byrt ve ark. tarafından kappa katsayısına alternatif olarak önerilen bir diğer uyum indeksi ise PABAK tır (Prevalence Adjusted Bias Adjusted Kappa) tır. Kappa katsayısı ile ilgili iki sorunu da çözebilen bu yaklaşımda sorunlar prevelans ve yanlılık indeksleri elde edilerek belirlenir 5,8. Bu nedenle, aşağıda öncelikle bu iki sorun üzerinde durulacaktır. Buna göre, birinci sorun 5,8 var ve yok kategorilerinin göreli olasılıklarından κ etkilenir ve bu olasılıklar arasındaki fark prevelans indeksi olarak adlandırılır. Prevelans indeksi (PI), Tablo I yardımıyla Eşitlik 4 ile verilir. (4) Prevelans indeksi büyük olduğu zaman, prevelans indeksinin küçük veya sıfır olması durumuna göre kappa daha düşüktür. Kappa üzerine prevelansın etkisi kappa nın büyük değerleri için küçük değerlerine göre daha yüksektir. Bu nedenle, prevelans indeksi hesaba katılmadan kappa nın tek başına anlamlı bir biçimde yorumlanması zordur. İkinci sorun 5,8 ve B, bir durumu farklı değerlendirdiklerinde gözlemciler arasında yanlılık olduğu söylenir. Yanlılık indeksi (YI), Eşitlik 5 ile elde edilir. (5) Uyumsuzluğu gösteren b ve c gözeleri simetriklikten uzaklaştıkça yanlılık indeksi artar. Yanlılık büyük olduğu zaman kappa katsayısı, yanlılık küçük olduğu veya hiç olmadığı duruma göre daha yüksek çıkmaktadır. Prevelans etkisinin tersine, yanlılık etkisi kappa küçük olduğunda büyük olduğu duruma göre daha yüksektir.
49 Özet olarak, kappa katsayısının sağlıklı bir şekilde yorumlanıp yorumlanamayacağının iki göstergesi PI ve YI ölçütleri olup, bu indeksler kappa katsayısı kullanılırken dikkate alınmalıdır. İki gözlemci arasındaki PABAK uyum indeksi, prevelans farklılığı ve gözlemciler/gözlemler arasındaki yanlılık için kappa nın düzeltilmesini sağlar 6. PABAK hesaplanırken, b ve c gözeleri ortalamalarıyla yer değiştirirken, aynı zamanda a ve d gözeleri de ortalamalarıyla değiştirilerek kappa katsayısı elde edilir 8. Tablo II yardımıyla Eşitlik 3 yeniden yazıldığında aşağıdaki eşitliğe ulaşılacaktır. Bu eşitlikten de p e nin 0.5 olacağı sonucuna kolaylıkla ulaşılabilir. [( f + g) ( f + g) ] + [( g + f ) ( g + f )] [ 2( f g) ] 2 p e = + Tablo II deki f (uyumlu gözlerin ortalaması) ve g (uyumsuz gözlerin ortalaması) Eşitlik 6 ile hesaplanır: ( a + d ) f =, 2 ( b + c) g = (6) 2 Buradan PABAK katsayısı Eşitlik 7 ile elde edilir. ( 2 f n) 0.5 PABAK = 2 0 1 1 0.5 = p (7) Yanlılık ve prevelans için yapılan düzeltme ile gözlenen uyum ile doğrusal olarak ilişkili bir indeks elde edilir. PABAK, ı yeniden ölçeklendirdiği için -1 den (f=0 olduğunda) +1 e (g=0 olduğunda) kadar değerler alabilir ve gözlenen uyum %50 ye eşit olduğu zaman sıfırdır 6. PABAK katsayısının yorumlanması, kappa katsayısı ile aynıdır. Kappa ile PABAK arasındaki ilişki Eşitlik 8 ile verilmiştir 8 : PABAK=1 olmadıkça, YI mutlak değeri büyüdükçe (sabit PI için) κ katsayısı büyür ve PI mutlak değeri büyüdükçe (sabit YI için) κ katsayısı küçülür 7. Eğer hem yanlılık hem de prevelans etkisi varsa YI ve PI ın göreli büyüklüğüne bağlı olarak κ katsayısı, PABAK tan küçük ya da büyük olabilir 5,8. ÖRNEKLER Simetrik dengeli satır sütun toplamlarına sahip 2x2 uyum tablosuna bir örnek Tablo III de verilmiştir. Tablo III de nın var ve yok olarak yaptığı değerlendirme sıklıklarının birbirine yakın olması nedeniyle sütün toplamlarının dengeli olduğu ve gözlemci B nin yaptığı sınıflandırmaların birbirine yakın olması nedeniyle de satır toplamlarının dengeli olduğu söylenir. Hem satır hem de sütün toplamlarının dağılımlarının benzer olması ise tablonun satır sütün toplamlarının simetrik olduğunu göstermektedir. (8) TABLO II PABAK katsayısının hesaplanması için düzenlenmiş 2x2 uyum tablosu Var f g f+g Yok g f g+f Toplam f+g g+f 2(f+g)
50 TABLO III Satır-sütun toplamları simetrik dengeli 2x2 uyum tablosu Var 38 6 44 Yok 8 42 50 Toplam 46 48 94 Tablo III için, κ ve PABAK katsayılarının hesaplanması aşağıda gösterilmiştir. Tablo III de satır sütun toplamları simetrik dengeli olduğu için PI ve YI indeksleri oldukça küçüktür. Bu nedenle, bu indekslere göre düzeltme yapan PABAK katsayısı ile kappa katsayısı aynı değere sahiptir. Tablo IV de her iki gözlemcinin de var ve yok olarak yaptığı sınıflandırma frekanslarının birbirinden uzak olması nedeniyle satır sütün toplamları dengesizdir. Diğer yandan, iki gözlemcinin aynı kategori için yaptığı değerlendirme sıklıklarının benzer olması nedeniyle simetriklikten söz edilebilir. Satır sütun toplamları simetrik dengesiz olan Tablo IV için yanlılık indeksi oldukça küçük olmakla beraber, satır sütun toplamlarındaki aşırı dengesizliğe bağlı olarak PI oldukça yüksektir. PI büyük olduğu için, kappa katsayısı basit uyuma göre oldukça küçük olarak elde edilmiştir. Tablo III ve Tablo IV de basit uyum katsayıları eşit olduğu halde, birinci sorun nedeniyle satır sütun toplamları dengesiz olan Tablo IV için elde edilen kappa katsayısı, simetrik dengeli satır sütun toplamlarına sahip Tablo III ünkinden oldukça küçüktür. Ancak, PI ve YI ne göre düzeltme yapan PABAK katsayıları eşittir. Simetrik dengesiz satır sütun toplamlarına sahip Tablo V için YI büyük değildir, daha çok PI etkisine bağlı olarak kappa katsayısı, PABAK tan daha küçük olarak elde edilmiştir. Satır sütun toplamları asimetrik dengesiz olan Tablo VI için basit uyum, Tablo V ile eşittir. Ancak, bahsedilen ikinci sorun nedeniyle asimetrik dengesiz satır sütun toplamlarına sahip Tablo VI için elde edilen kappa katsayısı, simetrik dengesiz satır sütun toplamlarına sahip Tablo V in kappa katsayısının iki katıdır. Tablo V ve VI nın basit uyumları eşit olduğu için PABAK katsayıları da eşittir. Tablo VI için YI nin etkisi PI ne göre daha büyük olduğu için kappa katsayısı PABAK tan daha yüksek olarak elde edilmiştir.
51 TABLO IV Satır sütun toplamları simetrik dengesiz 2x2 uyum tablosu Var 75 6 81 Yok 8 5 13 Toplam 83 11 94 = 0.85, κ = 0.33, PI = 0.74, YI = -0.02, PABAK = 0.70 TABLO V Satır sütun toplamları simetrik dengesiz 2x2 uyum tablosu Var 44 12 56 Yok 25 13 38 Toplam 69 25 94 = 0.61, κ = 0.13, PI = 0.33, YI = -0.14, PABAK = 0.21 TABLO VI Satır sütun toplamları simetrik dengesiz 2x2 uyum tablosu Var 28 32 60 Yok 5 29 34 Toplam 33 61 94 = 0.61, κ = 0.27, PI = -0.01, YI = 0.29, PABAK = 0.21 SONUÇ VE ÖNERİLER 2x2 tablolarda uyumu göstermek için basit uyum katsayısı yerine, sıklıkla şans düzeltmesi yapan κ katsayısı kullanılmakta, ancak açıklanan iki sorun nedeniyle yorumlanmasında güçlüklerle karşılaşılabilmektedir. Bu nedenle, bu iki sorun (yanlılık ve prevelans etkisi) büyük olduğunda kappa katsayısının tek başına verilmesi ve prevelansları oldukça farklı durumlardaki kappa ların karşılaştırılması uygun olmamaktadır 8. Byrt ve ark. tarafından önerilen PABAK ise gözlenen uyumları eşit olan tablo çiftleri için eşittir. Dolayısıyla, bu tür çalışmalarda bir katsayıya bağlı kalmak yerine birden çok katsayının verilmesi ve elde edilen sonuçların hangi nedenlerle farklı çıktığının açıklanması daha doğru bir yaklaşım olacaktır.
52 KAYNAKLAR 1. Alpar R. Uygulamalı Çok Değişkenli İstatistiksel Yöntemlere Giriş 1. Nobel Yayın Dağıtım Ltd. Şti. 2003 Ankara 2.Baskı 2. Alpar R. Spor Bilimlerinde Uygulamalı İstatistik. Nobel Yayın Dağıtım Ltd. Şti. 2006 Ankara 3.Baskı 3. Feinstein AR, Cicchetti DV. High agreement but low kappa: I. The problems of two paradoxes. J Clin Epidemiol 1990; 43: 543 549. 4. Lantz AC, Nebenzahl E. Behavior and interpretation of the κ statistic: Resolution of the two paradoxes. J Clin Epidemiol 1996; 46: 431 434. 5. Sim J, Wright CC. The kappa statistic in reliability studies: use, interpretation, and sample size requriments. Phys Ther 2005; 85: 257 268. 6. Kundel HL, Polansky M. Measurement of observer agreement. Radiology 2003; 228: 303 308. 7. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33: 159 174. 8. Bryt T, Bishop J, Carlin JB. Bias, prevalence and kappa. J Clin Epidemiol 1993; 46: 423 429. 9. Cicchetti DV, Feinstein AR. High agreement but low kappa: II. Resolving the paradoxes. J Clin Epidemiol 1990; 43: 551 558. Geliş Tarihi : 25.09.2009 Received Date : 25 September 2009 Kabul Tarihi : 19.04.2010 Accepted Date : 19 April 2010 İLETİŞİM ADRESİ Arş. Gör. Harika G. GÖZÜKARA BAĞ Hacettepe Üniversitesi Tıp Fakültesi Biyoistatistik Anabilim Dalı. Sıhhiye 06100 ANKARA Telefon: 0 312 305 14 67 Faks: 0 312 305 14 59 E-posta: harika@hacettepe.edu.tr