ROC (RECEIVER OPERATING CHARACTERISTIC EĞRĠSĠ YÖNTEMĠ ĠLE TANI TESTLERĠNĠN PERFORMANSLARININ DEĞERLENDĠRĠLMESĠ Ayça Deniz Ertorsun, Burak Bağ, Güldeniz Uzar, Mehmet Ali Turanoğlu Danışman: Dr. A. Canan Yazıcı ÖZET Klinik çalışmalarda, çeşitli teşhis yöntemlerinden ve laboratuvar testlerinin sonuçlarından yararlanılarak hasta ve sağlıklı bireylerin ayrımının yapılması amaçlanır. Bu durumda bir testin, hasta bireyleri sağlıklılardan ne kadar doğrulukla ayırt edebildiğinin bilinmesi çok önemlidir. Tıbbi karar verme sürecinde, testin ayırt ediciliğini belirlemek amacıyla kullanılan yöntemlerden biri de ROC (Alıcı işlem karakteristikleri, Receiver Operating Characteristic eğrisi yöntemidir. Bu çalışma ile ROC Eğrisi analizinin uygulama ve yorumlama basamakları incelenmiş, kullanım alanları araştırılmıştır. ROC eğrileri, testin ayırt etme gücünün belirlenmesi, uygun pozitiflik eşiğinin belirlenmesi, laboratuar sonuçlarının kalitesinin izlenmesi, iki ya da daha fazla teşhis veya laboratuar testlerinin tanı performanslarının karşılaştırılması gibi amaçlarla kullanılmaktadır. Bu yöntem ile aynı zamanda tanı testi ölçütleri de elde edilmektedir. ROC eğrisi yöntemindeki grafiksel yaklaşım verilerin yorumlanmasını kolaylaştırmaktadır. GĠRĠġ Tıpta erken ve doğru tanı ile hastalıklara müdahale edebilmek çok önemlidir. Son yıllarda tıbbi karar verme yöntemlerine gittikçe artan bir ilgi gözlenmekte ve bu yöntemlerin uygulamaları tıp literatüründe oldukça geniş yer bulmaktadır. Tanı testleri ile ilgili yapılan çalışmaların büyük bir bölümü, bu yöntemlerin güvenilirliğinin araştırılmasına ve yöntemlerin karşılaştırılmasına ayrılmıştır. Tanı testi, bir hastalığı belirlemek amacı ile kullanılan laboratuar tekniklerine, klinik gözlemler veya özgün gereç ölçümlerine bağlı olarak yapılan değerlendirme yöntemlerine verilen genel bir isimdir. Hasta ve sağlıklı bireylerin ayrımının, çeşitli teşhis yöntemlerinden ve laboratuvar testlerinin sonuçlarından yararlanılarak yapılması amaçlanır. Bir tanı testinin verdiği sonuçları kapsamlı ve güvenilir bir biçimde irdeleyebilmek için öncelikle tanı testinin gerçek etkinlik düzeyinin denetlenmesi gerekmektedir. Günümüzde bu amaçla kullanılmakta olan pek çok istatistiksel karar verme yöntemi mevcuttur. ROC (Receiver Operating Characteristic eğrisi bu amaçlarla en yaygın olarak kullanılan yöntemdir (,0,. TANI TESTĠ ÖLÇÜTLERĠ Tanı testi sonuçlarının incelenebilmesi ve yorumlanabilmesi için testin üzerinde uygulandığı olguların gerçek tanı sonuçları bilinmelidir. Gerçek tanı için, aynı hastalığı belirlemede kesin doğru sonuçlar verdiği kabul edilen altın standart yöntem kullanılmalıdır. Altın standart; klinik süreç, cerrahi doğrulama, otopsi ve bazı olgularda bir uzmanın danışmanlığı işlevini görür. Bir tanı testinin yeterliliğini değerlendirmek için kullanılan çeşitli ölçütler vardır. Bu ölçütlerin hesaplanış biçiminin gösterilmesi ve altın standart testle karşılaştırılması sonucu
karşılaşılabilecek durumların özetlenmesi amacıyla Tablo. düzenlenmiş ve ölçütlerin hesaplanışı aşağıda verilmiştir (, 5, 6. Tablo. Bir tanı testini değerlendirirken karşılaşılabilecek durumlar Gerçek Durum (Altın Standart tanısı Tanı Testi Sonucu Pozitif (Hasta Negatif (Sağlam Toplam Pozitif (Hasta A (DP B (YP A+B Negatif (Sağlam C (YN D (DN C+D Toplam A+C B+D A+B+C+D Tabloda; A: Gerçekte hasta olup, tanı testi sonucuna göre de hasta olarak belirlenen olgulardır (Doğru pozitif, DP B: Gerçekte sağlam oldukları halde testin hatalı olarak hasta dediği olgulardır (Yanlış pozitif, YP C: Gerçekte hasta olup, tanı testi sonucuna göre sağlam olarak belirlenen olgulardır (Yanlış negatif, YN D: Gerçek tanı sonucuna uygun olarak testinde sağlam dediği gerçek negatif olgulardır (Doğru negatif, DN Duyarlılık veya Hassasiyet (Sensitivity Testin, gerçek hastalar içinden hastaları ayırma yeteneğidir. Duyarlılık = A / (A+C = DP / (DP + YN Özgüllük veya Seçicilik (Specificity Testin, gerçek sağlamlar içinden sağlamları ayırma yeteneğidir. Özgüllük = D / (B + D = DN / (DN + YP Duyarlılık ve özgüllük oranlarının tersi olan, testin hatalı yargıları da aşağıdaki gibi hesaplanabilir: YanlıĢ Pozitif Oranı Gerçek sağlamlar içinden testin hatalı olarak hasta dediği olgulardır. YP = (-Özgüllük = B /(B+D = YP / (YP+DN YanlıĢ Negatif Oranı Gerçek hastalar içinden testin hatalı olarak sağlam dediği olgulardır. YN = (-Duyarlılık = C /(A + C = YN/ (YN + DP Pozitif Tahmin Değeri Tanı testinin sonucuna göre belirlenen pozitifler içerisindeki doğru pozitiflerin oranıdır. A / (A+B = DP / (DP + YP Negatif Tahmin Değeri Tanı testinin sonucuna göre belirlenen negatifler içerisindeki doğru negatiflerin oranıdır. D / (C+D = DN / (DN + YN
Pozitif Olabilirlik Oranı (Positive Likelihood Ratio, L+ Hastalık tanısı koymanın doğruluk oranıdır. Testin sonucunun hastalığın varlığında pozitif çıkma olasılığının, hastalığın yokluğunda pozitif çıkma olasılığına oranıdır. Yani hastalığa var dediği zaman doğruyu bildirmesinin yanılmasına oranıdır. L+ = Duyarlılık / (-Seçicilik = A(B+D/B(A+C=DP(YP+DN/YP(DP+YN Bu oran ne kadar yüksek olursa, gerçek hastalar o derece iyi ayrımlanmaktadır. Negatif Olabilirlik Oranı (Negative Likelihood Ratio, L - Sağlam tanısının doğruluk oranıdır. Testin sonucunun hastalığın varlığında negatif çıkma olasılığının, hastalığın yokluğunda negatif çıkma olasılığına oranıdır. L- = (-Duyarlılık / (Seçicilik = C(B+D / D (A+C = YN (YP+DN / DN (DP+YN Bu oran ne kadar küçük olursa, gerçek sağlamlar o kadar iyi ayrımlanabilmektedir. Doğruluk (Accuracy Duyarlılık ve özgüllük birleştirilerek tek bir ölçü elde edilmek istendiğinde kullanılan ölçülerden biri de doğru test sonucu olasılığıdır. Gerçekte testin hasta ve sağlam olarak toplam doğru tanı oranına "doğruluk (accuracy" denir. Doğruluk = (A+D/(A+B+C+D = (DP+DN / (DP+YP+YN+DN Hastalığı taşıyan ve taşımayan iki populasyon karşılaştırılırken net bir ayrım nadiren görülür. Gerçekte test sonuçlarının dağılımı Şekil. deki gibi olacaktır. ġekil. Hasta ve sağlam bireylerin test değerlerinin kuramsal dağılımı İki populasyon arasında ayrım yapmak için her olası kesim noktası değerlendirilir. İyi bir tanı testinin yüksek duyarlılık, özgüllük, doğruluk ve yüksek pozitif ve negatif tahmin değerine sahip olması beklenir. ROC ANALĠZĠ NĠN TARĠHÇESĠ ROC analizi II. Dünya Savaşı sırasında Britanya da radarda tespit edilen sinyallerin doğru tanımlanması, dost ve düşman ayrımının sağlanması için geliştirilmiştir. 967 yılında Lusted, ROC analizinin tıpta karar vermede kullanımını önererek, 969 yılında medikal görüntüleme cihazlarında kullanımını sağlamıştır. Sonraki yıllarda tıpta tanı testlerinin performansının değerlendirilmesinde kullanımı giderek yaygınlaşmıştır. ROC analizi ile ortaya çıkan 3
Doğru pozitif oranı gelişmeler, istatistiksel sonuçların değerlendirilmesi ve kıyaslanmasına duyulan gereksinimin doğal bir sonucudur. Günümüzde ROC analizi farklı klinik durumlarda uygulanan tanı testlerinin performansını belirlemek ve lojistik modeller, doğrusal sınıflama analizi gibi istatistiksel modellerin doğruluğunu değerlendirmek amacı ile kullanılan bir yöntemdir. Ek olarak bir tanı testinin performansını tanımlayarak yeni tanı testlerinin gelişimini de sağlar. Aynı zamanda tanı testleri ve tahmin modellerinin değerlendirilmesi, doğruluğun sayısal sonuçlarla açıklanması ve tahminlerin doğruluğu arasında karşılaştırma yapılmasına olanak sağlar. Ayrıca klinik çalışmalarda eşik değeri belirler, yapısında var olan ve duyarlılık-özgüllük arasında yer alan değerlendirme dışı sonuçları ortaya koyar. Örnek genişliğinin belirlenmesi ve meta analizi gibi klinik araştırmalarda kullanılabilir. Son zamanlarda birçok klinik alanda, ağırlıklı olarak tanı, tarama ve özellikle laboratuar testlerinde, epidemiyoloji, radyoloji ve biyoinformatikte kullanımı hızla artmaktadır. Literatürde son yıllarda ROC analizi ile ilgili yayınlanmış çok sayıda makale yer almaktadır. Özellikle radyoloji ve kardiyoloji alanında yapılan çalışmalarda tanı testleri ve ROC analizinin kullanımı büyük rol oynamaktadır (6, 7, 0. ROC EĞRĠSĠ ROC eğrisi, tanı testinin kendi doğruluğunu tanımlaması ve testler arasında güvenilir bir karşılaştırma yapmaya olanak sağlaması açısından sıklıkla kullanılmaktadır. Klinik çalışmalarda sürekli sayıların kullanıldığı ölçümlerde olguları ayırma (hasta/sağlam, çözümlemeyi karmaşık hale getirir ve hata olasılığını yükseltir. ROC analizi çeşitli klinik durumlarda optimum eşik değerini ve yapısında var olan değerlendirme dışı bırakılacak olan değerleri (duyarlılık ve özgüllük arasında yer alan belirler. ROC eğrisinin grafiksel yaklaşımı ölçümlerin duyarlılığı ve özgüllüğü arasındaki ilişkileri kavramayı kolay kılar. ROC eğrisi, tanı koymak amacıyla kullanılan bir değişkenin değişim genişliği içinde aldığı tüm değerlerin sırasıyla kesim noktası kabul edilmesiyle hesaplanacak duyarlılık değerlerinin, testin yanlış pozitif oranına ( - özgüllük karşı noktalanması ile elde edilir. ROC eğrisinin oluşturulacağı koordinat sisteminde, Y ekseninde tanı testinin gerçek pozitif değeri (duyarlılık, X ekseninde ise yanlış pozitif değeri (-özgüllük yer alır. Her kesim noktasındaki doğru pozitif ve yanlış pozitife karşılık gelen noktalar birleştirilerek ROC eğrisi çizilir. İdeal ve kötü performans gösteren testlere ilişkin ROC eğrileri Şekil. de verilmiştir. YanlıĢ pozitif oranı ġekil. Performanslarına göre ROC eğrileri 4
Yanlış değerlere sahip olmayan ideal bir testte ROC eğrisi (0,0, (0, ve (, noktalarını birleştirmektedir. Performansı kötü olan ROC eğrisi (0,0 dan (, e kadar 45 açı yaparak uzanan köşegen şeklindedir. Genellikle ROC eğrisi bu iki durum arasında değişir. Tanı testi ne kadar iyi ise eğri o kadar yukarıya yani yüksek duyarlılık bölgesine ve sola düşük yanlış pozitif oranı bölgesine doğru kayar. Buna karşın ROC çizimi y=x fonksiyonuna yaklaştıkça başarısız bir test ortaya çıkar. Çünkü bu testte yanlış değerlerin oranı en yüksektir (-4, 8-0. ROC EĞRĠSĠ ALTINDAKĠ ALANIN YORUMLANMASI ROC eğrisinin altında kalan alan, testin hastalar ile hasta olmayan bireyleri ayırmadaki doğruluk oranını belirler. ROC eğrisinin altında kalan alanın büyüklüğü üzerinde çalışılan tanı testinin ayırma yeteneğinin istatistiksel olarak önemini gösterir. Üzerinde çalışılan tanı testinin hiç ayırma yeteneği olmadığı durumda ROC eğrisi altındaki alanın beklenen değeri 0.50 dir. Mükemmel bir test ise sıfır yanlış pozitif ve sıfır yanlış negatif ile alanın değeri.00 olacaktır. Test, bu iki değerin arasında bir alana sahip olmalıdır. Eğri altındaki alanların yorumlanmasında aşağıda verilen derecelendirmeler kullanılabilir (, 5, 0..90-.00 = mükemmel.80-.90 = iyi.70-.80 = orta.60-.70 = zayıf.50-.60 = başarısız ROC EĞRĠLERĠNĠN KIYASLANMASI Birbirinden bağımsız iki tanı testinin hasta ve sağlam bireyleri ayırt etme yetenekleri diğer bir değişle performanslarının kıyaslanması amacı ile, ROC eğrisi altındaki alanlar birbiriyle aşağıdaki işlemler doğrultusunda karşılaştırılabilir (,5:. İki değişken ayrı ayrı analiz edilerek iki ROC eğrisi hesaplanır.. Her değişken için, ayrı ayrı eğrinin altında kalan alan ve alanların standart hata (SH değerleri hesaplanır. SH( ( :. eğri altındaki alan ( n H ( n H * n S ( n S ( 3. Aşağıdaki denklem kullanılarak alanlar karşılaştırılır: Z SH( SH( :. eğri altındaki alan 5
SONUÇ Erken ve doğru tanı ile hastalıklara müdahale edebilmek çok önemlidir. Bir tanı testinin verdiği sonuçları güvenilir bir biçimde inceleyebilmek için öncelikle tanı testinin gerçek etkinlik düzeyinin belirlenmesi gerekir. Amaç, en az riskle, ekonomik koşullara uygun, yüksek oranda doğru sonuçlar verebilecek performansa sahip, güvenilir ve dolayısıyla güçlü tanı testleri belirlemektir. ROC eğrisi yöntemi, tanı testlerinin ve tahmin modellerinin değerlendirilmesine, uygun pozitiflik eşiğinin ve testin ayırt etme gücünün belirlenmesine, iki ya da daha fazla teşhis veya laboratuar testlerinin tanı performanslarının kıyaslanmasına, laboratuar sonuçlarının kalitesinin izlenmesine, uygulayıcının gelişiminin izlenmesine ve farklı uygulayıcıların etkinliklerinin karşılaştırılmasına olanak sağlamaktadır. Üzerinde çalışılan test ya da testleri değerlendirmek için gerekli örnek genişliğinin belirlenmesi amacı ile de kullanılmaktadır. Bu yöntem ile aynı zamanda tanı testi ölçütleri de elde edilmektedir. ROC eğrisi yöntemindeki grafiksel yaklaşım verilerin yorumlanmalarını kolaylaştırmaktadır. Ancak ROC eğrisi tüm bu değerlendirmeleri yaparken prevelans değerini göz önüne almamaktadır. Son zamanlarda birçok klinik alanda, ağırlıklı olarak tanı, tarama ve özellikle laboratuar testlerinde, epidemiyoloji, kadiyoloji, radyoloji ve biyoinformatikte kullanımı hızla artmaktadır. ROC analizi sağladığı avantajlar nedeni ile tıp dışında mühendislikte de, kalite kontrol, hava tahmini gibi çalışmalarda yaygın olarak kullanılmaktadır. 6
KAYNAKLAR. Dirican A. Evaluation of the diagnostic test s performance and their comparisons. Cerrahpaşa J Med 00; 3: 5-30. Ertaş G, Gülçür H.Ö., Yoğun Mamografi Görüntülerinin Asimetri Değeri ile Tespiti. http://siu00.emu.edu.tr/bildiriler/00.pdf 3. Hanley J.A., McNeil B.J., The meaning and use of the area under a receiver operating characterristic cure, Radiology 983 ; 43:9-36 4. Hanley J.A., McNeil B.J., A Method of Comparing The Areas Under Receiver Operating Characteristic Curves Derived from The Same Cases, Radiology 983; 48 : 839-843 5. Kanık E.A., Erden S., Tanı Testlerinin değerlendirilmesinde ROC (Receive Operating Characteristics Eğrisinin Kullanımı, Mersin Üniversitesi Tıp Fakültesi Dergisi 003;3:60-64 6. www.turkmia.org/eski/file/53tiptakararverme_karaagaoglu.ppt 7. Obuchowski N.A., Receiver Operating Characteristic Curves and Their Use in Radiology 003; 9 : 3-8 8. Park S.H., Goo J.M., Jo C.H., Receiver Operating Characteristic(ROC Curve: Practical Review for Radiologists, Korean J Radiol 004 ; 5 : -8 9. Swets J.A., ROC analysis applied to the evaluation of medical imaging techniques, Invest Radiol, 979; 4: 09-0. http://darwin.unmc.edu/dxtests/roc3.htm. Zou K.H., O Malley A.J. et al. Receiver-Operating Characteristic Analysis for Evaluating Diagnostic Tests and Predictive Models. Circulation 007;5,654-657 7