İki Sonuçlu Tanı Testlerinde İki Hekim Arasındaki Uyum İstatistiklerinin Prevalanstan Etkilenme Durumları +

Transkript

1 RŞTIRM / RESERCH REPORT İnönü Ünivrsitsi Tıp Fakültsi Drgisi 01;19(3): İki Sonuçlu Tanı Tstlrind İki Hkim rasındaki Uyum İstatistiklrinin Prvalanstan Etkilnm Durumları + E. rzu Kanik 1, Smra Erdoğan 1, ülhan Orkici Tml 1 1 Mrsin Ünivrsitsi Tıp Fakültsi, iyoistatistik v Tıbbi ilişim nabilim Dalı, Mrsin aşvuru Tarihi: Kabul Tarihi: DOI: /jiumf İltişim drsi: Dr. Smra ERDOĞN Mrsin Ünivrsitsi Tıp Fakültsi iyoistatistik v Tıbbi ilişim nabilim Dalı, MERSİN Tl: mail: smrardogann@gmail.com maç: İki katgorisi olan bir tanı tstinin iki hkimin (dğrlndiricinin) uyumunu (tutarlılığını) tst dbilmk için litratürd pk çok uyum istatistiklri önrilmktdir. Litratürd çok yaygın olarak kullanılan Scott ın istatistiği v Cohn in kappa istatistiğidir. u istatistiklr altrnatif olarak wt tarafından C1 istatistiği gliştirilmiştir. u çalışmanın amacı, iki dğrlndirici arasındaki uyumu tst tmkt kullanılan uyum istatistiklrinin, prvalanstan tkilnip tkilnmdiklrini ortaya koymaktır. rç v Yöntmlr: Tüm uyum istatistiklrinin marjinal homojnliğini tst dbilmk adına prvalansa gör kısmi türvlri alınarak formül dilip hsaplanmıştır. ulgular: Prvalans dğrinin 0.50 şit olduğu durumda, kappa, -indx v C1 uyum istatistiklrinin bnzr sonuçlar vrdiği hatta -indx in tüm prvalans dğrlri için sabit bir dğr şit olduğu blirlnmiştir. unun yanı sıra prvalans dğri yüksk (1 şit) vya düşük (0 a şit) olduğunda v kappa istatistiklrinin 0 dğrini aldığı v bu dğrlrin dğrlndiricilr arasındaki uyumu doğru bir şkild yansıtmadığı gözlnmiştir. Sonuç: u çalışmada, X dnm düznlrind, dğrlndiricilr arasındaki uyum istatistiklri araştırılmış v diğr uyum istatistiklrin nazaran -indx v C1 istatistiğinin duyarlılık, sçicilik v prvlans dğrindn tkilnmdiği v daha iyi bir prformans göstrdiği sonucuna varılmıştır. nahtar Klimlr: Cohn Kappa İstatistiği; C1 İstatistiği; Prvalans; Dğrlndiricilr rası Uyum. grmnt Statistics Impacts of Prvalnc twn th Two Clinicians in inary Diagnostic Tsts Objctiv: It has bn rcommndd a lot of statistics in th litratur to tst th agrmnt (consistnt) of both clinicians (th ratrs) for a diagnostic tst with two catgoris. Scott s statistics and Cohn s kappa statistics usd most frquntly in th litratur. s an altrnativ to this statistics, th C1 statistics hav bn dvlopd by wt. Th purpos of this study, to dtrmin agrmnt statistics, usd to tst th agrmnt btwn two ratrs, whthr affctd by th prvalnc. Matrial and Mthods: For tsting marginal homognity of all agrmnt statistics, it s formulatd and calculatd by taking partial drivativs on bhalf of prvalnc. Rsults: It s dtrmind that, kappa, -indx and C1 gav similar rsults with prvalnc cas is qual to Morovr -indx is dtrmind qual to a fixd valu for all prvalnc valus. In addition, and kappa statistics ar qual to 0 whn prvalnc valus cas is high (qual to 1) or low (qual to 0) and its obsrvd ths valus ar not accuratly rflct th agrmnt btwn ratrs. Conclusion: In this study, it s rsarchd that th agrmnt statistics btwn ratrs in th x trial dsigns. nd, it s concludd that -indx and C1 statistics not affctd snsitivity, spcify and prvalnc valu than othr agrmnt statistics and showd a bttr prformanc. Ky Words: Cohn s Kappa Statistics; C1 Statistics; Prvalanc; grmnt twn Ratrs. + nkara-kızılcahamam 1-14 Eylül 011 XIII. Ulusal iyoistatistik Kongrsi nd sunulmuştur. iriş v gibi iki farklı dğrlndiricinin, pozitif v ngatif olmak üzr sadc iki katgorisi olan bir ölçk üzrind güvnilirlik çalışmaları, ğitim bilimlrind olduğu kadar sağlık alanında da çok yaygın olarak kullanılmaktadır. Litratürd dğrlndiricilr arasındaki uyumu dğrlndirmk için kullanılan iki popülr uyum katsayısı vardır. unlardan biri 1955 yılında Scott tarafından gliştirilmiş olan istatistiği v 1960 yılında Cohn tarafından gliştiriln kappa istatistiğidir. Çok yaygın olarak kullanılmasa da Holly v uildford 153

2 Kanik v ark. tarafından 1964 yılında uyum katsayısı olarak -indx uyum katsayısı gliştirilmiştir. nllikl araştırmacılar istatistiğini kullanmakta v bu istatistiği d hsaplayabilmk için kappa istatistiğin başvurmaktadırlar. u uyum istatistiklrinin sonuçları birbirin bnzr olmakta birlikt gnllikl karıştırılmaktadır. 1 yrıca bu sözü diln istatistiklr altrnatif olarak, wt tarafından 001 yılında yni bir uyum katsayısı olan C1 istatistiği gliştirilmiştir. u çalışmanın amacı, katgori sayısı olduğunda dğrlndiricilr arasındaki uyum istatistiklrinin duyarlılık, sçicilik v prvlans dğrindn tkilnm durumlarını ortaya koymaktır. Yöntm v gibi iki farklı dğrlndiricinin, cvap dğişkni olarak pozitif (+) v ngatiflrdn (-) oluşan iki katgorili bir duruma ait vrilr, Tablo 1 dki gibi bir çapraz tablo il göstrilmktdir. Tablo 1 Tablo 1. İki dğrlndirici v iki katgorili duruma ait çapraz tablo. + - Toplam + 1=+ - C D =C+D Toplam 1=+C =+D N Tablo 1 d, köşgn üzrindki dğrlr hr iki dğrlndiriciy ait ölçümlrin uyumlu olduğunu göstrirkn, köşgn haricindki ölçüm sonuçları uyumsuzluğu göstrmktdir. Diğr bir dyişl, hücrsi hr iki dğrlndiricinin d + katgorisindki sınıflandırmalarının sayısını, D hücrsi is hr iki dğrlndiricinin d - katgorisindki sınıflandırmalarının sayısını göstrmkt ikn, v C hücrlri hr iki dğrlndiricinin d uyumsuz olduğu durumlardaki sınıflandırma sayısını göstrmktdir. 1 v, dğrlndiricisin, 1 v, dğrlndiricisin ait + v - katgori içrisindki sınıflandırma sayısını vrmktdir. 1 Dğrlndirici sayısı iki, katgori sayısı iki olduğunda dğrlndiricilr arası uyum için litratürd bazı katsayılar önrilmktdir. Scott ın istatistiği 1955 yılında Scott tarafından gliştirilmiştir. şağıdaki şkild hsaplanmaktadır. P ( ) PI (1) 1 P urada, P a toplam uyum olasılığını göstrmkt olup, D P a () N şklind hsaplanmaktadır. P ( ) is şansa bağlı uyum olasılığını ifad tmkt olup, 1 1 / / P ( ) (3) N N şklind hsaplanmaktadır. 1-3 Scott ın istatistiğinin varyansı (1 ) Var ( ) (4) ( N 1) 1 P ( ) şklind, %95 güvn aralığı is, Var( ) şklind hsaplanmaktadır. 4 Cohn in Kappa istatistiği İki dğrlndirici arasındaki uyumun dğrlndirilmsi için 1960 yılında Cohn tarafından kappa istatistiği gliştirilmiş v aşağıdaki gibi formül dilmiştir. -5 P (5) 1 P Toplam uyum olasılığı Dnklm dki gibi, şansa bağlı uyum olasılığı is, 1 1 P (6) N N N N şklind hsaplanmaktadır. -5 v kappa istatistiklrindki şansa bağlı uyum olasılıkları birbirindn farklılık göstrmktdir. istatistiğindki şansa bağlı uyum istatistik hsaplamasının aksin kappa istatistiğindki şansa bağlı uyum istatistiği dğrlndiricilrin sınıflandırma oranlarının çarpımları il ld dilir. u iki istatistiğin şansa bağlı uyum olasılıklarının tahminlrindki farklılığa rağmn bu iki uyum istatistiklri pratikt gnllikl bnzr sonuçlar vrmktdirlr. Kappa istatistiğinin varyansı (1 ) Var( ) (7) ( N 1) 1 P şklind, %95 güvn aralığı is, Var( ) şklind formül dilmktdir. 4,5 -indx 1954 yılında nnt tarafından S puan olarak ortaya atılmış, 1964 yılında Holly v uildford tarafından - indx olarak adlandırılmıştır. şağıdaki şkild formül dilmktdir. P ˆ (8) 1 P 154

3 İki Sonuçlu Tanı Tstlrind İki Hkim rasındaki Uyum İstatistiklrinin Prvalanstan Etkilnm Durumları Şans uyum olasılığı, v kappa istatistiklrindn farklı olarak katgori sayısının trsi olarak hsaplanmaktadır ( 1 P, q; katgori sayısını vrmktdir). q İki katgori olduğu durumda - indx; 1 ˆ P 1 (9) a 1 1 şklind hsaplanmaktadır. -indx in varyans dğri, 4 Varˆ 1 (10) şklind, %95 güvn N 1 aralığı is, 0.5 ˆ Varˆ şklind formül N dilmktdir. -4 wt in C1 istatistiği wt in C1 istatistiği olarak adlandırılmakta olup 001 yılında wt tarafından ortaya atılmıştır. Litratürd birinci drcdn uyum katsayısı (th first ordr agrmnt cofficint) olarak da adlandırılmaktadır v aşağıdaki gibi hsaplanır.,3,6 P C1 (11) 1 P Şansa bağlı uyum olasılığı is, P P P 1 (1) 1 1 şklind hsaplanır. Formüld P 1 olasılığı yaklaşık olarak bir şansı vrir ki bu şans + katgori içrisindki bir dnğin vya dğrlndirici tarafından sınıflandırılmasındaki şansı ifad tmktdir v aşağıdaki gibi formül dilmktdir. 6,7 1 1 / P1 (13) N wt in C1 istatistiğinin varyansı, (1 ) Var ( ) (14) ( N 1) 1 P şklind, %95 güvn aralığı is, Var( ) şklind formül dilmktdir. 4 Uygulama Pozitif v ngatif olmak üzr iki olası katgori içrisind 100 biryi dğrlndirmk için v gibi iki farklı dğrlndiricinin bulunduğu v hr iki dğrlndiricinin d 85 biryi doğru sınıflandırdığı iki farklı dnm düzni oluşturalım (Tablo v 3). u iki dnm düznin ait uyum istatistiklrinin sonuçları Tablo 4 d vrilmktdir. 1-3 Tablo. 1. Dnm düzni. Dğrlndirici () Tablo 3.. Dnm düzni. Dğrlndirici () Dğrlndirici 1 () + - Toplam Toplam Dğrlndirici 1 () + - Toplam Toplam Tablo 4. Hr iki dnm düznin ait uyum istatistiklri sonuçları. 1. Dnm düzni. Dnm düzni P a Kappa -indx C Tablo v 3 ait dnm düznlrind, 100 birydn toplam 85 inin pozitif ya da ngatif olarak dğrlndirilmsind tutarlı olduğu görülmktdir. una gör hr iki dğrlndiricinin vrmiş oldukları kararın uyumlu olması yani dğrlndiricilr arası uyum katsayılarının doğal olarak yüksk olması bklnmktdir. ncak dğrlndiricilr arası uyum katsayılarından v kappa istatistik dğrlri inclndiğind, 1. dnm düznind yüksk ikn. dnm düznind bu katsayıların oldukça düşük olduğu gözlnmktdir. unun yanı sıra, dnm düznlri iki katgorili cvap dğişknin sahip olduğundan -indx dğri hr iki dnm düzni için d şit bulunmuştur. C1 istatistiği il hsaplamalar yapıldığında 1. dnm düznind diğr uyum istatistiklri il bnzr sonuçlar vrirkn. dnm düznind ld diln C1 istatistiği sonucu. dnm düznin ait tablodaki sonuçlarla çok daha tutarlı bir sonuç vrmiştir. u paradoks, pk çok araştırmacı tarafından v kappa istatistiklrinin populasyondaki prvlanstan tkilnmsi şklind açıklanmaktadır. azı bilim adamları da kappa istatistiğinin ytrli bir şkild tanımlayabilmk için marjinal homojnliğin tst dilmsi grktiğini önrmktdirlr. 1 Öylys uyum istatistiklrinin, dğrlndiricilrin duyarlılık, sçicilik v prvlanstan 155

4 Kanik v ark. tkilnm durumları ortaya konulmaya çalışılmalıdır. u amaçla, tüm uyum istatistiklrinin prvlansa gör kısmi türvlri alınarak formülasyonlar ynidn düznlnmlidir. Dğrlndiricilr arası uyum istatistiği olan P şitlik, P r y (prvlans) gör kısmi türv 1 P 1 P P alındığında, a (15) şklind ld Pr 1 P P r dilir. Dnklm 15 d yr alan toplam uyum olasılığı (P a), P ++ il P-- toplamından ld dilir. urada P ++, biryi hr iki dğrlndiricinin d + katgori içrisind sınıflandırma olasılığını, P-- is biryi hr iki dğrlndiricinin d - katgori içrisind sınıflandırma olasılığını göstrmkt olup aşağıdaki gibi hsaplanmaktadır.,3 P Pr 1 Pr 1 1 Pr 1 Pr 1 1 (16) v P 1 P P P (17) şklind ld dilir. Dnklm 16 da yr alan v, v dğrlndiricilrinin duyarlılık (snsitivity) dğrlrini, β v β, v dğrlndiricilrinin sçicilik (spcifity) dğrlrini göstrmktdir. Dnklm 17 d yr alan P +, dğrlndiricisi için pozitif katgori içrisindki dnğin sınıflandırılma olasılığını P +, dğrlndirici için pozitif katgori içrisindki dnğin sınıflandırılma olasılığı göstrmkt v aşağıdaki gibi formül dilmktdir.,3,7 P Pr 1 Pr 1 (18) P Pr 1 Pr 1 (19) uradan, toplam uyum olasılığı 1 1 (0) şklind ld dilir. Toplam uyum olasılığı şitliğindn yola çıkarak 0 olur. u formülasyonlar ld Pr dilirkn iki yaklaşım göz önünd bulundurulmaktadır:,3 1. Hr iki dğrlndirici için duyarlılığın v sçiciliğin; v olduğu durum. Doğru sınıflandırmanın bağımsız olduğu durum. Yani, ğr, + katgori içrisindki bir biryin v dğrlndiricilri tarafından doğru bir şkild sınıflandırılma olasılığını göstriyorsa (bağımsızlık koşuludur) olur. Dnklm 0 y gör, iki dğrlndirici arasındaki toplam uyum olasılığının prvlansa dğil dğrlndiricilrin duyarlılık v sçicilik dğrlrin bağlı olduğunu göstrmktdir. Dnklm 1 d vriln Scott ın istatistiği için şansa bağlı uyum olasılığı aşağıda vrilmktdir. P P (1) 1 P Pr 1 1 Pr v () unlar formülasyonda yrin konulduğu zaman, 1 Pr 1 Pr ˆ 4 (3) 1 Pr 1 Pr 1 halin dönüşür. Dnklm 3 d P r=0 vya P r=1 için, ˆ (4) olur. 4 1 P r=0.50 için, ˆ P (5) a olur. istatistiğin ait dnklmlrd bir paradoks gözlnmktdir. Dğrlndiricilrin duyarlılık dğrlri n olursa olsun, istatistiği ngatif bir güvnilirlik dğri vrir. Dolayısıyla ğr prvlans dğri düşük vya yüksk is, istatistiği dğri dğrlndiricilr arasındaki uyumu doğru bir şkild yansıtmayacaktır. istatistiğinin arasındaki prvlans dğrlri için P r nin artan bir fonksiyonunu göstrmktdir v P r >0.50 için bir azalma olur, P r =0.50 olduğu durumda da maksimum dğr ulaşır. Çünkü 0 P r 1 alır. ˆ, P r=0 v P r=1 d n küçük dğrini alır. Dnklm 5 d vriln Cohn in Kappa istatistiği için şansa bağlı uyum olasılığı aşağıda vrilmktdir. P 1 P P P P (6) Kappa istatistiğinin gnl dnklmi is, 1 1Pr 1 Pr (7) ˆ 1 1 1Pr 1 Pr şklind hsaplanır. Kappa istatistiği, prvlansın 0.50 dn çok küçük olduğu durumda, v dğrlndiricilrinin duyarlılık dğrlrin bağlı olan prvlansın azalan vya artan bir fonksiyonu olabilcğini göstrmktdir. Yani, ğr bir dğrlndiricinin duyarlılığı 0.50 dn küçük, diğr dğrlndiricinin duyarlılık dğri 0.50 dn büyüks, bu durumda kappa istatistiği, P r nin azalan bir fonksiyonu aksi takdird artan bir fonksiyonudur. u durum prvlansın 0.50 dn büyük olduğu durumla bnzrdir. Kappa istatistiği prvlans 0.50 y şit olduğu durumda maksimum ya da minimum dğr alır. Eğr dğrlndiricilrdn birinin duyarlılık dğri 0.50 is bu durumda prvlans n olursa olsun kappa istatistiği dğri d sıfır olur. 156

5 İki Sonuçlu Tanı Tstlrind İki Hkim rasındaki Uyum İstatistiklrinin Prvalanstan Etkilnm Durumları Eğr P r=0 vya P r=1 is ˆ 0 olur. Eğr P r=0.50 is ˆ olur. Scott ın istatistiğin bnzr olarak, yalnızca prvlans dğri 0.50 y yakın olduğunda, kappa istatistiği makul dğrlri vrir gibi görünmktdir. 0 a ya da 1 yakın olan prvlans dğri, dğrlndiricilr arası uyumun hrhangi bir miktarını ifad dn kappa istatistiğinin dğrini oldukça azaltacaktır. -indx ( ˆ ), sadc P a nın bir fonksiyonu olduğundan 0 olur. u yaklaşım koşulu altında, -indx, Pr dğrlndiricilrin duyarlılığına bağlı olarak, (P a -1) gibi sabit bir dğri vrir. C1 istatistiğin ait şansa bağlı uyum olasılığı aşağıda vrilmktdir. P ( ) 1 (8) Dnklm 8 d P P Pr 1 1 Pr v şklind hsaplanmaktadır. şağıda vriln C1 istatistiğin ait gnl dnklmd tüm formülasyonlar yrin konularak hsaplanmaktadır. P ( ) ˆ1 (31) 1 P ( ) ulgular Uyum istatistiklrinin kısmi türvlri alındıktan sonra ld diln formülasyonlardan yararlanılarak, duyarlılık v sçicilik dğrlrinin birbirin şit olduğu 11 farklı (0; 0.10; 0,0; 0,30; 0,40; 0,50; 0,60; 0,70; 0,80; 0,90 v 1) durum, 13 farklı (0; 0,05; 0.10; 0,0; 0,30; 0,40; 0,50; 0,60; 0,70; 0,80; 0,90; 0,95 v 1) prvalans dğrlri için hsaplanmış v tablolar halind sunulmuştur. Duyarlılık v sçicilik dğrlrinin 0 v 1 olduğu durumda, 1 hariç tüm olası prvalans dğrlri için tüm uyum istatistiklri 1 dğrini alırkn, prvalansın 1 şit olduğu durumda v kappa istatistiklri hsaplanamamıştır. Duyarlılık v sçicilik dğrlrinin 0.5 olduğu durumda, tüm olası prvalans dğrlri için tüm uyum istatistiklrinin 0 dğrini aldığı gözlnmiştir. Duyarlılık v sçicilik dğrlrinin 0.10 v 0.90 olduğu durumlarda, uyum istatistik dğrlri Tablo 5 d, 0.0 v 0.80 olduğu durumlarda Tablo 6 da, duyarlılık v sçicilik dğrlrinin 0.30 v 0.70 olduğu durumlarda Tablo 7 d, 0.40 v 0.60 olduğu durumlarda is uyum istatistiklri dğrlri Tablo 8 d vrilmiştir. Tablo 5. v =0.10; v =0.90 P r P a Kappa -indx C Tablo 6. v =0.0; v =0.80 P r P a Kappa -indx C Tablo 7. v =0.30; v =0.70 P r P a Kappa -indx C

6 Kanik v ark. Tablo 8. v =0.40; v =0.60 P r P a Kappa -indx C Sonuç Sonuç olarak v kappa uyum istatistiklrinin, prvalanstan tkilndiklri gözlnmktdir. Prvalans dğrinin 0.50 y şit olduğu durumda tüm uyum istatistiklrin ait dğrlrin şit olduğu gözlnmktdir. -indx, toplam uyum olasılığının bir fonksiyonu olduğu için prvlanstan dğil, duyarlılık v sçicilik dğrlrin bağlı olarak dğişiklik göstrmktdir. Dolayısıyla, duyarlılık v sçiciliğ bağlı olarak sabit bir dğr şit olduğu, duyarlılık v sçicilik dğri arttıkça -indx dğrinin d arttığı gözlnmktdir. yrıca, - indx hariç diğr uyum istatistiklrinin prvlansa gör simtrik bir dağılım göstrdiğini söylybiliriz. unun yanı sıra prvlans dğri yüksk (1) vya düşük (0) olduğunda v kappa istatistiği dğrinin sıfır dğrini almaktadır ki bu dğrlr dğrlndiricilr arasındaki uyumu doğru bir şkild yansıtmamaktadır. 0 il 1 arasındaki tüm prvlans dğrlri için bu iki uyum istatistiğinin bnzr sonuçlar vrdiği görülmktdir (Tablo 5-8). Dolayısıyla altrnatif olarak wt tarafından ortaya atılan C1 istatistiği, v kappa uyum istatistiklrin nazaran duyarlılık, sçicilik v prvlans dğrindn tkilnmdiği v daha iyi bir prformans göstrdiği söylnbilmktdir. u çalışma sonunda yaygın olarak kullanılan v kappa istatistiklrinin prvlanstan tkilndiklri v güvnilirlik çalışmalarında uyum katsayısı olarak artık bu istatistiklrin kullanımlarında daha dikkatli olunması grktiği ortaya konulmuştur. unun yanı sıra -indx v C1 istatistiklri sonucunda ld diln gözlnn uyum dğrlrinin, toplam uyum olasılığına gör daha tutarlı sonuçlar vrdiği gözlnmiş v araştırmacılara uyum çalışmalarında bu iki uyum istatistiğini trcih tmlri önrilmktdir. Kaynaklar 1. wt K. Kappa Statistics is not Satisfactory for ssssing th Extnt of grmnt twn Ratrs. Sris: Statistical Mthods Intr-Ratr Rliability sssmnt 00; 1: wt KL. Computing Intr-Ratr Rliability and Its Varianc in th Prsnc of High grmnt. r J Mathm Stat Psychol 008; 61: DOI: / X wt K. Intr-Ratr Rliability: Dpndncy on Trait Prvlanc and Marginal Homognity. Sris: Statistical Mthods for Intr-Ratr Rliability ssssmnt 00; : wt K. Handbook of Intr-Ratr Rliability; 1st rv d. US: STTXIS Publishing Company; Kundl HT, Polansky M. Masurmnt of Obsrvr grmnt. Radiology: Statistical Concpts Sris 003; 8: DOI: /radiol Haly DT, Thomas P, Ptr M, Rock D. Using a Nw Intr-Ratr Rliability Statistics. Tchnl Rp 008; 15: lood ES, Kvin F. Disagrmnt on grmnt: Two ltrnativ grmnt Cofficints. SS lobal Forum Furman M, Millr R. Rlationships twn Statistical Masurs of grmnt: Snsitivity, Spcificity and Kappa. J Eval Clin Pract 008; 14: DOI: /j x 9. Furman M, Millr R. Th Kappa Statistics as a Function of Snsitivity and Spcifity. IJEMEST 005; 36 (5): DOI: / u makaly atıf yapmak için: Kanik E, Erdoğan S, Tml O. İki Sonuçlu Tanı Tstlrind iki Hkim rasındaki Uyum İstatistiklrinin Prvalanstan Etkilnm Durumları. JIUMF 01; 19(3): DOI: /jiumf