İstatistikî İfadeyle... / Statistically Speaking...

Transkript

1 İstatistikî İfadeyle... / Statistically Speaking... DOI: /jmood Meta Analizi Anlama ve Yorumlama Selim Kılıç 1 ÖZ: Meta analiz belirli bir konuda yapılmış, birbirinden bağımsız, fakat benzer çalışmaların sonuçlarını birleştirme ve elde edilen araştırma bulgularının istatistiksel analizini yapma yöntemidir. İyi düzenlenmiş bir sistematik derleme başarılı bir meta analiz öncesi çok önemlidir. Meta analize alınan çalışmalar arasında heterojenite varlığı test edilmelidir. Yayımlanmaya bağlı yanlılık meta analizde önemli bir sorundur. Bu nedenle huni grafi ile olası yayımlanmaya bağlı yanlılık varlığı incelenmelidir. Duyarlılık analizi belirsizliği azaltmada önemli bir istatistiksel yöntemdir. Orman grafiği meta analize alınan çalışmaların birleştirilmiş sonucunun yorumlanmasını kolaylaştıracaktır. Sonuç olarak, yayımlanmış meta analizlerin dikkatlice gözden geçirilmesi ve dengeli biçimde eksikliklerinin belirlenmesi sağlık uygulamalarındaki belirsizliğin çözümünde gittikçe önemi artan bir yol olacaktır. Anahtar sözcükler: sistematik derleme, heterojenite, yayımlanmaya bağlı yanlılık ABSTRACT: Understanding and interpreting meta analyses A meta-analysis a statistical method that integrates the quantitative findings from separate but similar studies and provides a numerical estimate of interest. A well conducted systematic review is very important before performing a successful meta-analysis. It is necessary to test heterogeneity between studies included in meta-analysis. Publication bias is a major problem in meta-analysis. So funnel plots should use to detect a possible publication bias. Sensitivity analysis is also an important statistical method to reduce the uncertainty. A forest plot will make easier to interpret the aggregate effect size obtained by combining all the studies included in meta-analysis. In conclusion, careful reviewing of published meta-analyses and a balanced assessment of their deficiencies is likely to become an increasingly important way of resolving uncertainty in healthcare practices. Keywords: systematic review, heterogeneity, publication bias Journal of Mood Disorders (JMOOD) 2016;6(2): GATA Epidemiyoloji Bilim Dalı Başkanlığı, Ankara-Türkiye Ya zış ma Ad re si / Add ress rep rint re qu ests to: Selim Kılıç, GATA Epidemiyoloji Bilim Dalı Başkanlığı, Ankara-Türkiye Elekt ro nik pos ta ad re si / E-ma il add ress: drselimkilic@gmail.com Geliş ta ri hi / Date of received: 25 Mart 2016 / March 25, 2016 Ka bul ta ri hi / Da te of ac cep tan ce: 3 Nisan 2016 / April 3, 2016 Bağıntı beyanı: S.K.: Yazar bu makale ile ilgili olarak herhangi bir çıkar çatışması bildirmemiştir. Declaration of interest: S.K.: The author declare that they have no conflict of interests regarding the content of this article. Meta analiz belirli bir konuda yapılmış, birbirinden bağımsız, birden çok çalışmanın sonuçlarını birleştirme ve elde edilen araştırma bulgularının istatistiksel analizini yapma yöntemidir. Meta analiz terimini ilk olarak 1976 yılında kullanan Glass, benzer araştırma sorularına yanıt arayan fakat farklı sonuçlar bildiren çalışmalar nedeni ile bu yöntemi geliştirmiştir (1-3). Meta analizlerin temel amaçları; bağımsız birçok klinik araştırmayı eleştirel olarak gözden geçirmek, istatistiksel olarak aralarında bağlantı kurarak birlikte değerlendirmek ve tek bir araştırma ile yanıtlanması güç olan sorulara yanıt aramaktır. Olgu sayısının artırılarak araştırmanın gücünün artması, nedensel ilişkinin saptanmasını kolaylaştırması, şansa bağlı ortaya çıkabilecek sonuçlardan kaynaklanan belirsizliklerin giderilebilmesi, karıştırıcılara ve etki değiştiricilere bağlı olarak bazı çalışmalarda bulunan farklı sonuçları saptama ve yorumlamanın daha kolaylaşması meta analizin üstünlükleri olarak sıralanabilir (3-10). Bilimsel yazında karşımıza genellikle randomize Journal of Mood Disorders Volume: 6, Number: 2,

2 kontrollü klinik araştırmalarda uygulanmış olarak çıksa da, gözlemsel çalışmalar (kohort, olgu-kontrol, kesitsel, tanımlayıcı araştırmalar), tanımlayıcı araştırmalar, tanı yöntemlerinin geçerlilik ve güvenilirlik çalışmalarında da uygulanabilir (9,12-14). Başarılı bir meta analiz gerçekleştirilmesi için gerekli olan uygulama aşamaları şunlardır (4-10): 1. Başlangıç aşamasında çalışmanın amaç(lar)ı ve incelenmesi hedeflenen sorunların net olarak tanımlanmış olması, 2. Analize alınacak çalışmalara yönelik kabul edilme ve dışlama ölçütlerinin belirlenmesi, 3. Kaynakça arama ölçütlerinin belirlenmesi, yayımlanmış ve yayımlanmamış olabildiğince çok kaynak taranması, 4. Standart veri toplama formları kullanılması ve maskeleme yapılması, 5. Analize alınan çalışmaların nitelik olarak değerlendirilmesi, çalışmaların örnek büyüklükleri ve standart hataları dikkate alınarak ağırlıklandırılması, 6. Çalışma sonuçları arasındaki farklılıkların saptanması ve grafikle gösterilmesi, 7. Uygun regresyon modellerinin kullanılması, 8. Veri toplama ve değerlendirme yöntemlerinin duyarlılıklarının değerlendirilmesidir. Meta analize alınan çalışmalar arası kalite farkı saptanmış ise bulguları birleştirmeden önce kötü kaliteli olduğu değerlendirilen çalışmaların meta analizden çıkarılması uygun olacaktır. Bu çalışmaların çıkarılmasıyla elde edilen birleştirilmiş bulgular ile meta analize alınan tüm çalışmaların birleştirilmiş bulgularının karşılaştırılması da yapılmalıdır (9). Bir meta analizi yazarken veya okurken kullanılabilecek kontrol listesi ise şu basamakları içermelidir (3-12, 15-19): a) Meta analizin hedefleri net olarak verilmiş midir? b) Meta analize alınan çalışmaların seçiminin nasıl yapıldığı ayrıntılı açıklanmış mıdır? 1. Çalışmalara nasıl ulaşıldığı ayrıntılı açıklanmış mıdır? 2. Yayınlanmamış raporlara ulaşılmış mıdır? 3. Meta analize alınan çalışmaların dâhil edilme ve dışarda bırakılma kriterleri nelerdir? 4. Meta analizde dışarıda bırakılan çalışmaların gerekçeleri belirtilmiş midir? 5. Meta analiz sonunda saptanan istatistiksel olarak anlamlı birleşik p değerini, istatistiksel olarak anlamsız düzeye getirecek kaç tane (anlamsız p değeri olan) çalışmanın gerektiğine dair bir hesaplama yapılmış mıdır? Bu sayı küçük olursa kaynak taraması sırasında ulaşılamamış birkaç çalışma sonucu ile meta analizde elde edilen birleşik p değerinin anlamlılık durumunun değişebileceği akılda bulundurulmalıdır. c) Çalışmalar hakkında bilgi 1. Hangi çalışma tasarımlarının (olgu-kontrol, kohort, randomize kontrollü çalışma vb.) meta analize dahil edildiği bilgisi verilmiş midir? 2. Bu çalışmaların kalitesini değerlendirmek için kullanılan kriterler açıklanmış mıdır? 3. Çalışmaların özellikleri arasındaki farklılıklar belirtilmiş midir? Çalışma tasarımında, katılımcıların özelliklerinde, dâhil etme ve dışarda bırakma kriterlerinde, gruplara katılımcıların atanmasında, izleme sürelerinde, çalışmaların sonlanım kriterlerinde, gerçekleştirilen istatistiksel analiz protokollerinde hangi farklılıklar vardır? d) Analiz yöntemleri 1. Çalışmalar arasındaki heterojenitenin nasıl test edildiği açıklanmış mıdır? Eğer heterojenite için yapılan istatistiksel analizde düşük p değeri bulunmuşsa çalışmaların bulguları arasındaki farklar ihmal edilemeyeceğinden, sabit etkiler (fixed-effects) modeli (ayrı çalışmalardaki bulgulardan tahmin edilebilen altta yatan bir tek gerçek etkinin var olduğu varsayımı) savunulamaz. 2. Çalışma kalitesindeki farklılıklar analizde hesaba katılmış mıdır? 3. Bulguları birleştirmede sabitler etki veya rassal etkiler modeli kullanılmış mıdır? Sabit etkiler modeli, toplanan çalışmaların hepsinin tamamen aynı etkiyi tahmin etmesi varsayımına dayanır ve çalışmadan çalışmaya sabit kalır. Etki büyüklüğü tahminlerini birleştirmede heterojenliği kabul etmez. Buna karşılık rassal etkiler modelinde tüm çalışmalar arasında etki büyüklüğü bakımından farklar olduğu varsayılır. Gerçek etki büyüklüğünün 94 Journal of Mood Disorders Volume: 6, Number: 2,

3 S. Kılıç çalışmadan çalışmaya değişkenlik gösterdiği kabul edilir. 5. Duyarlılık analizi yapılmış mıdır? Kötü kaliteli çalışmalar analizden çıkartıldığı zaman, heterojenite istatistiksel olarak önemli bir şekilde kalıyorsa, bu durum gözlenen heterojenitenin sadece meta analize alınan bazı çalışmaların kötü kalitesine bağlı olmadığını gösterir. Eğer verilerin farklı analizler (sabit etkiler veya rassal etkiler modeli) ile benzer sonuçlara gittiği gösterilirse, duyarlılığın yüksek olduğu söylenebilir. 6. Çalışmaların veya bireylerin alt grupları arasında karşılaştırma yapılmış mıdır? Olası karıştırıcı ve etki değiştirici faktörler karşılaştırmalarda dikkate alınarak sonuçlar değerlendirilmiş midir? Meta analize alınan çalışma gruplarının büyüklüğüne göre daralan fakat huninin alt ve üst ucunda da simetrik dağılım gösteren bu sonuçlar meta analize alınan çalışmaların seçiminde bir yanlılık olmadığını (tedavi lehine veya aleyhine sonuçlar elde edilen çalışmaların meta analize alınmış olduğunu) yani yayımlanmaya bağlı taraf tutma (publication bias) olmadığını gösterir. e) Bulgular 1.Heterojenite testinin bulgusu nedir? Eğer açıklanamayan heterojenite var ise, bilinmeyen yan tutmalar veya bilinmeyen etki değiştirici faktörler var olabilir. Böyle durumlarda, farklı çalışmalarda gerçek etkilerin farklı olduğu varsayımı temelindeki bir rassal etkiler modeli bulguları özetlemede kullanılabilir. 2. Birleştirilmiş bulguların güven aralığı nedir? Eğer tüm çalışmalar gerçekte benzer bir değeri tahmin ediyor ise, bulguların dağılım aralığının daha dar olması gerekir. Örneklem büyüklüğünün artması veya varyansın azalması ile görünüm yukarıya daralan bir huni şeklinde oluşacaktır. Bu huni görünümü, değerler arasındaki tutarsızlığın temel açıklamasının rassal hata olduğunu düşündürür. Bu huni görünümünün simetrik olup olmaması da bize meta analize dahil edilen çalışmaların belirlenmesinde yayımlanmaya bağlı bir yanlılık (publication bias) olup olmadığı konusunda bilgi verir. Diğer yandan meta analize alınan çalışmaların hemen tamamında tedavi lehine sonuçların görüldüğü aşağıdaki diğer grafikte ise, tedavi aleyhine sonuçlanan çalışmaların meta analize alınmamış veya bunlara ulaşılamamış olunabileceğini düşündürmelidir. Bu şekildeki bir görünüm yayımlanmaya bağlı taraf tutma (fark var bulunan çalışmaların yayımlanırken, fark yok bulunan çalışmaların yayımlanmamış olabileceği gerçeğini) olabileceğini, bu tür çalışmalara da ulaşılması gerektiğini akla getirmelidir. İki farklı huni grafiği (funnel plot) ile konuya açıklık getirecek olursak; meta analize alınan farklı çalışmalara ait sonuçların karşılaştırıldığı ilk grafikte, örnek büyüklüğü küçük çalışmalarda tedavi veya plasebo grubu lehine bulunan farkın daha büyük olduğu gözlenmektedir. Meta analize dâhil edilen çalışmaların örnek büyüklüğü arttıkça ise çalışmada tedavi veya plasebo grubu lehine saptanan farkın daha küçük olduğu gözlenmektedir. Taylor ve arkadaşlarının agomelatin ve plasebonun depresyon tedavisindeki etkinliğini karşılaştırdığı meta analize aldıkları çalışmaların sonuçları ile meta analize alınan tüm çalışmaların birleştirilmiş sonuçla- Journal of Mood Disorders Volume: 6, Number: 2,

4 rının gösterildiği forest graph olarak tanımlanan aşağıdaki grafiği değerlendirirsek (20); tüm çalışmalarda agomelatin grubu plasebo grubundan üstün bulunmuştur, zira 0 (sıfır) çizgisinin solunda plasebo grubu lehine sonuç bildiren herhangi bir çalışma sonucu yoktur. Burada çalışmadan elde edilen sonuçlar kare simgesi ile gösterilmiş iken, karenin solu ve sağındaki çizgiler ilgili çalışmaya ait saptanan %95 Güven Aralığı değerlerini göstermektedir. Yani ilgili çalışmada kare simgesi ile gösterilen sonucun elde edildiği çalışma grubuna benzer 100 grupta bu çalışma tekrarlanmış olsaydı, 95 inde çizginin en solundaki değer agomelatin lehine en küçük sonuç ve çizginin en sağındaki değer ise agomelatin lehine en büyük sonuç olarak bulunacaktı. Burada dikkat çekici husus meta analize alınmış ama yayımlanmamış bazı çalışmalarda saptanan çizginin en solundaki değer 0 ın solunda yani yapılacak 95 çalışmanın en az birinde plasebo lehine bir sonuç yani antidepresan tedavisinde agomelatinin plasebodan daha kötü olduğuna dair çalışma sonuçları elde edilmiş olmasıdır. Yayımlanmamış çalışmalara ait yukardan aşağı ilk 5 çalışmanın tamamında agomelatin lehine sonuçlar bulunmakla beraber, %95 Güven Aralığı 0 değerini de içerdiğinden bu çalışmaların tamamı istatistiksel olarak anlamlı değildir. Buna karşılık yayımlanmamış çalışmalar grubunda sadece en alttaki 2 çalışmada agomelatin lehine olarak bulunan fark istatistiksel olarak anlamlıdır. Çünkü %95 Güven Aralığı 0 değerini içermemektedir. Bu 7 çalışmanın altında elmas (diamond) simgesi ile gösterilen sonuç Taylor D, Sparshatt A, Varma S, Olofinjana O. Antidepressant efficacy of agomelatine: meta-analysis of published and unpublished studies. BMJ 2014;348:g1888 makalesinden alınmıştır. 96 Journal of Mood Disorders Volume: 6, Number: 2,

5 S. Kılıç ise yayımlanmamış 7 çalışmanın birleştirilmiş sonucudur ve %95 Güven Aralığı 0 değerini içermediğinden (%95 Güven Aralığı= ) antidepresan tedavisinde agomelatin grubunun plasebo grubuna göre istatistiksel olarak anlamlı üstün olduğunu göstermektedir. Diğer yandan alttaki yayımlanmış 5 çalışmanın sonuçlarına bakıldığında hepsinde agomelatin grubuna ait istatistiksel olarak anlamlı üstünlük bulunmuştur (tamamında %95 Güven Aralığı 0 değerini içermemektedir). Bu çalışmaların tamamında agomelatin lehine istatistiksel anlamlı fark bulunmuş olması bu çalışmaların yayımlanmış olmasını da açıklayabilir. Grafikte weight başlığı altında da, meta analize alınan her bir çalışmanın birleştirilmiş meta analiz sonucuna verdiği katkı, başka bir ifade ile birleştirilmiş sonuçtaki ağırlığı olarak gösterilmiştir. Bu durumda grafikten çalışmalar içinde %10 ile Zajecka ve arkadaşlarının 2010 yılında gerçekleştirdiği çalışmanın meta analiz sonucuna en çok katkı veren çalışma olduğu anlaşılmaktadır. Sonuç olarak gerek yayımlanmamış 7 çalışmanın birleştirilmiş sonucunda (%95 Güven Aralığı= ), gerek yayımlanmış 5 çalışmanın birleştirilmiş sonucunda (%95 Güven Aralığı= ), gerekse yayımlanmamış ve yayımlanmış toplam 12 çalışmanın birleştirilmiş sonucunda (%95 Güven Aralığı= ) antidepresan tedavisinde agomelatinin plasebodan istatistiksel olarak anlamlı üstün olduğu sonucu elde edilmiştir. Sonuç olarak; bir meta analiz yazımında çok iyi sistematik derleme yapılmalı, yayımlanmamış verilere mutlaka ulaşılmaya çalışılmalı, analizde çalışmalar arasındaki heterojenite etkisi dikkate alınmalı, istatistiksel anlamlı fark bildirmeyen yayımlanmamış kaç çalışmaya gereksinim olduğu bilgisi de meta analizde mutlaka verilmelidir. Meta analizler sonuçları birbiri ile uyumsuz, özellikle küçük gruplarda gerçekleştirilmiş araştırma konularında yön göstericidir. Ancak sonuçları kabul edilmeden önce çok dikkatli incelenmelidir. Uygulama aşamaları özenli ve dikkatli yürütülmemiş bir meta analizin yanlış çıkarımlara götürme adına büyük risk taşıdığı göz önünde bulundurulmalıdır. Kaynaklar: 1. Greenland S, O Rourke K: Meta-Analysis. Modern Epidemiology, 3rd ed. Edited by Rothman KJ, Greenland S, Lash T. Lippincott Williams and Wilkins; 2008: Glass G. V. Primary, secondary, and meta-analysis of research. Educational Researcher 1976;5: Finckh A, Tramèr MR. Primer: strengths and weaknesses of metaanalysis. Nat Clin Pract Rheumatol. 2008;4: Walker, E, Hernandez AV, Kattan MW. Meta-analysis: Its strengths and limitations. Cleveland Clinic Journal of Medicine. 2008;75: Ryś P, Władysiuk M, Skrzekowska-Baran I, Małecki MT. Review articles, systematic reviews and meta-analyses: which can be trusted? Pol Arch Med Wewn. 2009;119: Jain V, Sharma R, Singh S. Doing meta-analysis in research: a systematic approach. Indian J Dermatol Venereol Leprol. 2012;78: Israel H, Richter RR. A guide to understanding meta-analysis. J Orthop Sports Phys Ther. 2011;41: Montori VM, Swiontkowski MF, Cook DJ. Methodologic issues in systematic reviews and meta-analyses. Clin Orthop Relat Res. 2003;413: Akgöz S, Ercan İ, Kan İ. Meta-analizi. Uludağ Üniversitesi Tıp Fakültesi Dergisi. 2004;30: Leucht S, Kissling W, Davis JM. How to read and understand and use systematic reviews and meta-analyses. Acta Psychiatr Scand. 2009;119: Freemantle N, Geddes J. Understanding and interpreting systematic reviews and meta-analyses. Part 2: meta-analyses. Evid Based Mental Health. 1998;1: da Costa BR, Juni P. Systematic reviews and meta-analyses of randomized trials: principles and pitfalls. Eur Heart J. 2014;35: Mata DA, Ramos MA, Bansal N, Khan R, Guille C, Di Angelantonio E, Sen S. Prevalence of Depression and Depressive Symptoms Among Resident Physicians: A Systematic Review and Metaanalysis. JAMA. 2015;314: Eisen RB, Perera S, Banfield L, Anglin R, Minuzzi L, Samaan Z. Association between BDNF levels and suicidal behaviour: a systematic review and meta-analysis. Syst Rev. 2015;4: Fleiss JL. The statistical basis of meta-analysis. Stat Methods Med Res. 1993;2: Engels EA, Schmid CH, Terrin N, Olkin I, Lau J. Heterogeneity and statistical significance in meta-analysis: an empirical study of 125 meta-analyses. Stat Med. 2000;19: Moreno SG, Sutton AJ, Thompson JR, Ades AE, Abrams KR, Cooper NJ.A generalized weighting regression-derived meta-analysis estimator robust to small-study effects and heterogeneity. Stat Med. 2012;31: Journal of Mood Disorders Volume: 6, Number: 2,

6 18. Macaskill P, Walter SD, Irwig L. A comparison of methods to detect publication bias in meta-analysis. Stat Med. 2001;20: Sterne JA, Egger M. Funnel plots for detecting bias in meta-analysis: guidelines on choice of axis. J Clin Epidemiol. 2001;54: Taylor D, Sparshatt A, Varma S, Olofinjana O. Antidepressant efficacy of agomelatine: meta-analysis of published and unpublished studies. BMJ. 2014;348: Journal of Mood Disorders Volume: 6, Number: 2,