ARAŞTIRMALARDA HATA KAYNAKLARI VE ÖNLEME YÖNTEMLERİ. Dr. Ergun Karaağaoğlu

Transkript

1 ARAŞTIRMALARDA HATA KAYNAKLARI VE ÖNLEME YÖNTEMLERİ Dr. Ergun Karaağaoğlu 1

2 BİYOİSTATİSTİK, Biyolojik veriyi çözümlemek ve anlamak için çok güçlü bir araçtır. Bilimsel literatürde biyoistatistik yöntemlerin kullanımı giderek artmaktadır. Biyoistatistik yöntemlerin uygunsuz-bilinçsiz kullanımı ciddi bir problemdir ve çarpıtılmış sonuçlara, yanlış yorumlara ve kaynakların boşa harcanmasına neden olmaktadır. Bunların ötesinde yanlış kullanımı, ciddi klinik sonuçlar doğurabilmekte ve etik dışı kabul edilmektedir. Tüm dünyada önemli bir sorun olarak algılanmaktadır. Dr. Ergun Karaağaoğlu 2

3 Bilimsel Araştırmanın Evreleri Planlama Veri Toplama Veri Değerlendirme Sunum-Yorumlama Yayın İstatistik bir araştırmanın hangi evresinde yer alır? Dr. Ergun Karaağaoğlu 3

4 DEĞERLENDİRME? İSTATİSTİK = VERİ DEĞERLENDİRME İstatistiksel katkının en göze görünür kısmı istatistiksel değerlendirme aşaması olduğundan (P değerleri) yukarıdaki eşitlik doğruymuş gibi düşünülür. Ancak bu dar bakış açısı, diğer aşamalardaki istatistiksel katkıyı yok sayarak yada yeterince önemsemeyerek bir çok yaşamsal noktanın gözden kaçmasına neden olur. Dr. Ergun Karaağaoğlu 4

5 Deneysel araştırmalardan elde edilen verinin analizinde çoğunlukla amaç, bir örneklem üzerinde elde edilen bulguların, benzer özellikteki bireylerin oluşturduğu tüm kitleye genelleştirilebilmesidir. Bunun için araştırma planlamasının doğru yapılması, örnekleme yönteminin uygun olarak belirlenmesi, yeterli büyüklükte örneklem alınması ve uygun istatistiksel çözümleme yöntemlerinin kullanımı şarttır. Dr. Ergun Karaağaoğlu 5

6 Günümüzde istatistik bilimsel araştırmalarda çok güçlü bir araç olarak kabul edilmekte ve medikal literatürde yeri ve önemi giderek artmaktadır. Ancak araştırmalarda istatistiğin kullanımı ile ilgili standartlar etkin bir şekilde geliştirilememiş, bunun sonucu olarak da hem yapılan hatalar önlenememiş, hem de birliktelik sağlanamamıştır. Uygun olmayan istatistiksel yöntem kullanımı yanlış sonuçlara neden olacağından, hem insan sağlığını tehdit etmesini hem de kaynakların boşa harcanmasını mutlaka önlemek gerekir. Bu nedenle sağlık araştırmalarında istatistiğin yanlış kullanımı sürekli tartışılan bir konu olmuş, medikal dergi editörleri hem yazarlar hem de hakemler için bazı yönergeler hazırlayarak, kullanılan istatistik yöntemlerin doğruluğunu artırıcı ve birliktelik sağlayıcı bazı adımlar atmışlardır. Dr. Ergun Karaağaoğlu 6

7 Biyoistatistik değerlendirmesinin temel hedefi: Çalışmanın uygun düzenlenip yürütüldüğünü ve sonuçların uygun sunulduğunu garanti etmek Olası hataları ortaya çıkarmaktır. İstatistiksel hatalar Planlama aşamasında yapılan Değerlendirme aşamasında yapılan Sunum aşamasında yapılan Yorumlama aşamasında yapılan hatalar. Dr. Ergun Karaağaoğlu 7

8 Araştırmaların Değişik Aşamalarında Sık Yapılan Hatalar Planlama Aşamasında Yapılan Hatalar Tablo 1. Planlama Aşamasında Yapılan Hatalar Araştırmanın amacının ve birincil sonuç değişkenlerinin açıkça belirtilmemesi Araştırma hipotezinin önceden açıkça belirtilmemesi Başlangıçta örneklem genişliği, etki büyüklüğü ve güç hesaplarının yapılmaması Çalışmaya dahil olma ve hariç tutulma kriterlerinin belirtilmemesi, aykırı gözlemlere ilişkin değerlendirmenin nasıl yapılacağının belirlenmemesi Yanlılığın önlenmemesi. Rasgeleleştirme kullanılmaması ve/ya da yönteminin belirtilmemesi Gerekli durumlarda körlemenin kullanılmaması ve/ ya da belirtilmemesi Başlangıç değerlerinin-özelliklerinin gruplar arasında benzerliğinin sağlanmaması ve grupların karşılaştırılabilir olmaması Dr. Ergun Karaağaoğlu 8

9 Araştırma sorusu açık ve net olmalıdır. X tedavisi plaseboya göre Z hastalığı na sahip bireylerde Y değişkeni üzerinde daha etkili midir? Bir üstünlük çalışması mı yoksa daha kötü olmama çalışması mı belirtilmelidir. Araştırma sorusuna dayanan hipotez ya da hipotezler belirlenmelidir. Örneğin, tedavi ve kontrol gruplarında tedavi başlangıcından A ay sonra Y değişkeninin ortalamaları arasında fark olmayacaktır. Dr. Ergun Karaağaoğlu 9

10 n Güç Hesaplamaları: Dr. Ergun Karaağaoğlu 10

11 Yanlılığın önlenmemesi. Rasgeleleştirme kullanılmaması ve/ya da yönteminin belirtilmemesi. Yanlılık (bias), ön yargılı davranma, taraf tutma, kurallara aykırı olarak ya da işine geldiği gibi işlem yapma ya da değerlendirme. Bilinçli yada bilinçsiz yapılabilir Seçme yanlılığı (selection bias) Değerlendirme yanlılığı (evaluation bias) Yayın yanlılığı (publication bias) Hatırlama Yanlılığı (recall bias) Dr. Ergun Karaağaoğlu 11

12 Seçim Yanlılığı :. Bu tür yanlılık, denemeye alınacak hastaların, araştırmacının kendi kriterlerine göre seçilmesi ya da seçilen hastaları denenecek tedavi ve kontrol grubuna araştırıcının istediği gibi dağıtması durumunda yapılır.. Seçim yanlılığını önlemenin yolu hastaları tedavi gruplarına rastgele atamaktır. Dr. Ergun Karaağaoğlu 12

13 DeğerlendirmeYanlılığı (hasta/araştırıcı):. Bu tür yanlılık, hastanın aldığı tedavinin doktor tarafından bilinmesi ve doktorun denediği ilacın / tedavinin etkinliğini ya da güvenirliğini subjektif biçimde değerlendirememesi durumunda ortaya çıkar.. Bu yanlılık türünde hastanın da verdiği yanıta göre yanlı davranması olasıdır.. Değerlendirme yanlılığını önlemenin yolu, körleme uygulamaktır. Dr. Ergun Karaağaoğlu 13

14 Yayın Yanlılığı :. Bu tür yanlılık araştırmacıların çarpıcı bulguların elde edildiği çalışmaları daha çok yayınlamalarından, dergi editörlerinin bu tip çalışmalara ait makaleleri yayımlamaya öncelik vermelerinden ve bulguları çarpıcı olmayan veya olumsuz bulunan çalışmaların yayımlamaya değer bulunmamasından kaynaklanır. Dr. Ergun Karaağaoğlu 14

15 Hatırlama Yanlılığı (Recall Bias): Araştırmaya katılan bireylerin geçmişteki olayları ya da yaşadıkları deneyimlerini hatırlamalarındaki doğruluk ya da eksikliklerden kaynaklanan sistematik bir hatadır. Yanıt ya da yanıtlayıcı yanlılığı olarak da adlandırılır. Geriye dönük (olgu kontrol) çalışmalrında öenmlidir. Dr. Ergun Karaağaoğlu 15

16 Rasgelelik -RASTGELELEŞTİRME (Randomization) Araştırmaya alınacak bireylerin rasgele seçilmesi ya da klinik araştırmaya alınan bireylerin tedavi gruplarına dağıtımlarının rastgele yapılmasıdır. Rastgeleleştirmenin yapılma amacı, hastaların tedavi grubuna yerleştirilirken araştırıcının yapması olası seçim yanlılığını önlemektir. Böylece deneme sonunda analiz aşamasında tedaviler arasında bulunabilecek olası bir farkın, seçme veya tedavi gruplarına dağıtımdaki yanlılığa bağlı olma olasılığı ortadan kaldırılmış olur. Dr. Ergun Karaağaoğlu 16

17 Klinik araştırmalarda rastgeleleştirme yapılırken iki yol kullanılır: 1.Sabit Olasılıklı Rastgeleleştirme. Basit Rastgeleleştirme. Blok Rastgeleleştirme. Tabakalı Rastgeleleştirme 2. Değişen Olasılıklı Rastgeleleştirme. Kazanana Oyna Kuralı. Minimizasyon Dr. Ergun Karaağaoğlu 17

18 KO RLEME (BLINDING) Deneme sırasında hastaya uygulanan tedavinin / verilen ilacın, hasta dahil, denemede bulunanlar tarafından bilinmemesine ko rleme denmektedir. Klinik denemede ko rleme yapılan kis iler hasta, hastaya tedaviyi uygulayan, hastaya ilacı veren doktor ve ona yardım eden kis iler, hastadan sıvı alıp onun analizini yapan, klinik dıs ından projeye katılan istatistikc iler olabilir. Dr. Ergun Karaağaoğlu 18

19 Ko rleme yapmanın amacı hastada uygulanan ilacın ya da tedavinin etkinligĭni ya da güvenirliğini degĕrlendiren doktorun ya da klinik denemeye katılan digĕr personelin uygulanan ilacı ya da tedaviyi bilmeleri sonucu klinik degĕrlendirme, veri is leme, raporlama ve istatistiksel analiz sırasında degĕrlendirme yanlılıgĭ yapmalarını o nlemektir. Dr. Ergun Karaağaoğlu 19

20 Değerlendirme Aşamasında Yapılan Hatalar Tablo 2. Değerlendirme Aşamasında Yapılan Hatalar Yanlış istatistiksel test kullanılması Kullanılan testin ilgilenilen veri ile uyumlu olmaması Verinin bağımlımı yoksa bağımsız örneklemlerden mi kaynaklandığına dikkat edilmemesi Parametrik testlerin uygun olmayan durumlarda kullanılması, test varsayımlarına dikkat edilmemesi Birinci tip hatanın büyümesinin önlenmemesi Çoklu karşılaştırma için düzeltme yapılmaması Çoklu grup karşılaştırmalarında altgrup karşılaştırmalarının uygun yapılmaması Çok değişkenli istatistiksel yöntemlerin yerine tek değişkenli yöntemlerin kullanılması Dr. Ergun Karaağaoğlu 20

21 ÖRNEK: *** e yayınlanmak üzere gönderilen bir makale AMAÇ:.. hastalığının tanılanmasında.. yönteminin sonuçları ile postoperatif histopatolojik sonuçların karşılaştırılması ARAŞTIRMA DÜZENİ: Retrospektif, non randomize YÖNTEM: 37 hastanın.. yöntemi ile elde edilen sonuçları postoperatif histopatolojik sonuçlarla karşılaştırılmıştır. İki yöntemin malignenesi oranları Fisher in Kesin Ki-kare testi ile karşılaştırılmıştır. SONUÇLAR:. yöntemi 37 hastanın 4 ünde malignensi bulurken, postoperatif patolojik sonuçlar 37 hastanın 9 unda malignensi saptamıştır (p = 0.127). BULGULAR: İki grup arasında fark bulunamadığından (p > 0.05) sonuçlar, yönteminin güvenilir bir tanı aracı olduğunu göstermiştir. Bu tür hastaların değerlendirilmesinde bu yöntemin kullanımı önerilmektedir. Dr. Ergun Karaağaoğlu 21

22 Bu çalışmada iki grup bağımsız olarak düşünülerek Fisher in Kesin Ki kare testi kullanılmıştır, oysaki tek grup (37 hasta) vardır ve bunlar iki yöntemle değerlendirilmişlerdir. Bu çalışmada kullanılan yönteme göre YÖNTEM SONUÇ TOPLAM + - PATOLOJİ YENİ YÖNTEM TOPLAM Yukarıdaki tablo kullanılarak işlem yapıldığında P=0,127 bulunur. Görüldüğü gibi burada sanki 74 hasta varmış gibi işlem yapılmıştır. Dr. Ergun Karaağaoğlu 22

23 Oysaki bu çalışmada bağımsız iki grup yoktur, bir gruba ilişkin bağımlı iki veri seti vardır. Aşağıdaki tablo hazırlanıp, Mc Nemar testi ile iki yöntemin farklı olup olmadığı incelenmelidir. YENİ YÖNTEM PATOLOJİ + - TOPLAM +?? 4 -?? 33 TOPLAM Burada verilenlerden? ile gösterilen gözlerin değerleri bilinemez ve farklılık incelenemez. Dr. Ergun Karaağaoğlu 23

24 Bağımsız değişken yada değişkenlerin bağımlı değişken üzerindeki etkisi: Gruplar I II k X Y X Y X Y X lerdeki değişim Y leri etkiliyorsa ve karşılaştırılacak grupların değerleri farklılık gösteriyorsa, grupların Y arasındaki farklılığın bir bölümü X lar arasındaki farklılığa bağlanabilir. X Dr. Ergun Karaağaoğlu 24

25 Parametrik testlerin uygun olmayan durumlarda kullanılması, test varsayımlarına dikkat edilmemesi, Birinci tip hatanın büyümesinin önlenmemesi Çoklu karşılaştırma için düzeltme yapılmaması Dr. Ergun Karaağaoğlu 25

26 Verinin Sunumunda Yapılan Hatalar Tablo 3. Verinin Sunumu ile İlgili Yapılan Hatalar Verinin Tablo, Grafik ve sayısal olarak yeterince ve uygun biçimde özetlenmemesi Standart sapma ve Standart hatanın uygun kullanılmaması Normal dağılış göstermeyen veri için ortalama ve standart sapma kullanılması Veri yapısı ile uyumlu grafik kullanılmaması Sonuçların yeterince ve uygun biçimde sunulmaması Güven aralıkları yerine sadece p değerlerinin verilmesi Gerçek p değeri yerine p>0.05 ya da * gösterimi kullanmak Dr. Ergun Karaağaoğlu 26

27 Doğru Grafik Kullanmamak Kan Grubu Hasta Durum Sağlıklı Toplam A B AB Toplam P=0,03 P=0,03 Dr. Ergun Karaağaoğlu 27

28 British Journal of Anaesthesia 90 (4): 514±16 (2001) DOI: /bja/aeg087 Misuse of standard error of the mean (SEM) when reporting variability of a sample. A critical evaluation of four anaesthesia journals P. Nagele* Department of Anesthesiology and General Intensive Care, University of Vienna, Austria and Department of Anesthesiology, Washington University School of Medicine, St Louis, MO, USA *Address for correspondence: Department of Anesthesiology and General Intensive Care, University of Vienna, Wahringer Gurtel 18-20, A-1090 Vienna, Austria. peter.nagele@univie.ac.at Background. In biomedical research papers, authors often use descriptive statistics to describe the study sample. The standard deviation (SD) describes the variability between individuals in a sample; the standard error of the mean (SEM) describes the uncertainty of how the sample mean represents the population mean. Authors often, inappropriately, report the SEM when describing the sample. As the SEM is always less than the SD, it misleads the reader into underestimating the variability between individuals within the study sample. Dr. Ergun Karaağaoğlu 28

29 Table 1 Frequency of use of standard error of the mean (SEM) and standard deviation (SD) in four anaesthesia journals, listed in order of decreasing percentage misuse. Data are numbers of articles (%). *Some of these articles used both the SD and the SEM to describe the study sample Incorrect use of SEM;total* Laboratory studies using SEM incorrectly Anesthesia & Analgesia 112 (27.7) 66 (59) British Journal of Anaesthesia 31 (22.6) 15 (47) Anesthesiology 48 (18.7) 43 (90) European Journal of Anaesthesiology 7 (11.5) 3 (43) Dr. Ergun Karaağaoğlu 29

30 Resim şu anda görüntülenemiyor. Olası tüm örneklemlerden hesaplanan herhangi bir kestirimin (ortalama, oran, v.b.) standart sapmasına standart hata adı verilir ve kestirimin doğruluğunu gösterebilecek tek ölçüttür. Dr. Ergun Karaağaoğlu 30

31 Tek başına nokta kestirimi, kestirimin doğruluğu hakkında bilgi verici olmadığından, mutlaka standart hatası ile birlikte verilmelidir. Kestirim ± Standart hata p( 1- n p) Ya da aralık kestirimi kullanılmalıdır. p ± x ± s n Dr. Ergun Karaağaoğlu 31

32 n Aralık Kestirimi:Bilinmeyen kitle değerini (ortalama, oran v.b.) belirli bir güvenle içereceği bilinen aralığın tanımlanması işlemine denir ve bu aralığa GÜVEN ARALIĞI adı verilir. x - t S x + - µ ( n 1; a ) x ( n-1; a ) t S x p - t S P p + - ( n 1; a ) p ( n-1; a ) t S p Dr. Ergun Karaağaoğlu 32

33 Hem genel anlamda, hem de istatistiksel değerlendirme amacıyla sistematik ve kapsamlı değerlendirme yaparken gözönüne alınması gereken tüm noktaları gösteren bazı yönergelere, kontrol listelerine gereksinim duyulmuştur. Bunların hem yazarlar hem de değerlendiriciler tarafından kullanılması önerilmektedir. Dr. Ergun Karaağaoğlu 33

34 IMRAD: Introduction, Methods, Results and Discussion IMRAD yapısı bilimsel araştırma sürecinin bir yansıması olduğu için bir çok dergi bu yapının kullanımını önermektedir. CONSORT Consolidated Standards of Reporting Trials CONSORT bir grup tarafından, klinik denemelerin yetersiz raporlanmasını önlemek amacıyla hazırlanmıştır. Rasgele kontrollü klinik denemelerin raporlanmasında en az sağlanması gerekli olan, kanıta dayalı noktaların yer aldığı CONSORT RAPORU (Consort Statement) 25 maddelik bir kontrol listesidir. Dr. Ergun Karaağaoğlu 34

35 Yorumlama Aşamasında Yapılan Hatalar Tablo 4. Bulguları Yorumlama Aşamasında Yapılan Hatalar Sonuçların yanlış ve yetersiz yorumlanması "anlamlı bulamama" nın "etkinin olmadığı" ya da "farklılığın olmadığı" biçiminde yorumlanması "anlamlılık" ın "çok önemli", "çok ilişkili", "çok farklı" olarak yorumlanması "Anlamlı bulamama" durumunda II Tip hatanın göz ardı edilmesi. Olası etki karıştırıcı etkenlerin ve yanlılık kaynaklarının yeterince tartışılmaması Dr. Ergun Karaağaoğlu 35

36 P değerinin anlamı: Yokluk hipotezi gerçekte doğru olduğunda (örneğin iki tedavi yöntemi arasında gerçekte fark olmadığında), yanlışlıkla yokluk hipotezini red etme (iki tedavi yöntemi arasında yanlışlıkla fark olduğu sonucuna varma) olasılığıdır. Gözlenen farklılığın şansa bağlı olup olmadığına karar vermemize yarar. Anlamlılık düzeyi olarak da bilinir. Dr. Ergun Karaağaoğlu 36

37 SONUÇ Hekimler ve sağlık bilimlerinde araştırma yapanlar, temel istatistik bilgilerini geliştirmeye çalışmalıdırlar. Bu, hem yapılan çalışmaları değerlendirebilmeleri ve eleştirel yaklaşabilmeleri için hem de zorunlu durumlarda kendi başlarına bazı işlemleri yapabilmeleri için gereklidir. Ancak güvenilir ve doğru sonuçlara ulaşabilmek için daha ileri yöntemlerin kullanımında biyoistatistik profesyonellerinden yardım ve görüş almak daha uygun olacaktır. Dr. Ergun Karaağaoğlu 37

38 SONUÇ Bir biyoistatistikçiye danışmak ve konusunda deneyimli uzmanlarla etkileşim içerisinde olmak çoğunlukla araştırmanın planlama ve düzenleme aşamaları bitikten sonra akla gelmektedir. Bu durumda, araştırmanın erken aşamalarında yapılmış olan istatistiksel hataların ve yanlışların düzeltilmesi kimi zaman zorlaştırmakta, kimi zamanda olanaksız olabilmektedir. Dr. Ergun Karaağaoğlu 38