Klinik Araştırmalara Giriş: Tasarım, Analiz, Yayın MedicReS Accredited Continuous Medical Education Credit - 6 MACMEC Scientific Director: Prof. Dr Arzu KANIK MedicReS Copyright 2015 - All Rights Reserved www.medicres.org
Klinik Araştırmaya Giriş: TASARIM ANALİZ YAYIN Tıpta Araştırma Tasarımları ve Araştırmalarda Hata Kaynakları Kahve Arası Örnek Genişliğini Belirleme: Power Analizi Öğle Yemeği Tedavi, Tarama ve Tanı Testi Etkinlik İstatistikleri Kahve Arası Meta Analizi Okuma Yorumlama Kapanış MedicReS Copyright 2015 - All Rights Reserved
KURSLARDA KULLANILAN EĞİTİM ve SERTİFİKA SİSTEMİ Eğitim Sistemi Kurslarda tam öğrenmeye dayalı, yetişkin eğitimi sistemi ve online uygulamalı bir eğitim modeli kullanılmaktadır. Bu sistemde ilgili web sayfası üzerinden katılımcılar eğitim materyallerine ve hesaplama, yorumlama araçlarına internet üzerinden erişebilmektedirler. Sınavlar ve geri bildirimler online olarak kurs esnasında katılımcılardan alınmaktadır.
Eğitimin İçeriği Eğitimlerde MedicReS İyi Biyoistatistik Uygulamaları Standartları gereği %50 Tasarım, %30 Veri Analizi ve %20 Raporlama teknikleri hakkında konular işlenmektedir. Eğitimlerin sonunda verilecek ve uluslararası geçerli olan MedicReS sertifikası akredite edilen kursumuzun adıyla Introduction to Clinical Research: Planning Analyzing Reporting kursu tamamlayan tüm katılımcılara verilecektir. MedicReS Copyright 2015 - All Rights Reserved
Eğitim Materyalleri Kurslarda kullanılan eğitim materyallerinin içerikleri MedicReS in GBP standartlarına ve GMR Çekirdek eğitim müfredatına uygun olarak Recordati Firması sponsorluğunda gerçekleşen eğitimler için özel olarak hazırlanmıştır. Tüm materyaller kurs katılımcıları ile paylaşılmaktadır. MedicReS Copyright 2015 - All Rights Reserved
Gerekli Linkler Kurs notları http://www.e-picos.com/docs.php oturum öncesi ve sonrası sorular http://www.e-picos.com/poll.php oturum sonrası geri bildirim formu http://www.e-picos.com/fb.php
MedicReS Eğitimleri Türkiye Temsilciliği Profesyonel Eğitim ve Yönetim Ekibi AEK Araştırma Eğitim Kuruluşu, Technoscope, Turkey Burçin AKICIER, MedicReS Türkiye ve MENA Ülkeleri Genel Koordinatörü E. Arzu Kanık, Ph.D Bilimsel Koordinatör, Profesör, Biyoistatistik Sema E. Ertürk, MSc, Biyoistatistik A. Ayça Özdemir, Biyoistatistik Uzmanı Nihan Özel, Biyoistatistik Uzmanı V. Bennu Özcömert, Biyoistatistik Uzmanı Leyla Bahar, MD, Ph.D, Medikal Danışman M. Berkan Biçer, Elektrik & Elektronik Yüksek Mühendisi, IT Danışman
iletişim arzukanik@medicres.org burcin.akicier@medicres.or g http://turkey.mestacon.com/
Araştırma Tasarımları
http://www.e-picos.com/poll.php MINI TEST
Bilimsel Araştırmalarda Hata Bilimsel Hatalar Rasgele Hata (Deneme Hatası) (Örnekleme Hatası) Sistematik Hata (Yanlılık) (Bias) Hipotez Testinde Bilimsel Karar Hataları Tip I hata Tip II hata Çoklu Karşılaştırma Hataları
Niye araştırmaları ve verileri register ediyoruz!!! Bilimi kendimizden korumak için Verileri değiştirmek, silmek Veri uydurmak Sonuçları değiştirmek Verileri sonuçları değiştirecek şekilde gruplamak Fark bulunmayan değişkenleri çalışmadan çıkarmak Çalışmanın amacını değiştirmek
Which trials registries are acceptable to the ICMJE? The ICMJE accepts registration in the following registries: www.anzctr.org.au www.clinicaltrials.gov www.isrctn.org www.umin.ac.jp/ctr/index/htm www.trialregister.nl https://eudract.ema.europa.eu/ (new registrations after June 20, 2011)
Standart sapma vs Standart hata
Standart Sapma s (X n tane verinin bulunduğu sürekli bir değişkene ait verilerin her birinin grup ortalamasından olan farkının karelerinin ortalamasının kareköküdür. Standart sapma s ya da SD ile gösterilir. Varyansın kareköküne eşittir. Verilerin değişimin bir ölçüsüdür. n 1 X) 2
Standart hata http://onlinestatbook.com/stat_sim/sampling_dist/index.html X 1 X 2 SE SD n X K
Rasgele Hata - Sistematik Hata
Rasgele Hata - Sistematik Hata
Klinik Denemelerde Yanlılıkların Sınıflandırılması 1. Literatür İnceleme (5) 2. Çalışma Düzeni (53) 3. Çalışmanın Yürütülmesi (9) 4. Veri Toplama (57) 5. Analiz (26) 6. Sonuçların Yorumlanması (8) 7. Yayınlama (6) M.T. Dorak (2005) http://www.dorak.info/
MedicReS Tanımı En Güçlü Kanıt Nedir? Etik & Yansız ve Güçlü
Randomizasyon Her bir deneğin tedavilerden veya muamelelerden herhangi birini alma olasılığı eşittir. İki grup varsa bu olasılık %50, üç grup varsa %33.3,
Körleme Körleme Yok (Open Label) Tek Kör (Single Blind) Çift Kör (Double Blind) Üçlü Kör (Triple Blind)
Sağlık Bilimlerinde Bilimsel Araştırma Tasarımları Good Medical Research
Tıpta Araştırma Tasarımları Birincil Araştırmalar İkincil Araştırmalar Gözlemsel Araştırmalar Analitik Araştırmalar Deneysel Araştırmalar Metotolojik Derlemeler Tanımlayıcı Araştırmalar Kohort Çalışmaları Kesitsel Araştırmalar Vaka-Kontrol Çalışmaları Hybrid Çalışmalar Klinik Denemeler Pre-Klinik Araştırmalar İnslico Denemeler Ölçek geliştirme Sistematik Derlemeler Vaka Serileri Prospektif Kohort Case Cohort İlaç Faz Çalışmaları Hayvan Deneyleri Tanı testi geliştirme Sistematik Derleme ve Meta Analizleri Vaka Raporları Retrospektif Kohort Nested Case Control Medikal Cihaz İn-Vitro Deneyleri Case Crossover Eşdeğerlik Araştırma 34
Araştırmanın Ham Verilerle Yapılıp Yapılmadığına Göre; Birincil Çalışmalar İkincil Çalışmalar Derlemeler Sistematik Derlemeler Sistematik Derleme ve Meta Analizleri
Araştırmada Canlı Bedeninin Tamamının Kullanıp Kullanılmadığına Göre; In Vitro In Vivo
Araştırmada Verinin Toplandığı Materyale Göre: Hayvan Deneyleri Klinik Denemeler Toplum Araştırmaları
İstatistiksel Bir Hipotez İçerip İçermemesine Göre: Tanımlayıcı Analitik Vaka Sunumu Vaka Serisi Vaka Kontrol Kohort Kesitsel Karşılaştırmalı Vaka Serileri
Karşılaştırma/Kontrol Grubu Kullanım Durumuna Göre: Kontrol Yok Plasebo Kontrollü Aktif Kontrollü Kendisi Kontrollü Dış Kontrollü Matched Kontrollü Rasgele Kontrollü
Randomizasyon Yapılıp Yapılmadığına Göre : Tam Randomize Yarı Randomize Randomize Olmayan
Körleme Yapılıp Yapılmadığına Göre : Open Label Tek Kör Çift Kör Üç Kör Çalışmalar
Verilerin Toplandığı Merkez Sayısına Göre Tek Merkezli Çok Merkezli Çalışmalar
Çalışmanın Verilerinin Çalışmaya Başlandığında Toplanmış Olup Olmamasına Göre: Arşiv Çalışmaları (Her Retrospektif Çalışma Arşiv Çalışması Değildir) Prospektif Çalışma (Veriler Henüz Toplanmadı)
Araştırmanın Zaman Eksenindeki Durumuna Göre: Şimdi Başlayıp Gelecekte Devam Eden Çalışmalar ( İleriye Dönük) Belirli Bir Zaman Dilimini Kapsayanlar (Kesitsel) Şimdi Başlanıp Geçmişe Uzanan Çalışmalar (Geriye Dönük) Kısa Süreli Takip Uzunlamasına Takip
Araştırmaya Konu Olan Hastalığın ve Maruziyetin Zaman Eksenindeki Durumuna Göre: Araştırma anında hastalık henüz bilinmiyor, maruziyet biliniyor, ancak maruziyet geçmişte başlamış: (retrospektif cohort )
Randomize Kontrollü Denemeler Tasarımına Göre: Paralel düzen Crossover düzen Factorial düzen N of 1 Zelen Wennberg's düzeni
Örneklem Büyüklüğü ve Belirleme Yöntemine Göre: Mega Trial Sequential Trial Fixed Size Trial
Yürütme Kurallarına Göre: Çalışmadan ayrılanlar için Protokol değişikliği için ITT Per Protocol Traditional Design Adaptive Design
http://www.e-picos.com/poll.php MINI TEST http://www.e-picos.com/fb.php FEEDBACK
Klinik Araştırmalarda Gerekli Minimum Örneklem Genişliğinin Önceden Tahmin Edilmesi En az kaç kişi ile çalışılması gerekmektedir?
http://www.e-picos.com/poll.php MINI TEST
Değişken Tipleri ve Tek Değişkenli İstatistiksel Analizler
İfade Ediliş Şekillerine Göre Değişkenlerin Sınıflandırılması Sayısal (Kantitatif, Nicel) değişkenler Sözel (Kalitatif, Nicel) değişkenler
Ölçek Tiplerine Göre Değişkenlerin Sınıflandırılması Nominal (sözlü) Ordinal (sıralı) Interval Eşit Aralıklı Ratio Eşit Orantılı
Elde Ediliş Şekillerine Göre Değişkenlerin Sınıflandırılması 1) Sürekli Değişkenler ( ölçümle elde edilen : interval - ratio ) 2) Kesikli Değişkenler ( sayılarak elde edilen ) 3) Sıralanmış ( ordinal ) Değişkenler 4) Sınıflandırılmış ( nominal ) Değişkenler Sadece iki kategorisi olan sınıflandırılmış değişkenlere BINARY değişken denir. Evet- Hayır Var-Yok Kadın-Erkek vb.
Kullanım Amacına Göre Değişkenlerin Sınıflandırılması Bağımlı Değişken Bağımsız Değişken 0-15 yaş arasındaki çocuklarda yaş arttıkça boy uzunluğu artmaktadır.
Tek Değişkenli İstatistiksel Yöntemler* Birinci değişken İkinci değişken Konu İlgili test Sürekli (atım hacmi) Sürekli(yaş) Doğrusal ilişki var mı? Korelasyon ve regresyon katsayısı (r) Sürekli (atım hacmi) Kategorik(cinsiyet) Grup ortalamaları arası fark mı? Sürekli (ilaç öncesi ejeksiyon fraksiyon) Sürekli (ilaç sonrası ejeksiyon fraksiyon) Farkların ortalaması sıfır mı? Student t testi Paired t testi Sürekli (kan değerleri) Kategorik (hastakontrol-sham) Grup ortalamaları arası fark var mı? ANOVA Kategorik (aritmi var/yok) Kategorik(cinsiyet) Cinsiyetten bağımsız mı? Ki-kare / Fisher Exact Testi Kategorik ( anjina var/yok) Hiper tansiyon tedavi öncesi Sürekli (Hastanede yatış süresi) Kategorik ( anjina var/yok) Hiper tansiyon tedavisi sonrası Kategorik (Kalp yetmezliği var/yok) N<30 *Bağımlı ve bağımsız değişkeni birer tane olan Tedavi öncesi sonrası anjina oranlar ı değişti mi? Yatış süresi rank ortalamaları (medyan) farklı mı? Mc Nemar testi Mann Whitney U testi
Intra-observer and inter-observer reliability Yöntem karşılaştırma çalışmalarında ya da uyum çalışmalarında, uyum düzeyini belirlemek amacıyla yapılırlar. Birinci değişken İkinci değişken Konu İlgili test Sayısal Sayısal İki veya daha fazla Doktorlar arası uyum (ilaç öncesi-ilaç sonrası) Sayısal Sayısal İki Doktor arası uyum (ilaç öncesi-ilaç sonrası) Sayısal Sayısal İki ölçüm arasındaki uyum (iki metot) Intraclass Correlation Coefficient (ICC) Concordance Correlation Coefficient (CCC) Bland Altman Yöntemi Kategorik Kategorik Doktorlar arası uyum Cohen s Kappa
Çoklu Veri Analizi vs Çok Değişkenli Çoklu veri analizi (multiple) Birden çok bağımsız değişken Çoklu regresyon Cox regresyon Logistik regresyon Çok değişkenli veri analizi (multivariate) Birden çok bağımlı değişken MANOVA MANCOVA Discriminant Çok değişkenli Regresyon
Örneklem Genişliği Klinik araştırmalar - Hayvan deneyleri - Saha araştırmaları Yeterli büyüklükteki örneklem genişliğinin araştırmalara başlamadan önce tahmin edilmesi gerekmektedir. NEDEN? Etik kurullar Bilimsel yeterlilik - Geçerlilik Ekonomi Zaman Emek - İşgücü
Örneklem Genişliği Belirleme Aşamaları Esas sonuç değişkenin (primary outcome) tipi Oran mı? (% Tedavi başarısı, % Komlikasyon, %Mortalite) Ortalama mı? ( PSA, Kolesterol, Diastololik kan basıncı) I. Tip hata (%5,%1) II. Tip hata (%20-%5) Etki Büyüklüğü
Hipotez Bilimsel araştırmalarda araştırmacının araştırmak istediği konuya ilişkin fikirlerinin bilimsel yöntemlerle test edilebilir cümlelere dönüştürülmesine Hipotez denir.
Basit Hipotez Takımı Kontrol veya yokluk (Null) hipotezi Alternatif veya karşıt hipotez H 0 : T P H 0 : T P H 1 : T P H 1 : T P Superiority H0 : Ateloskleroz tedavisinde B ilacı A ilacından üstün değildir. H1: Ateloskleroz tedavisinde B ilacı A ilacından daha üstündür.
Bileşik Hipotez Takımı Kontrol veya yokluk (Null) hipotezi Alternatif veya karşıt hipotez H 0 : T P H 1 : T P İki ilaçtan herhangi birinin diğerinden daha aşağı olmadığını gösteren bir deney tasarımıdır Non Inferiority H0 : Ateloskleroz tedavisinde B ilacı A ilacından daha kötüdür. H1: Ateloskleroz tedavisinde B ilacı A ilacından daha kötü değildir.
Eşdeğerlik Testi Yeni ve standart ilaç arasındaki farkın klinik olarak anlamlı olmadığını göstermek için düzenlenen bir hipotez türüdür. H0 : Ateloskleroz tedavisinde B ilacı ve A ilacı eşdeğer değildir. H1: Ateloskleroz tedavisinde B ilacı ve A ilacı eşdeğerdir.
BİLİNMİYOR H H 0 1 : : A A B B HİPOTEZ TESTİ SONUCU ARAŞTIRMACININ VERDİĞİ KARAR Gerçekte H0 DOĞRU (A tedavisi B ile aynı) H0 KABUL Doğru Karar (1-α) H0 RED 1. TİP HATA α Gerçekte H0 DOĞRU DEĞİL 2. TİP HATA β Doğru Karar (1-β) (GÜÇ)
Testin Gücü (1- ) Bir denemenin aynı koşullar altında tekrarlanması halinde gerçekte fark olan durumlarda reddedilen kontrol hipotezi oranını gösterir. Yani araştırma sonucunun gerçekte var olan bir farkı bulabilme gücüdür. Enaz %80 olması istenir. Aynı koşullar altında yürütülen 100 denemenin 80 tanesinde gerçekte doğru olmayan Ho hipotezinin red edilmesi beklenir.
Etki Büyüklüğü İki grup ortalaması veya oranları arasında klinik olarak önemli kabul edilebilecek minimum fark Buna kim karar verecek? A tedavisi altında olan hastaların 10 gün sonra kolesterol miktarlarındaki değişim 10mg/dl olsun, B tedavisi için bu miktar 8 mg/dl olsun. Burada etki büyüklüğü 2mg/dl Bu fark klinik anlamlı mıdır? Bu farkı en az %80 power ile istatistik anlamlı bulacak bir araştırma planlamaya gerek var mı? A ve B arasında kolesterolü düşürme başarısı bakımından klinik olarak önemli kabul edilecek en düşük fark mesela 10mg/dl dir denilebilir mi?
Etki büyüklüğü
İstatistik Anlamlılık ve Klinik Anlamlılık İstatistiksel anlamlılık,saptanan farkın şansa bağlı olma ihtimalinin oldukça az olduğu anlamına gelir. Klinik anlamlılık, basitçe istatistiksel olarak anlamlı ya da DEĞİL, fakat ortada klinik olarak önem taşıyan bir farkın olması olarak tanımlanabilir.
İstatistiksel olarak anlamlı olduğu saptanan bir etki küçük olabilir ve klinik anlamlılığı olmayabilir. P<0,05 olduğundan istatistiksel olarak anlamlı
Klinik olarak anlamlı mı???
Bunun tersine düşük örnek genişliğinden dolayı α=0,05 seviyesinde istatistiksel olarak anlamlı olmayan bir etki, önemli bir klinik etki yaratıyor olabilir. Bu noktada anlamlılığın olmaması etkinin olmadığını değil, etki olduğunu söylemeye yetecek kanıt olmadığını gösterir. 74
İstatistiksel anlamlılığın klinik noktada yetersiz kalmasından dolayı araştırıcılar klinik olarak önemli olabilecek etkiyi araştırma öncesinde belirlemelidir. Daha sonra güç analizi yapılarak örnek genişliği saptanmalıdır. Böylece araştırmada önceden belirlenmiş klinik ölçüt bakımından istatistiksel anlamlılık saptanırsa bu hem istatistiksel hem de klinik anlamlılığı gösterecektir. 75
Gerekenden az sayıda denekle çalışmak güvenilir olmayan sonuçlar ortaya çıkarır, çalışmanın bilimsellik özelliğini bozar ve çalışmada önemli klinik bulguları görmeyi etkiler. P>0,05 olduğundan istatistiksel olarak anlamlı değildir
Gerekenden fazla sayıda denekle çalışmak kaynakların gereksiz tüketimine yol açar, çalışmaya ek bir özellik katmaz. P<0,05 olduğundan istatistiksel olarak anlamlı 77
I. Tip Hatanın Kontrol Altında Tutulması Anlamlılık seviyesinin belirlenmesi ( I.tip hatanın maksimum değeri) Uygun test istatistiğinin belirlenmesi Çoklu karşılaştırma yöntemleri
II. Tip Hatanın Kontrol Altında Tutulması Örneklem genişliğini önceden belirleme aşamasında Testin gücünü belirleyerek Etki büyüklüğünden yararlanarak
İki Bağımsız Grup Ortalamasının Karşılaştırılması İçin Örnek Genişliği H 0 : μ A μ B H 1 : μ A μ B İki muamele grubu arasında fark olup olmadığı test ediliyor. Muamele gruplarından biri kontrol grubu olabilir.
İki Bağımsız Grup Ortalamasının Karşılaştırılması İçin Örnek Genişliği Grup ortalamaları ve standart sapmaları I. tip hata II. Tip hata BİLİNMELİ
E-PICOS P : Purpose, Population, Patient, Participants, P Value, Power, Protokol Purpose:Tip-2 diyabet hastalarında hipertansiyon tedavi amaçlı kullanılan Lercanidipine ile Ramipril ilaçlarının albumin atılım hızı (AER) bakımından karşılaştırılması Populasyon : 40-70 yaş arası kadın-erkek İtalya Patient : Tip-2 Diyabet ve Hipertansiyon hastaları Participants: Hafif ve orta düzey hipertansiyon hastaları(diastolik kan basıçları 85-109 arası olanlar), son 3 ayda AER 20-200mg/min Protokol: Per Protocol Power : %80 P değeri: 0,05 I : Intervention, Interpretation Lercanidipine(91 kişiye) 10-20 mg/gün, Ramipril (89 kişi) 5-10 mg/gün uygulanıyor, 9-12 ay takip C: Controls, Covariate Control-Aktif, Kovaryant değişken belirtilmemiş O: Outcome, Output AER deki başlangıç ve 52. hafta sonu ortaya çıkan fark. 20 mg /dak klinik anlamlı kabul edilmiştir. Başlangıca göre %50 azalma yada artma önemli kabul ediliyor. İkincil sonuç değişkenleri ise sistolik ve diastolik kan basıncındaki değişimler. S: Study Design, Sample Size, Statistics, Submitting Software, Parallel group, multicenter(19), randomized, double-blind, aktif kontrollü, Non-inferiorty, varyans analizi ve ki-kare testleri yapılmış, yayınlandığı dergi: DNM Vol. 17 N.5 2004
Örnek >Tip-2 diyabet hastalarında tedavi amaçlı kullanılan iki tedavi yöntemi albumin atılım oranları (AER) bakımından karşılaştırılmak isteniyor. Bu iki tedavi yöntemi arasında klinik anlamlı bir fark(21 mg ve üstü) çıkarsa istatistiksel açıdan da anlamlı olması için kaç kişiyle çalışılması gerekmektedir. Tedavi sonunda Lercanidipine tedavisi verilen hastalarda AER ortalaması 69,0±73,9 mg/min ramipril tedavisi uygulananlarda ise 47,2±65,2 mg/min olduğu saptanmıştır. >Bu değerleri elde ederken toplam 180 birey (89+91) ile çalışılmıştır. >Bu farkı gösterebilmek için minimum ihtiyaç duyulan birey sayısı %80 güç ve %5 tip I hata ile kaç olmalıdır?
İki Bağımsız Grup Oranının Karşılaştırması İçin Örnek Genişliği H 0 : 1 2 H 1 : 1 2 Bağımsız iki örneklemden hesaplanan oranlar arasında fark olup olmadığı test ediliyor. İki muamele grubu arasında istenen özelliğin oranına etki bakımından farklılık olup olmadığı inceleniyor.
İki Bağımsız Grup Oranının Karşılaştırması İçin Örnek Genişliği Birinci ve ikinci örnekleme ait oranlar I. tip hata II. Tip hata BİLİNMELİ
Power (1-β) %80 α=0,10 α=0,05 α=0,01 0,1 1240 1560 2340 0,2 310 390 585 0,25 198 250 374 0,3 138 173 260 0,4 78 98 146 0,5 50 62 94 0,6 34 43 65 0,7 25 32 48 0,75 22 28 42 0,8 19 24 37 0,9 15 19 29 1* 12 16 23 1,25 8 10 15 1,50 6 7 10 1,75 4 5 8 2 3 4 6 2,5 2 2 4 3 1 2 3 *A=10mg/dl SA=2mgdl, B=12mg/dl SB=2mgdl, Z=1 olur
Power (1-β) %90 α=0,10 α=0,05 α=0,01 0,1 1720 2100 2980 0,2 430 525 745 0,25 225 336 477 0,3 191 233 331 0,4 108 131 186 0,5 69 84 119 0,6 48 58 83 0,7 35 43 61 0,75 31 37 53 0,8 27 33 47 0,9 21 26 37 1 17 21 30 1,25 11 13 19 1,50 8 9 13 1,75 6 7 10 2 4 5 7 2,5 3 3 5 3 2 2 3 *A=10mg/dl SA=2mgdl, B=12mg/dl SB=2mgdl, Z=1 olur
http://www.e-picos.com/poll.php MINI TEST http://www.e-picos.com/fb.php FEEDBACK
Hastalıklarda Risk Faktörleri ve Tarama Tanı ve Tedavi Etkinliği İstatistikleri
İçerik Hastalıklarda Risk Faktörleri Geriye Dönük Case Control Odds Ratio İleriye Dönük Kohort Çalışmalarda Relative Risk Tedavi etkinlik testleri Odds Ratio Relative Risk Absolute Risk Reduction Number Needed to Treat Relative Risk Reduction Tarama ve tanı testi etkinlik istatistikleri Duyarlılık (Sensitivity) Seçicilik (Specificity) Olabilirlik Oranları (Likelihood ratios) Kestirim Değerleri (Predictive Values) Doğruluk (Accuracy) ROC Eğrisi
http://www.e-picos.com/poll.php MINI TEST
Odds Oranı Etki büyüklüğünün bir ölçüsüdür Bağımsız iki gruptaki olayların oluş olasılıklarının oranıdır Tedavi etkinliğinde ve hastalıklarda risk faktörlerinde (case control study) kullanılır
Geriye Dönük Case Control Odds Ratio Riske maruz kalma Hasta Sağlıklı Toplam Var (a) (b) a+b Yok (c) (d) c+d OR Toplam a+c b+d N a a c c a c b b d d b d a c b d a c x d b Hastalığa sahip olanlar sağlıklı bireylere göre OR kadar daha fazla riske maruz kalmışlardır
Riske maruz kalma Kardiyovasküler + Kardiyovasküler - Toplam Sigara İçen 75 10 85 Sigara İçmeyen 25 90 115 Toplam 100 100 200
Tedavi Etkinliği Odds Ratio Hastalık Tedavi İyileşti İyileşmedi Toplam İlaç aldı (a) (b) a+b İlaç almadı (c) (d) c+d OR Toplam a+c b+d N a a c c a c b b d d b d a c b d a c x d b İyileşenler iyileşmeyenlere göre OR kat daha fazla tedaviden fayda almışlardır
Relative Risk Bir risk etkenine sahip olanların, olmayanlara göre hastalık geliştirme (veya bir olayın meydana gelmesi) oranıdır Tedavi etkinliğinde ve hastalıklarda risk faktörü etkinliğinde (cohort study) kullanılır
İleriye Dönük Kohort Relative Risk İzlem süresi sonunda Risk Hastalık + Hastalık - Toplam Var (a) (b) a+b Yok (c) (d) c+d Toplam a+c b+d N RR a c ( a b) ( c d) Riske maruz kalanlar kalmayanlara göre RR kat daha fazla hastalığa yakalanma riskine sahiptir
Riske maruz kalma Kardiyovasküler + Kardiyovasküler - Toplam Sigara İçen 75 10 85 Sigara İçmeyen 25 90 115 Toplam 100 100 200
Tedavi Etkinliği Relative Risk Hastalık Tedavi İyileşti İyileşmedi Toplam İlaç aldı (a) (b) a+b İlaç almadı (c) (d) c+d Toplam a+c b+d N RR a c ( a b) ( c d) İlaç alanlar almayanlara göre RR kat daha fazla iyileşmiştir
Absolute Risk Reduction (ARR) Mutlak risk azalması risk farkı veya fazla risk kontrol aktivitesi veya tedavi ile ilgili olarak belirli bir aktivite ya da tedavi riskine değişimdir. Kontrol grubundaki olay hızı ile tedavi grubundaki olay hızı arasındaki farktır. ARR=CER (Control event rate)-eer (Experimental event rate) Control CER Experimental EER ARR + 30 60 0,30-70 40 0,60 0,30
Relative Risk Reduction(RRR) Uygulamalar arasındaki farkın göreli olarak farkıdır ARR nin olayın oluş oranına bölümünden oluşur Bir yarar ve ya bir zararı ölçmek için kullanılabilir RRR=ARR/CER RRR= CER-EER /CER Control CER Experimental EER RRR + 30 60 0,30-70 40 0,60 0,30/0,30=1
Number Needed to Treat (NNT) Ek bir olumlu sonuç elde etmek için tedavi edilecek, ya da ek bir olumsuz sonucu önlemek için tedavi altına alınmış olması gereken hastaların sayısının bir tahminini sağlar Mutlak risk oranının (ARR) tersidir NNT=1/ARR Control CER Experimental EER ARR NNT + 30 60 0,30-70 40 0,60 0,30 1/0,30=3,33
Benefit Treatment A Treatment B OR RR CER EER ARR CER-EER RRR CER- EER /CER NNT NNT=1/ARR + 40 20-60 80 + 80 40-20 60 + 4 2-96 98 + 15 5-85 95 2,76 2 0,20 0,40 0,20 100 5 6 2 0,40 0,80 0,4 100 2,5 2,04 2 0,02 0,04 0,02 100 50 3,35 3 0,05 0,15 0,10 200 10
Harm Treatment A Treatment B OR RR CER EER ARR CER-EER RRR CER- EER /CER NNH NNH=1/ARR + 20 40-80 60 + 40 80-60 20 + 2 4-98 96 + 5 15-95 85 0,375 0,5 0,40 0,20 0,20 50 5 0,17 0,5 0,80 0,40 0,4 50 2,5 0,49 0,5 0,04 0,02 0,02 50 50 0,3 0,33 0,15 0,05 0,10 66,67 10
MedicReS E-PICOS Steps P Purpose: Karşılaştırmalı Araştırmalarda Hastalık Riskinin Mutlak Ölçümlerinin Yorumlanması Tedavi etkinliğinde sıkça kullanılan ve yanlış yorumlanan risk oranlarını sayısal örneklerle tartışmak Population: Patient: I Intervention: C Controls : S Study Design: Sample Size: 1518 Summary Statistics En az bir kez kardiyovasküler deneyimi olan kronik kalp yetmezliği olan hastalar Kronik kalp yetmezliği Kronik kalp yetmezliği tedavisinde deneyimli hemşireler tarafından telefonla arama En az bir kez kardiyovasküler deneyimi olan Randomize kontrollü çalışma Relative Risk, Relative Risk Reduction, Absolute Risk Reduction, Number Needed to Treat Submitting Fam Med 2007;39(6):432-5. MedicReS Copyright 2015 - All Rights Reserved
Tarama ve tanı testi etkinlik istatistikleri Tanı testleri, hasta ve sağlıklı bireylerin oluşturduğu popülasyondan rastgele alınan bireylerin hasta ya da sağlıklı olup olmadıklarının doğru olarak saptanması amacıyla kullanılan yöntemler dizisidir.
Tarama ve tanı testi etkinlik istatistikleri Duyarlılık (Sensitivity) Seçicilik (Specificity) Olabilirlik Oranları (Likelihood ratios) Kestirim Değerleri (Predictive Values) Doğruluk (Accuracy)
Sensitivity Gold Standart Test Sonucu Hasta Sağlıklı Toplam Pozitif Negatif (a) Gerçek Pozitif (TP) (c) Yanlış Negatif (FN) (b) Yanlış Pozitif (FP) (d) Gerçek Negatif (TN) Toplam a+c b+d N Gerçekte hasta olanlar arasında testin pozitif sonuç verme yeteneğidir. a+b c+d Sensitivity a a c
Specificity Gold Standart Test Sonucu Hasta Sağlıklı Toplam Pozitif Negatif (a) Gerçek Pozitif (TP) (c) Yanlış Negatif (FN) (b) Yanlış Pozitif (FP) (d) Gerçek Negatif (TN) Toplam a+c b+d N a+b c+d Gerçekte hastalığa sahip olmayanlar arasında testin negatif sonuç verme yeteneğidir. Specificity b d d
Positive Predictive Values Gold Standart Test Sonucu Hasta Sağlıklı Toplam Pozitif Negatif (a) Gerçek Pozitif (TP) (c) Yanlış Negatif (FN) (b) Yanlış Pozitif (FP) (d) Gerçek Negatif (TN) Toplam a+c b+d N a+b c+d Tanı testi sonucu pozitif olan bir kişinin hasta olması olasılığını gösterir PV ( ) a a b
Negative Predictive Values Gold Standart Test Sonucu Hasta Sağlıklı Toplam Pozitif Negatif (a) Gerçek Pozitif (TP) (c) Yanlış Negatif (FN) (b) Yanlış Pozitif (FP) (d) Gerçek Negatif (TN) Toplam a+c b+d N Tanı testi sonucu negatif olan bir kişinin hasta olmaması olasılığını gösterir a+b c+d PV ( ) c d d
Accuracy Doğruluk, tanı testinin değerlendirilmesi sonucunda elde edilen tüm doğru kararların toplam verilen karar sayısına oranıdır. Doğruluk değerinin yüksek olması testin tanı için klinik olarak kullanılabilir olduğunu gösterir. Ancak bu değerin yüksek olması durumunda duyarlılık ve seçiciliğin birlikte yüksek olma alternatifinin yanında birinin diğerine göre daha yüksek olma durumu dasöz konusudur. İyi bir tanı testinin yüksek duyarlılık, seçicilik, doğruluk, yüksek pozitif ve negatif kestirim değerlerinin olması istenir.
Accuracy Gold Standart Test Sonucu Hasta Sağlıklı Toplam Pozitif Negatif (a) Gerçek Pozitif (TP) (c) Yanlış Negatif (FN) (b) Yanlış Pozitif (FP) (d) Gerçek Negatif (TN) Toplam a+c b+d N a+b c+d Accuracy a a b d c d
+ Likelihood Ratio Bir tanı testinin, her 1 yanlış pozitif sonuca karşılık kaç tane doğru pozitif sonuç verdiğini gösterir. Pozitif Olabilirlik oranının 1 den büyük olması istenir. Bu değer ne derece yüksek olursa pozitif test sonucu ile gerçek hasta, gerçek sağlıklıdan o derecede iyi ayrılır. Pozitif olabilirlik oranı = 8 Her 9 pozitif sonucun 1 i yanlış, 8 i doğrudur. Pozitif olabilirlik oranı 10 ve daha büyük ise iyi bir tanı testi olduğunu gösterir.
- Likelihood Ratio Bir tanı testinin, her yanlış negatif sonuca karşılık kaç tane doğru negatif sonuç verdiğini gösterir. Negatif Olabilirlik oranının 1 den küçük olması istenir. Bu değer ne denli küçük olursa negatif bir test sonucu ile gerçek sağlamlar o kadar iyi ayırt edilebilir. Negatif olabilirlik oranı=0.2 Bu test, her 2 yanlış negatif sonuca karşılık 10 doğru negatif sonuç verir. (1 yanlışa karşılık 5 doğru)
MedicReS E-PICOS Steps Purpose: Population: Patient: Participants: P value: Intervention: Controls : Outcome: Kardiyak Positron Emisyon Tomografi/Bilgisayarlı Tomografi Görüntülemenin Coroner Arter Hastalığında Anatomik Ve Fonksiyonel Değerlerin Tespiti Çalışmamızın amacı Koroner atrer hastalığının değerlendirilmesinde PET / BT görüntüleme doğruluğunu değerlendirmektir Risk faktörleri ve egzersiz testlerinin analizinden sonra koroner arter hastalığına sahip olan stabil gögüs ağrısı %30-70 arasında tespit edilen, 64 erkek 43 kadın olmak üzere yaş ortalamaları 63 olan toplamda 107 hasta çalışmaya dahil edilmiştir Koroner arter hastası Dışlama kriteri; atriyal fibrilasyon, iyot alerjisi, kararsız angina, böbrek fonksiyon kaybı ciddi, ikinci ya da üçüncü derece atriyoventriküler blok, şiddetli konjestif kalp yetmezliği, semptomatik astım ve gebelik olanlar dışlandı P<0.05, diagnostik performans teslerinin güven aralığı verilmiş Tüm hastalar 64-row PET/CT ile tarandı Kalp atım hızını <60 bpm hedefine ulaşabilmek için 0-30 mg arası metaprolol intravenöz olarak verildi Taramadan once 800 μgr dilalti nitrat verildi. Gold standard Invasive coronary angiography (ICA)+ fractional flow reserve (FFR) New Tests: & CT coronary angiography(cta) & Positron Emission Tomography (PET) & CT coronary angiography (CTA)+Positron Emission Tomography (PET) PET ve BT anjiyografinin her ikiside % 97 negatif tahmindeğer göstermesine rağmen, tek başına BT anjiyografi stenoz şiddeti (pozitif tahmin değer,% 81) bulunmuştur. Perfüzyon görüntüleme tek başına epikardiyal darlıklardan mikrovasküler hastalıkları tahmin edememiştir. Melez PET / BT % 98 anlamlı doğruluk geliştirilmiş Study Design: Prospektif, körleme(+) Sample Size: 107 hasta Summary Statistics Sensitivity, Specificity, Positive predictive value, Negative predictive value, Accuracy, Roc Curve, Mc Nemar (bağımlı gruplarda ki-kare testi) Statistical Software SAS 9.1
http://e-picos.com/
ROC Eğrisi (Receive Operating Charesteristic Curve) Tanı koymak amacıyla kullanılan sürekli bir değişkenin değişim genişliği içine aldığı tüm değerlerin sırasıyla kesim noktası (cut-off) kabul edilmesiyle hesaplanacak duyarlılık (sensitivity) değerlerinin Y eksenine, (1- specificity) değerlerinin X eksenine gelecek şekilde işaretlenen noktaların oluşturduğu eğriye ROC eğrisi adı verilir.
Hastalığı taşıyan ve taşımayan iki grup karşılaştırılırken net bir ayrım yapmak oldukça güçtür. İki grup arasında ayrım yapmak için her olası kesim noktası değerlendirilir. İyi bir tanı testinin yüksek sensitivite, spesifite, doğruluk ve yüksek pozitif ve negatif tahmin değerine sahip olması beklenir.
Bir tanı testinin verdiği sonuçları güvenilir bir biçimde yorumlayabilmek için öncelikle tanı testinin gerçek etkinlik düzeyinin denetlenmesi gerekmektedir. ROC eğrisi de bu amaçla kullanılan en yaygın yöntemlerden biridir
ROC Eğrisi (Receive Operating Charesteristic Curve)
ROC eğrisi altında kalan alanın üzerinde çalışılan tanı testinin hiç ayırma yeteneği olmadığı durumda beklenen değeri 0.5'dir. Eğri altında kalan alana ait güven aralığının 0.5 değerini içermemesi tanı testinin ayırma yeteneğinin istatistik olarak önemli olduğunu gösterir. 0.90-1 = Mükemmel 0.80-0.90 = İyi 0.70-0.80 = Orta 0.60-0.70 = Zayıf 0.50-0.60 = Başarısız
Mini Test http://www.e-picos.com/poll.php Feedback http://www.e-picos.com/fb.php
İyi Kardiyoloji Araştırması; Kanıta Dayalı Tıp: Meta Analizinin Yorumlanması
http://www.e-picos.com/poll.php MINI TEST
Meta Analizi Nedir? Aynı konuda farklı yer, zaman ve merkezlerde yapılmış olan araştırma sonuçlarını niteliksel ve niceliksel olarak birleştirmeye yardımcı olan istatistiksel bir yöntemdir. Meta Analizi, belirli bir konuda araştırma yapmak için yayınlanmış ya da yayınlanmamış çalışmaları araştırıcının önceden tespit ettiği soru ve kriterlere göre bir araya toplayarak tekrar bir analize tabi tutup genel bir yargıya ulaşmaktır.
Neden Meta Analizi? Bilimsel literatürde ortaya çıkan tutarsızlıkları değerlendirmek ve nedenlerini incelemek Küçük örneklemlerle yürütülmüş çalışmaları birleştirip toplam örneklem genişliğini arttırarak parametre kestirimlerinin kesinliğini ve gücünü arttırmak Çalışmalar arasında ortaya çıkan heterojenliğin doğru kaynaklarını bulmak
Bütün bu makaleleri nasıl okuyacaksınız? Hepsi yansız mıdır? Yayınlanan bütün makaleler okunmaya değer midir? Neden Kanıta Dayalı Tıp?
1a: 1b: Therapy/Prevention/Etiology/Har m: Systematic reviews (with homogeneity) of randomized controlled trials Individual randomized controlled trials (with narrow confidence interval) 1c: All or none randomized controlled trials 2a: Systematic reviews (with homogeneity) of cohort studies 2b: Individual cohort study or low quality randomized controlled trials (e.g. <80% follow-up) 2c: "Outcomes" Research; ecological studies 3a: Systematic review (with homogeneity) of case-control studies 3b: Individual case-control study 4: Case-series (and poor quality cohort and case-control studies) 5: Expert opinion without explicit critical appraisal, or based on physiology, bench research or "first principles"
Diagnosis: 1a: 1b: 1c: Systematic review (with homogeneity) of Level 1 diagnostic studies; or a clinical decision rule with 1b studies from different clinical centers. Validating cohort study with good reference standards; or clinical decision rule tested within one clinical center Absolute SpPins And SnNouts (An Absolute SpPin is a diagnostic finding whose Specificity is so high that a Positive result rules-in the diagnosis. An Absolute SnNout is a diagnostic finding whose Sensitivity is so high that a Negative result rules-out the diagnosis). 2a: Systematic review (with homogeneity) of Level >2 diagnostic studies 2b: Exploratory cohort study with good reference standards; clinical decision rule after derivation, or validated only on split-sample or databases 3a: Systematic review (with homogeneity) of 3b and better studies 3b: Non-consecutive study; or without consistently applied reference standards 4: Case-control study, poor or non-independent reference standard 5: Expert opinion without explicit critical appraisal, or based on physiology, bench research or "first principles"
Prognosis: 1a: 1b: 1c: All or none case-series 2a: Systematic review (with homogeneity) of inception cohort studies; or a clinical decision rule validated in different populations. Individual inception cohort study with > 80% follow-up; or a clinical decision rule validated on a single population Systematic review (with homogeneity) of either retrospective cohort studies or untreated control groups in randomized controlled trials. 2b: Retrospective cohort study or follow-up of untreated control patients in a randomized controlled trial; or derivation of a clinical decision rule or validated on split-sample only 2c: "Outcomes" research 4: Case-series (and poor quality prognostic cohort studies) 5: Expert opinion without explicit critical appraisal, or based on physiology, bench research or "first principles"
Hangi Araştırmaların Meta Analizi Yapılabilir? Randomize kontrollü çalışmaların (Tedavi etkinliği) Gözlemsel çalışmaların (Risk faktörlerinin etkisi) Diagnostik çalışmaların (Tanı testlerinin etkinliği)
Meta Analizinin Tarihçesi 1904-Karl Pearson Çalışma sonuçlarını birleştiren ilk bilim adamıdır. 1932-Ronald.A. Fisher Çalışmalardan elde edilen olasılıkları birleştirmiştir. 1954- Archie Cochrane Farklı zaman, yer ve birimlerde yapılmış çalışma sonuçlarını birleştirmiştir. 1976- Gene Glass Yapılan analizlere Meta Analizi adını vermiştir. Sosyal bilimlerde meta analizi uygulamıştır.
Meta Analizine Güvenebilir miyim? Geçen Yıl Kaç Meta Analizi Çalışması Yapıldı? Yaklaşık 9000 Yayınlanan bütün çalışmalar okumaya değer miydi? Tedaviye karar vermede kullanılabilir miydi? We are the best, we are gold standard Cochrane Cochrane derlemelerinde bazen hatalarla karşılaşılmaktadır. Fakat ikincil yayınlar çok önemli bir avantaja sahiptir. Düzeltildikten sonra defalarca yayınlanabilir. Bazen bir çalışma meta analizinden çıkarılabilir veya yeni bir çalışma analize dahil edilebilir. Bütün sonuçlar değişebilir. Güncellenebilir. Kendi konunuz ile ilgili güçlü kararlar alabilmek için yeni meta analizi çalışmaları takip edilmeli.
2014 yılı en çok okunan meta analizi ve sistematik derleme «sigara yoksunluğunda antidepresan tedavisi» olmuş
Podcast http://www.cochrane.org/podcasts/10.1002/14651858.cd007888.pub2 İskemik kalp hastalığı ve konjestif kalp yetmezliğinde kök hücre tedavisinin etkinliği
Meta Analizi Ne Zaman Yanlış Sonuç Verir? Sistematik derleme iyi yapılmadan meta analizi yapılırsa Çalışmaların heterojenliği göz ardı edilirse Çalışmaların seçiminden doğan hatalar Doğru çalışma seçmek(doz, Yaş, Hastalığın Evresi vs)
Dikkat! Tüm sistematik derlemeler meta analizi değildir ama her meta analizi bir sistematik derlemedir. Özetlerden meta analizi yapılmaz. Meta analizine ham veriler girmez. Meta analizi ile ilgili en büyük yanlış tüm verilerin bir havuzda biriktirilerek hepsinden genel bir sonuca gidilmesi düşüncesidir.
Dahil Edilen Çalışmalarda Yanlılık Riskinin Değerlendirilmesi Her bir randomize denemeye ait kanıtlar geçerli mi? 1. Hastalar tedavilere randomize dağıtıldı mı? 2. Randomizasyon (hangi hastanın hangi tedaviyi aldığı) gizlendi mi? 3. Çalışmanın başında gruplar birbirine benzer mi? 4. Takip edilen hastalar çalışmayı tamamladılar mı? 5. Her hasta çalışmaya başladığı grupta mı analiz edildi? (ITT) 6. Personel, hasta ve klinisyenler körlendi mi? Bütün bu maddeler sağlandıktan sonra diğer önemli bir soru; Geçerli kanıtlar önemli mi? http://www.cochrane-handbook.org/ 157
Meta analizinde bias tipleri Information bias Selection bias Publication bias Reporting bias Randomizasyon, ITT Körleme İstatistik anlamlı olmadığı için makaleyi yayınlamamak Aynı çalışma içinde beğenilmeyen sonuçları çıkarıp diğerlerini yayınlamak
Meta Analizi Yorumlarken Çalışma sonuçlarının ne derece tutarlı olduğu önemli bir konudur. Eğer çalışma sonuçlarının güven aralıkları (genellikle yatay çizgi ile gösterilmektedir) birbiriyle çakışmıyorsa, bu istatistiksel heterojenliği göstermektedir. Kesin yargıya varmak için istatistiksel heterojenlik testi (I 2 ) yapılmalıdır. Cochrane derlemelerinde forest grafikleri ki kare testlerini (x 2 ) içermektedir. Heterojenlik testlerinde istatistiksel anlamlılığa karar verirken genellikle anlamlılık düzeyi 0,05 yerine 0,10 olarak alınmaktadır. http://www.cochrane-handbook.org/
Meta Analizinde Kullanılan Modeller Sabit /Fixed Etki Modeli Her çalışma aynı etkiye sahiptir. Yani, etki çalışmadan çalışmaya sabit kalmaktadır. Heterojenlik yoksa rasgele etki modeliyle benzer sonuçlar verir. Rasgele /Random Etki Modeli Heterojenlik var olduğunda (I 2 >25) kullanılır. Çalışma içi ve çalışmalar arası varyansı dikkate alır. Ortalama etki büyüklüğü. Sonuç değişken binary/ikili ise dikkatli kullanılmalıdır.
Meta Analizi Okurken:PICOS Patients (P) Populasyon seçimi- hasta seçimi- dahil ve hariç tutma kriterleri, Katılımcılar Intervention (I) Tedavi doz, veriliş biçimi ve süre seçimi Comparators (C) Kontrol grubu belirleme Outputs/ Outcomes (O) Birincil ve ikincil sonuç değişkenlerinin saptanması ek olarak (Method/Measure (M) Ölçüm ve yöntemin tanımlanması) Study Design(S) Çalışma düzenine karar verilmesi- gerekli örneklem genişliğinin hesaplanması -randomizasyon-itt-körleme uygulanması.
İstatistik Heterojenlik Heterojenlik, random model kullanarak giderilebilir. Heterojenlik için I 2 nin yorumlanmasında kullanılan kesim noktası önemlidir. Eğer I 2 <= 25% ise heterojenlik önemli değildir, çalışmalar homojendir ve sabit etki modeli kullanılabilir. Eğer I 2 >=75% ise heterojenlik çok yüksektir ve alt grup analizi yapılabilir ya da rastgele etki modeli kullanılabilir. Tip 1 Hata seviyesi meta analizi için %10 dur.
Standart bir Forest Plot Örneği (Relative Risk, RR, OR)
Standart bir Forest Plot Örneği (Mean Difference, MD)
Yayın yanlılığı Publication Bias Pozitif sonuçlu çalışmaların daha çok yayınlanması Publication bias refers to the greater likelihood that studies with positive results will be published JAMA 2002;287:2825-2828 Yazarlar? Yayın evleri? Destekleyiciler? Editörler? Hakemler?
Yayın yanlılığı Publication Bias
P değerlerinin meta analizinde yorumu Tedavi ve kontrol arasında fark var ve tedavi daha başarılı Tedavi ve kontrol arasında fark yok
PICOS P Populasyon : 59-84 yaş arası %58 erkek Patient : hipertansiyon Participants: sistolik kan basıncı ortalaması 153 mmhg (135-182), takip süresi 1 ile 6 yıl arasında değişmektedir. I : Intervention ( RAAS Bloker; ACE inhibitörleri ve ARB ler) C: Controls RAAS Blokerlar dışında herhangi bir tedavi, plasebo, no treatment dahil O: Outcome Tüm ölümler ve kardiyovasküler sebepli ölümler S: Study Design Randomize Kontrollü Çalışmalar ( RCT)
Hazard ratio Oranlarda 1 ayırım değeridir Çalışmanın genel değerlendirmesinde kullanılan anlamlılık değeri Heterojenlik ve p değeri
http://www.e-picos.com/poll.php MINI TEST http://www.e-picos.com/fb.php FEEDBACK
TEŞEKKÜRLER