Prof.Dr.Berna Musal Dokuz Eylül Ün.Tıp Fakültesi Tıp Eğitimi AD. IV.Acıbadem Üniversitesi Tıp Eğitimi Günleri

Transkript

1 Prof.Dr.Berna Musal Dokuz Eylül Ün.Tıp Fakültesi Tıp Eğitimi AD. IV.Acıbadem Üniversitesi Tıp Eğitimi Günleri

2 Sunum Planı Program değerlendirme tanımı, amaç-işlevleri, basamakları Program değerlendirme modelleri Tıp eğitiminde program değerlendirme örnekleri DEÜTF program değerlendirme örneği

3 Program Değerlendirmenin Tanımları Programın hedeflerine ulaşıp ulaşmadığının incelenmesidir (Tyler) Programın yararlılığının ve değerinin sistematik olarak incelenmesidir (JCSEE) Eğitim programın izlenmesi, niteliği ve etkinliğinin artırılması amacıyla tasarımı, uygulaması ve sonuçlarına ilişkin bilgilerin sistematik olarak toplanması, analiz edilmesi sürecidir (ACGME) Eğitim Programı Bileşenleri enleri Zaman çizelgesi Değerlendirme Hedefler İçerik Eğitim stratejileri Eğitim ortamı Bireysel öğrenci öğrenme stilleri Eğitim yaşantıları Çalışma programı (Harden, AMEE Guide No.21, 2001)

4 Program Değerlendirmenin Tanımları Elde edilen verilerle programın etkililiği, aksaklıkları ve aksaklıkların programın hangi öğe/öğelerinden kaynaklandığını belirlemek ve gerekli düzenlemelerin yapılmasına olanak sağlamaktır.

5 Program Değerlendirmenin Amaçları ve İşlevleri Amaçlara ulaşılıp ulaşılmadığının saptanması Eğitim çıktılarının, hedeflerinin, yöntemlerin ve kaynakların gözden geçirilmesi Programın güçlü ve zayıf yönlerinin belirlenmesi ve geliştirilmesi Sorunların erken tanımlanması Çözümler, öneriler oluşturulması

6 Program Değerlendirme Yönetsel düzenlemeler, karar verme süreçleri Programın iyileştirilmesi ve geliştirilmesi amacıyla kullanılması Süreklilik göstermesi

7 DEĞERLENDİRME BASAMAKLARI Planlama süreci Amaç Model Değerlendirme soruları Veri toplama yöntemleri Değerlendirme ölçütleri Sonuçlar nasıl kullanılacak Kaynak gereksinimleri, Uygulama süreci Veri toplama (niceliksel ve niteliksel) METADEĞERLENDİRME Değerlendirme süreci Veri analizi, yorumlanması, önerilerin geliştirilmesi Rapor yazımı Paylaşım

8 Değerlendirme Döngüsü Eğitim etkinliği Planlama ve hazırlık Verilerin toplanması ve değerlendirilmesi Analiz, yansıtma Wilkes&Blight,1999

9 Program Değerlendirmede Etik Boyut Özgüven ve kariyeri zedeleyebileceketkileyebilecek ortam, yan tutma Aydınlatılmış onam, mahremiyet, kişilik haklarına saygı, Tarafsızlık (güçlü ve zayıf yanların tanımlanması) Goldie J. Evaluating Educational Programmes. AMEE Education Guide No:29. Medical Teacher 2006; 28(3):

10

11 Tyler-Hedefe Dayalı Program Değerlendirme Modeli Uygulanan eğitim programı yoluyla eğitim hedeflerinin ne düzeyde kazandırıldığını belirlemeye yönelik Sonuç-çıktı odaklı Yalın, kolay Niceliksel veriler Geçerlik, güvenirlik

12 Kirkpatrick Değerlendirme Düzeyleri Sonuçlar 4 3 Davranış 2 Öğrenme 1 Reaksiyon-tepki Kirkpatrick in dört-düzeyli modelinde, her değerlendirme düzeyi, bir alt düzey üzerine inşa edilir-1983

13 1.Düzey 2.Düzey 3.Düzey Tepkilerin / hoşnutluğun belirlenmesi Program içeriği, eğitim etkinlikleri, öğrenme ortamı, eğiticiler Kolay Önemli ipuçları verir. Sorun varsa diğer düzeylere de yansır. KIRKPATRICK Öğrenme düzeyinin değerlendirilmesi Bilgi, beceri, tutum değişiklikleri değerlendirilir. Hedeflenen davranış değişiklikleri gerçek ortamda-meslek yaşamında Niceliksel ve niteliksel yöntemler Anket-geri bildirim formları, ölçekler Odak grup çalışması Görüşmeler SWOT analizleri Objektif değerlendirme yöntemleri, performans testleri, tutum ölçekleri kullanılır. Kontrol grubu, ön-son test kullanılabilir. Survey, görüşmeler, gözlem kullanılır. Kontrol grubu kullanılabilir.

14 Eğitim programının gözden geçirilmesi Evet 1. Düzey Reaksiyon/ Hoşnutluk Öğrenme Ortamı 2. Düzey Öğrenme İyileştirme gerekiyor mu? Hayır Varolan iyileştirme sürecinin sürdürülmesi Çalışma Ortamı 3. Düzey Performans 4. Düzey Etki Programın topluma, sisteme, çalışılan kuruma etkisi

15 Katılımcı Odaklı Değerlendirme Modeli Paydaşların etkin katılımı Koşullar karmaşık tanımlayıcı bir resim ortaya konur Stake in Uygunluk Modeli Değerlendirme tasarımı: betimleme ve karar matrisi Girdi, süreç, çıktı Tasarlanan ve gerçekleştirilen arasındaki uyum Doğal Değerlendirme Modeli Katılımcıların farklı görüş ve değerleri dikkate alınarak doğal genellemeler yapılır. Öznel, nesnel, nicel, nitel çok sayıda veri toplanır. İnformal, esnek değerlendirme

16 Yararlanmaya Odaklı Değerlendirme Yanıtlayıcı Değerlendirme

17 Logic Model Mantık Model INPUTS GİRDİLER ACTIVITIES ETKİNLİKLER OUTPUTS ÜRÜNLER OUTCOMES ÇIKTILAR Planlama Uygulama Değerlendirme Frye AW, Hemmer PA. Program Evaluation Models and Related Theories: AMEE Guide No.67. Medical Teacher, 2012;34:

18 Logic Model Mantık Model Girdiler Kaynaklar Etkinlikler Ürünler Çıktılar Zaman Para Ekip-insan gücü Kaynaklar Olanaklar Sunumlar Çalıştaylar Toplantılar Eğitici gelişim programları Yayınlar Materyal Katılım listeleri, yüzdeleri Kısa Orta Uzun Bilgi Beceri Tutum Motivasyon Farkındalık Davranışlar Uygulamalar İşlemler Çevresel Sosyal koşullar Ekonomik koşullar Politik koşullar Süreç göstergelerinin ölçümü Çıktı göstergelerinin ölçümü PROGRAM DEĞERLENDİRME

19 Eğitim programları kompleks yapıya sahip Programın öğeleri ve çıktıları arasındaki ilişki doğrusal değil, öğelerdeki küçük değişiklikler sonuçlarda büyük değişimlere yol açabilir. Frye AW, Hemmer PA. Program evaluation models and related theories: AMEE Guide No.67. Medical Teacher 2012;34:e

20 CIPP Model Stufflebeam Değerlendirmenin amacı kanıtlamak değil iyileştirmek Context: Bağlam Input: Girdi Process: Süreç Product: Çıktı Stufflebeam DL, Madaus GF, Kellaghan T. Evaluation Models: Viewpoints on Educational and Human Services, 2002.

21 Eğitim ortamı ile ilişkili öğeler, sorunlar, gereksinimler, olanaklar Eğitim gereksinimleri neler? Yönetsel destek, mali olanaklar nasıl? Program hedeflerine ulaşmayı engelleyen faktörler var mı? Eğitim sistemininkoşullarının tanımlanan amaçlara ulaşmada yeterliliği, kaynaklar Hedefler uygun belirlenmiş mi? İçerik, kaynak ve olanakların hedeflere uygunluğu nasıl? Görüş ve öneriler CIPP Model Context: Bağlam Input: Girdi Process: Süreç Product: Ürün Eğitim süreci (eğitim etkinlikleriyöntem, içerik, eğitici performansı) Planlanan ve uygulanan program arasında farklılık var mı? Etkinlikler planlanan zamanda uygulandı mı? Değilse neden? Katılımcılar sorumluluklarını yerine getiriyor mu? Uygulamada ne tip sorunlarla karşılaşılıyor? Çözümü için neler yapılıyor? Uygulamanın niteliğine ilişkin katılımcılar ne düşünüyor? Programın etkinliği, elde edilen kazanımlar Programın tanımlanan çıktılarına ulaşılmış mı? Olumlu veya olumsuz amaçlanmayan çıktılar ortaya çıkmış mı?

22 CIPP Modelin Program Geliştirme ile İlişkisi Program Değerlendirme Context: Bağlam Input: Girdi Program Geliştirme Planlama Yapılandırma Process: Süreç Uygulama Product: Ürün-çıktı Yeniden düzenlemegeribildirim

23 CIPP Model Örnekleri

24 Program değerlendirmenin yalnızca planlanan çıktılara odaklanması yerine programın nasıl yürüdüğü, istenmeyen olumlu ve olumsuz yan etkiler de irdelenmeli Haji F, Morin MP, Parker K. Rethinking programme evaluation in health professions education: beyond did it work? Medical Education 2013; 47:

25 Neden çalışacak? Program neden istenen etkiyi sağlayacak? PLANLANAN BAĞLAM ORTAYA ÇIKAN SÜREÇ ÇIKTILAR Program istediğimiz gibi yürüdü mü? İstenen etkiyi sağlayabildik mi? Program sırasında farklı durumlar oluyor mu? Programın başka etkileri var mı? Program bağlamı nasıl değiştirdi? Neden ortaya çıkıyor? Ne olduğuna ilişkin başka açıklamalar var mı? Haji F, Morin MP, Parker K. Rethinking programme evaluation in health professions education: beyond did it work? Medical Education 2013; 47:

26 Program Değerlendirme Modellerinin Birlikte Kullanımı Dubrowsky A, Morin MP. Evaluating pain education programs: An integrated approach. Pain Res Manage 2011, Vol 16 (6):

27 PROGRAM DEĞERLENDİRME VERİ TOPLAMA YÖNTEMLERİ Anketler Ölçekler Görüşmeler Odak grup çalışmaları Çalıştaylar Gözlemler Doküman/raporların incelenmesi Bilgi, beceri, tutum değerlendirme yöntemleriöğrenci başarısı Deneysel-yarı deneysel araştırmalar, korelasyon araştırmaları

28

29

30

31

32

33

34

35

36 The Joint Committee on Standards for Educational Evaluation (JCSEE) 2011 program değerlendirme standartları Yararlılık Uygulanabilirlik Uygunluk Doğruluk Hesap verebilirlik McGill mezuniyet öncesi eğitim programı değerlendirme çalışmaları değerlendirilmiş. Ruhe V, Boudreau D. The 2011 Program Evaluation Standards: a framework for quality in medical education programme evaluations. Journal of Evaluation in Clinical Practice 2012, 19:

37

38 Mezuniyet Öncesi Tıp Eğitimi Ulusal Standartları 5. PROGRAM DEĞERLENDİRME: 5.1. Program değerlendirme sistemi TS Tıp fakültelerinde, eğitim programını ve öğrencilerin gelişimini izleyen, programa ilişkin görüş ve önerilerin tanımlanması ve ele alınmasını sağlayan bir program değerlendirme sistemi mutlaka olmalı ve en az düzenli olarak toplanan öğretim üyesi ve öğrenci geribildirimleri ve eğitim programı hedefleriyle ilişkilendirilmiş öğrenci performansı izlemlerini kapsamalıdır. GS Tıp fakülteleri eğitim programı değerlendirme modellerinden yararlanarak, fakülteye özgü kapsamlı bir eğitim programı değerlendirme sistemi geliştirilmelidir. GS Program değerlendirme kapsamında programın bağlamı, girdileri, süreci ve çıktılarına yer verilmeli, mezunların tıbbi kariyerlerine ilişkin bilgiler değerlendirilmelidir.

39 Mezuniyet Öncesi Tıp Eğitimi Ulusal Standartları 5. PROGRAM DEĞERLENDİRME 5.2. Program değerlendirme sonuçlarının paylaşım ve kullanımı TS Tıp fakülteleri program değerlendirme sonuçlarını mutlaka fakülte yönetimi, akademik görevliler, öğrenciler ile paylaşmalı ve programın iyileştirilmesi yönünde kullanmalıdır. GS Tıp fakülteleri, program değerlendirme süreci ve sonuçlarının geçerlik ve güvenirlik kanıtlarını toplamalı ve göstermelidir. GS Tıp fakülteleri dış değerlendirme yöntem ve süreçlerini kullanmalıdır.

40 DOKUZ EYLÜL ÜNİVERSİTESİ TIP FAKÜLTESİ PROGRAM DEĞERLENDİRME ÇALIŞMALARI (2005- )

41 DEÜTF PROGRAM DEĞERLENDİRME SORULARI 1. Eğitim programının öğrenciler ve mezunlar üzerindeki etkileri nasıldır? Eğitim ortamı ve uygulamaları ile ilişkili olanaklar, sorunlar, gereksinimler neler? Öğrencilerin tıp fakültesine giriş puanları nasıl bir değişim gösteriyor? Öğrencilerin eğitim programıyla ilgili hoşnutluk düzeyi nedir? Yıllık başarı ortalamaları nasıl bir değişim gösteriyor? Sınıf geçme, kalma ve muafiyet yüzdelerinin değişimi nedir? Programın genel ilkeleri ile tanımlanan kazanımlara ulaşma düzeyi nedir? Mezunların eğitim programı ve kazanımlarına ilişkin değerlendirmeleri nasıldır? Mezunların mesleki uygulamaları programın genel ilkeleri ile tanımlanan kazanımlara uygun mu? Mezunların mesleki kariyer dağılımları nedir? 2. Eğitim programının eğiticiler üzerindeki etkileri nasıldır? Eğiticilerin, eğitim programıyla ilgili görüşleri, beklenti ve hoşnutluk düzeyi nedir? Eğitim ortamı ve uygulamaları ile ilişkili olanaklar, sorunlar, gereksinimler neler? 3. Eğitim programı planlandığı gibi uygulanmakta mıdır? PDÖ işleyiş süreçleri programa ve yönergelere uygun mudur? Task işleyiş süreçleri programa ve yönergelere uygun mudur? Dönem 6 programı amaca uygun şekilde uygulanmakta mıdır?

42 DEÜTF PROGRAM DEĞERLENDİRME PLANI ÖRNEĞİ Soru 1: Eğitim programının öğrenciler ve mezunlar üzerindeki etkileri nasıldır? Değerlendirilen parametre Tıp Fakültesine yeni başlayan öğrencilerin profillerinin değerlendirilmesi Veri toplama yöntemi Giriş puanları, yüzdelik dilim Anket Gösterge / ölçüt Giriş puanları, yüzdelik dilim-karşılaştırmalar Anket ölçek bulguları Sıklık Yılda bir Kime sunulacak Akademik kurul Öğrenci başarısının değerlendirilmesi Öğrenci işleri verileri Performans değerlendirme Not ort., sınıf geçme, muafiyet yüzdelerikarşılaştırma Puanların analizi Yılda bir LİDEK Akademik kurul Öğrencilerin program hakkındaki görüşlerinin belirlenmesi Geri bildirim formları Anket Odak grup çalışması Ölçek puanları Anket ölçek bulguları Kalitatif veriler Blok sonu Yılda bir İki yılda bir Dönem kurulları LİDEK Akademik kurul

43 DEÜTF PROGRAM DEĞERLENDİRME PLANI ÖRNEĞİ Soru 1: Eğitim programının öğrenciler ve mezunlar üzerindeki etkileri nasıldır? Değerlendirilen parametre Veri toplama yöntemi Gösterge / ölçüt Sıklık Kime sunulacak Mezuniyet aşamasındaki öğrencilerin eğitim programı ve kendi yeterliliklerini değerlendirmeleri Anket) Anket ölçek bulguları Yılda bir kez LİDEK Akademik kurul Kariyer seçimi ve dağılımlarının/ TUS sonucunun değerlendirilmesi TUS sonuçları Yıllara göre TUS u kazanma yüzdeleri Yılda iki kez Akademik kurul

44 DEÜTF PROGRAM DEĞERLENDİRME PLANI ÖRNEĞİ Soru 2: Eğitim programının eğiticiler üzerindeki etkileri nasıldır? Değerlendirilen parametre Veri toplama yöntemi Gösterge / ölçüt Sıklık Kime sunulacak Eğiticilerin program hakkındaki görüşlerinin belirlenmesi Anket Çalıştay Anket ölçek bulguları Raporlar Yılda bir İki yılda bir LİDEK Akademik kurul

45 DEÜTF PROGRAM DEĞERLENDİRME ETKİNLİKLERİ ZAMAN ÇİZELGESİ ( ) Ağustos Temmu Haziran Mayıs Nisan Mart Şubat Ocak Aralık Kasım Ekim Eylül Öğrenci profilinin belirlenmesine yönelik durum değerlendirme anketinin uygulanması, rapor formatına dönüştürülmesi Öğrenci giriş puanlarının, yüzdelik dilimlerin listelenmesi Dönem 1, 2, 3 e ilişkin not ortalamaları, muafiyet ve geçme yüzdeleri ve PDÖ notlarına ilişkin metnin hazırlanması Dönem 4, 5 e ilişkin not ortalamaları, muafiyet ve geçme yüzdelerinin tabloya eklenmesi Dönem 1-5 Öğrenci hoşnutluk düzeylerine ilişkin verilerin tabloya eklenmesi İntörnlerin Dönem 6 eğitim programı hakkındaki görüşlerinin belirlenmesine yönelik anket çalışması Mezuniyet aşamasındaki öğrencilerin eğitim programını ve kendi yeterliliklerini değerlendirmelerine ilişkin anketin tablolaştırılması ve önceki yıllarla karşılaştırılması Eğiticilerin eğitim programı hakkındaki görüşleri anketideğerlendirilmesi x x x X X X X X X Program değerlendirme raporunun yazılması (Ekim ) X

46 Paylaşım ve Sonuçların Kullanımı Dönem kurulları Lisans Düzeyi Eğitim Kurulu Akademik kurul Tıp Eğitimi Öğrenci Kurulu Yıllık rapor

47 Olumluluklar Süreklilik Güncelleme Nicel, nitel İletişim-yönetsel boyut Paylaşım Kullanım Kısıtlılıklar Mezunlara ulaşma İletişim-yönetsel boyut?

48 Program değerlendirme çalışmaları Yalnızca planlanan sonuçlara odaklanmamalı, Eğitim programının farklı bileşenlerine ilişkin bilgileri kapsamalı ve değerlendirmeli, Etik ilkelere uygun olmalı, Süreklilik taşımalı, Sistematik şekilde planlanarak uygulanmalı, Bulgular paylaşılmalı ve iyileştirme yönünde etkin bir biçimde kullanılmalı Meta-değerlendirme: Eş zamanlı sürdürülmeli

49 Yararlanılan Temel Kaynaklar ACGME (Accreditation Council for Graduate Medical Education) glossary of terms. July, Curran V, Christopher J, Lemire F, Collins A, Barret B. Application of a responsive evaluation approach in medical education. Medical Education 2003;37: Dubrowsky A, Morin MP. Evaluating pain education programs: An integrated approach. Pain Res Manage;16(6): Durning S, Hemmer P, Pangaro L. The structure of program evaluation: An approach for evaluating a course, clerkship, or components of a residency or fellowship training program. Teaching and Learning in Medicine 2007; 19(3): Fyre AW, Hemmer PA. Program evaluation models and related theories: AMEE Guide no.67. Medical Teacher 2012;34:e Gibson KA, Boyle P, Black DA, Cunningham M, Grimm MC, McNeil PH. Enhancing evaluation in an undergraduate medical education program. Academic Medicine 2008; 8: Goldie J. AMEE Education Guide no.29: Evaluating educational programmes. Medical Teacher 2006; 28(3): Haji F, Morin MP, Parker K. Rethinking programme evaluation in health professions education: beyond did it work? Medical Education 2013;47: Khatnami AD. Evaluation of Saudi family medicine training program: The application of CIPP evaluation format. Medical Teacher 2012;34: Musick D. A conceptual model for program evaluation in graduate medical education. Academic Medicine 2006;81(8): Nickols F. Evaluating training: There is no cookbook approach., Ruhe V, Boudreau DJ. The 2011 Program Evaluation Standards: a framework for quality in medical education program evaluations. Journal of Evaluation in Clinical Practice 2012;19: Steinert Y, Cruess S, Cruess R, Snell L. Faculty development for teaching and evaluating professionalism: from programme design to curriculum change. Medical Education 2005;39: Uşun S. Eğitimde program değerlendirme: Süreçler yaklaşımlar ve modeller Anı yayıncılık Vassar M, Wheeler DL, Davison M, Franklin J. Program evaluation in medical education: An overview of the utilization-focused approach. J Educ Eval Health Prof 2010;7(1):1-3. Yüksel İ, Sağlam M. Eğitimde program değerlendirme Pegem Yayınları. Hanssen, C.E.; Lawrenz, F.; Dunet, D.O. Concurrent Meta-evaluation: A Critique. American Journal of Evaluation, 2008, 29(4): DOI: /

50