Tıp Eği(minde Program Değerlendirme Dr. İskender Sayek Emekli Öğre(m Üyesi Hace>epe Üniversitesi Tıp Fakültesi Kocaeli Üniversitesi Tıp Fakültesi Tıp Eği(mi Seminerleri 9 Nisan 2013
Terminoloji Evalua(on/Assessment/Appraisal... Değerlendirme/ Ölçme- değerlendirme/değerlendirme Evalua(on/Research Değerlendirme/AraşSrma Output/Outcome Ürün/ÇıkS Curriculum/Programme Müfredat/Program
Eği(mde Değerlendirme/AraşSrma Değerlendirme: Yerel olarak kullanılacak veri ve bilgiyi üretmek için yapılan ve genellikle e(k kurul onayına gerek(rmeyen ancak e(k ilkelere uygun olarak yapılması gereken (sonuçların kullanılabilirliğini ar]rmak için) çalışmalar AraşSrma: Genelleş(rilebilir sonuçları üretmek için yapılan, akran değerlendirmesi olan bir dergide yayınlanması hedeflenen, e(k kurul onayı gerek(ren çalışmalar Morrison J BMJ 2003; 326:385-87
Tıp Eği(minin Özellikleri Karmaşık (Kompleks) bir sistem Farklı komponentleri ve komponentler arası etkileşim vardır Değerlendirme bütüncül bir yaklaşım gerek(rir: Bireysel komponentlerin değerlendirilmesi yararlı değildir Programın tümü komponentlerinin toplamından fazladır Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
Tıp Eği(mini Etkileyen Faktörler Program özellikleri Bileşenler ve düzenleyicilerin etkisi Program kaslımcıları İç ve dış faktörler Alan ile ilgili bilgi değişimi Eği(m ortamı Mesleki uygulamalar Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
Tıp Eği(minde Program Değerlendirme Tıp eği(cisi/eği(mcisinin sorumluluğudur Eği(mde değişimin anahtarıdır Program geliş(rme için önemli Eği(m programının durumunu ve bunu sağlayan faktörleri belirler Program geliş(rme ya da eği(m programlarının incelenmesi ile ilgilenenler değerlendirme ile ilgili teorik ilkeler çerçevesinde daha yapıcı ve etkin değerlendirme yöntemlerini kullanır Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
Tıp Eği(minde Program Değerlendirme Nedir? Bir eği(m programının kavramsallığı, tasarımı, uygulamaları ve yararı ile ilgili verilerin toplaması, analizi ve yorumunu sağlayan sistema(k bir yaklaşımdır. Bir kurs veya eği(m programı ile ilgili eleş(rel değerlendirme yapma ve karar vermek için bilgi toplama sürecidir. Wall D; in Understanding Medical Educa(on 2010
Tıp Eği(minde Program Değerlendirme Nedir? Eği(m programlarına bir değer biçme sürecidir Eği(m programının tasarımı, uygulanması ve ürün/çıkslarının niteliğinin izlenmesi ve geliş(rilmesi ile etkililiğini değerlendirmek amacıyla kullanılacak verilerin sitema(k toplanması ve analizidir (ACGME) Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
TEPDAD : Program Değerlendirme Eği(m programının değerlendirilmesi, program geliş(rme ve öğre(m tasarımı sürecinin bir parçasıdır. Eği(m programının değerlendirilmesi, programın geliş(rilmesi ve/veya etkinliğinin gösterilmesi amacına yönelik olarak eği(mle ilgili tüm ögeler üzerinden kesitsel ve/veya sürekli veri toplanması, analizi ve yorumlanması süreci olarak tanımlanabilir.
Program Değerlendirme İçin Nedenler İç Nedenler Dış Nedenler Program çıkslarının ölçümlenmesi Program geliş(rme Akreditasyon kurumları Kaynak sunucular Eği(cilerin sorumlu olduğu kurumlar Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
Tıp Eği(minde Program Değerlendirme Amaçları? Eği(min öğrenenin beklen(lerini karşıladığının güvencesini vermek Eği(mde düzel(lmesi gereken alanları belirlemek Kurum kaynaklarının uygun kullanımını sağlamak Eği(cilere geri bildirim vermek ve teşvik etmek/ ödüllendirmek : Eği$cinin gelişimini sağlamak Tıp fakültelerinin değerlerini ortaya çıkarmak Müfredat geliş(rilmesini kolaylaşsrmak Morrison J BMJ 2003; 326:385-87
Tıp Eği(minde Program Değerlendirme Amaçlar? Tanınırlık amaçlı değerlendirme Gelişme amaçlı değerlendirme Bilgi amaçlı değerlendirme
Tıp Eği(minde Program Değerlendirme Amaçlar? Müfredat ilişkili Ölçme- Değerlendirme ilişkili Eği(m ve Öğrenme ilişkili
Tıp Eği(minde Program Değerlendirme Amaçlar? Müfredat Müfredat/Program geliş(rme Öğrenim amaç ve hedeflerine uygunluğun değerlendirilmesi Program çıkslarının değerlendirilmesi Eği(m ve Öğrenme Öğrenenin gereksinimlerinin karşılanma güvencesi Kötü/Uygun olmayan eği(min belirlenmesi Eği(m programlarının onaylanması Eği(ci ve kurumlara geri bildirim verilmesi Eği(cilere yıllık değerlendirme Yükselme ve kariyer geliş(rme
Tıp Eği(minde Program Değerlendirme Ölçme- Değerlendirme Amaçlar? Ölçme- Değerlendirme çıkslarını değerlendirme : sınavların değerlendirilmesi (Kurumsal, Ulusal) Değerendirme araçları geliş(rme: Değerlendirme araçlarının geçerliliği ve güvenirliğinin değerlendirilmesi Değerlendirme stratejilerinin uygunluğunu belirleme
Program Değerlendirme Planlaması Değerlendirmenin amaç ve hedefleri nedir? Değerlendirme sonuçları kime verilecek(r? Kimden ve nasıl bir veri toplanacaksr? Hangi analiz, yorumlama ve karar verme süreç kuralları uygulanacaksr? Sorumlu kimdir? Verileri kim toplayacak ve analiz edecek(r? Wall D; in Understanding Medical Educa(on 2010
Program Değerlendirme Çeşitleri Tanılayıcı Değerlendirme Biçimlendirici Değerlendirme Düzey Belirleyici Değerlendirme Programa girişte yapılan değerlendirme Program sürecinde yapılan değerlendirme Program çıkışında yapılan değerlendirme Demirel Ö Kuramdan Uygulamaya 2002
Tıp Eği(minde Program Değerlendirme Tanılayıcı Değerlendirme (Diagnos(c Evalua(on) Programa girişte yapılan değerlendirme: bilişsel davranışları, duyuşsal özellikleri ve devinişsel becerileri değerlendirir Biçimlendirici Değerlendirme (Forma(ve Evalua(on) Program sürecinde yapılan değerlendirme: Öğrenme güçlüklerini ortaya çıkarmak ve gerekli düzeltmeler ve planlama yapılması amaçlanır Düzey Belirleyici Değerlendirme (Summa(ve Evalua(on) Program sonunda yapılan değerlendirme: Kazanılmış davranış, özellik ve becerileri ölçmeye yararan değerlendirme Demirel Ö Kuramdan Uygulamaya 2002
Değerlendirme Modelleri Deneysel/ Yarı- deneysel modeller: Yeni uygulamalar ile eski uygulamaları karşılasrmak; uygulanması zor Kirkpatrick in dört- düzey değerlendirme modeli: Program çıksları ile ilgili değerlendirme ManSk modeli: Değişim sürecine odaklı; eği(mde yenileşim (inovasyon) içerikli CIPP (context/input/process/product) modeli
Kirkpatrick in Değerlendirme Hiyerarşisi Sonuçların Değerlendirilmesi (Topluma etkisi) Tutum/Davranışın Değerlendirilmesi (öğrenmenin çalışma ortamına taşınması) Öğrenmenin Değerlendirilmesi (Gerekli bilgi ve beceriler) Eği(lenin memnuniye( ya da tepkisinin Değerlendirilmesi Wall D; in Understanding Medical Educa(on 2010
Tıp Eği(minde Kirkpatrick in Hiyerarşisi Sağlık hizmet sunumunda iyileşme Mesleki davranışta değişim Öğrenme gerçekleşmesi Yanıtlayanların memnuniye( Eği(m etkinliğine kaslım Wall D; in Understanding Medical Educa(on 2010
Kirkpatrick in Değerlendirmede Odaklanma Düzeyleri Düzey 1 Öğrenenlerin memnuniyet ve tepkileri Düzey 2a Tutum ve algıların modifikasyonu Düzey 2b Bilgi ve becerilerin edinilmesi Düzey 3 Davranış değişikliği Düzey 4a Kurumsal uygulamalarda değişim Düzey 4b Hasta yararı Morrison J BMJ 2003; 326:385-87
ManSk (Logic) Modeli Girdi Etkinlikler ÇıkS (Outputs) Ürün (Outcomes) Kaynaklar Alt yapı İnsangücü Kurum kültürü Girişimler Stratejiler Yenileşimler Hedeflenen değişimler Eği(len sayısı Eği(ci özelliği Üre(len modül sayısı Eği(lenin bilgi veya becerileri Yeni bilgi ve becerilerin uygulanması Hasta yararı
CIPP Modeli CIPP (context/input/process/product) modeli (Bağlam/ girdi/ süreç/ürün) Program geliş(rme odaklı, programın başarısını ya da başarısızlığını göstermeyi hedeflemez Programın kısımlarının karmaşık, dinamik ve lineer olmayan bir ilişkide olduğunu fark eden yaklaşımlar için güçlü bir model
CIPP Modeli Bağlam/ girdi/ süreç değerlendirmesi iyi leş(rme odaklı : Biçimlendirici değerlendirme (Forma(ve) Ürün değerlendirmesi düzey yüksel(ci değerlendirme (Summa(ve) Bağlam Değerlendirilmesi: Yeni program planmada ya da planlı değişimlerde yararlı Programın amaç ve hedeflerini gereksinimlere, sorunlara ve olanaklara göre belirler Girdi Değerlendirilmesi: Eği(m planlamasında kaynak kullanımı ile yeni program planlanması ve önerisinde yararlı, sürekli veri sağlar- Sp eği(minde çok etkili
CIPP Modeli Süreç Değerlendirilmesi: program uygulanmalarını değerlendirmede etkili, çıksnın değerlendirilmesini sağlar ve bir program değişiminde yararlı (Sürekli gelişim) Program sonu değerlendirmede kullanılabilir Program bileşenlerine tanınırlık sağlar Ürün Değerlendirmesi: Program çıkslarına odaklı değerlendirme Olumlu- olumsuz, kısa- uzun dönem, beklenen- beklenmeyen çıksları değerlendirir, Eği(m gereksinimlerinin ne kadar karşılandığını belirler
Değerlendirme Modellerinin KarşılaşSrılması CIPP Bağlam Girdi Süreç Ürün ManSk Model Kirkpatrick Deneysel/ Yarı deneysel Girdi Etkinlikler ÇıkS Ürün Eği(len- ilgili çıkslar Program içeriği ile çıksnın lineer ilişkisi
Değerlendirme Evreleri Planlama ve Hazırlık Yansıma (Refleksiyon) ve Analiz Eği(m ve Öğrenim Etkinliği Etkinlik ile İlgili Veri Toplanması Wall D; in Understanding Medical Educa(on 2010
Eği(m Programlarında Etkililik Değerlendirmesi Evreleri Veri Toplama Etkililik Hakkında Karar Verme Verileri Ölçütlerle KarşılaşSrıp Yorumlama Demirel Ö Kuramdan Uygulamaya 2002
Değerlendirme Yöntemleri Subjek(f ve objek(f ölçütler içerebilir Niteliksel ve niceliksel yaklaşımlar olabilir Fazla veri toplamaktan kaçınmak gerekir Kolay uygulanabilir ve hızla kullanılabilir bilgi üretmesi gerekir Morrison J BMJ 2003; 326:385-87
Yöntemler Görüşmeler Mülakatlar Odak grup görüşmeleri Kurum ziyaretleri Anketler Grup görüşmeleri Kar topu inceleme (Snowball review) : Grup üyeleri tarsşarak sonuca varır Nominal grup tekniği: Grup üyelerinin hepsi görüş bildirir Öğrenci performans değerlendirmeleri Öğrenim çıkslarının değerlendirilmesi Gözlemler
Öğrenci Değerlendirmeleri Geribildirimler, anket uygulamaları En sık kullanılan yöntem Çok değerli bilgi verir Tek başına kullanılmamalı
Değerlendirme Örnekleri SubjekGf ObjekGf Niteliksel Odak grupları Görüşmeler NÖKS ile başarılı sonuçlandırılmış görevlerin analizi Niceliksel Değerlendirmeler: Anket Sınav sonuçlarının eğilim değerlendirilmesi Morrison J BMJ 2003; 326:385-87
Değerlendirme Araçları Öğrenci değerlendirmeleri Uzman değerlendirmeleri Dış değerlendirmeler Öz- değerlendirme Eği(m video kayıtları Öğrenci görüşmeleri- mülakatları Mezunların değerlendirmeleri İşveren değerlendirmeleri Yöne(ci değerlendirmeleri Eği(m Bursları/ Ödüllendirmeleri Eği(m çıkslarının ölçümlenmesi Eği(m porxolyoları Wall D; in Understanding Medical Educa(on 2010
Değerlendirmede yanlı tutumu azaltmak için öğrenciler, eğigciler, diğer klinisyen ve hastalar gibi gruplardan birden çok kişiden görüş alınmalıdır.
MüfredaRn tam etkililiği öğrencilerin mezun olmasından belli bir süre geçgkten sonra ancak belirlenebilir.
İdeal bir Değerlendirme Güvenirlik Geçerlik Değerlendiren ve değerlendirilen tarayndan kabul edilirlik Düşük maliyetli
TEPDAD: UTEAK Standartları 5. PROGRAM DEĞERLENDİRME 5.1. Program değerlendirme sistemi TS.5.1.1. Tıp fakültelerinde, eği(m programını ve öğrencilerin gelişimini izleyen, programa ilişkin görüş ve önerilerin tanımlanması ve ele alınmasını sağlayan bir program değerlendirme sistemi mutlaka olmalıdır. Program değerlendirme sistemi, mutlaka, düzenli olarak toplanan öğre(m üyesi ve öğrenci geribildirimleri ve eği(m programı hedefleriyle ilişkilendirilmiş öğrenci performansı izlemlerini kapsamalıdır.
GS.5.1.1. Tıp fakülteleri evrensel eği(m programı değerlendirme modellerinden yararlanarak, fakülteye özgü kapsamlı bir eği(m programı değerlendirme sistemi geliş(rilmelidir. GS.5.1.2. Program değerlendirme kapsamında programın bağlamı, girdileri, süreci ve çıkslarına yer verilmeli, mezunların Sbbi kariyerlerine ilişkin bilgiler değerlendirilmelidir.
5.2. Program değerlendirme sonuçlarının paylaşım ve kullanımı TS.5.2.1. Tıp fakülteleri program değerlendirme sonuçlarını mutlaka fakülte yöne(mi, akademik görevliler, öğrenciler ile paylaşmalı ve programın iyileş(rilmesi yönünde kullanmalıdır. GS.5.2.1. Tıp fakülteleri, program değerlendirme süreci ve sonuçlarının geçerlik ve güvenirlik kanıtlarını toplamalı ve göstermelidir. GS.5.2.2. Tıp fakülteleri dış değerlendirme yöntem ve süreçlerini kullanmalıdır.
Değerlendirme: Özet Müfredat geliş(rmede kullanılabilmeli Tıp fakültesinin akademik gelişimine pozi(f süreç olarak katkı sunmalı Değerlendirme hedefleri Açıkça tanımlanmalı Öğre(m çıksları ile ilişkilendirilmeli Değerlendirme yapılırken: Birden çok kaynaktan bilgi toplanmalı Sonuçlar tüm kaslımcılarla paylaşılmalı
Öğrenenler: Değerlendirme geliş(rilirken mutlaka katkı sunmalı Görüşlerine değer verilmeli Değerlendirenler: Değerlendirme sonuçlarına göre eksikliklerin düzel(lmesi, yöntemlerin ve içeriğin iyileş(rmesi ve güncellenmesi sağlanmalı Süreç tekrar edilebilmeli
Tıp Eği(minde Program Değerlendirme Eği(m süreçlerinin önemli öğelerinden birisidir. Uygulanan eği(m programının etkililiği hakkında karar verme Eği(m araçlarının niteliği ile ilgili sistema(k bilgi toplama aracı Eği(m hedeflerinin karşılanma derecesini tayin etme Eği(m programına devam, değiş(rme ya da yeni bir aşamaya geçme ile ilgili karar verme
Teşekkür ederim...