Ölçme-değerlendirmede genel ilke ve kavramlar Dr. H. İbrahim Durak
Öğrenci G E Ç M E & K A L M A Sınama? Grup dinamikleri Amaç Öğrenim hedefleri? Öğretim Üyesi E Ğ İ T İ M Eğitim Programı
Assessment drives learning eğitsel etki öğrenmeye etki içerik format zamanlama geribildirim öğretmeye etki Değerlendirme ve geliştirme içerik yöntem tamamlama VanderVleuten, C.P.M. and D.I. Newble., How can we test clinical reasoning? Lancet, 1995. 345(8956): p. 1032-1035.
Ölçme (measurement) Nesne ya da öznelere belirli bir özelliğe sahip oluş derecelerine göre simgelerle sınıflama süreci Değerlendirme (assessment) Ölçme ya da gözlemler sonucu yargıya varma süreci
1.Yetkinlik bir alışkanlıktır iletişim, bilgi, teknik beceriler, klinik akıl yürütme, duygular, değerlerin; alışkanlık halinde, sağduyulu olarak bireyler ve toplum yararına kullanılması Epstein, R.M. and E.M. Hundert, Defining and assessing professional competence. JAMA, 2002. 287: p. 226-235.
Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. 2. Yetkinlik alanlarına göre ayrıştırılabilir Metakognitif beceriler Does (yapar) Shows how (gösterir) Knows how (nasıl olduğunu bilir) Knows (ne olduğunu bilir) Davranış alanı Bilişsel alan
3.Yetkinlik konu alanları ve alan içeriklerine özgündür 1.Hasta bakımı (Patient care) 2.Tıbbi Bilgi (Medical Knowledge) 3.Uygulamaya dayalı öğrenme ve gelişim (Practice-based Learning and Improvement) 4.Kişiler arası ve iletişim becerileri (Interpersonal and Communication Skills) 5. Mesleksel Davranış (Professionalism-professional behavior) 6. Sistemlere dayalı uygulama (Systems-based Practice) ACGME, Outcome Project. 2000 (29 Kasım 2003 tarihinde ulaşıldı), www.acgme.org/outcome.
4.Yetkinlik düzeylenebilir Acemi (Novice) Yeterli (Competent) Uzman (Expert) Usta (Master) ilkeler ilkeler + seçilmiş alanda + kısmi sorumluluk tam sorumluluk + önsezi neyin nasıl olduğunu hemen görür stil geliştirir ve sürprizleri sever Dreyfus Modeli
Mesleksel Yetkinlik: konu alanları ve içeriklerine göre belirlenmiş eğitimin sonuç hedefleri üzerinden uygun araçların birlikte kullanılması ile hedeflenen düzeylere özgün olarak sınanmalıdır.
Tıp eğitiminde ölçme-değerlendirme gündemi performans -uygulama -öğrenme süreci bilgi problem çözme mesleksel / eğitsel e özgünlük 1960 2000
HEKİM yeterli yetersiz
HEKİM SINAV yeterli yetersiz geçti kaldı
Geçerli? Güvenlir? HEKİM SINAV yeterli yetersiz geçti A B kaldı C D
Güvenilirlik sınamanın kesinlik / doğruluk düzeyi istatistiksel yöntemlerle hesaplanabilir aynı şartlar altında hep aynı sonuç (tutarlılık) sistematik ve rastlantısal hatasızlık Linn, R.L. and N.E. Gronlund, Measurement and Assessment in Teaching. 2000, New Jersey, USA: Prentice Hall.
Geçerlilik ölçülmek istenenlerin ölçülüp ölçülmediği istatistiksel yöntemlerle hesaplanamaz sonuçların yorumlanmasına ait kanıtlar derece sorunu Linn, R.L. and N.E. Gronlund, Measurement and Assessment in Teaching. 2000, New Jersey, USA: Prentice Hall.
Hangisi geçerli? Hangisi güvenilir?
Bir sınav / değerlendirmenin yararlılığı U = R V E C A U = utility (yararlılık) R = reliability (güvenilirlik) V = validity (geçerlilik) E = educational impact (eğitsel etki) C = costs (maliyet) A = acceptability (kabul edilebilirlik)
100 % Yararlılık önem 0 % Güv. Geç. Eğit. Etki Maliyet Kabul Edil. eksenler
Formative-Diagnostic (öğrenen yararına) (fikir veren, tanısal) öğrenenlere mesleki yeterlilikteki gelişimleri hakkında bilgi vermek... eğiticilerin eğitim sürecinde yaşanan sorunları erken tanıması ve düzeltmesi Summative-Certifying (toplum yararına) (karar veren, tasdik eden) Kabul edilebilecek asgari başarı düzeyini tanımlar... Bir sonraki mesleksel düzeye geçiş için veri sağlar...
Karar verdirici ölçme-değerlendirme 100 % önem 0 % Güv. Geç. Eğit. Etki Maliyet Kabul Edil. eksenler
Biçimlendirici ölçme-değerlendirme 100 % önem 0 % Güv. Geç. Eğit. Etki Maliyet Kabul Edil. eksenler
Yararlı bir sınama yapmak 5N1K-Kim, Ne, Niçin, Nasıl, Nerede, Ne zaman SONUÇLARI KULlANMA Karar Geribildirim Skor / başarım / düzey UYGULAMA Açıklama / süre / güvenlik Sınayanın eğitimi STANDART BELİRLEME Asgari performans MATRİS OLUŞTURMA Ağırlıklar / puan Uygun yöntem ve araç Ölçülecek yetkinlikler (alan-içerik)
Does in vivo performans Gizli SH, Video, Kayıtlar Shows how Knows how Knows in vitro performans OSCE, SH... Problem çözme sınavları ÇSS, metin tipi, sözlü bilgi sınavları ÇSS, metin tipi, sözlü van der Vleuten, C.P.M. and D.I. Newble., How can we test clinical reasoning? Lancet, 1995. 345(8956): p. 1032-1035.
Grounlond NE. Assessment of Student Achievement 1998 s15 den uyarlanmıştır. Selected response -Çoktan seçmeli -Eşleştirme -Doğru-yanlış v.b. düşük düşük düşük düşük düşük Testing Supply response -Klasik yazılı -Boşluk doldurma -Sözlü v.b. Performance assessment Restricted performance -Mankenle sınav -Laboratuar becerisi v.b. Gerçeğe uygunluk Karmaşıklık-bütünlük-özgünlük Entegrasyon potansiyeli Gereken zaman Puanlamada bireysel yargı düzeyi Extended performance -Standardize hasta -MiniCEX, Portfolyo,v.b yüksek yüksek yüksek yüksek yüksek
1.Tıbbi bilgi ve anlayış-problem çözme Yazılı sınav metin tipi kısa uzun (PMP) anahtar özellikler çoktan seçmeli tek doğru yanıtlı alternatif Sözlü Yapılandırılmış (OSCE / CSR) Yapılandırılmamamış Tez / proje
2. In-vitro performans Objektif yapılandırılmış sınav (OSCE) Simülasyon ve modeller Standardize hasta Seyir defteri / asistan karnesi (logbook) Eğitim sırasında gözlem formları Kontrol listesi (check list) Bütünsel puanlama (global rating) Mini klinik sınav (MiniCEX)
3.In-vivo performans Seyir defteri (logbook) Portföy (porfolio) 360 değerlendirme Hasta değerlendirmeleri Tıbbi kayıtlar Gizli standardize hasta
4. Mesleksel Gelişim Gelişim sınavları (progress tests) Portfolyo niceliksel seyir defteri araştırma / proje / makale v.b kurs katılımı / kredi v.b. niteliksel özdeğerlendirme görüş / rapor / plan v.b.
Özet Ölçme-değerlendirme bir eğitsel tasarım sorunu olarak ele alınmalı Öğrenmeyi düzenleyeci etkisi öğrenme için kullanılmalı Çoklu yöntem kullanılmalı, geniş örneklem alınmalı (in-vitro, in vivo) Değişim ve gelişme sınavları kurgulayan / yapanların elinde