Ölçme Değerlendirme Dr. F. Serdar Gürel
Kısa bir sınav... Bu kısa sınav sizin profesyonel yeterlilik kazanıp kazanmadığınızı belirleyen 4 sorudan oluşmaktadır. Sorular çok zor olmayıp, çok komplike Sorular çok zor olmayıp, çok komplike düşünmeyin
Kısa bir sınav... Soru 1: Bir zürafayı buzdolabına nasıl yerleştirirsiniz?
Kısa bir sınav... Doğru cevap... Buzdolabını açar, içeri zürafayı koyar, kapağını kapatırım... Bu soru,aşırı karmaşık haldeki şeyleri basitleştirmeye meyilli olup olmadığınızı ölçer
Kısa bir sınav... Soru 2 Bir fili buzdolabına nasıl koyarsınız?
Kısa bir sınav... Yanlış cevap: Kapağı açar, fili içeri koyar ve kapağı kapatırım Doğru cevap... Buzdolabını açarım, zürafayı dışarı çıkartırım, fili içeri koyup kapağı kapatırım Bu soru bir önceki hareketinize göre düşünme yeteneğinizi test eder.
Kısa bir sınav... Soru 3 Aslan kral bir hayvanlar toplantısına ev sahipliği yapıyor, bütün hayvanlar katılıyor, bir tanesi hariç... Katılmayan hayvan hangisidir?
Kısa bir sınav... Doğru cevap... Fil... Fil buzdolabındaydı. Hatırlayın? Bu soru hafızayı test eder
Tamam,ilk üç soruya doğru yanıt veremediyseniz bile,hala yeteneklerinizi gösterebilmek için şansınız var.
Kısa bir sınav... Soru 4 Đçinde timsahların yaşadığı bilinen bir nehirden karşıya geçmeniz gerekiyor. Nasıl geçebilirsiniz?
Kısa bir sınav... Doğru cevap... Karşıya yüzersiniz. Neden? Bütün timsahlar aslanın düzenlediği hayvanlar toplantısına gitti! Bu, sizin hatalarınızdan çabucak ders alıp alamadığınızı ölçer.
Kısa bir sınav... Son yorum... Dünya çapında araştırma yapan Andersen e göre, bu testi uyguladıkları profesyonellerin %90 ı soruların tamamına yanlış cevap verdiler. Fakat okul öncesi çağlarda birkaç doğru cevap verenler vardı.
Amaç Bilgiyi ölçme araçlarını planlama, hazırlama ve madde analizi yapabilme.
Hedefler Bilişsel alan seviyelerini örnekler vererek ifade etmek Farklı bilişsel alan tiplerine göre soru yazmak Bilgiyi ölçme araçlarının çeşitlerini tanımak Bilgiyi ölçme araçlarını planlamayı bilmek Bilgiyi ölçme araçlarından; çoktan seçmeli ve sözlü sınav sorularını doğru olarak hazırlamak Bilgiyi ölçme araçlarının istatistiksel analizinde kullanılan formülleri bilmek
Neden Ölçeriz?
Kısaca... Katılımcıların ilk baştaki bilgi düzeyini saptamak Katılımcıları çalışmaya teşvik etmek Eğitimde kullanılan içerik, aktivite, yöntem ve gereçlerin yeterliğini belirlemek Katılımcıların performans düzeyini belirlemek Eğitim hedeflerine ulaşılıp ulaşılmadığını anlamak
Neyi Ölçeriz?
Öğrenim Hedefi Nedir? Ders ile kazandırılmak istenen bilgi, beceri ve tutumlar
Özet Bloom Sınıflandırması Modifiye Bloom Sınıflandırması Miller in ustalık piramidi
Bloom Sınıflandırması Bilişsel Psikomotor Duyuşsal - Bilgi - Beceri/davranış - Tutum/davranış
Bloom Sınıflandırması/Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, 1956. Tanıma Kavrama Uygulama Çözümleme Sentez Değerlendirme
Bilgi Bloom Sınıflandırması /Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, 1956. Gerektiğinde doğru olarak bilgiyi hatırlar Örnek: Aşağıdaki analjeziklerden hangisinin anti enflamatuar etkinliği YOKTUR?
Bloom Sınıflandırması /Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, 1956. Kavrama Örnekler kullanarak anladığını gösterir Örnek: Dizdeki non-enflamatuar osteoartritin tedavisinde hangi analjezikler seçilmelidir?
Bloom Sınıflandırması /Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, 1956. Uygulama Özel ve belirli durumlarda bazı özet kavram ve fikirleri kullanır Örnek: Yukarıda klinik bulguları verilen hasta için,aşağıdaki analjeziklerden hangisi en iyi seçenek olabilir?
Bloom Sınıflandırması /Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, 1956. Çözümleme Anlamlı kategoriler kullanarak bileşen öğe ve parçaları ayırt eder Örnek: Önceki klinik öyküsü ve mevcut sağlık durumuna bakarak Bayan A.nın ağrısını gidermek için onu son gören hekimin parasetamol yerine neden asetil salisilik asit verdiğini tartışın
Bloom Sınıflandırması /Bilişsel Sentez Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, 1956. Anlamlı bir yapılanma içerisinde bileşen eleman ve yapıları birleştirir Örnek: Önceki hastalık öyküsü ve mevcut ilaç tedavisine dayanarak Bayan A.nın şikayetlerinin neden hala devam ettiğini tahmin edin, ya tedavi şemasında değişiklik yapın ya da yeni bir tedaviye başlayın.
Bloom Sınıflandırması /Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, 1956. Değerlendirme Uygun kriterler kullanarak karara ulaşır Örnek: Bayan A. nın osteoartritini değerlendiriniz; tedavi hedeflerinizi belirleyip, etkinlik, güvenlik, kullanılabilirlik ve maliyeti göz önüne alarak uygun bir tedavi seçiniz.
Soyut Kompleks Somut Basit
Geliştirilmiş Bloom Sınıflandırması Bilgi Davranış Beceri Entelektüel Đletişim Uygulama
Geliştirilmiş Bloom Sınıflandırması Entelektüel beceriler Bilginin hatırlanması Verilerin kullanılması Problem çözme Đletişim becerileri Dikkat Cevap Empati Uygulamalı beceriler Taklit Kontrol Otomatikleşme
Miller in Ustalık Piramidi Profesyonel güvenilirlik Yapar Gösterir Nasıl olduğunu bilir Ne olduğunu bilir Davranışsal Bilişsel Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Didaktik eğitim modelleri
Yeni eğitim modelleri
Tıp Eğitiminde Ölçme-Değerlendirme
KIVILCIM... Birinci Dalga... Öğrenci Değerlendirme Yöntemleri February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands
Modern Çalışma Enstitüsünün ilk binası Soldan sağa: Lavinia Bamberger, Albert Einstein, Anne C. Flexner, Abraham Flexner, J.R. Hardin, and Herbert Maass Abraham Flexner, (1866 1959)
Kıvılcım... Flexner Raporu 1910 larda, pek çok tıp fakültesinin belirli hedef ve standartları yoktu Flexner Raporu (1910) Performansa dayalı klinik eğitimi önerdi Tıp fakültelerinin standartlarında, organizasyonunda ve müfredatında gerek duyulan reformların yapılmasına öncülük etti Pek çok tıp fakültesinin kapanmasına yol açtı Kalan okullar Flexner modeline göre değişimden geçtiler
Bilir Yapar Gösterir Nasıl bilir 1960: USA National Board of Medical Examiners MCQ (çoktan seçmeli sınavlar) kullanımını başlattı MCQ tüm dünyayı fethetti 1975: MCQ nun kısıtlılıklarına yönelik sorunlar Knows Bilir
Đkinci Dalga... Öğrenci Değerlendirme Yöntemleri February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands
Nasıl yapıldığını bilir Yapar Gösterir Nasıl bilir 1965: PMP nin kullanıma girişi (Patient Management Problems) (Hasta Yönetim Problemleri) Bilir
Hasta Yönetim Problemleri Klinik senaryo Action Action Action Action Action Action Action Action Action Action Action Action Action Action Action
Nasıl yapıldığını bilir Yapar Gösterir Nasıl bilir Bilir PMP nin bazı kısıtlılıkları
Ana özelliklerin test edilmesi Klinik senaryo Action Action Action Action Action Action Action Action Action Action Action Action Action Action Action
Klasik Düzende CORE Đstasyon 1 Đstasyon 2 Đstasyon 3
PMP ile CORE Karşılaştırması Sınav zamanı PMP integral olgular kullanır Olgu Olgu 1 2 CORE temel özellikler kullanır Olgu 1 Olgu 2 Olgu 3 Olgu 4 Olgu 5 Olgu 6 Olgu 7
Üçüncü Dalga... Öğrenci Değerlendirme Yöntemleri February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands
Nasıl Yapıldığını Gösterir Yapar Gösterir Nasıl bilir Bilir 1975: Objektif Yapılandırılmış Klinik Sınav (OSCE) kullanıma girdi
Nasıl Yapıldığını Gösterir Yapar Gösterir Klinik olarak mümkün olduğunca gerçeğe uygun istasyonlar OSCE lerde öğrenci hakkında ayrıntılı ve toplam kararlar iyi verilir Nasıl bilir Bilir
Đstasyon 1 Đstasyon 2 Đstasyon 3
Nasıl Yapıldığını Gösterir Yapar Gösterir Nasıl bilir 1975: OSCE kullanıma girdi Bilir OSCE dünyayı fethediyor Klinik nedene dayandırma ve uygulama becerilerini değerlendirme Zamanı ayarlanmış istasyonlu bir sınav Özel değerlendirme kriterleri
Son Dalga... Öğrenci Değerlendirme Yöntemleri February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands
Yapar Yapar Klinik uygulama değerlendirmesinde Yöntemler Audio/video gözlem Reçete kontrolü Maskeli standardize hastalar ICE (bütünsel klinik değerlendirme) Gösterir Nasıl bilir Bilir
Yapar Yapar Gösterir Nasıl bilir Bilir 2000: Integrated Clinical 2000: Integrated Clinical Evaluation (ICE) (bütünsel klinik değerlendirme) gündeme gelmiştir.
ÖZETLE... February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands
Miller in Ustalık Piramidi Profesyonel güvenilirlik Yapar Gösterir Nasıl olduğunu bilir Ne olduğunu bilir Davranışsal Bilişsel Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Miller in Ustalık Piramidi Profesyonel güvenilirlik Yapar Gösterir Nasıl olduğunu bilir Ne olduğunu bilir Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Performans değerlendirmesi Yazılı, sözlü ya da bilgisayar tabanlı değerlendirme
Piramidi Tırmanma Yapar Does Shows Gösterir how Knows Nasılı bilir how Knows Bilir Performansın değerlendirilmesi ICE, Yapılandırılmış test, Video, Audio Ustalığın değerlendirilmesi OSCE, Yapılandırılmış Testler (Klinik) duruma bağlı sınavlar: CORE, Çokt. Seç., Sözlü, Yazılı Bilgiye yönelik sınavlar: Çoktan Seç., Sözlü, Yazılı
SINAVLAR
Bir Testin Nitelikleri?
Bir Testin Nitelikleri Geçerlilik* Güvenilirlik* Uygulanabilirlik Eğitime etki Đlişkilendirme Eşitlik Denge Objektiflik Özgünlük Ayırıcılık*
Geçerlilik Bir test ölçmeye niyetli olduğu şeyi ölçüyor mu?
Güvenilirlik Devamlı ölçülmesi beklenen şeyi ölçen mekanizmanın ölçüsü Aynı işi değerlendiren farklı kişilerin aynı skoru vermeleri gerekir (Değerlendiriciler arası güvenirlik). Farklı zamanlarda uygulandığı zaman öğrencilerin aynı skoru almaları gerekir (testtekrar test güvenirliği).
Güvenilirlik Pratik öneriler Kısa testlere güvenmeyin Örneklemi geniş tutun içerik zaman gözlemciler Geçme/kalma kararlarında hatalardan haberdar olun (Ölçme hatası).
Geçerliliğe karşılık Güvenilirlik Zayıf güvenilirlik Zayıf geçerlilik
Geçerliliğe karşılık Güvenilirlik Đyi Güvenilirlik Zayıf geçerlilik
Geçerliliğe karşılık Güvenilirlik Đyi güvenilirlik Đyi geçerlilik
D EĞE R L E N DĐR M E Y Ö N TE M L E RĐ
Miller in Ustalık Piramidi Profesyonel güvenilirlik Yapar Gösterir Nasıl olduğunu bilir Ne olduğunu bilir Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Performans değerlendirmesi Yazılı, sözlü ya da bilgisayar tabanlı değerlendirme
1. Yazılı SINAV TĐPLERĐ 2. Sözlü 3. Çoktan Seçmeli Testler
SINAV TĐPLERĐ 1. Sözlü Sınavlar February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands
Sözlü Sınavlar En eski sınav biçimlerinden birisi (en az ortaçağ üniversitelerine dek uzanır) Sınav yapan kişiyle diyalogdan ibarettir Öğrenci alakasız bir çok soruyu cevaplamak zorunda kalır Genellikle plansızdır Standart olarak kitap kapalı bir sınavdır Sınavı yapanlar kendi pratik hayatlarında kullanmadıkları şeyleri sorarlar.
Sözlü Sınavlar Potansiyel avantajları pratikte nadiren kullanılır. Çoğunlukla öğrenci bildiklerini ifade edebiliyorsa değerlendirilebilir. Sınavı yapanlar arasında nam salmış bir güvenilirlik farkı vardır Objektifliği düşüktür Batıda büyük oranda Yerini MCQ almıştır
Sözlü Sınavlar Özellikle klinik branşlar olmak üzere mezuniyet öncesi tıp sınavlarında halen yaygın olarak kullanılmaktadır. Sınav yapanlar sözlülerin, modern tekniklere göre daha geçerli olduğunu düşünmektedir. Geliştirilmiş biçimleri, değerlendiriciyi daha aktif bir rol içerisine koymayı hedeflemektedir. Akademiler arasında yeni bir ilgi alanı
Sözlü Sınavlar Structured Oral Examinations Yapılandırılmış Sözlü Sınavlar Güvenilirlik ve geçerliliği sağlamayı amaçlar Önceden belirlenmiş klinik senaryolar kullanılır Her senaryonun, her birinin özel not verme şemaları olan 5-10 soruluk soru havuzları vardır. Öğrenciye senaryo verilir ve ilişkin sorular sorulur Cevaplar en az iki bağımsız değerlendirici tarafından değerlendirilir.
Sözlü Sınavlar Structured Oral Examinations (SOE) Yapılandırılmış Sözlü Sınavlar Araştırmalar Klinik bilgiyi ve problem çözme becerilerini ölçmek için uygun ve güvenilir Karşılaştırmalı çalışmalar SOE, MCQ ve OSCE arasında belirgin korelasyon var. Sınavı yapanlar daha tatminkar buluyorlar.
SINAV TĐPLERĐ 2. Çoktan Seçmeli Testler February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands
Testler Kısa yanıt gerektiren Boşluk tamamlama Doğru/Yanlış Çoklu Doğru/Yanlış Eşleştirme Genişletilmiş Eşleştirme Karşılaştırma Çoktan seçmeli Çoklu Yanıt
Çoktan Seçmeli Testler February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands
Đntihar amacıyla alınan yüksek doz barbitüratla ilgili olarak hangisi doğrudur? KÖK A. Pupiller dilate B. Hipertansiyon var ÇELDĐRĐCĐ C. Naloksona yanıt var D. Fizostigmine yanıt var E. Okülovestibuler yanıt yok ANAHTAR
Çoktan Seçmeli Soru Hazırlarken Yoruma açık olmamalı En doğru yu arayan maddelerde, bütün seçeneklerde doğruluk payı olmalı Đpucu vermemeli En az sözcükle ifade edilmeli
Çoktan Seçmeli Testler Hepsi ya da Hiçbiri pek kullanılmamalı Her madde (soru) tek bir davranışı yoklamalı Seçeneklerin tümünde yinelenen sözcükler varsa, köke alınmalı Seçenekler birbirini kapsamamalı
Çoktan Seçmeli Testler ifade, uzunluk, kapsam benzer olmalı sayısal seçenekler sıraya konulmalı seçeneklere bakmaya gerek kalmadan yanıtlanabilmeli belirsiz ifadeleri kullanmaktan kaçınılmalı kök olumsuz ise seçeneklerde olumsuz ifadeler kullanılmamalı
Sınav Kalitesinin Gözden Geçirilmesi ve Madde Analizi
Çoktan Seçmeli Soru ve Sınav Analizi
Üst ve Alt Grup Kavramları Üst Grup: Öğrencilerin, sınav sonuçlarına göre en yüksek puanı alan %27 lik kısmı Alt Grup: Öğrencilerin, sınav sonuçlarına Alt Grup: Öğrencilerin, sınav sonuçlarına göre en düşük puanı alan %27 lik kısmı
Zorluk Đndeksi Bir sorunun zor veya kolay olduğunu ölçen indeks Đndeks yükseldikçe soru kolaylaşır Ü: Üst grupta doğru yanıt verenlerin sayısı A: Alt grupta doğru yanıt verenlerin sayısı N: Her iki gruptaki toplam öğrenci sayısı Ü+A P= X 100 N
Zorluk Derecesi %50-60 tavsiye edilen zorluk derecesi %30-70 kabul edilebilir sınırlar %30-49 kabul edilebilir zorluk derecesi alt sınırı %61-70 kabul edilebilir zorluk derecesi üst sınırı %70 in üstü çok kolay (Kullanmayın) %30 un altı çok zor (Kullanmayın)
Ayırıcılık Đndeksi Bir sorunun bilen ve bilmeyen öğrencileri ayırabilme gücünü ölçer Ü: Üst grupta doğru yanıt verenlerin sayısı A: Alt grupta doğru yanıt verenlerin sayısı N: Her iki gruptaki toplam öğrenci sayısı Ü-A q= X 2 N
Ü-A Ayırıcılık Đndeksi q= X 2 N Ü>A Ü<A Ü=A
Ayırıcılık 0.35 ve daha üstü mükemmel soru 0.34-0.25 iyi soru 0.24-0.15 gözden geçirin 0.15 ve altı kötü soru
Sınav Kalitesinin Gözden Geçirilmesi 0.15 in altında kalan maddeler yeniden tasarlanmalı Hiç bir öğrenci tarafından seçilmemiş olan çeldiriciler atılmalı (Kimseyi çeldirmemiş!) Tüm öğrenciler tarafından doğru olarak yanıtlanan maddeler bir daha kullanılmamalı (Ayırım yapamıyor)
Özet Geçerlik (Vurmak istediğini vurur) Güvenirlik (Hep aynı yerden vurur) Sözlü sınavlar (SOE) Çoktan seçmeli (Đyi kurgulanması) Madde analizi (Soru bankası)
Bu sunumda, Sayın Y. E. Kocabaşoğlu nun çalışmaları kaynak alınmıştır.