Ölçme. Değerlendirme

Transkript

1 Ölçme Değerlendirme Dr. F. Serdar Gürel

2 Kısa bir sınav... Bu kısa sınav sizin profesyonel yeterlilik kazanıp kazanmadığınızı belirleyen 4 sorudan oluşmaktadır. Sorular çok zor olmayıp, çok komplike Sorular çok zor olmayıp, çok komplike düşünmeyin

3 Kısa bir sınav... Soru 1: Bir zürafayı buzdolabına nasıl yerleştirirsiniz?

4 Kısa bir sınav... Doğru cevap... Buzdolabını açar, içeri zürafayı koyar, kapağını kapatırım... Bu soru,aşırı karmaşık haldeki şeyleri basitleştirmeye meyilli olup olmadığınızı ölçer

5 Kısa bir sınav... Soru 2 Bir fili buzdolabına nasıl koyarsınız?

6 Kısa bir sınav... Yanlış cevap: Kapağı açar, fili içeri koyar ve kapağı kapatırım Doğru cevap... Buzdolabını açarım, zürafayı dışarı çıkartırım, fili içeri koyup kapağı kapatırım Bu soru bir önceki hareketinize göre düşünme yeteneğinizi test eder.

7 Kısa bir sınav... Soru 3 Aslan kral bir hayvanlar toplantısına ev sahipliği yapıyor, bütün hayvanlar katılıyor, bir tanesi hariç... Katılmayan hayvan hangisidir?

8 Kısa bir sınav... Doğru cevap... Fil... Fil buzdolabındaydı. Hatırlayın? Bu soru hafızayı test eder

9 Tamam,ilk üç soruya doğru yanıt veremediyseniz bile,hala yeteneklerinizi gösterebilmek için şansınız var.

10 Kısa bir sınav... Soru 4 Đçinde timsahların yaşadığı bilinen bir nehirden karşıya geçmeniz gerekiyor. Nasıl geçebilirsiniz?

11 Kısa bir sınav... Doğru cevap... Karşıya yüzersiniz. Neden? Bütün timsahlar aslanın düzenlediği hayvanlar toplantısına gitti! Bu, sizin hatalarınızdan çabucak ders alıp alamadığınızı ölçer.

12 Kısa bir sınav... Son yorum... Dünya çapında araştırma yapan Andersen e göre, bu testi uyguladıkları profesyonellerin %90 ı soruların tamamına yanlış cevap verdiler. Fakat okul öncesi çağlarda birkaç doğru cevap verenler vardı.

13 Amaç Bilgiyi ölçme araçlarını planlama, hazırlama ve madde analizi yapabilme.

14 Hedefler Bilişsel alan seviyelerini örnekler vererek ifade etmek Farklı bilişsel alan tiplerine göre soru yazmak Bilgiyi ölçme araçlarının çeşitlerini tanımak Bilgiyi ölçme araçlarını planlamayı bilmek Bilgiyi ölçme araçlarından; çoktan seçmeli ve sözlü sınav sorularını doğru olarak hazırlamak Bilgiyi ölçme araçlarının istatistiksel analizinde kullanılan formülleri bilmek

15 Neden Ölçeriz?

16 Kısaca... Katılımcıların ilk baştaki bilgi düzeyini saptamak Katılımcıları çalışmaya teşvik etmek Eğitimde kullanılan içerik, aktivite, yöntem ve gereçlerin yeterliğini belirlemek Katılımcıların performans düzeyini belirlemek Eğitim hedeflerine ulaşılıp ulaşılmadığını anlamak

17 Neyi Ölçeriz?

18 Öğrenim Hedefi Nedir? Ders ile kazandırılmak istenen bilgi, beceri ve tutumlar

19 Özet Bloom Sınıflandırması Modifiye Bloom Sınıflandırması Miller in ustalık piramidi

20 Bloom Sınıflandırması Bilişsel Psikomotor Duyuşsal - Bilgi - Beceri/davranış - Tutum/davranış

21 Bloom Sınıflandırması/Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, Tanıma Kavrama Uygulama Çözümleme Sentez Değerlendirme

22 Bilgi Bloom Sınıflandırması /Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, Gerektiğinde doğru olarak bilgiyi hatırlar Örnek: Aşağıdaki analjeziklerden hangisinin anti enflamatuar etkinliği YOKTUR?

23 Bloom Sınıflandırması /Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, Kavrama Örnekler kullanarak anladığını gösterir Örnek: Dizdeki non-enflamatuar osteoartritin tedavisinde hangi analjezikler seçilmelidir?

24 Bloom Sınıflandırması /Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, Uygulama Özel ve belirli durumlarda bazı özet kavram ve fikirleri kullanır Örnek: Yukarıda klinik bulguları verilen hasta için,aşağıdaki analjeziklerden hangisi en iyi seçenek olabilir?

25 Bloom Sınıflandırması /Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, Çözümleme Anlamlı kategoriler kullanarak bileşen öğe ve parçaları ayırt eder Örnek: Önceki klinik öyküsü ve mevcut sağlık durumuna bakarak Bayan A.nın ağrısını gidermek için onu son gören hekimin parasetamol yerine neden asetil salisilik asit verdiğini tartışın

26 Bloom Sınıflandırması /Bilişsel Sentez Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, Anlamlı bir yapılanma içerisinde bileşen eleman ve yapıları birleştirir Örnek: Önceki hastalık öyküsü ve mevcut ilaç tedavisine dayanarak Bayan A.nın şikayetlerinin neden hala devam ettiğini tahmin edin, ya tedavi şemasında değişiklik yapın ya da yeni bir tedaviye başlayın.

27 Bloom Sınıflandırması /Bilişsel Bloom, B. (Ed.) Taxonomy of Educational Objectives: the classification of educational goals, by a committee of college and university examiners 1st Ed. New York: Longmans, Green, Değerlendirme Uygun kriterler kullanarak karara ulaşır Örnek: Bayan A. nın osteoartritini değerlendiriniz; tedavi hedeflerinizi belirleyip, etkinlik, güvenlik, kullanılabilirlik ve maliyeti göz önüne alarak uygun bir tedavi seçiniz.

28 Soyut Kompleks Somut Basit

29 Geliştirilmiş Bloom Sınıflandırması Bilgi Davranış Beceri Entelektüel Đletişim Uygulama

30 Geliştirilmiş Bloom Sınıflandırması Entelektüel beceriler Bilginin hatırlanması Verilerin kullanılması Problem çözme Đletişim becerileri Dikkat Cevap Empati Uygulamalı beceriler Taklit Kontrol Otomatikleşme

31 Miller in Ustalık Piramidi Profesyonel güvenilirlik Yapar Gösterir Nasıl olduğunu bilir Ne olduğunu bilir Davranışsal Bilişsel Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

32 Didaktik eğitim modelleri

33 Yeni eğitim modelleri

34 Tıp Eğitiminde Ölçme-Değerlendirme

35 KIVILCIM... Birinci Dalga... Öğrenci Değerlendirme Yöntemleri February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

36 Modern Çalışma Enstitüsünün ilk binası Soldan sağa: Lavinia Bamberger, Albert Einstein, Anne C. Flexner, Abraham Flexner, J.R. Hardin, and Herbert Maass Abraham Flexner, ( )

37 Kıvılcım... Flexner Raporu 1910 larda, pek çok tıp fakültesinin belirli hedef ve standartları yoktu Flexner Raporu (1910) Performansa dayalı klinik eğitimi önerdi Tıp fakültelerinin standartlarında, organizasyonunda ve müfredatında gerek duyulan reformların yapılmasına öncülük etti Pek çok tıp fakültesinin kapanmasına yol açtı Kalan okullar Flexner modeline göre değişimden geçtiler

38 Bilir Yapar Gösterir Nasıl bilir 1960: USA National Board of Medical Examiners MCQ (çoktan seçmeli sınavlar) kullanımını başlattı MCQ tüm dünyayı fethetti 1975: MCQ nun kısıtlılıklarına yönelik sorunlar Knows Bilir

39 Đkinci Dalga... Öğrenci Değerlendirme Yöntemleri February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

40 Nasıl yapıldığını bilir Yapar Gösterir Nasıl bilir 1965: PMP nin kullanıma girişi (Patient Management Problems) (Hasta Yönetim Problemleri) Bilir

41 Hasta Yönetim Problemleri Klinik senaryo Action Action Action Action Action Action Action Action Action Action Action Action Action Action Action

42 Nasıl yapıldığını bilir Yapar Gösterir Nasıl bilir Bilir PMP nin bazı kısıtlılıkları

43 Ana özelliklerin test edilmesi Klinik senaryo Action Action Action Action Action Action Action Action Action Action Action Action Action Action Action

44 Klasik Düzende CORE Đstasyon 1 Đstasyon 2 Đstasyon 3

45 PMP ile CORE Karşılaştırması Sınav zamanı PMP integral olgular kullanır Olgu Olgu 1 2 CORE temel özellikler kullanır Olgu 1 Olgu 2 Olgu 3 Olgu 4 Olgu 5 Olgu 6 Olgu 7

46 Üçüncü Dalga... Öğrenci Değerlendirme Yöntemleri February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

47 Nasıl Yapıldığını Gösterir Yapar Gösterir Nasıl bilir Bilir 1975: Objektif Yapılandırılmış Klinik Sınav (OSCE) kullanıma girdi

48 Nasıl Yapıldığını Gösterir Yapar Gösterir Klinik olarak mümkün olduğunca gerçeğe uygun istasyonlar OSCE lerde öğrenci hakkında ayrıntılı ve toplam kararlar iyi verilir Nasıl bilir Bilir

49 Đstasyon 1 Đstasyon 2 Đstasyon 3

50 Nasıl Yapıldığını Gösterir Yapar Gösterir Nasıl bilir 1975: OSCE kullanıma girdi Bilir OSCE dünyayı fethediyor Klinik nedene dayandırma ve uygulama becerilerini değerlendirme Zamanı ayarlanmış istasyonlu bir sınav Özel değerlendirme kriterleri

51 Son Dalga... Öğrenci Değerlendirme Yöntemleri February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

52 Yapar Yapar Klinik uygulama değerlendirmesinde Yöntemler Audio/video gözlem Reçete kontrolü Maskeli standardize hastalar ICE (bütünsel klinik değerlendirme) Gösterir Nasıl bilir Bilir

53 Yapar Yapar Gösterir Nasıl bilir Bilir 2000: Integrated Clinical 2000: Integrated Clinical Evaluation (ICE) (bütünsel klinik değerlendirme) gündeme gelmiştir.

54 ÖZETLE... February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

55 Miller in Ustalık Piramidi Profesyonel güvenilirlik Yapar Gösterir Nasıl olduğunu bilir Ne olduğunu bilir Davranışsal Bilişsel Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

56 Miller in Ustalık Piramidi Profesyonel güvenilirlik Yapar Gösterir Nasıl olduğunu bilir Ne olduğunu bilir Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Performans değerlendirmesi Yazılı, sözlü ya da bilgisayar tabanlı değerlendirme

57 Piramidi Tırmanma Yapar Does Shows Gösterir how Knows Nasılı bilir how Knows Bilir Performansın değerlendirilmesi ICE, Yapılandırılmış test, Video, Audio Ustalığın değerlendirilmesi OSCE, Yapılandırılmış Testler (Klinik) duruma bağlı sınavlar: CORE, Çokt. Seç., Sözlü, Yazılı Bilgiye yönelik sınavlar: Çoktan Seç., Sözlü, Yazılı

58 SINAVLAR

59 Bir Testin Nitelikleri?

60 Bir Testin Nitelikleri Geçerlilik* Güvenilirlik* Uygulanabilirlik Eğitime etki Đlişkilendirme Eşitlik Denge Objektiflik Özgünlük Ayırıcılık*

61 Geçerlilik Bir test ölçmeye niyetli olduğu şeyi ölçüyor mu?

62 Güvenilirlik Devamlı ölçülmesi beklenen şeyi ölçen mekanizmanın ölçüsü Aynı işi değerlendiren farklı kişilerin aynı skoru vermeleri gerekir (Değerlendiriciler arası güvenirlik). Farklı zamanlarda uygulandığı zaman öğrencilerin aynı skoru almaları gerekir (testtekrar test güvenirliği).

63 Güvenilirlik Pratik öneriler Kısa testlere güvenmeyin Örneklemi geniş tutun içerik zaman gözlemciler Geçme/kalma kararlarında hatalardan haberdar olun (Ölçme hatası).

64 Geçerliliğe karşılık Güvenilirlik Zayıf güvenilirlik Zayıf geçerlilik

65 Geçerliliğe karşılık Güvenilirlik Đyi Güvenilirlik Zayıf geçerlilik

66 Geçerliliğe karşılık Güvenilirlik Đyi güvenilirlik Đyi geçerlilik

67 D EĞE R L E N DĐR M E Y Ö N TE M L E RĐ

68 Miller in Ustalık Piramidi Profesyonel güvenilirlik Yapar Gösterir Nasıl olduğunu bilir Ne olduğunu bilir Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Performans değerlendirmesi Yazılı, sözlü ya da bilgisayar tabanlı değerlendirme

69 1. Yazılı SINAV TĐPLERĐ 2. Sözlü 3. Çoktan Seçmeli Testler

70 SINAV TĐPLERĐ 1. Sözlü Sınavlar February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

71 Sözlü Sınavlar En eski sınav biçimlerinden birisi (en az ortaçağ üniversitelerine dek uzanır) Sınav yapan kişiyle diyalogdan ibarettir Öğrenci alakasız bir çok soruyu cevaplamak zorunda kalır Genellikle plansızdır Standart olarak kitap kapalı bir sınavdır Sınavı yapanlar kendi pratik hayatlarında kullanmadıkları şeyleri sorarlar.

72 Sözlü Sınavlar Potansiyel avantajları pratikte nadiren kullanılır. Çoğunlukla öğrenci bildiklerini ifade edebiliyorsa değerlendirilebilir. Sınavı yapanlar arasında nam salmış bir güvenilirlik farkı vardır Objektifliği düşüktür Batıda büyük oranda Yerini MCQ almıştır

73 Sözlü Sınavlar Özellikle klinik branşlar olmak üzere mezuniyet öncesi tıp sınavlarında halen yaygın olarak kullanılmaktadır. Sınav yapanlar sözlülerin, modern tekniklere göre daha geçerli olduğunu düşünmektedir. Geliştirilmiş biçimleri, değerlendiriciyi daha aktif bir rol içerisine koymayı hedeflemektedir. Akademiler arasında yeni bir ilgi alanı

74 Sözlü Sınavlar Structured Oral Examinations Yapılandırılmış Sözlü Sınavlar Güvenilirlik ve geçerliliği sağlamayı amaçlar Önceden belirlenmiş klinik senaryolar kullanılır Her senaryonun, her birinin özel not verme şemaları olan 5-10 soruluk soru havuzları vardır. Öğrenciye senaryo verilir ve ilişkin sorular sorulur Cevaplar en az iki bağımsız değerlendirici tarafından değerlendirilir.

75 Sözlü Sınavlar Structured Oral Examinations (SOE) Yapılandırılmış Sözlü Sınavlar Araştırmalar Klinik bilgiyi ve problem çözme becerilerini ölçmek için uygun ve güvenilir Karşılaştırmalı çalışmalar SOE, MCQ ve OSCE arasında belirgin korelasyon var. Sınavı yapanlar daha tatminkar buluyorlar.

76 SINAV TĐPLERĐ 2. Çoktan Seçmeli Testler February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

77 Testler Kısa yanıt gerektiren Boşluk tamamlama Doğru/Yanlış Çoklu Doğru/Yanlış Eşleştirme Genişletilmiş Eşleştirme Karşılaştırma Çoktan seçmeli Çoklu Yanıt

78 Çoktan Seçmeli Testler February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

79 Đntihar amacıyla alınan yüksek doz barbitüratla ilgili olarak hangisi doğrudur? KÖK A. Pupiller dilate B. Hipertansiyon var ÇELDĐRĐCĐ C. Naloksona yanıt var D. Fizostigmine yanıt var E. Okülovestibuler yanıt yok ANAHTAR

80 Çoktan Seçmeli Soru Hazırlarken Yoruma açık olmamalı En doğru yu arayan maddelerde, bütün seçeneklerde doğruluk payı olmalı Đpucu vermemeli En az sözcükle ifade edilmeli

81 Çoktan Seçmeli Testler Hepsi ya da Hiçbiri pek kullanılmamalı Her madde (soru) tek bir davranışı yoklamalı Seçeneklerin tümünde yinelenen sözcükler varsa, köke alınmalı Seçenekler birbirini kapsamamalı

82 Çoktan Seçmeli Testler ifade, uzunluk, kapsam benzer olmalı sayısal seçenekler sıraya konulmalı seçeneklere bakmaya gerek kalmadan yanıtlanabilmeli belirsiz ifadeleri kullanmaktan kaçınılmalı kök olumsuz ise seçeneklerde olumsuz ifadeler kullanılmamalı

83 Sınav Kalitesinin Gözden Geçirilmesi ve Madde Analizi

84 Çoktan Seçmeli Soru ve Sınav Analizi

85 Üst ve Alt Grup Kavramları Üst Grup: Öğrencilerin, sınav sonuçlarına göre en yüksek puanı alan %27 lik kısmı Alt Grup: Öğrencilerin, sınav sonuçlarına Alt Grup: Öğrencilerin, sınav sonuçlarına göre en düşük puanı alan %27 lik kısmı

86 Zorluk Đndeksi Bir sorunun zor veya kolay olduğunu ölçen indeks Đndeks yükseldikçe soru kolaylaşır Ü: Üst grupta doğru yanıt verenlerin sayısı A: Alt grupta doğru yanıt verenlerin sayısı N: Her iki gruptaki toplam öğrenci sayısı Ü+A P= X 100 N

87 Zorluk Derecesi %50-60 tavsiye edilen zorluk derecesi %30-70 kabul edilebilir sınırlar %30-49 kabul edilebilir zorluk derecesi alt sınırı %61-70 kabul edilebilir zorluk derecesi üst sınırı %70 in üstü çok kolay (Kullanmayın) %30 un altı çok zor (Kullanmayın)

88 Ayırıcılık Đndeksi Bir sorunun bilen ve bilmeyen öğrencileri ayırabilme gücünü ölçer Ü: Üst grupta doğru yanıt verenlerin sayısı A: Alt grupta doğru yanıt verenlerin sayısı N: Her iki gruptaki toplam öğrenci sayısı Ü-A q= X 2 N

89 Ü-A Ayırıcılık Đndeksi q= X 2 N Ü>A Ü<A Ü=A

90 Ayırıcılık 0.35 ve daha üstü mükemmel soru iyi soru gözden geçirin 0.15 ve altı kötü soru

91 Sınav Kalitesinin Gözden Geçirilmesi 0.15 in altında kalan maddeler yeniden tasarlanmalı Hiç bir öğrenci tarafından seçilmemiş olan çeldiriciler atılmalı (Kimseyi çeldirmemiş!) Tüm öğrenciler tarafından doğru olarak yanıtlanan maddeler bir daha kullanılmamalı (Ayırım yapamıyor)

92 Özet Geçerlik (Vurmak istediğini vurur) Güvenirlik (Hep aynı yerden vurur) Sözlü sınavlar (SOE) Çoktan seçmeli (Đyi kurgulanması) Madde analizi (Soru bankası)

93 Bu sunumda, Sayın Y. E. Kocabaşoğlu nun çalışmaları kaynak alınmıştır.