uzman yaklaşımı ölçme ve değerlendirme Branş Analizi Doç. Dr. Nuri DOĞAN

Transkript

1 Branş Analizi ölçme ve değerlendirme Öncelikle vurgulanmalıdır ki, her sınavda sorulan ürün dosyası (portfolyo) değerlendirme bu sınavda sorulmamıştır. Bu bir ilk olarakkabul edilebilir. Diğer yandan paralel testler güvenirliği ve dereceleme ölçekleriyle ilgili soru sorulması da bu sınavdaki ilklerden kabul edilebilir. Son iki üç sınavın aksine standart puanlardan sadece bir soru bulunması kapsam geçerliği bağlamında olumlu bir durum olarak ele alınmalıdır. Yine kapsam geçerliği bağlamında istatistiklerle ilgili soruların 8-9 yerine 5 e indirilmesi olumlu ele alınabilir sınavındaki ölçme sorularının 2011 sınavındaki ölçme sorularından daha kolay olması beklenebilir. Buna karşılık ölçmede pek alışık olmadığımız yorum sorularının da daha fazla olduğunu söylemek mümkündür. Bu tür sorular öğretmen adaylarına zor gelebilir. yaklaşımı Doç. Dr. Nuri DOĞAN

2 soruların konulara göre dağılımı ölçme ve değerlendirme KONU BAŞLIĞI SORU SAYISI Temel Kavramlar 6 Ölçme Aracının Nitelikleri 3 Sınav Türleri 4 İstatistikler 5 Toplam 18 yaklaşımı

3 43. (I) Eda Öğretmen, dersini işledikten sonra öğrencilerine bir sınav uygular. (II) Sınavı hazırlarken ilgili kazanımları ve kazanımların ağırlıklarını göz önüne alarak bir belirtke tablosu hazırlar. (III) Hazırladığı tabloya uygun olarak sınavında 10 tane açık uçlu maddeye yer verir. (IV) Her bir maddenin değerini 10 puan olarak belirler. (V) Uygulama sonunda sınavdan en az 50 puan alan öğrencileri başarılı sayacağını açıklar. (VI) Sınava giren Ayşe, 80 puan alarak sınavda başarılı olur. Ölçme ve değerlendirmenin temel kavramlarından ölçüt kavramı çok sık sorulmaktadır. Ölçütün ne olduğunu belirlerken tanımdan hareket etmekte yarar vardır. Ölçüt geçti, kaldı veya başarılı - başarısız kararı verebilmek için belirlenen en küçük değer olarak tanımlanabilir. Bu tanım bağlamında verilen cümleler incelendiğinde V numaralı cümlede ölçüt 50 olarak belirtilmektedir. Doğru yanıt D seçeneğidir. Buna göre, ölçüt kaç numaralı cümlede belirtilmiştir? A) I B) III C) IV D) V E)VI Bu soru sık sorulan ölçüt kavramı ile ilgilidir. Doğrudan ölçütün tanımını bilmek sorunun çözümü için yeterlidir. Kavrama düzeyinde bir soru olduğu düşünülebilir. Sınava giren bireylerin büyük bir kısmı tarafından cevaplanabilecek bir soru olarak düşünülebilir.

4 SORULARI AŞAĞIDAKİ BİLGİLERE GÖRE CEVAPLAYINIZ. Bir Türkçe öğretmeni, 8A sınıfındaki öğrencilerden kendilerine verilen konuyla ilgili bir kompozisyon yazmalarını; 8B sınıfındaki öğrencilerden ise kendilerine verilen iki konudan birini seçip seçtikleri konuyla ilgili bir kompozisyon yazmalarını istemiştir. Öğretmen; öğrencilerin dönem boyunca okudukları kitap sayısı, kompozisyonu yazma süresi, konu seçme imkânı ve cinsiyet değişkenlerinin yazılı anlatım beceri düzeyini yordama gücünü incelemiştir. Bağımlı ve bağımsız değişkeni verilen araştırma senaryosundan çıkarabilmek için Etkisi ve etkilenme düzeyleri araştırılan değişkenler nelerdir? sorularını sormamız gerekir. Birinci soruya verilen cevap bağımsız değişken(ler)i, ikinci soruya verilen cevap bağımlı değişken(ler)i gösterecektir. Bu soruda birinci sorunun cevabı okudukları kitap sayısı, kompozisyonu yazma süresi, konu seçme imkanı ve cinsiyet değişkenleridir ve bu değişkenler bağımsız değişkenlerdir (bunların etkisi araştırılmaktadır). Bağımsız değişkenlerin hangi değişkene etkisi araştırılıyor diye sorduğumuzda ise yazılı anlatım beceri düzeyi cevap olarak verilmektedir. Doğru yanıt E seçeneğidir. 44. Bu araştırmadaki bağımlı değişken aşağıdakilerden hangisidir? A) Dönem boyunca okudukları kitap sayısı B) Cinsiyet C) Kompozisyonu yazma süresi D) Konu seçme imkânı E) Yazılı anlatım beceri düzeyi Bağımlı ve bağımsız değişken kavramları sık yoklanan ve sorulması beklenen kavramlardandır. Neredeyse iki yılda bir sorulmaktadır. Soruların çözümü de oldukça kolay olmaktadır. Çözümde anlatılan yol izlendiğinde bu tür sorular kolayca cevaplanmaktadır. Bu sorudaki son cümlede... değişkenlerinin düzeyini yordama gücü ifadesi cevap vermeyi kolaylaştırmaktadır. Bağımlı, bağımsız değişken sorularında sık görülen bir soru yapısıdır. Kolay cevaplanması beklenen bir soru olduğu söylenebilir.

5 SORULARI AŞAĞIDAKİ BİLGİLERE GÖRE CEVAPLAYINIZ. Bir Türkçe öğretmeni, 8A sınıfındaki öğrencilerden kendilerine verilen konuyla ilgili bir kompozisyon yazmalarını; 8B sınıfındaki öğrencilerden ise kendilerine verilen iki konudan birini seçip seçtikleri konuyla ilgili bir kompozisyon yazmalarını istemiştir. Öğretmen; öğrencilerin dönem boyunca okudukları kitap sayısı, kompozisyonu yazma süresi, konu seçme imkânı ve cinsiyet değişkenlerinin yazılı anlatım beceri düzeyini yordama gücünü incelemiştir. Soruda dolaylı ölçülen değişken sorulmaktadır. KPSS kapsamında genellikle insanların zihinsel özelliklerinin dolaylı ölçüldüğünün bilinip bilinmediği sık yoklanmaktadır. Verilen seçenekler incelendiğinde zihinsel bir beceri olan yazılı anlatım beceri düzeyi nin cevap olduğu görülmektedir. Okunan kitap sayısı, kayıt olunan şube, kompozisyon yazma süresi ve konu seçme imkanı doğrudan ölçülebilirken bireylerin yazılı anlatım gücü dolaylı olarak ölçülür. Doğru yanıt E seçeneğidir. 45. Bu araştırmadaki değişkenlerden hangisi dolaylı olarak ölçülür? A) Dönem boyunca okudukları kitap sayısı B) Kayıt oldukları şube C) Kompozisyonu yazma süresi D) Konu seçme imkânı E) Yazılı anlatım beceri düzeyi Yine KPSS de sık sorulan dolaylı ölçme sorusudur. Bazen bu konudaki sorular zor olsa da KPSS kapsamında zihinsel özelliklerin dolaylı ölçüldüğü bilgisi sık yoklandığı için ve bu soruda da söz konusu ilke geçerli olduğu için kolayca cevaplanacak bir sorudur. Ölçme türlerinin öğrencilerin yoğunlaştığı konulardan biri olması bağlamında kolay bir soru olduğu düşünülebilir.

6 SORULARI AŞAĞIDAKİ BİLGİLERE GÖRE CEVAPLAYINIZ. Bir Avrupa ülkesinde motosikletli polislerin hizmet içi eğitim programları dâhilinde ileri süreç testleri ve eğitimleri yapılmaktadır. Motosikletli polisler, öncelikle yol sürüşü sınavına alınmaktadır. Bu sınavda, sınavı yapan gözlemci ayrı bir motosiklet ile adayı hemen arkasından takip eder. Gözlemci, sürüş bitiminde aşağıdaki forma 0-4 puan arasında uygun gördüğü puanları vererek gözlem sonuçlarını aktarır. 0 puan en düşük, 4 puan ise en yüksek beceri düzeyini göstermektedir. Ölçütler Puan Motosikleti, bakımları yapılmış ve yola çıkmaya uygun vaziyette hazır bulundurma Motosikletinin yönlendirmesini yumuşak ve çabuk hareketlerle yapabilme Trafi kte uygun konumlanma noktaları seçme Debriyajı; yumuşak, nazik ve vitesle uyumlu zamanlamayla kullanabilme Frenleri, tekerlerin kilitlenmesine izin vermeden etkili kullanabilme 46. Buna göre, motosikletli polislerin ileri sürüş becerilerinin değerlendirilmesinin amacına ve ölçütüne göre türleri aşağıdakilerden hangisinde birlikte verilmiştir? Amacına göre Ölçütüne göre A) Tanıma ve yerleştirme Mutlak B) Tanıma ve yerleştirme Bağıl C) Değer biçme Mutlak D) Değer biçme Bağıl E) Süreç izleme Bağıl Bu konuyla ilgili geçen yıl da benzer bir soru sorulmuştur. Verilen bilgiler incelendiğinde bireylerin hizmet içi eğitime alınmasından önce bir yol sürüş (performans) sınavı yapılmakta ve yeterli puanı alanlar görevlerine devam ederken yeterli puan alamayan bireyler hizmet içi eğitime alınmaktadır. Bu nedenle sınavın amacı, hizmet içi eğitime alınacak ve görevine devam edebilecek bireyleri saptamak ve ayırmaktır. Dolayısıyla sınavın tanıma ve yerleştirme amacı taşıdığı söylenebilir. Diğer yandan bireyleri hizmet içi eğitime alınacaklar ve görevlerine devam edecekler şeklinde ayırırken kullanılan ölçütün yeterli puan olduğu belirtilmektedir. Dolayısıyla bireyler birbirleri ile değil yeterli puan ile karşılaştırılmakta olduğundan mutlak ölçüt söz konusudur. Sadece yeterli puan denmesi akla öncelikle mutlak ölçütü getirmektedir. Bireylerin ileri sürüş becerilerindeki yeterlikler ölçüldüğü için mutlak değerlendirilmesi beklenebilir. Doğru yanıt A seçeneğidir. Virajlarda uygun viraj çizgisini tayin ve takip edebilme Her bir maddeden adayın almış olduğu puanlar toplanarak bir toplam puan belirlenir. Gözlem sonucunda yeterli puanı alan motosikletli polisler görevlerine devam ederler. Yeterli puanı alamamış olan motosikletli polisler ise hizmet içi ileri sürüş eğitimine alınır. Aslında yeterli puan kavramı tam olarak tanımlanmadığından cevaplayıcıların kafasında belirsizlik yaratabilir. Ancak bağıl ölçütü çağrıştıracak herhangi bir ifade de bulunmamaktadır. Diğer yandan hemen her sınavda sorulan değerlendirme türleri ve ölçüt türlerini yoklayan bir soru olarak çok zor olmadığını söyleyebiliriz.

7 47. Motosikletli polislerin ileri sürüş becerilerinin değerlendirilmesinde kullanılan bu yaklaşımın, aşağıdakilerden hangisiyle adlandırılması uygundur? A) Performans değerlendirme B) Akılcı değerlendirme C) Modern değerlendirme D) Ürün değerlendirme E) İleri değerlendirme Sınav bireylerin bilgi ve becerilerini sergilemelerine dayanmaktadır. Bireyler motosiklet sürüş konusundaki performanslarını sergilerken gözlenmektedir. Verilen kararlar ise bireylerin performans düzeyi hakkında verilen kararlardır. Dolayısıyla yapılan değerlendirme bir performans değerlendirme olarak ele alınmalıdır. Zaten B, C ve E seçeneğinde verilen değerlendirme türleri mantıklı kavramlar gibi görünse de alanyazında bu türden değerlendirmeler söz konusu değildir. D seçeneğindeki ürün değerlendirme ise ölçekte verilen ölçütler sürecin gözlenmesini gerektirdiği için kolayca elenebilir. Doğru yanıt A seçeneğidir. Son 5 yıldır neredeyse her sınavda çıkan performans değerlendirme ile ilgili beklenen bir sorudur. İşevuruk davranışların / devinişsel davranışların gözlenmesi açık olarak belirtildiği için performans değerlendirme cevabını vermek oldukça kolaylaşmıştır.

8 48. Gözlemcinin kullanmış olduğu ölçme aracı aşağıdakilerden hangisidir? A) Kısa yanıtlı sınav B) Bütüncül dereceli puanlama anahtarı C) Kontrol listesi D) Derecelendirme ölçeği E) Ürün dosyası Ölçme aracında bireylerin uzun ya da kısa cevap vermesini gerektiren herhangi bir durum olmadığından A seçeneği, bir dönem ya da bir yıl boyunca yapılan çalışmalardan oluşan bir dosya söz konusu olmadığı için ürün dosyası yani E seçeneği cevap olamaz. Gözlenen davranışların varlığı, yokluğu puanlanmayıp derecesi / düzeyi puanlandığı için kontrol listesi yani C seçeneği de cevap olamaz. B seçeneğinin doğru olabilmesi için de yine gözlenen ölçütler için derece ya da düzeyler değil kontrol listelerine benzer şekilde belirlenen bir puan verilmeli ve özellikle süreç değil ürüne odaklanılmalıdır. Oysa ortak kökte açıklanan her bir maddeden / ölçütten alınan puanların 0-4 arasında olduğu ve 0 puanın en düşük, 4 puanın en yüksek olduğu vurgusu bizi derecelendirme ölçeğine götürmelidir. Doğru yanıt D seçeneğidir. layan bir sorudur. Derecelendirme ölçekleri hem duyuş- sal alanı, hem de devinişsel alanı yoklamada yaygın olarak kullanılabilen bir araç olmasına rağmen pek sorulmayarak kapsam geçerliğini düşüren bir özelliğe sahipti sınavında sorularak KPSS kapsamına eklenmiş oldu. Soru ile ilgili açıklamalar incelendiğinde ölçütten önceki ifade derecelendirme ölçeğine gitmek için yeterli olmazken ölçütlerden sonra verilen paragraftaki her bir maddenin puanlarının toplanmasından söz edilerek derecelendirme ölçeğine güçlü bir vurgu yapılmıştır. Zor olmamakla birlikte B seçeneğindeki bütüncül dereceleme ölçeği, pek iyi bilinmediğinde ve verilen ölçeğe benzer kalıplarda kullanılabildiğinden güçlü bir çeldirici olabilir. Diğer yandan kullanılan ölçek yapısı kontrol listesinde de kullanılabileceğinden dikkatsiz okuyucuların kontrol listesini işaretlemesine neden olabilir. KPSS kapsamında 2012 yılına kadar doğrudan cevap olarak sorulmayan derecelendirme ölçeği bilgisini yok-

9 49. Bir öğretmen, bir testin iki paralel formunu 2 hafta arayla öğrencilerine uygulamıştır. Formların uygulanması veya puanlanması esnasında karşılaşılabilecek olası durumlar aşağıda verilmiştir: I. Öğrencilerin ikinci uygulamada yorgun olmaları II. Öğretmenin her iki uygulamada da toplam puanları hesaplarken işlem hataları yapması III. Toplam puanları düşük bulan öğretmenin, puanları her iki uygulamada da 65, standart sapması 10 olacak şekilde artırması Bu durumlardan hangileri, paralel formlar yöntemi ile hesaplanan güvenirlik katsayısını düşürür? A) Yanlız I B) Yalnız II C) I ve II D) I ve III E) II ve III Paralel formlar tekniği, eş değer olan testlerin aynı gruba uygulanması ve bireylerin iki uygulamadan (testten) elde ettikleri puanlar arasındaki korelasyonun hesaplanmasına dayanır. Eğer testler uzunsa ikinci uygulamada bireylerin yorgunluğu puanların düşmesine neden olacağından güvenirliği olumsuz etkileyebilir. Bu nedenle birinci öncül cevap olarak alınmalıdır. Diğer yandan öğretmenin dikkatsizlikle yapacağı toplam hataları ölçme sonuçlarına tesadüfi hataların karışmasına neden olacağından güvenirliği düşürecektir. İkinci öncül de cevap olarak alınmalıdır. Üçüncü öncülde verilen durum ise puanlara sabit değerler eklemekle aynı anlama gelmektedir. Sabit hata ise puanların güvenirliğine bir etkide bulunmayacaktır. Üçüncü öncül istenilen cevap olarak alınmalıdır. Doğru yanıt C seçeneğidir. Güvenirlik ve hata ilişkisini görmemizi gerektiren bir sorudur. İlk iki öncülde tesadüfi hata (ki güvenirliği düşürürler) ve üçüncü öncülde sabit hata (güvenirliği etkilemezler) söz konusudur. Diğer yan- dan hataların paralel formlar örneği ile sorulması da paralel formların KPSS kapsamında güvenirlik belirleme tekniği olarak ilk defa sorulması nedeniyle önemlidir. Beklenen ancak geciken bir sorudur denebilir. Soru paralel testler tekniği bağlamında ele alındığında biraz güç cevaplanabilir. Çünkü genelde öğrencilerin güvenirlik tekniklerini ezberlemeden kaçtıkları gözlenmektedir. Ancak soru söz edilen öncüllerdeki işlemlerin ölçme sonuçlarına karışan hata türleri yönünden ele alındığında kolayca çözülebilir.

10 50. Aşağıda belirtilen değişkenler arasındaki ilişkilerden hangisi, personel seçme sınavı eğitim bilimleri testinin yordama geçerliği hakkında bilgi verir? 1. Değişken 2. Değişken A) Testten alınan toplam puanlar B) Testten alınan toplam puanlar C) 2010 yılında uygulanan testin madde ayırt edicilik indeksleri D) Testin 2010 yılı uygulamasından alınan toplam puanlar E) 2010 yılında uygulanan testin madde güçlük indeksleri Lisans mezuniyet not ortalamaları Yeni atanan öğretmenlerin ilk yıl sonundaki yeterlik puanları 2011 yılınada uygulanan testin madde ayırt edicilik indeksleri Testin 2011 yılı uygulamasından alınan toplam puanlar 2011 yılında uygulanan testin madde güçlük indeksleri Yordama geçerliği, ölçüt geçerliği başlığı altında ele alınır ve yordayıcılar ile ölçütler arasındaki korelasyona dayanır. Ancak ölçütler ile geçerliği araştırılan testler arasındaki korelasyonu yordama geçerliği olabilmesi için yordayıcıların gelecekte elde edilecek ölçme sonuçları veya değerlendirmeler hakkında öngörüde / tahminde bulunması ve dolayısıyla ölçüt puanların yordayıcılardan sonra elde edilmesi gerekir. Seçenekler incelendiğinde C, D ve E seçeneğindeki değişkenler sadece ilişki belirtir, geçerlik hakkında bir bilgi vermez. A seçeneği geçerlik hakkında bilgi verir ancak ölçütler daha önce elde edilen lisans puanları olduğundan uyum / uygunluk geçerliği söz konusudur. Ancak B seçeneğindeki test puanı ile atanan öğretmenlerin bir yıllık yeterlik puanları arasındaki ilişki test puanlarının yordama geçerliğini verecektir. Doğru yanıt B seçeneğidir. Yordama geçerliği şimdiye kadar en çok sorulan geçerlik türlerindendir. Çok sık sorulduğu için öğrencilerin beklediği türden bir sorudur. Kitaplarda ve kurslarda sorudakine benzer örneklere çok sık yer verilmektedir. Üst düzey olmayan, örneklerin bile hatırlanması ile çözülebilecek bir sorudur. Ancak geçerlik türleri biraz soyut kavramlar olarak değerlendirildiğinden, konuyu iyi kavrayamayan bazı öğrencilerin cevaplamakta zorlanması söz konusu olabilir.

11 51. Bir şiddet eğilimi ölçeği geliştirme çalışmasında şu işlemler yapılmıştır: Maddelerin, saldırganlık durumlarını uygun biçimde örneklediği, kanılarına başvurularak irdelenmiştir. Öğrencilerin ölçekte yer alan maddeleri cevaplamak için kaç dakikaya ihtiyaçlarının olacağı, deneme uygulamalarında gözlenmiş ve ölçekteki madde sayısı bu doğrultuda azaltılmıştır. Ölçek uygulamasından elde edilen puanlara bakıldığında erkek öğrencilerin daha yüksek puanlara sahip oldukları belirlenmiştir. Bu durumun, erkek öğrencilerin kız öğrencilere göre şiddete daha eğilimli oldukları bilgisiyle uyum içinde olduğu belirlenmiştir. Ölçekten elde edilen puanların merkezî eğilim ve değişkenlik istatistikleriyle Cronbach ın alfa katsayısı hesaplanmıştır. Yapılan bu işlemler, ölçme aracının hangi özelliği hakkında bilgi vermez? A) Kullanışlılık B) Kapsam geçerliği C) Yapı geçerliği D) Ölçmenin standart hatası E) Objektifl ik Öncüllerde verilen işlemler incelendiğinde birinci öncüldeki işlem; ikinci öncüldeki işlem kullanışlık; üçüncü öncüldeki işlem yapı geçerliği ve dördüncü öncüldeki işlem ise standart hata hakkında bilgi verir. Ancak yapılan işlemler doğrudan objektiflik hakkında bilgi vermez. Doğru yanıt E seçeneğidir. Ölçme aracı ile ilgili birçok özelliğin bir arada sorulduğu karmaşık bir sorudur. Bu nedenle dikkati dağınık, bilgisi eksik öğrencilere zor gelmiş olabilir. Özellikle standart hatanın standart sapma ve güvenirlikten yararlanılarak bulunabileceğini hatırlayamayan öğrenciler ikileme düşebilir. Ancak farklı puanlayıcıların aynı puanı vermesi anlamına gelen objektiflikle ilgili hiçbir ifade olmadığını fark eden bir cevaplayıcı çözüme kolayca ulaşabilir.

12 52. Bir öğretmen, geliştirdiği 5 seçenekli 20 maddelik çoktan seçmeli testin cevap anahtarını aşağıdaki örüntüyü oluşturacak şekilde hazırlamıştır A B C D E Cevap anahtarındaki ilk 10 maddedeki örüntüyü fark eden bazı öğrenciler, geride kalan maddeleri okumadan doğru cevaplanmışlardır. Bu öğrenciler için elde edilen ölçme sonuçlarının hangi niteliği düşüktür? A) Puan ortalaması B) Kullanışlılık C) Yapı geçerliği D) Puanlama objektifl iği E) Kapsam geçerliği Söz konusu testteki cevap örüntüsünü fark eden bir bireyin maddelere doğru cevap vererek aldığı puanlar ölçülmek istenen kuramsal yapı (başarı, yetenek, zeka vb.) dışında bir özellikten (dikkat, algı vb. ) gelen puanlar olacaktır. Yani ölçme aracı ölçülmek istenen yapı dışında başka özellikleri işe karıştıracak ve yapı geçerliğinin düşmesine neden olacaktır. Doğru yanıt C seçeneğidir. Yıllardır pek sorulmayan yapı geçerliği ilk kez 2011 sınavında sorulmuştu sınavında ikinci kez sorulmuştur. Doğru cevaba doğrudan bilinmese bile seçenekler elenerek cevaplanabilecek bir soru- dur. Örneğin öğrencinin örüntüyü kullanması puan ortalamasını ve kullanışlığı artırır. Yine puanlama örüntüsünün fark edilmesi ve doğru ya da yanlış cevap verilmesi ile ilgili olmadığında puanların objektifl iğinde de düşme olmayacaktır. Soru sayısını azaltmaktan veya sorulmayan bazı konular/davranışlar/kazanımlar söz konusu olmadığı için kapsam geçerliği de düşmeyecektir. Geriye bir tek yapı geçerliği kalacaktır. Orta düzeyde güçlükte bir soru olduğu söylenebilir.

13 53. Bir öğretim üyesi, üniversite 2. sınıf öğrencilerine ölçme ve değerlendirme ara sınavında sormak üzere aşağıdaki çoktan seçmeli maddeyi hazırlamıştır. Korelasyon, iki değişken arasındaki ilişkinin derecesini verir. İki değişken arasındaki ilişkinin derecesini veren katsayıya korelasyon adı verilir ve r XY ile gösterilir. Aşağıdaki korelasyon değerlerinden hangisi daha zayıf bir ilişkiyi gösterir? Hatalı sorunun kökü incelendiğinde birinci ve ikinci cümlenin birbirinin neredeyse aynısı olduğu, gereksiz bir tekrarın söz konusu olduğu görülmektedir. Doğru yanıt D seçeneğidir. a. 0,05 b. 0,11 c. 0,21 d. 0,57 e. 0,68 Öğretim üyesinin hazırlamış olduğu maddede, çoktan seçmeli maddelerin yazılmasında dikkat edilmesi gereken esaslardan hangisi gözetilmemiştir? A) Maddenin yalnız bir doğru yanıtı olmalıdır. B) Seçeneklerin uzunlukları birbirine yakın olmalıdır. C) Seçenek sayısı, testin hitap ettiği öğrenci düzeyine uygun olmalıdır. D) Madde kökünde gereksiz açıklamalardan kaçınılmalıdır. E) Noktalama işaretlerine ve imla kurallarına uyulmalıdır. Çoktan seçmeliler ile ilgili bu sorunun çözümü oldukça kolaydır. Öğrencilerin cevabı çabukça bulmaları beklenebilir. Çoktan seçmeli testleri bir kez okuyan bir öğrencinin A, B ve C seçeneklerini hemen elemesi gerekir. E seçeneği de biraz dikkatli bir okumayla elenebilir. Soru kökündeki daha zayıf kelimelerinin altının çizilmemesi de bir kural ihlalidir ancak seçeneklerde verilmediği için göz ardı edilebilir.

14 54. Aşağıda 8. sınıf öğrencileri için hazırlanmış, sözlü ve yazılı sınav sorusu örnekleri ile ev ödevi örnekleri verilmiştir. Sözlü Sınav Sorusu A yüzyıl öncesinde, Osman İmparatorluğu nda merkezî hazinenin gelir kaynaklarından ikisi açıklayınız. A2. Osamanlı İmparatorluğu nda maliye sistemini anlatınız Yazılı Sınav Sorusu B1. Ülkemizin 81 ilinden biri olan ve güneyde yer alan Antalya nın, Akdeniz e kıyısı olması nedeniyle sahip olduğu coğrafi özellikleri yazınız. B2. Antalya nın bitki örtüsü ve iklim özellikleri arasındaki ilişkiyi açıklayınız. Ev Ödevi C1. 30 x 60 cm boyutlarında, üzerinde en büyük beş gölümüzün, sıra dağlarımızın ve en büyük üç platomuzun gösterildiği bir kabartma Türkiye haritası hazırlayınız. C2. Beyaz renkte hazırlanmış ve size verilmiş olan kabartma Türkiye haritasında en büyük beş gölümüzün, sıra dağlarımızın ve en büyük üç platomuzun adlarını üzerlerine yazınız ve bunları farklı renklerde boyayınız. Soru yazım ilkeleri göz önüne alındığında bir öğretmenin sırasıyla sözlü sınav sorusu, yazılı sınav sorusu ve ev ödevi örneklerinden hangilerini seçmesi beklenir? A) A1, B1, C1 B) A1, B2, C1 C) A1, B2, C2 D) A2, B1, C1 E) A2, B1, C2 Sözlü sorularından A2, Sorular açık anlaşılır, sınırlandırılmış olmalı, çocukların düzeyini aşmamalıdır. ilkeleriyle; yazılı sorularından B1 Sorularda gereksiz, ipucu verecek ve tekrar eden açıklamalardan kaçınılmalıdır ilkeleriyle; ödevlerden ise C1 Ödevler çocukların düzeyine uygun olmalı, onların üstesinden gelebilecekleri bir güçlükte olmalıdır. ilkelerine uygun yazılmamıştır. Bu nedenle A1, B2, ve C2 soruların seçilmesi gerekir. Doğru yanıt C seçeneğidir. Soru farklı bilgilerin aynı anda kullanılmasını gerektiren zor sayılabilecek bir sorudur. Sözlü, yazılı ve ödev sorularının nasıl olması gerektiğine ilişkin bilgiler yoklanmaktadır. Basit gibi görünse de sorunun tüm ifadeleri okunarak cevaplanması daha uygun olacaktır.

15 soruları aşağıdaki bilgilere göre cevaplayınız öğrencinin bulunduğu bir okuldan, matematik bilgi yarışması için 4 kişilik bir takımın oluşturulması hedefl enmektedir. Takıma alınacak başarılı öğrencileri seçmek amacıyla okuldaki tüm öğrenciler 50 maddelik çoktan seçmeli bir başarı testine alınacaktır. 55. Belirtilen amaç doğrultusunda hazırlanan bir sınavdan alınan puanların frekans grafiğinin aşağıdakilerden hangisine en yakın olması beklenir? Seçilecek birey sayısı az ve sınava giren birey sayısı fazla olduğunda çok sayıda zor soru (zor bir test) kullanılması ve sağa çarpık dağılım elde edilmesi beklenir. Seçeneklerde verilen dağılımlarda ise az sayıda bireyi seçebilme işi zorlaşacaktır. Doğru yanıt A seçeneğidir. A) Frekans B) Frekans Puan 0 50 Puan C) Frekans D) Frekans Puan 0 50 Puan E) Frekans Soru çeşitli sınav uygulamalarında ların beklentilerine uyan tipik dağılımlarla ilgilidir. Aynı zamanda grafi k okuma becerisini de yoklamaktadır. Tipik dağılımlara ilişkin bilgi ile grafi k okuma becerisine sahip olmayan birinin cevaplaması zor olan bir sorudur Puan

16 soruları aşağıdaki bilgilere göre cevaplayınız öğrencinin bulunduğu bir okuldan, matematik bilgi yarışması için 4 kişilik bir takımın oluşturulması hedefl enmektedir. Takıma alınacak başarılı öğrencileri seçmek amacıyla okuldaki tüm öğrenciler 50 maddelik çoktan seçmeli bir başarı testine alınacaktır. Bireylerin başarı düzeyleri öncelikle ölçme ile ilgili bir kavramdır. Objektifl ikle ölçütün bağıl ya da mutlak olmasının pek bir ilişkisi yoktur. Ölçme sonuçlarının standart hatası ölçütle ilgili değil, standart sapma ve güvenirlikle ilgilidir. Mutlak ölçüt kullanmanın kullanışlığı düşürdüğünü söyleyemeyiz. Dolayısıyla B, C, D ve E seçeneklerinde verilen ifadeler cevap değildir. A seçeneğinde verilen ifade ise doğrudur. Gerçekten de yüksek bir mutlak ölçüt belirlendiğinde bu ölçütü geçebilen sadece iki öğrenci olabilir. Böyle olunca da takımın eksik kalması gözlenebilir. Doğru yanıt A seçeneğidir. 56. Yapılan bu değerlendirme işleminde, mutlak ölçüt kullanılmasına bağlı olarak aşağıdaki sonuçlardan hangisi gözlenebilir? A) Takım için yeterli sayıda öğrenci bulunamayabilir. B) Öğrencilerin başarı düzeyleri belirlenemeyebilir. C) Yeterli objektifl ik sağlanamayabilir. D) Ölçmenin satandart hatası istenenden çok büyük olabilir. E) Sınavın kullanışlığı çok düşük olabilir. Son yıllarda bağıl ve mutlak ölçütle birlikte bağıl ve mutlak değerlendirme çok sık sorulmaktadır. Ancak genellikle bağıl ölçütün dezavantajları sorulurken bu soruda mutlak ölçütün dezavantajı yoklanmıştır. Orta güçlükte bir sorudur. Konuya yeterince hakim olmayan öğrencilerin çeldiricilere gitme ihtimali yüksektir.

17 57. Bir öğretmen, 100 öğrenciye uygulamış olduğu testten elde edilen ham puanları z standart puanlarına dönüştürmüştür. Aşağıdaki tabloda, beş öğrencinin ham puanları ve z puanları verilmiştir. Öğrenci Ham puan z puan Kemal 100 1,5 Nuri 90 1 Fatma 70-0,5 Zeynep 50-1 Mehmet 30-2 Öğretmen bir öğrencinin puan dönüşümünde hata yaptığına göre, hatalı puan hangi öğrenciye aittir? A) Kemal B) Nuri C) Fatma D) Zeynep E) Mehmet Matematiksel formüller bir kenara bırakılarsa en düşük puandan en yüksek puan, gidildikçe (sonuncu hariç) puanlar 20 şer artmakta ve buna bağlı olarak z puanları da 1 er artmaktadır. Nuri ve Kemal in puan artışı 10 ve z artışı ise 0,5 görünmektedir. (Dolayısıyla bu orantılardan standart sapmanın 20 olduğu sonucuna ulaşılabilir.) Oysa Fatma nın Nuri ve Zeynep ten puan farkının 20 olmasına rağmen 0,5 artış ya da azalış gösterdiği görülmektedir. Bu ise söz konusu edilen orantıya terstir. Bu nedenle z puanı yanlış hesaplanan birey Fatma olmalıdır. Doğru yanıt C seçeneğidir. Z puanı ile ilgili bir soru olması bakımından beklenen bir sorudur. Ancak çözümünde ya mantık yürütmek ya da standart puan formüllerine dayanan denklem kurmak gerekmektedir. Bu durum matematiği zayıf olan öğrencilerin soruyu yapmaktan kaçınmalarına neden olacağından soruyu zorlaştırabilir.

18 58. Bir tarih öğretmeni, 6A ve 6B şubelerindeki öğrencilere aynı testi uygulamıştır. Şubelerdeki puan dağılımına ait betimsel istatistikleri aşağıdaki tabloda vermiştir. 6A 6B Öğrenci Sayısı En Düşük Puan 8 4 En Yüksek Puan Verilen istatistikler bağlamında seçenekler değerlendirilirse A seçeneği için ranjlara bakmak gerekir. Grupların ranjları eşit olduğundan A seçeneği doğru değildir. A şubesinin ortalaması B den yüksek olduğu için C seçeneği doğru değildir. D ve E seçeneklerindeki ifadelerin doğru olup olmadığına verilen bilgilerden hareketle ulaşamayız. B seçeneği ise A şubesinin standart sapmasının küçük olmasına dayanılarak söylenebilir. Doğru yanıt B seçeneğidir. Aritmetik Ortalama 25,50 18,74 Standart Sapma 5,13 9,11 Bu tabloya göre, aşağıdakilerden hangisi kesinlikle söylenebilir? A) 6A şubesinin puan aralığı, 6B şubesinin puan aralığından daha geniştir. B) 6A şubesindeki puanlar, 6B şubesindeki puanlardan daha homojen bir dağılım göstermiştir. C) 6B şubesi, tarih testinde 6A şubesinden daha başarılı olmuştur. D) 6A şubesinde, testteki tüm maddeleri doğru cevaplayan en az bir öğrenci vardır. E) 6B şubesindeki puan dağılımı sola çarpıktır. Merkezi değişim ve eğilim ölçülerini birlikte düşünülmesini gerektiren bir sorudur. Ranj hesaplamayı mutlaka bilmeyi gerektiren ve grupların başarısının, homojenlik düzeyinin nasıl karşılaştırılacağını da bilmeyi gerektirir. Orta güçlükte iyi bir soru olarak değerlendirilebilir.

19 59. Aşağıda, 8. sınıf öğrencilerine uygulanan uluslararası bir sınavın fen bilimleri alt testinde yer alan çoktan seçmeli bir madde, bu maddenin ölçtüğü bilişsel düzey ve madde istatistikleri verilmiştir. Canlılarda büyük ve karmaşık yapıdaki moleküller parçalanarak daha basit ve küçük moleküller hâline dönüşür. Bu olaya ne denir? a. Boşaltım b. Emilim c. Sindirim d. Dolaşım Madde ayırt ediciliği yüksek olduğundan A seçeneğindeki ifade söylenemez. Maddenin ayırt ediciliği yüksek olduğundan testten çıkardığımızda iç tutarlılık azalacağından B seçeneğindeki ifade söylenemez. Madde güçlük değeri sıfıra yaklaştığından C seçeneğindeki ifadeyi söyleyemeyiz. Madde ayırt edicilik gücü yüksek olduğundan D seçeneğindeki ifadeyi söyleyebiliriz. Hatırlama düzeyini ölçtüğü belirtildiğine göre E seçeneğindeki ifadeye ulaşamayız. Doğru yanıt D seçeneğidir. Bilişsel düzey Hatırlama Madde güçlük indeksi (p) 0,21 Madde ayırt edicilik indeksi (r) 0,61 Bu maddeyle ilgili olarak aşağıdakilerden hangisi söylenebilir? A) Başarı düzeyi yüksek öğrencilerle düşük olanları ayırt etmekte yetersizdir. B) Madde testten çıkarılırsa iç tutarlılık katsayısı artar. C) Testi alan öğrencilerin çoğunluğu tarafından doğru cevaplanmıştır. D) Öğrencilerin tset puanları arttıkça maddeyi doğru cevaplama olasılıkları artmaktadır. E) Üst düzeyden bir düşünme becerisini ölçmektedir. Ancak E seçeneği çoğu birey tarafından hemen elenecek bir durumda görünüyor bu nedenle sorudaki şans başarısını artırmıştır. Madde ayırt edicilik gücünün test puanlarıyla ilişkisi bağlamındaki yorumunu sorması bakımından yenilik taşımaktadır. B seçeneği güçlü bir çeldirici olabilir. Orta güçlükte bir soru ollduğu söylenebilir.

20 60. Bir okuldaki 7. sınıf öğrencilerine 5 seçenekli bir İngilizce testi uygulanmıştır. Testteki ilk üç maddenin alt grup-üst grup yönetimiyle madde analizini gösteren tablo aşağıda verilmiştir. Altı çizili seçenekler anahtar cevaptır. Madde no 1 2 Grup Öğrenci sayısı Seçenekler A B C D E Üst Alt Üst Alt Madde (I) +0,12 ve madde (III) -0,12 ayırıcılık gücüne sahip olduklarından A seçeneğindeki gibi ayırt edicilikleri eşittir diyemeyiz. Madde ikinin +0,56 ayırıcılık gücüne sahip olmasından dolayı B doğrudur. Üçüncü madde birinci maddeden zor olduğundan C seçeneğindeki ifadeye ulaşamayız. İlk üç maddenin ortalaması 1,32 çıktığından D seçeneğindeki ifadeyi kullanamayız. Üçüncü maddede C çeldiricisi üst gruptan alt gruba göre daha çok öğrenci çektiğinden madde beklenen yönde işlememiştir. Doğru yanıt B seçeneğidir. 3 Üst Alt Bu maddelerle ilgili olarak aşağıdakilerden hangisi söylenebilir? A) Madde 1 ve madde 3 ün ayırt edicilikleri birbirine eşittir. B) Madde 2, madde 1 den daha ayırt edici bir maddedir. C) Madde 1, diğer ikisine göre daha zordur. D) İlk üç maddeden alınan puanların ortalaması 1,25 tir. E) Madde 3 ün C çeldiricisi, beklenen yönde işlemiştir. Daha önce de benzerleri çıkan bir sorudur. Ancak işlem yapma becerisini de yoklamaktadır. Bu nedenle işlem yapmaktan hoşlanmayan veya bu konuda becerisi yetersiz olan öğrencilerin yanlış cevaplayabilecekleri bir sorudur. Bunun yanında madde güçlüğü, ayırıcılığı ve seçenek analizine aynı soruda yer verilmekte ölçülen davranış üst düzeye çıkmış ve soru zorlaşmıştır. Yine de beklenen ve daha önce benzerleri bulunan bir soru olduğu için orta güçlükte olduğunu söylemek daha uygun olabilir.