1 Nitelikli Eğitimin Temel Bileşeni Ölçme ve Değerlendirme: Nasıl olmalı? Nükhet Demirtaşlı 1 Bu yazıda ülkemizde öğrencinin akademik başarısının değerlendirmesi ile ilgili uygulamalar özellikle orta öğretime geçiş sistemine ilişkili olarak, ölçme ve değerlendirme alanının temel ilkeleri çerçevesinde irdelenecektir. Herkesce bilindiği üzere, bir ülkenin gelişmesindeki en önemli unsur o ülkenin nitelikli eğitim almış insan gücüdür. İnsan gücünün niteliği, o ülkede yürütülen eğitim uygulamalarının, yatırımların ve politikalarının sonucu olarak ya yükselir ya da geriler. Yine herkesce bilinen bir diğer gerçek, nitelikli eğitim almış bireylerden oluşan, eğitim politika ve yatırımlarını rasyonel ve bilimin bulguları ışığında yürüten ülkeler dünyada sözü geçen bir diğer ifadeyle gücü elinde tutan refah ülkeler olmaktadır ve olacaktır. Bu belirlemeyi en yalın bir biçimde Şekil 1 deki gibi şematize edebiliriz. Nitelikli eğitim almış birey Toplumun ve bireyin özelliklerine ve ihtiyaçlarına uygun iş ve meslek tercihleri Gelişmiş ve refah toplum, mutlu bireyler Şekil 1: Bireyden topluma gelişim zinciri Şekilde özetlenen gelişimin başlangıç noktasını teşkil eden bireyin dahil olduğu eğitim sisteminin istenen düzeyde işleyip işlemediği nitelikli ölçme ve değerlendirme işlemleriyle ortaya konabilir. Şekil 2 de eğitim sürecinin temel unsurları ve bunlar arasındaki ilişkiler verilmiştir. 1 Prof.Dr., Ankara Üniversitesi Eğitim Bilimleri Fakültesi Ölçme ve Değerlendirme Bölümü, ndemirtasli@ankara.edu.tr
2 Eğitimöğretim hedefleri Öğrenen birey Eğitimöğretim etkinlikleri Öğrenene verilen dönütler Ölçme ve değerlendirme işlemleri Şekil 2. Eğitim-öğretim döngüsü Şekilden de anlaşılacağı üzere eğitim süreci, her unsurun diğerini etkilediği ve giderek tüm unsurların birbirinden etkilendiği organik bir süreçtir. Bu unsurlardan birinin veya bir ikisinin eksik ve yanlış çalışması döngüdeki diğer unsurların işleyişini etkiler. Bu durumdan en fazla etkilenecek olan sürecin asıl öznesi öğrenen ve onun nitelikleridir. Kuşkusuz süreci etkileyen önemli başka unsurlar da vardır: Eğitime ayrılan bütçe, öğretmen yetiştime stratejileri, eğitim uygulamalarıyla ilgili yasalar, politikalar ve eğitim sisteminin hesap verebilirlik mekanizmaları vb. Ancak bu yazının konusu, bu döngüde gösterilen temel unsurlardan biri olan ölçme ve değerlendirme boyutu ve ortaöğretime geçiş sistemindeki yeri ile sınırlıdır. Peki, nitelikli bir eğitim için nitelikli ölçme ve değerlendirme sistemi hangi özellikleri taşımalıdır? Bu soruya vereceğimiz yanıtları birkaç başlık altında toplayabiliriz. 1) Değerlendirmenin niteliği ölçme işleminin niteliğine bağlıdır: Öğrencilerin akademik gelişimlerinin ölçülmesinde kullanılan araçlar ve yöntemler geçerli ve güvenilir olmalı, bu teknik kanıtlar testin asıl uygulama zamanından önce elde edilmelidir. Ülkemizde geçmişte OKS (Ortaöğretim Kurumlarına Geçiş Sınavı), SBS (Seviye Belirleme Sınavı), şimdi TEOG (Temel Eğitimden Orta Öğretime Geçiş Sınavı) adlarıyla anılan ölçme uygulamaları öğrencinin akademik gelişimini değerlendirmeyi amaçlar gibi görünse de puanları her zaman bazı okullara (Anadolu ve Fen Liseleri) öğrenci seçmede kullanılmıştır. Bu sınavlarda yer alan ve temel ders alanlarındaki (Türkçe, Matematik, Fen ve Teknoloji, Sosyal Bilgiler) öğrenme düzeylerini ölçmede kullanılan testler, yeterince geçerli ve güvenilir olduğuna dair kanıtlar elde edilmeden asıl uygulamalarda kullanılmıştır. Bu yaklaşım halen devam etmektedir. Bunu bir araba fabrikasının ortaya çıkardığı yeni araba modelini deneme sürüşlerini, güvenlik testlerini yeterince yapmadan seri üretime geçirmesine benzetebiliriz. Bu durumda araba piyasaya sürüldüğünde kullanıcılardan şikâyet gelme olasılığı artacaktır. Benzer şekilde, bu sınav uygulamaları sonrasında da, bazı sınav sorularına itirazlar yapılması
3 ve hatta bazı soruların iptal edilmesi ülkemizde sıkça karşılaşılan bir durumdur. Çünkü bu sınavlarda yer alan sorular genellikle yetkin olmayan soru yazarlarınca yazılan, ölçme ve değerlendirme alanından bir grup akademisyenin yargısına dayalı olarak seçilerek asıl uygulamalar alınan sorulardır. Soruların uzman yargısına dayalı olarak değerlendirilmesi soru hazırlama süreci için gerekli ancak yeterli olmayan bir adımdır. Bu işin olması gerekeni, soruların çeşitli yollarla ön denemelerinin yapılması, geçerli ve güvenilir olduğu önceden kanıtlanmış sorularla sınav uygulamalarının gerçekleştirilmesidir. 2) Ölçme aracında kullanılan sorular çeşitli ve kapsamlı olmalıdır: Eğitimde ölçme konusu yaptığımız çoğu özellik gibi (zekâ, ilgi, tutum, kişilik) akademik başarı da doğrudan gözlenemeyen soyut bir özelliktir. Biz bu soyut özellikleri, psikometri biliminin temel ilkelerini ve tekniklerini kullanarak, sistematik olarak bir araya getirdiğimiz uyarıcılara (sorular/maddeler) cevaplayıcıların gösterdiği tepkilere bakarak ölçmeye çalışıyoruz. Bu uyarıcıların öncelikle ölçme amacına (öğrenmeleri teşhis, seçme, sınıflama vb.) hizmet etmesi gerekir. Bunun yanında, soruların çeşitlilik göstermesi, bir diğer ifadeyle testlerde kullanılan soru formatlarının tek tip olmaması, dolaylı olarak gözlediğimiz özelliklerinörneğimizde akademik başarının-, olabildiğince az hatayla, geçerli bir biçimde ölçülmesini sağlar. Bunu, bir dizi yakınmayla hastaneye başvurduğumuzda doktorun bizi dinleyip, muayene ettikten sonra çeşitli testleri ve tetkikleri yapmasına benzetebiliriz. Burada amaç farklı tetkikleri kullanarak, birinin hastalık hakkında vermediği bilgiyi diğerinden almak ve hastalığın teşhisini doğru koymaktır. Zira teşhis doğru olmazsa tedavi de doğru olmayacaktır. Dolayısıyla akademik başarının değerlendirmesinde kullanılan testlerde yer alan soru formatları sadece çoktan seçmeli değil, açık uçlu ve melez format dediğimiz iki-üç formatın özelliklerini içeren biçimde olmalıdır. Ülkemizde ulusal ölçekte uygulanan pek çok sınavda sadece çoktan seçmeli soru formatı kullanılmaktadır. Uzun yıllar süren bu uygulama temel eğitimi ve ortaöğretimi de biçimlendirmiş, daha temel eğitimin ilk yıllarından başlayarak çoktan seçmeli soru formatı ile düşünen öğrenci ve derslerini çoktan seçmeli soru üzerinden işleyen öğretmen profilini yaratmıştır. Oysa dünyada yaygın bir şekilde öğrencilerin akademik başarılarının ve yeterliklerinin izlenmesinde kullanılan testlerde (PISA, TIMSS, NAEP, CITO PMS) çoktan seçmeli soruların yanı sıra açık uçlu soru formatları da kullanılmaktadır. Araştırmalar bu tür karma soru formatlarından oluşan testlerin öğrenmeleri teşhis gücünün sadece çoktan seçmeli maddelerin kullanıldığı duruma göre daha iyi olduğunu göstermektedir ( Ercikan ve diğerleri, 1998; Gültekin ve Demirtaşlı, 2012; Kinsey, 2003; Wainer&Thissen, 1993). Bunun temel nedeni, okul öğrenmelerinin çoktan seçmeli madde yapısı ile ölçülemeyecek karmaşık süreçleri de barındırmasıdır. Bir testteki soruların çeşitliliği yanında bu soruların ölçtüğü düşünme becerilerinin de kapsamlı olması gerekir. Yani, sorular sadece bilgiyi hatırlama gücünü değil, bilgiyi yeni durumlara dayalı olarak yorumlama, yeni durumlarda uygulama, örnek bir durumu verilen ilkelere göre analiz etme gücü gibi üst düzey düşünme becerilerini de yoklamalıdır. Nitelikli olmayan çoktan seçmeli sorular çoğu zaman bilgiyi hatırlama gücünü ölçmenin ötesine geçememektedir. Ulusal sınavlardaki sorular böyle olunca bu sınavlara hazırlık kitaplarında,
4 dershanelerin uyguladığı deneme testlerinde de bunlara benzer, bilimsel ve ölçme tekniği açısından hatalı binlerce soru ortalıkta dolaşmaktadır. Acı olan, onlar için iyisini yaptığımızı düşünerek, çocuklarımızı bu tür sorularla çalışmak zorunda bırakıp, parlak zihinlerini kalıplara sokmamızdır. Bunlar olurken, onları giderek oyundan, spordan, sanattan koparmamızın doğuracağı vahim sonuçları da ayrıca tartışmak gerekir. Anlaşılacağı üzere, aslında sorun sadece çoktan seçmeli soru formatının kullanılması değil, ilk maddede açıklandığı üzere sınavlarda kullandığımız çoktan seçmeli soruların kalitesidir. Kalitesinden emin olmadığımız soruları kullanarak çocuklarımız hakkında önemli kararlar vermeye devam ediyoruz. 3) Değerlendirme sistemi öğrenciye ve paydaşlara kapsamlı geri bildirim (dönüt) vermelidir: Değerlendirme işlemleri öğrencilerin öğrenmelerinin niteliği, zayıf ve güçlü yanları hakkında bilgi vermelidir. Kültürel olarak, ortaya konan bir davranış, bir performans hakkında o performansı gösterene (öğrenci, çalışan vb.) zamanında ve açık geri bildirimde bulunma alışkanlığımız yoktur. Bu durum eğitim uygulamalarına da yansımıştır. Öğrenci sınavda gösterdiği başarısının sonucunu sadece sayısal bir değer olarak öğrenir, cevap kâğıdına bakma şansı çoğu zaman verilmez. Cevap kâğıdında yanıtlarını, öğretmenin bu yanıtlara ilişkin yorum ve önerilerini göremez. Hatta cevap kâğıdını görmek isteyen öğrencinin bu isteği öğretmenin değerlendirmesine güvensizlik olarak algılanır. Oysa bu bile öğrenci için performansının sonucunu bir puan olarak not listesinde görmenin ötesinde öğrenmelerinin durumu hakkında kendisine daha fazla dönüt verecektir. Aşağıdaki tabloda Türkiye nin de 2003 yılından bu yana katıldığı uluslararası nitelikteki PISA uygulamasında Fen okuryazarlığının (2006) ölçüldüğü testten alınabilecek puanların ve bu puanların karşılık geldiği düzeylerde yer alan öğrencilerin sahip olması beklenen düşünme becerileri (yeterlikler) verilmiştir. Tablo: PISA 2006 Fen okuryazarlığı yeterlik düzeyleri ve yeterlik tanımları Düzey 1 (334.9-409.1): Birkaç alışılmış duruma uygulanan sınırlı bilimsel bilgiye sahiptirler. Verilen delillerden doğrudan çıkarılabilecek bilimsel açıklamalar sunabilirler. Düzey 2 (409.51-483.8) : Alışılmış durumlara olası açıklamaları yapabilecekleri, basit araştırmalara dayanan sonuç çıkarabilecekleri bilimsel bilgiye sahiptirler. Teknoloji ile ilgi problem çözme ya da bilimsel sorgulamanın sonuçlarına göre mantıksal çıkarımlar yapabilirler. Düzey 3 (483.8-558.5): Konu kapsamında yer alan tanımlanmış bilimsel sorunları açıkça saptarlar. Olguları açıklamak için bilgi ve gerçekleri seçer basit modeller ve sorgulama stratejileri uygularlar. Bu düzeydeki öğrenciler yorum yapabilir ve farklı disiplinlerden bilimsel kavramları kullanır ve bunları doğrudan uygularlar. Gerçekleri kullanarak kısa ifadeler oluştururlar ve bilimsel bilgiye dayalı kararlar verirler Düzey 4 (558.5-633.1): Fen bilimleri ya da teknolojinin rolü konusunda çıkarımlar yapmayı gerektiren açık olguları içeren durumlarla ve sorunlarla etkin olarak baş edebilirler. Fen bilimlerinin ya da teknolojinin farklı disiplinlerinden açıklamaları seçer, birleştirir ve bu açıklamaları günlük yaşamdaki durumlarla doğrudan ilişkilendirirler
5 Düzey 5 (633.1-707.8): Birçok karmaşık günlük yaşam durumlarının bilimsel bileşenlerini belirleyebilir ve bilimsel kavram ve bilimsel bilgilerini bu durumlarda uygulayabilirler ve günlük yaşam durumlarında uygulamak üzere uygun olan bilimsel delilleri karşılaştırabilir, seçebilir ve uygulayabilirler. Bu düzeydeki öğrenciler iyi gelişmiş sorgulama yeteneklerini kullanabilir ve bilgileri uygun şekilde ilişkilendirebilir ve olaylara eleştirel bakış açısı getirebilirler. Eleştirel analizlerine dayalı savlar ve delillere dayalı açıklamalar oluşturabilirler. Düzey 6 (707.8 ve üzeri) Tutarlı bir şekilde bilimsel bilgiyi ve yöntem bilgisini tanımlayabilir, açıklayabilir ve günlük yaşamdaki karmaşık durumlarda uygulayabilirler. Farklı bilgi kaynakları ve açıklamalar arasında bağlantı kurar ve kararları doğrulamak için bu kaynaklardan kanıtlar kullanırlar. Açıkça ve tutarlı bir şekilde üst düzeyde bilimsel düşünür ve muhakeme yaparlar Ölçme işlemi sonrasında, aldığı puanın yukarıdaki gibi bir çizelgede ne anlama geldiğini gören öğrenci ve öğretmen öğrenmelerin niteliğini iyileştirici uygulamaları daha isabetli olarak yapabileceklerdir. Çünkü bu tür bir değerlendirme öğrencinin bulunduğu düzeyde neleri başarabildiğini, erişemediği düzeyde ise neleri geliştirmesi gerektiğine ilişkin kapsamlı bir dönüt vermektedir. Diğer taraftan ortaöğretime geçişte kullanılan sınavlarda da durum okullarda yapılandan farklı değildir. Öğrenci aldığı puan ile sahip olduğu ve olması gereken öğrenmelerine ilişkin bilgi edinemez. Öğrenci başarısına ilişkin kapsamlı dönütlerin verilmemesi, bu konuda iyileştirici önlemlerin zamanında alınmamasına ve yıllar içinde giderek öğrenmelerin düzeyinin ve niteliğinin düşmesine yol açmaktadır (Berberoğlu, Arıkan, Demirtaşlı, İş Güzel, ve Özgen Tuncer, 2009; İş Güzel, Berberoğlu, Demirtaşlı, Arıkan ve Özgen Tuncer, 2009). Bu durumun yansımalarını, basında, sınavlar sonrasında; sıfır puan alan öğrenciler, üniversite giriş sınavında öğrencilerin ortalama 4-5 matematik ve fen testi sorusunu doğru yanıtlayabildikleri, uluslararası öğrenci yeterliklerinin değerlendirildiği çalışmalarda (PISA, TIMSS) ülkeler arası başarı sıralamasında 50-60 ülke arasında sondan ilk dörde girdiğimiz biçimindeki haberleri duyarak, çarpıcı biçimde öğreniyoruz. 4) Değerlendirme sistemi öğrenmelerin düzeyini yorumlamada mutlak ölçütler kullanmalıdır: Eğitimde ölçme sonuçlarını (gözlem sonuçlarını, puanları) yorumlamada kullandığımız karşılaştırma çerçevesi iki türlü olabilir: Biri ölçmeden ölçmeye ve gruba göre değişen öğrenmeleri esas alan; diğeri de önceden tanımlanmış ve herkesçe (grubun büyük bir kısmı) karşılanması beklenen öğrenmeleri tanımlayan değerlendirme çerçevesidir. Her ülkenin eğitim sistemindeki tüm bireylere kazandırmayı amaçladığı bilgi, beceri ve değerler vardır. Bunlar ülkeler arasında bazı farklılıklar gösterse de artık evrensel olarak tüm ülkelerin genç kuşaklara kazandırmayı amaçladığı temel beceriler aynıdır: 21.yy becerileri. Bu beceriler, kısaca üst düzey bilişsel (problem çözme, eleştirel ve yaratıcı düşünme vb.) ve bilişsel ötesi beceriler (kendini ve yaşadığı dünyayı anlama, çözüm odaklı davranma, girişimci ve araştırıcı olma, öğrenmeyi öğrenme vb.) olarak adlandırılır. Aslında kâğıt üstünde öğretim programlarımıza baktığımızda, farklı dersler aracılığıyla bu becerileri kazandırmayı hedefliyoruz. Dolayısıyla da okulda ve ulusal ölçekte yapılan ölçme uygulamalarında
6 öğrencilerimizin durumunu bu temel beceriler açısından değerlendirmemiz beklenir. Oysa ortaöğretime geçiş sınavlarında öğrenciler hangi yeterliklere göre ölçme yaptığı belli olmayan testlerden aldıkları puanlar bakımından sıralanarak, sıralamaya girenler çeşitli okullara kabul ediliyorlar. Her yıl sıralama değişiyor yani başarılı kabul edilme ölçütü de değişiyor. Ancak sıralamaya girenlerin ve girmeyenlerin temel öğrenmeler bakımından istenen düzeyde olup olmadıklarına dair elde herhangi bir kanıt yok (birinci ve ikinci maddelerde açıklanan sorunlar nedeniyle). Sonuçta, ulusal sistemimizde 3. madde de belirtilen biçimde öğrencinin başarı ölçüsünü karşılaştıran yeterlikler tanımlanmadığı için öğrenmelerin niteliğinden emin olmak mümkün olmamaktadır. Kuşkusuz eğitimde nitelikten bahsedeceksek, değerlendirme ölçütünün sisteme giren bireylerin niteliğine göre değişen değil, sisteme girenlerin erişmesi beklenen ve ders alanlarına göre tanımlanacak temel yeterlikler çerçevesinde belirlenmesi gerekir. 5) Değerlendirmesi sistemi sürece yayılmalıdır: Eğitim ve öğretim süreci devam ederken değerlendirmenin de devamlı ve öğrencinin akademik gelişimi izleyecek ve buna ilişkin kapsamlı dönütler verecek biçimde uygulanması gerekir. Eğitim sistemimizdeki değerlendirme uygulamaları (SBS, TEOG) son yıllarda sürece yayılmış görünmektedir. Yakın zamanda başlayan TEOG sisteminde, her dönem ve temel dersler için yapılacak bir sınav uygulamasının öğretmenin o ders için dönem boyunca yapacağı sınavlardan biri yerine geçeceği açıklanmıştır. Ayrıca bu uygulamanın eğitim sürecinde öğretmenlerin ve okulun rolünü etkin kılacağı belirtilmiştir (http://oges.meb.gov.tr/docs2104/sunum.pdf). Bu uygulama ile amaçlananlar iyi görünse de bu uygulamanın da amacına hizmet etmeyeceğini şimdiden söylemek kehanet olmaz. Hatta amacının tersine TEOG okulun ve öğretmenin rolünü sınırlayacak, konuları sınav zamanına kadar yetiştirmek telaşı öğretmen, öğrenci ve diğer tüm paydaşlar üzerinde bir baskı unsuru olacaktır. Yine zamanla bundan da vazgeçilecektir. Bu ve benzeri uygulamaların başarısını engelleyen unsurlar ilk dört maddede açıklanmıştır. Bu sorunların giderilmediği bir değerlendirme sisteminin başarılı yürütülmesi söz konusu değildir. Sonuç Eğitim sistemimizdeki değerlendirme uygulamaları süreç boyunca öğrenenlerin niteliklerini izlemek ve alınacak önlemlere yol göstermek amacıyla kullanılmalıdır. Ancak uygulamada ulusal ölçme sonuçları bir biçimde orta öğretime geçiş (öğrenci seçme ve sıralama) sistemine bağlanmaktadır. Bu durum geçmişte ve bugün yaşadığımız eğitimdeki nitelik sorunlarını artırmış ve karmaşıklaştırmıştır. Eğitim uygulamalarına ilişkin kararlar, bugünden yarına hemen alınıp, üzerinde ön çalışmalar yapmadan alınabilecek kararlar değildir. Bu tabloyu olumlu yönde değiştirecek yegâne ve temel çözüm, insanımızın eğitimine ilişkin uygulama ve politikaları bilimsel temellere oturtarak, sabırlı bir yaklaşımla sürdürmektir.
7 Kaynaklar Berberoğlu, G., Arıkan, S., Demirtaşlı, N., İş Güzel, Ç. ve Özgen Tuncer, Ç. (2009). İlköğretim 1-5. Sınıflar arasındaki öğretim programlarının kapsam ve öğrenme çıktıları açısından değerlendirilmesi. Cito Eğitim: Kuram ve Uygulama. Ocak-Şubat, Sayı 1, 9-48. Ercikan, K., Schwarz, R.D., Julian, M.W., Burket, G.R., Weber, M.M., Link, V., (1998), Calibration and Scoring of Tests With Multiple-Choice and Constructed-Response Item Types. Journal of Educational Measurement, Vol. 35, No. 2, 137-154. Gültekin, S., Çıkrıkçı Demirtaşlı, N. (2012). Çoktan Seçmeli, açık uçlu ve karma testlerden sağlanan bilginin madde tepki kuramına dayalı olarak karşılaştırılması, İlköğretim Online, 11(1), 251-263. http://ilkogretim-online.org.tr/vol11say1.html İş Güzel,Ç., Berberoğlu, G., Demirtaşlı, N., Arıkan, S. ve Özgen Tuncer, Ç. (2009). Öğretim programlarının öğrenme çıktıları açısından değerlendirilmesi. Cito Eğitim: Kuram ve Uygulama. Kasım-Aralık, Sayı 6, 9-30. Kinsey, T. L. (2003), A Comparison of IRT and rasch procedures in a mixed-item format test. University of North Texas. Doctoral Dissertation. Wainer, H., Thissen, D. (1993), Combining multiple-choice and constructed-response test scores: toward a Marxist theory of test construction. Applied Measurement in Education, 6(2), 103-118.