EĞĐTĐMDE 1 KALĐTE ÖLÇMEYE YÖNELĐK SINAVLAR NE ĐŞE YARAR? NE ZAMAN ĐŞE YARAR? Ebru Erberber 18 Temmuz, Đstanbul
2 Eğitim Sisteminin Đşlerliğini Nasıl Güvence Altına Alıyoruz? (Hesap verme mekanizmaları nelerdir?) Nicelik göstergelerini izliyoruz Ör: Okullaşma ve devamsızlık oranları, okul ve öğretmen sayıları Nitelik göstergelerini izliyoruz Kalite göstergeleri (akademik performans) Çocuklarımızı okula getirdikten sonra onlar için öngörülen (hedeflenen) kazanımları ne derece öğretebiliyoruz? Eşitlik göstergeleri (akademik performansın dağılımı) Her öğrencimize aynı kalitede eğitim sağlıyor muyuz? (Ör: Kız-erkek, kırsal bölge-şehir)
Eğitimin niteliğini izlerken, kalite ve eşitliği izleyemiyoruz 3 Türkiye de 1997-2008 ilköğretimde net okullaşma oranları (Erberber, 2009)
Türkiye için kaliteyi ölçen sınavlar yeni bir kavram değil 4 ÖBBS [Öğrenci Başarısının Belirlenmesi Sınavı] üçer yıllık periyotlarla 1994 ten beri kademeli olarak yapılmaktadır. Dar alanda ve sınırlı sınıf seviyesinde yapılan ilk uygulamalardan sonra geniş katılımlı ilk ÖBBS 2002 yılında yapılmıştır. http://egitek.meb.gov.tr/earged/arasayfa.php?g=77
Kalite ve Eşitliği Đzlemeye Bütüncül Bakış 5 Öğretim programlarında hedeflenen akademik kazanımlar (kazandırılması öngörülen bilgi ve beceriler) Uygulama (Hedeflenen akademik kazanımların öğretilmesi) Edinilen akademik kazanımlar (ölçme ve değerlendirme sistemi)
Ölçme-Değerlendirme Sistemine Bütüncül Bakış 6 sınavlar yarışmalar Uluslararası Ölçme ve Kaliteli eğitimi nasıl tanımlıyoruz? Değerlendirme,, Sistemi Ulusal Ölçme ve Değerlendirme Sistemi sınavlar poster hazırlama sunum yapma model hazırlama resim sergileri konserler Sınıfiçi Ölçme ve Değerlendirme Sistemi Öğrenci odaklı sınavlar Sistem odaklı sınavlar
Öğrenci Sınavları 7 TIMSS (Trends in International Mathematics and Science Study) IEA (International Association for the Evaluation of Educational Achievement) projesi, Boston College-TIMSS & PIRLS International Study Center yürütüyor PIRLS (Progress in International Reading Literacy Study) IEA (International Association for the Evaluation of Educational Achievement) projesi, Boston College-TIMSS & PIRLS International Study Center yürütüyor PISA (Programme for International Student Assessment) OECD (Organisation for Economic Co-operation and Development) projesi, ACER (Australian Council for Educational Research) yürütüyor NAEP (National Assessment of Educational Progress)-ABD nin Ulusal Karnesi US Department of Education, NCES (National Center for Education Statistics) yürütüyor
Đlköğretim ve Ortaöğretimde Sınavlar (Fotoğraf çekme) 8 NE ĐŞE YARAR? (Hangi amaçla/ne için yapılır? Hangi soruları cevaplayabilir?) Kimi ölçüyoruz? Örneklem? Herkes? Ne ölçüyoruz? ĐZLEME (Hangi aralıkla?) Uluslararası Sistem odaklı Ör: TIMSS, PISA, PIRLS Merkezi 1. Uluslararası/ulusal (altgruplar dahil) bilgi-beceri profili nedir (hedeflere ulaşılmış mı)? 2. Yeterlilik düzeylerinin dağılımı TIMSS: 4. ve 8. sınıf PISA: 15 yaş (temsili) örneklem (+ altgrupları temsili örneklem ) TIMSS: mat ve fen (+ anketler) TIMSS: 4 yılda bir Ulusal Sistem odaklı Ör: ÖBBS, NAEP (ABD-Ulusal Karne), Finlandiya örneği, ECLS, HSLS Merkezi 3. Bu profil zaman içinde nasıl değişiyor? 4. Öğrenciler hangi konularda başarılı ya da güçlük çekiyor? 5. Profil-etmen ilişkileri nedir? 6. Araştırmacılara veri sağlar ÖBBS: 4. ve 8. sınıflar NAEP: 4., 8., ve12. sınıflar ÖBBS, NAEP: Örneklem (temsili) ECLS, HSLS: Örneklemdeki aynı öğrencileri izleme NAEP: Okuma ve mat (fen, tarih, vs) NAEP: Okuma, ve mat 2 yılda bir Ulusal Öğrenci odaklı Ör: SBS, ÖSS; Singapur örneği Merkezi Öğrenci seçme (bir üst kademede gidilecek okulu belirleme) Sertifika ya da diploma SBS: 8. sınıflar Her öğrenci (hemen hemen) SBS: Türkçe, mat, fen, sosyal) Her yıl Sınıfiçi Öğrenci odaklı Ör: ünite, dönem sonu, CITO-TR Sınıftan sınıfa değişir Öğrenci hangi konularda başarılı ya da güçlük çekiyor? Sınıfımın bilgi-beceri profili? Her sınıf Her öğrenci (takibi olası) Hemen hemen her ders Hemen hemen sürekli
Ne Đşe Yarar 1: Bilgi-beceri profili 9 Türkiye nin yedi bölgesindeki ortalama TIMSS 2007 Fen Bilgisi skoru (Erberber, 2009)
Ne Đşe Yarar 1: Bilgi-beceri profili (devam) 10 PISA 2009 Ulusal Ön rapor (sayfa 66, MEB, 2010)
Ne Đşe Yarar 2: Yeterlilik düzeylerinde dağılım 11 PISA 2009 Ulusal Ön rapor (MEB, 2010)
12 PISA 2009 PISA 2009 Ulusal Ön rapor (MEB, 2010)
Ne Đşe Yarar 3: Profil zaman içinde nasıl değişiyor? 13 Đdeal olan düzenli aralıklarla izlemek (iki varsayımsal ülke)
Ne Đşe Yarar 4: Başarılı ve güçlük çekilen konular? 14 Türkiye de, TIMSS 2007 Fen Bilgisi ve Matematik Konu Alanları Ortalama Puanları
Ne Đşe Yarar 4: Başarılı ve güçlük çekilen konular? (devam) 15 TIMSS 2003 ten S032714 nolu soru için cevapların analizini yapalım TIMSS 2007 den S042061 nolu soru için cevapların analizini yapalım
Ne Đşe Yarar 5 ve 6: Profil-etmen Đlişkileri üzerine araştırmalar 16 Anne/baba eğitimi Türkiye profili (TIMSS 2007 de 8.sınıfların verdiği cevaplar) Turkey - % of students - Parents' Highest Education Level Do not Know 1% Less than PS 16% Univ. or more 7% Higher than HS but no univ. 3% HS 20% PS 53%
Sınav sonuçları, öğretmen değerlendirme sisteminin bir parçası, bütünü değil 17 Öğretmen değerlendirme sistemin içinde yer alabilecek ölçme araçları: Öğrenci sınavlarının sonuçları Öğretmenin uzman eğiticiler tarafından gözlemlenmesi (sınıf-içi) Öğretmenin kendini değerlendirmesi Öğretmenin çalışma arkadaşları tarafından değerlendirilmesi Öğretmenin öğrencileri tarafından değerlendirilmesi Öğretmen sınavları
Neden Uluslararası Sınavlara Katılmak Yeterli Değil? 18 Neden PISA ulusal kaliteyi ölçmek için tek kaynak olmamalı? PISA nın ölçtüğü hedefler ulusal hedeflerimizle ne derece örtüşüyor? 15 yaş grubu: 7-12 sınıflardan gençleri kapsayabiliyor 15 yas grubundakilerin hepsi okula kayıtlı olmayabilir (Türkiye de PISA 2009da %43) Kaliteyi ölçmek için 15 yaşına kadar beklememeli Sonuçları almak için 3 yıl bekleyecek miyiz? (ulusal test, sonuçları en geç bir yıl içinde verebilir) Neden TIMSS ulusal kaliteyi ölçmek için tek kaynak olmamalı? TIMSS in ölçtüğü hedefler ulusal hedeflerimizle ne derece örtüşüyor? Matematik ve fen bilgisi dışında okuma alanında da kaliteyi ölçmek gerekir. Sonuçları almak için 4 yıl bekleyecek miyiz? (ulusal test, sonuçları en geç bir yıl içinde verebilir) Neden PIRLS kaliteyi ölçmek için tek kaynak olmamalı? PIRLS ün ölçtüğü hedefler ulusal hedeflerimizle ne derece örtüşüyor? Okuma dışında matematik (ve fen bilgisi) alanında da kaliteyi ölçmek gerekir. Sadece 4. sınıfta kaliteyi ölçmek yeterli değildir. Sonuçları almak için 5 yıl bekleyecek miyiz? (ulusal test, sonuçları en geç bir yıl içinde verebilir)
Neden SBS Eğitimde Kaliteyi Đzlemek için Yeterli Değil? 19 Neden SBS (halen uygulamadaki haliyle) kaliteyi ölçmek için tek kaynak olmamalı SBS müfredatın tüm temel ve önemli hedeflerini ölçüyor mu? Açık uçlu sorularla, üst düzey zihinsel becerileri ölçen sorular içeriyor mu? Bilgi-beceriyi mi yoksa test yapma becerisini (ör: stresle başa çıkma) mi ölçüyor? Eğitimin kalitesine etki eden etmenler hakkında veri topluyor mu?
20 Sınavlar Ne zaman Đşe Yara(yabili)r? Ölçme-değerlendirme sistemini tasarlama süreci Ölçme süreci (fotoğraf çekme): Güvenilir yöntemlerle öğrencilerin bilgi-beceri profillerini düzenli aralıklarla izleme. Değerlendirme süreci: Çekilen fotoğrafları yanyana koyma, fotoğrafı yorumlama, sorunlu noktaları saptama, başarıları vurgulama, sorunların ilintili olduğu etmenleri belirleme. Bilgilendirme süreci: Verileri ve çıkarımları kamuoyu ile paylaşma. Karar verme süreci: Fotoğrafı beğenmemişsek hangi önlemler alınacak, hangi politikalar gözden geçirilecek? Varılan çıkarımlar ışığında hangi adımlar atılacak? Kararları uygulama süreci: Uygulama sürecinin takipçisi kim?
Tasarım Süreci 21 Sistem kalitesinin ve eşitliğinin izlenmesi daha büyük bir bütünün (eğitim reformunun/stratejisinin) bir parçası olmalı. Türkiye halen, kalite ve eşitliği önceliklendiren, katılımcı bir süreçte ve veriler temelinde oluşturulmuş bütüncül bir eğitim stratejisine sahip değil. (ERG Đzleme Raporu 2011) Planlama: Direksiyonda kim(ler) olmalı (sorumluluklar tanımlanmış mı)? Yürütme kurulu, uzman kurul(lar)? Güvenli ve geçerli veri üretmek için uygulanması gereken prosedürleri yetkin uzmanlar eşliğinde uygulamak Planları uygulamaya koyacak yeterli insan ve finansal kaynaklarımız var mı?
Bilgilendirme Süreci 22 Etkili biçimde kamuoyuna sınavı tanıtım Öğrencileri NAEP hakkında bilgilendirici video http://nces.ed.gov/nationsreportcard/videos/naepstudent.asp Eğitimciler, medya, ebeveynler, politika belirleyiciler, araştırmacılar, öğrenciler için ayrı ayrı hazırlanmış NAEP hakkında bilgilendirici web sayfaları http://nationsreportcard.gov/educators.asp Etkili biçimde sonuçları kamuoyu ile paylaşım NAEP Fen Bilgisi 2011 sonuçları (paylaşma tarihi Mayıs 2012) http://nces.ed.gov/nationsreportcard/pubs/main2011/2012465.asp NAEP interaktif test sonuçları (video) http://nationsreportcard.gov/webcasts/icthotspresentation/index.asp Verinin kullanımında kolaylık sağlama NAEP Data Explorer http://nces.ed.gov/nationsreportcard/naepdata/
Referanslar 23 Erberber, E (2010). Analyzing Turkey s data from TIMSS 2007 to investigate regional disparities in eighth grade science achievement. In A.W. Wiseman (Ed.), The Impact of International Achievement Studies on National Education Policymaking. International Perspectives on Education and Society,13, (pp. 117 140). Bingley, UK: Emerald Group Publishing. Erberber, E (2009). Analyzing Turkey s data from TIMSS 2007 to investigate regional disparities in eighth grade science achievement. Boston College Dissertations and Theses. EARGED (Eğitimi Araştırma ve Geliştirme Dairesi Başkanlığı) [Educational Research and Development Directorate]. (2010.) PISA 2009: Uluslararası öğrenci değerlendirme programı : Ulusal ön rapor [PISA 2009: Programme for International Student Assessment: National report]. Ankara: EARGED, Ministry of National Education. http://istifhane.files.wordpress.com/2012/02/meb-pisa- 2009-raporu.pdf Martin, M.O., Mullis, I.V.S., & Foy, P. (with Olson, J.F., Erberber, E., Preuschoff, C., & Galia, J.) (2008). TIMSS 2007 international science report: Findings from IEA s Trends in International Mathematics and Science Study at the fourth and eighth grades. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. Mullis, I.V.S., Martin, M.O., & Foy, P. (with Olson, J.F., Preuschoff, C., Erberber, E., Arora, A., & Galia, J. (2008). TIMSS 2007 international mathematics report: Findings from IEA s Trends in International Mathematics and Science Study at the fourth and eighth grades. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.
24 Ek SLAYTLAR
ÖBBS Ortaöğretim ve Web Tabanlı 25 Ortaöğretim ÖBBS Türk Dili ve Edebiyatı, Matematik, Fen Bilimleri, Sosyal Bilimler ve İngilizce disiplin alanında uygulanmıştır. ÖBBS, 7 coğrafi bölgede, 30 ilde, 300 okulda, 9. ve 10. Sınıflardaki 140.000 öğrenciye uygulanmıştır..mayıs ve Haziran aylarında planlanan 2 çalıştay ile çalışmalar Bakanlığımız bünyesinde paylaşılacak, geri dönütler çerçevesinde revizyonu tamamlanacak olan son hali Eylül ve Ekim [2011] aylarında planlanan tanıtım seminerleriyle kamuoyu ile paylaşılacaktır. (25Ocak 2011, http://oop.meb.gov.tr/index.php?option=com_content&view=article&id=76&itemid=195) Web tabanlı ÖBBS: (http://egitek.meb.gov.tr/earged/dosyalar%5cobbs%5cobbs_bulten1.pdf)
Ne işe yarar? 1 26 Şekil 1.2 ve Tablo 1.4, PISA 2009 Ulusal Ön Raporu (EARGED, 2010).