- Performans De erlendirme Sürecine Katk lar Aç s ndan Yeni Program Anlay fl çerisinde Kullan labilecek Bir De erlendirme Yaklafl m : Rubrik Puanlama Yönergeleri Adnan KAN* Özet Rubrik puanlama yönergeleri performansa yönelik birçok duruma ve e itim hedeflerine uygun olarak çok çeflitli flekillerde oluflturulabilece i için son y llarda oldukça popüler olmufllard r. Rubrikler performans kriterlerine iliflkin niteliksel tan mlamalar ve aç klamalar içerdi inden dolay biçimlendirme (formative) ve de er biçmeye (summative) dönük de erlendirme için daha anlaml ve etkili araçlar niteli indedir. Rubrik performans tabanl de erlendirme kapsam nda son y llarda bütün dünyada bir de erlendirme arac olarak kabul görmüfltür. Ülkemizde özellikle performans tabanl de erlendirmeyi esas alan yap land rmac yaklafl m do rultusunda gelifltirilen yeni program anlay fl içinde de erlendirme sürecinde rubriklerin kullan lmas hemen hemen bütün dersler için önerilmektedir. Geçti imiz günlerde MEB taraf ndan ülke baz nda tüm üniversite temsilcilerinin ve ö retmenlerin kat l m yla bilgilendirme amaçl düzenlenen flûradaki de erlendirme bölümünde rubriklerin kullan lmas özellikle dile getirilmifltir. Fakat tüm dünyada son derece popüler olan rubriklerin gelifltirilmesi kolay bir ifl de ildir. Bu konuda özellikle birçok bilim adam çal flmalar yürütmüfltür. Bu çal flma ile (i) Rubrik tan m ndan hareketle onun do as n ve ilkelerini ortaya ç karmak (ii) Rubriklere iliflkin uygulamal tan mlar yapmak (iii) Rubriklerin nitelik ve özelliklerini literatür fl nda tart flmak (iv) Ö renci kazan mlar n de erlendirmeye dönük rubrikleri gelifltirme ve yap land rmay amaçlayan e itim literatürüne katk da bulunmak (v) Rubrik gelifltirmek isteyen araflt rmac ve ö retmenlere tutarl ve baflar l bir rubrik gelifltirmek için yard mc olmak amaçlanm flt r. Çal flman n amaçlar na ulaflmak için öncelikle rubriklerin ne oldu u, türleri ve özellikleri ayd nlat lm fl daha sonra tutarl ve baflar l bir rubrik gelifltirebilmek için aç klay c örnekler ve flablonlarla birlikte uygulamalar, göz önünde tutulmas gereken hususlar ve önerilere yer verilmifltir. Anahtar Kelimeler Rubrik, Analitik Rubrik, Holistik Rubrik. *Yrd. Doç. Dr., Mersin Üniversitesi E itim Fakültesi E itim Bilimleri Bölümü Ö retim Üyesi. Kuram ve Uygulamada E itim Bilimleri / Educational Sciences: Theory & Practice 7 (1) Ocak / January 2007 129-152 2007 E itim Dan flmanl ve Araflt rmalar letiflim Hizmetleri Tic. Ltd. fiti.
Yrd. Doç. Dr. Adnan KAN Mersin Üniversitesi E itim Fakültesi E itim Bilimleri Bölümü Yeniflehir Kampüsü Mersin Elektronik Posta: adnankan@mersin.edu.tr Yay n ve Di er Çal flmalar ndan Seçmeler Kan, A. (2005). Yaz l yoklamalar n puanlanmas nda puanlama cetveli ve yan t anahtar kullan m n n (ayn ) puanlay c güvenirli ine etkisi. E itim Araflt rmalar Dergisi, 20, 166-177. Kan, A. (2005). Yaz l yoklamalar n puanlanmas nda puanlama cetveli ve yan t anahtar kullan m n n (farkl ) puanlay c güvenirli ine etkisi. E itim Araflt rmalar Dergisi, 19, 207-219. Kan, A. (2005). ÖSS ye kaynakl k eden alan derslerindeki baflar ile ÖSS den elde edilen puanlar aras ndaki iliflkinin incelenmesi. E itim ve Bilim Dergisi, 30, 38-44 Kan, A. (2005). Bir ünite program n n de erlendirilmesi. Çukurova Üniversitesi E itim Fakültesi Dergisi, 29, 50-58 Usluo lu, F. & Kan, A. (2005, Eylül). Göçmenlere iliflkin tutum ölçe i gelifltirilmesi ve tutumun çeflitli de iflkenler aç s ndan incelenmesi. X. Ulusal Psikoloji Kongresinde sunulan bildiri. Mersin Üniversitesi. Kan, A. (2004). Ö retmen portfolyolar. Çukurova Üniversitesi E itim Fakültesi Dergisi, 27, 42-45. Kan, A. (2004). ÖSS nin s n flama- geçerli i üzerine bir çal flma. nönü Üniversitesi E itim Fakültesi Dergisi, 8, 51-60.
Performans De erlendirme Sürecine Katk lar Aç s ndan Yeni Program Anlay fl çerisinde Kullan labilecek Bir De erlendirme Yaklafl m : Rubrik Puanlama Yönergeleri Adnan KAN* Performans tabanl de erlendirmenin bir arac olarak rubrikler son y llarda Avrupa, Amerika ve Kanada da okul öncesi e itim kurumlar ndan üniversitelere kadar bütün e itim kademelerinde akademik performansa dönük ö renci kazan mlar n de erlendirmek için ö retmenler taraf ndan kullan lmaktad r. Ülkemizde henüz kullan m yayg nlaflmam fl olsa da özellikle son y llarda, yeniden yap land r lan program anlay fl içerisinde ad ndan s kça bahsedilen ve önerilen bir yöntem olmufltur. Rubrikler performansa dönük birçok duruma ve e itim hedeflerine uygun olarak çok çeflitli flekillerde oluflturulabilece i ya da kolayca adapte edilebilece i için son y llarda oldukça popüler olmufllard r. Rubrikler performans kriterlerine iliflkin niteliksel tan mlamalar ve aç klamalar içerdi inden dolay biçimlendirme (formative) ve de er biçmeye (summative) dönük de- erlendirme için daha anlaml ve etkili araçlar niteli indedir. Bu sebeple rubrikler yap land r lm fl performans görevlerine ait performans kriterlerine iliflkin ö rencilerin çabas n, bilgi ve becerisini, çal flma al flkanl klar n ve de erlerini yans tan durumlarda de erlendirme ve ö renmeye destek olan son derece yararl ve pratik araçlard r (Brualdi 1998; Wiggins 1989). Son y llarda birçok araflt rmac rubriklerin ö renme ve de erlendirmeye olan katk lar n ve yararlar n rapor etmifllerdir. 1990 l y llardan günümüze kadar birçok e itim araflt rmac s gerek tan mlayarak dizayn ederek örnekleyerek gerekse yap sal özelliklerini ve do ru-yanl fllar n tart flarak rubrikleri aç klamaya ve gelifltirmeye çal flm fllard r. (Airasian, 1991, 2000, 2001; Fisher, 2005; Gronlund, 1998; Goodrich, 2000; Mertler, 2001; Moskal, 2000, 2003; Nitko, 2001; Popham, 1997; Simon, &
132 KURAM VE UYGULAMADA E T M B L MLER Giroux, 2001; Tierney, & Simon 2004) Özellikle 2000 li y llarda daha fazla verim alabilmek için rubriklerin yap land r lmas ve niteliklerinin gelifltirilmesi üzerine büyük çabalar harcanm flt r. Fisher, (2005); Moskal, (2003); Popham (1997, 1999); Simon ve Giroux, (2001); Tierney ve Simon (2004) gibi birçok araflt rmac bu konuda çal flmalar yürütmüfltür. Örne in ilk olarak Popham (1997) What s wrong and what s right with rubrics isimli makalesinde yap sal hatalar yüzünden yararl olmayan ve kolayca ulafl labilecek rubriklere dikkat çekmifl ve bu konuda rubriklerin niteliklerini gelifltirmek üzere tart flma bafllatm flt r. Popham dan sonra yukar da bahsedilen birçok araflt rmac da bu tart flmaya var olan rubrikleri inceleyerek ve hatalar n belli aç lardan tart flarak devam etmifllerdir. Tierney ve Simon (2004) 1997 y l ndan 2004 y l na kadar aradan geçen zamana ra men internet ortam nda ve bas lm fl olarak kolayca ulafl labilecek birçok rubri in ölçek düzeyleri ve onlara karfl l k gelen performans kriterlerine iliflkin tan mlar n tutars zl ndan dolay yap sal olarak hatal oldu unu belirtmifllerdir. Bu durum göstermektedir ki rubriklerin sürekli incelenmesi, niteliklerinin gelifltirilmesi için çal flmalar yap lmas gerekmektedir. Bu çal flma ile e itim literatüründe yer alan rubriklerle iliflkili prensipler, temel ilkeler, kurallar, aç klamalar, tan mlar, yap s na iliflkin elefltiriler, tart flmalar ve çal flmalar incelenerek baflar l bir rubri in oluflturulmas na katk da bulunmak hedeflenmifltir. Çal flman n amaçlar afla daki gibi özetlenebilir. (i) Rubriklerin tan m ndan hareketle onun do as n ve ilkelerini ortaya ç karmak (ii) Rubriklere iliflkin uygulamal tan mlar yapmak (iii) Rubriklerin nitelik ve özelliklerini literatür fl nda tart flmak (iv) Ö renci kazan mlar n de erlendirmeye dönük rubrikler gelifltirme ve yap land rmay amaçlayan e itim literatürüne katk da bulunmak (v) Rubrik gelifltirmek isteyen araflt rmac ve ö retmenlere tutarl ve baflar l bir rubrik gelifltirmek için yard mc olmakt r. Bu amaçlara ulaflabilmek için öncelikle 1990-2005 y llar aras ndaki e itim literatürü incelenerek rubriklerin do as, tan mlar, yap s, ilkeleri, bileflenleri, türleri ve yap sal özelliklerine iliflkin literatüre dayal aç klamalar yap lm flt r. Daha sonra etkili ve tutarl bir rubrik gelifltirmek isteyen araflt rmac, ö renci ve ö retmenlere yard mc olabilmek için literatür fl nda rubrik gelifltirmeye iliflkin ad mlar tan mlanmaya çal fl lm fl ve buna uygun olarak haz rlanm fl rubrik örnekleri verilmifltir.
KAN / Performans De erlendirme Sürecine Katk lar Aç s ndan Yeni Program Anlay fl... 133 Rubrik Nedir? (Tan m ve Do as ) Performans tabanl de erlendirmenin en popüler araçlar ndan birisi olan rubrikler 1990 dan günümüze kadar birçok araflt rmac taraf ndan tan mlanm flt r. (Örne in; Airasian, 1991; Brookhart, 1999; Simon, & Giroux, 2001; Gronlund, 1998; Mertler, 2001; Moskal, 2000; Nitko, 2001; Popham, 1995; Stiggins, 1994; Tierney, & Simon, 2004). Tüm bu araflt rmac lar n tan mlar ndan yola ç karak Rubrik; yap land r lm fl performans görevleri üzerinde de iflik düzeylerde performansa ait karakteristik özellikleri ve kriterleri tan mlayan ve bu özellik ve kriterler do rultusunda performansa ya da ürüne iliflkin yarg ya varmada kullan lan puanlama rehberi olarak tan mlanabilir. Akademik becerilerin puanlanmas ve de erlendirilmesi için kullan lan rubrikler do as itibar yla nitel ve tan lay c d r (betimsel). Daha çok kavram, ilke ve genellemeleri sentezleme ve yeni durumlara uygulayabilme, elefltirebilme, de erlendirme, sonuç ç karma gibi üst düzey ve de erli akademik becerilerin de erlendirilmesine hizmet eder. Rubrikler genellikle yatay ve dikey eksene dayal tablolar fleklinde düzenlenir. Dikey eksende genellikle performans kriterleri, yatay eksende ise en alt düzeyden en üst düzeye do ru gittikçe artan performans düzeyleri vard r. Yatay ve dikey eksenlerin kesiflti i noktada performans kriterine ait performans düzeyine iliflkin performans tan mlar bulunur. Yatay ve dikey eksenler bir arada kullan ld nda her bir kriter aç s ndan yap lm fl çeflitli düzeylerde performans tan mlar ve onlar n puan de erleri yer al r (Simon, & Giroux, 2001). Tipik bir rubrik afla daki ögeleri içerir. Performans Kriterleri: Performans kriterleri ö retime ya da de erlendirmeye konu olan performans n ya da ürünün karakteristik özelliklerini ve boyutlar n tan mlar (Tierney, & Simon, 2004). Performans kriterleri performans görevine iliflkin performans ortaya koyarken ö rencide gözlenmek istenen kritik davran fllar ifade eder. Bunlar ayn zamanda performans n bileflenleridir. Performans kriterleri ölçme ve de erlendirme amac na hizmet eden baflar l ve tutarl bir rubrik haz rlayabilmek için son derece önemli ögedir. Performans kriterleri performansa iliflkin bileflenlerin neler oldu unun görülmesini sa lar ve ö retmene ve ö renene de erlendirmenin hangi boyutlarda yap laca n ve de iflik yönlerini çeflitli performans düzeylerinde görmelerine olanak sa lar (Goodrich, 2000; Ker-
134 KURAM VE UYGULAMADA E T M B L MLER rins, & Cushing, 1996; Tierney, & Simon 2004). Tutarl (consistent) ve baflar l (succesful) bir rubrik haz rlayabilmek için performans kriterleri; (i) Gözlenebilir ve ölçülebilir olarak ifade edilmelidir. (ii) Olabildi ince az sözcükle aç k ve etkili bir flekilde ifade edilmelidir. (iii) Ö rencilerin anlayabilece i tarzda aç k seçik ve anlafl l r bir dille ifade edilmeli, belirsizlik tafl mamal d r. (iv) Performansa iliflkin kriter say s çok fazla olmamal d r (3-6 aras olmas önerilebilir). Performans Düzeyleri: Rubriklerin, performans görevini ya da performans oluflturan kriterlerin ö renciler taraf ndan ne derece karfl - land n gösteren ögesidir. Performans düzeyleri genellikle say larla (nicel) veya kelime ya da s fatlarla (nitel) veya nitel ve nicel ifadeler bir arada kullan larak kategorik bir flekilde belirlenir (Simon, & Giroux, 2001). Kategori say s na iliflkin belirli bir s n rlamaya literatürde rastlanmam flt r ancak puanlaman n özellikle zaman ve emek aç s ndan ekonomik olmas için 3-5 düzey aras nda belirlenmesi uygun olabilir. Bu düzenleme içinde düflük e itim kademelerinde performans düzeyinin daha kolay anlafl lmas için ve ö rencilerin yafllar göz önüne al nd nda 3 düzey, daha üst e itim kademelerine ç k ld kça düzey say s n n art r lmas önerilebilir. Rubriklerin en önemli faydalar ndan birisi performans görevine iliflkin daha önceden belirlenmifl performans kriterlerini ö rencilerin ne derece karfl lad klar n belirlemektir. Her bir kritere iliflkin performans düzeylerini aç kça oluflturabilme, performansa iliflkin karar verme, ö renme eksikliklerini teflhis etme, ö renilenleri pekifltirme ve ö renilmeyen noktalar tespit etme ve düzeltme yapmak için yard mc olabilir (Fisher, 2005). Rubriklerden bu fayday sa layabilmek için performans düzeyleri birbirinden ay rt edilebilecek düzeyde aç k ve anlafl l r bir dille ifade edilmelidir (Moskal, 2003). Hedeflere dayal performans düzeyleri deneysel ve sa lam zemine infla edilmezse ölçek düzeylerine iliflkin ifadeler keyfi olur. Bu durum da ölçe in tutarl l n etkiler. Rubrik gelifltirme çal flmalar na ilk baflland nda ö renci çal flmalar na ait örneklerin olmamas sebebiyle ölçek düzeylerinin belirlenmesi zor ve karmafl k bir ifllem hâlini al r. Baz e itimciler ölçe e ait performans düzeylerini ve performans kriterlerini internetten veya baflka kaynaklardan oldu- u gibi almaktad r. Böyle bir yaklafl m n sak ncas s n f içi deneyimlere dayanmad ndan ö renciler de erlendirme için hangi para-
KAN / Performans De erlendirme Sürecine Katk lar Aç s ndan Yeni Program Anlay fl... 135 metrelerinin kullan laca n n, önceli in ne oldu unun fark na varamazlar. Ölçek ve ö renci yaflant lar aras nda uyuflmazl k do mas - na sebep olur. Bu nedenle ölçek düzeyleri ve kriterler belirlenirken ö rencilerin yaflant lar, ö renci tecrübelerine ve daha önceki dönemdeki ö renci çal flmalar na baflvurulmal d r (Simon, & Giroux, 2001). Performans Düzeylerine liflkin Tan mlar (Performans Tan mlar ): Performans kriterlerine ve düzeylerine iliflkin gözlenebilir özellikleri içeren ifadelerdir. Tan mlar her bir performans düzeyine ve kritere ba l olarak ayr ayr düzenlenir. Performans tan mlar yap lmadan önce performans görevine iliflkin gözlenebilir özelliklerin ve bu özelliklere ait göstergelerin listelenmesi, hem performans kriterlerinin belirlenmesinde hem de performans tan mlar n n yap lmas nda kolayl k sa lar. Özelliklere ait göstergeler her bir kriterin karfl - lanmas için ö renciden ne beklendi ine iliflkin detayl bilgi sa lar ve spesifik olarak performans düzeylerinin s n rlar n belirler. (Airasian, 1991, 2001). Ö rencilerin performanslar na ya da belli bir performans görevine iliflkin bitirilen bir ürünün nitelik ve özelliklerinin çeflitli yetkinlik düzeylerinde neler oldu una iliflkin anlay fl gelifltirebilmek için performansa iliflkin göstergeler ve bu göstergelere dayal tan mlar aç k, anlafl l r bir dille ifade edilmelidir ve do ru olmal d r. Performansa iliflkin göstergeler ve bu göstergelere dayal tan mlar ifade edilirken biraz, az, çok az gibi belirsiz ve mu lak ifadelerden kaç n lmal d r (Fischer, 2005; Moskal, 2003). Rubriklere iliflkin ölçe in bütün durumlarda kullan labilir olabilmesi için her bir performans düzeyine iliflkin tan mlar n detayl ve performans düzeyini temsil edici flekilde belirlenmesi gereklidir. Bu tan mlar n oluflturulmas nda daima bir risk vard r. Bu risk, e er performans düzeylerine iliflkin tan mlar çok genel ve anlafl lmaz olursa mu lak ifadeler ve aç klamalar içerirse bu durum ölçekten elde edilecek verilerin tutars z olmas na ve puanlay c lar taraf ndan farkl yorumlanmas na sebep olur. Bu da ölçe in kullan fll l n ve güvenirli ini etkiler (Moskal 2003; Popham, 1999; Simon, & Giroux, 2001). Tierney ve Simon (2004) çal flmalar nda ayr ca kolayca çeflitli kaynaklardan ulafl labilecek rubriklerin ço unun özellikle düflük performans düzeylerine iliflkin tan mlar n n negatif ifadeler içerdiklerini bunun da özellikle küçük yafl grubundaki ö renciler üzerinde olumsuz etkiye sahip oldu unu ve olumsuz mesajlar ver-
136 KURAM VE UYGULAMADA E T M B L MLER di ini ifade etmifllerdir. Bu sebeple de performans düzeylerine iliflkin tan mlamalar yap l rken olumsuz ifadelerden kaç n lmas gerekti ini belirtmifllerdir. Tierney ve Simon (2004) rubrik gelifltirirken düflülen hatalardan bir di erinin ölçek düzeyleri ve onlara karfl l k gelen performans kriterlerine iliflkin tan mlar n tutars zl oldu unu ve bu sebeple birçok rubri in yap sal olarak hatal oldu unu belirtmifllerdir. Performans n Do as ve Rubrik Türleri Rubrikler ö rencilerin çal flmalar n ve buna dayal performanslar n de erlendirebilmek için kullan labilecek birçok alternatif yöntemden sadece birisidir. Örne in kontrol listeleri de rubrik puanlama yönergelerinin yerine kullan labilecek yaklafl mlardan birisidir. Kontrol listeleri sadece performansa iliflkin belirli ölçütlerin karfl lan p karfl lanmad gibi s n rl olan durumlarda de erlendirme için uygun bir seçimdir. Her bir kriterin ne derece karfl land n görmeye olanak sa lamaz. Rubrikler ise performans tan mlayan her bir kriterin ne derece karfl land n gösteren genifl bir de erlendirme ölçe ine (large scale assessment) sahiptirler (Moskal, 2000). Belirli bir yaklafl mla alt becerilerin say sal olarak a rl kland r lmas ya da puanlanmas da performansa ait kriterlerin karfl lan p karfl lanmad - n belirlemeye dönük bir di er yaklafl md r. Bununla birlikte say - sal de erler ö renciye her bir kritere iliflkin performans n nas l gelifltirece i konusunda bir fikir vermez. Örne in 100 üzerinden 60 alan bir ö renci ölçmeye konu olan performansa iliflkin eksiklerinin neler oldu unu tam olarak anlayamaz ve performans n di er de erlendirmeye kadar nas l gelifltirece ini belirleyemez. Rubrikler her bir performans düzeyine ve kriterine iliflkin ö renciden ne istendi- ini ya da beklendi ini gösteren tan mlama ya da aç klamalar sa lamak suretiyle bu sorunu giderir. Çeflitli düzeylerde performansa ait bu tan mlamalar ö rencilerin nerede, ne kadar hata yapt klar n görmelerine ve bu hatalar ndan ne kadar puan kaybettiklerini anlamalar na yard mc olur. Bu durum, onlar n ölçme ve de erlendirme sonucunda ald klar puan veya notlar anlamland rmalar n sa lar. Bunun d fl nda performanslar n gelifltirmek için neye ihtiyaçlar oldu- unu görmelerine yard mc olur (Kerrins, & Cushing, 1996; Moskal, 2000). Rubrikler de erlendirme sürecine en az iki aç dan katk da bulunur.
KAN / Performans De erlendirme Sürecine Katk lar Aç s ndan Yeni Program Anlay fl... 137 (i) Belirlenmifl performans kriterlerine ne derece ulafl ld n belirlemek suretiyle s nama durumlar n destekler. (ii) Ö rencilere performanslar n istenen düzeye ç karabilmeleri ve gelifltirebilmeleri konusunda geri bildirim sa lar (Kerrins, & Cushing, 1996; Moskal, 2000). Holistik ve analitik olmak üzere iki tür rubrik vard r. (Holistik rubri e iliflkin bir örnek Ek 1 de, analitik rubri e iliflkin bir örnek Ek 2 de verilmifltir). Holistik rubrik, ürünün, sürecin ya da performans n bileflenlerini veya parçalar n yarg lamaks z n ürünü veyahut süreci bir bütün olarak puanlamay gerektirir (Mertler, 2001; Moskal, 2000; Nitko, 2001). Holistik rubrikler ortaya ç kan ürün ya da performans n mükemmel olmas durumunda bu performans ortaya ç - karan baz süreç ya da ifllem basamaklar ndaki hatalar n göz ard edilebilece i ya da tolore edilebilece i durumlarda kullan labilir (Mertler, 2001). Ölçülecek performans parçalara ayr flt r lam yorsa di er bir deyiflle performansa ait kriterler aras nda binifliklik varsa de erlendirmeyi birbirinden ba ms z faktörler üzerinde yapmak mümkün olmayabilir. Bu durumda puanlamada holistik bir yaklafl m tercih edilebilir (Moskal, 2000). Holistik rubrik kullanmak suretiyle bütün faktörler farkl tan lay c ölçeklerle de il tek bir tan - lay c ölçek arac l yla puanlan r (Brookhart, 1999). Nitko (2001), ayr ca performans görevi ö renciden kendi düflünme tarz n, ö renme stilini tafl yan bir cevap ya da çözüm oluflturmas n istiyorsa kesin ve belirli, tan mlanm fl bir do ru cevap ya da çözüm yoksa de- erlendirme için holistik rubri in kullan lmas n n daha uygun olabilece ini belirtmifltir. Holistik rubrik kullan larak belirlenen puanlar belirli bir kapsamdaki beceri ya da yetene e ait anlay fla (understanding) ve uzmanl a (proficiency) iliflkin bütüncül de erlendirmeyi ifade ederler. Bu durumda de erlendirme tek boyutlu ve ürüne dönük olarak yap lm flt r (Mertler, 2001). Puanlamada holistik rubrik kullan lmas puanlama ifllemini h zland r r (Nitko, 2001). Holistik rubrikler anlafl lmas daha kolay ve pratik olduklar için düflük e itim kademelerinde daha kullan fll d rlar. Mertler (2001), ö retmenlerin holistik rubrik kullanmay tercih etmelerinin sebebinin daha h zl puanlamaya olanak sa lamas ve ö retmenlerin ö renci ürünlerini ya da performans her bir kriter aç s ndan ayr ayr incelemekten kaç nmalar oldu unu belirtmifltir. (Holistik rubri e iliflki flablon fiekil 1 de verilmifltir.)
138 KURAM VE UYGULAMADA E T M B L MLER PERFORMANS DÜZEY 5 (Mükemmel) 4 (Baflar l ) 3 (Geliflmekte) 2 (Bafllang ç) 1 (Baflar s z) 0 (Yetersiz) PERFORMANS TANIMLARI Problemin tamamen anlafl ld n gösterir. Cevaplar ya da ürün performans görevine iliflkin bütün gerekleri içermektedir. Problemin önemli ölçüde anlafl ld n gösterir. Cevaplar ya da ürün performans görevine iliflkin gerekleri içermektedir. Problemin k smen anlafl ld n gösterir. Cevaplar ya da ürün performans görevine iliflkin ço u gere i karfl lamaktad r. Problemin çok az anlafl ld n gösterir. Cevaplar ya da ürün performans görevine iliflkin ço u gere i karfl lamaktan yoksundur. Problemin tamam yla anlafl lmad n gösterir. Cevap ya da çözüm yok/performans görevi yap lmam fl. fiekil 1: Holistik Rubri e liflkin fiablon Performans görevi belirli ya da kabul edilebilir bir veya birkaç cevab gerektirebilir ve yarat c l k ö renci cevaplar nda veyahut performans nda bulunmas gereken ya da aranan bir özellik olmayabilir. Bu durumda analitik rubrik, kullan labilir (Mertler, 2001). Analitik rubrik ürünü, süreci ya da performans oluflturan parçalar n (bileflenlerin) ayr ayr belirlenen kriterlerin do rultusunda birbirinden ba- ms z olarak puanlanmas n gerektirir (Mertler, 2001; Moskal, 2000; Nitko, 2001). Örne in bir kompozisyon s nav de erlendirilirken gramer ve yaz m kurallar na uyulup uyulmad ve kompozisyon konusuna iliflkin ikna edici bir tart flma ya da dilin kullan l p kullan lmad gibi iki faktör (kriter) göz önünde tutulabilir. Analitik rubrik bu iki faktörün birbirinden ba ms z ve birbirini etkilemeden ayr ayr de erlendirilmesine olanak sa lar (Moskal, 2000). Her bir kriter farkl tan lay c (descriptive) ölçekler arac l yla ayr ayr puanlanabilir (Brookhart, 1999). Analitik rubrikten elde edilen sonuçlar genellikle her biri bir performans kriterine ait birkaç puan içerir. Daha sonra bu puanlar toplanarak bireylere ait toplam puanlar belirlenir. De erlendirme iflleminde analitik rubri in kullan lmas de erlendirmenin çok boyutlu yap ld n gösterir (Mertler, 2001). Her bir özelli in ya da de iflik birkaç beceriye ait kriterlerin de erlendirilmesi ö retmenin ürünü ya da ortaya ç kan performans birkaç defa her bir kriter aç s ndan incelemesini gerektirir. Bu sebeple puanlama için analitik rubri in kullan lmas puanlama sürecini yavafllat r. Analitik rubri in kullan lmas ve haz rlanmas zaman
KAN / Performans De erlendirme Sürecine Katk lar Aç s ndan Yeni Program Anlay fl... 139 al c ve zordur. Fakat analitik rubrik kullanman n çok önemli avantajlar vard r. Analitik rubrikler ö renciye ve ö retmene performans görevine iliflkin performans hakk nda daha anlaml dönütler sa lar. Ö renciler her bir puanlama kriterine iliflkin kendi performans hakk nda spesifik dönütler al rlar (Nitko, 2001). E er ö renci ürünleri veya performans istenilen niteli i karfl lam yorsa bunun neden kaynakland hakk nda daha çok ve ayr nt l bilgi verir. Yani ö renme eksikli i ve güçlü ü çekilen konu ya da konular belirlemek için daha kullan fll d r. Bunun bir sonucu olarak analitik rubrikler arac - l yla ö rencilerin güçlü ve zay f yönlerine iliflkin profil ç karmak mümkün olur (Kerrins, & Cushing 1996; Mertler, 2001; Moskal, 2000; Nitko, 2001). (Analitik rubri e iliflkin flablon fiekil 2 de verilmifltir). Puanlama ifllemi için analitik rubrik kullanmak holistik faktörün kullan lmayaca ya da elimine edilece i anlam na gelmez. Holistik yaklafl m analitik rubri in içinde puanlama kategorilerinden birisi olarak yap land r labilir (Moskal, 2000). KR TER LER ÖLÇÜT 1 ÖLÇÜT 2 PERFORMANS DÜZEYLER BAfiLANGIÇ GEL fimekte BAfiARILI MÜKEMMEL Probleme iliflkin tan mlama ve aç klamalar bafllang ç düzeyinde bir performans yans - t yor. Oldukça yetersiz. Probleme iliflkin tan mlama ve aç klamalar bafllang ç düzeyinde bir performans yans - t yor. Oldukça yetersiz. Probleme iliflkin tan mlama ve aç klamalar, problemi çözmeye iliflkin çaba ve giriflimi yans t yor. Fakat önemli hatalar var Probleme iliflkin tan mlama ve aç klamalar, problemi çözmeye iliflkin çaba ve giriflimi yans t yor. Fakat önemli hatalar var Probleme iliflkin tan mlama ve aç klamalar, baflar l düzeyde bir performans yans t - yor. Göz ard edilebilecek hatalar var. Probleme iliflkin tan mlama ve aç klamalar, baflar l düzeyde performans yans t yor. Göz ard edilebilecek hatalar var. Probleme iliflkin tan mlama ve aç klamalar üst düzeyde performans yans t yor. Hata yok. Probleme iliflkin tan mlama ve aç klamalar üst düzeyde performans yans t yor. fiekil 2: Analitik Rubri e liflkin fiablon Rubrik Haz rlarken izlenmesi gereken Basamaklar Birçok e itim araflt rmac s rubrik haz rlamay kolaylaflt rmak için izlenmesi gereken basamaklar, araflt rmalar do rultusunda belirlemifllerdir. Örne in Popham a (1997) göre rubrik haz rlamak için ön-
140 KURAM VE UYGULAMADA E T M B L MLER celikle (i) De erlendirmeye taban sa layacak performansa iliflkin ölçütler belirlenmelidir. Bu, de erlendirmeye dayanak sa layacak kabul edilebilir yan tlar kabul edilemez yan tlardan ay rmay sa layacakt r. (ii) Performans kriterlerinin tan mlamalar, performans düzeylerine göre yap lmal d r. Bu, de erlendirmeye esas olan ölçülerin s n rlar n ve kapsam n belirler. (iii) Puanlama stratejisi belirlenmelidir. Bu da puanlaman n nas l yap laca n belirlemeyi içerir. (Sürece dönük analitik mi? Yoksa ürüne dönük holistik mi?) (Popham 1997). Bu konuda önemli çal flmalar yapan bir baflka e itim araflt rmac s Goodrich (2001) ise rubrik oluflturmak için izlenmesi gereken basamaklar ; (i) Performans de erlendirmeye temel teflkil edecek ölçüt tak mlar n n belirlenmesi (ii) Kullan lacak rubri in türünün belirlenmesi (iii) Performans düzeylerinin belirlenmesi (iv) Haz rlanan rubri e iliflkin uzman görüfllerinin al nmas olarak belirtmifltir. Bunlar d fl nda birçok e itim araflt rmac s da rubrik haz rlarken izlenmesi gereken basamaklar kendi çal flmalar ve bulgular do rultusunda belirlemifllerdir. Bu çal flmada rubrik haz rlarken izlenmesi gereken ifllem basamaklar bu konuda çal flma yapm fl birçok e itim araflt rmac s n n bulgular na dayan larak öneri niteli inde afla daki gibi haz rlanm flt r (Airasian, 2000, 2001; Goodrich, 2001; Mertler, 2001; Nitko, 2001; Popham, 1997). 1. Rubrik oluflturmak için ö retmen öncelikle ölçülecek de iflkenin ya da performans n do as n göz önünde tutarak performans ya da ürünü analitik yaklafl mla m yoksa holistik yaklafl mla m puanlayaca na karar vermelidir. (Airasian, 1991, 2000, 2001). 2.Performans kriterleri ve her bir kritere iliflkin performans n gözlenebilir özellikleri uygun ve aç k bir dille tan mlanmal d r. Airasian (1991) performans kriterlerini belirlemek için flu basamaklar n izlenmesini önermifltir: (i) De erlendirilecek performans ya da görev tamam yla tan mlan r ve öncelikle ö retmen taraf ndan yerine getirilerek ifllem basamaklar belirlenir. (ii) Ortaya ç kan performans ya da ürünün önemli yönleri belirlenir. (iii) Performans ölçütleri ekonomik bir flekilde s n fland r lmaya çal fl l r. (iv) E er olanakl ysa hedeflere (performans görevi) iliflkin gözlenebilir önemli davran fllara karar vermek için bir grup ö retmenle (zümre) çal fl l r. (v) Performans ölçütleri, ürünün karakteristik özellikleri veya gözlenebilir ö renci davran fllar fleklinde ifade edilir. (vi) Performans kriterlerinin anlam n gölgeleyecek belirsiz, aç k olmayan
KAN / Performans De erlendirme Sürecine Katk lar Aç s ndan Yeni Program Anlay fl... 141 ifade veya kelimeler kullanmamaya özen gösterilir. (vii) Performans kriterleri gözlenebilir olarak düzenlenir. 3. Performans düzeylerinin belirlenmesi ve her bir performans düzeyine iliflkin karakteristik özelliklerin belirlenmesi. 4-A) Analitik rubrik haz rlamak için her bir performans kriterine karfl l k gelen performans düzeylerine iliflkin tan mlar n yap lmas : Bu her bir performans düzeyi ve her bir performans kriterine iliflkin gözlenebilir özelliklerin efllefltirilmesini gerektirir. Her bir performans kriterine ait en mükemmel performans düzeyinden en düflük performans düzeyine iliflkin tan mlar n daha önceden listelenen gözlenebilir özelliklere dayal olarak yap lmas n içerir. (Analitik rubri e iliflkin bir örnek Ek 2 de verilmifltir.) 4-B) Holistik rubrik haz rlamak için performansa iliflkin bütün gözlenebilir özellikleri içinde bar nd ran çeflitli performans düzeylerinde tan mlar n yap lmas. (Holistik rubri e iliflkin bir örnek Ek 1 de verilmifltir.) 5) Rubri in tekrar gözden geçirilmesi ve uzman görüfllerinin al nmas. 6) Daha ileride gerek rubri in gözden geçirilmesi, gerekse yeniden yap land r lmas konusunda rehber olacak ö renci çal flmalar n n toplanmas. Rubriklerin Puanlanmas : Do as itibar yla betimsel (tan lay c ) olan rubrikler, ö renci ve velilerin not beklentisi, ö rencilerin performans ve baflar aç s ndan durumlar n anlayabilmek ve baz resmi gerekçeler sebebiyle elde edilen performansa dönük sonuçlar not olarak ifade edilmek zorundad r. Simon ve Giroux (2001) performansa iliflkin say lar tayin etmek suretiyle rubriklerin, (beceri ve yetkinli in bir göstergesi olan) ölçülmek istenen performans n düzeyi ve kalitesi hakk nda bilgi verme gücünü kaybetti ini belirtmifllerdir. Bu sebeple de erlendirme sonuçlar hakk nda ö rencilerle iletiflime geçildi inde öncelikle tan mlay c (descriptive) ifadeler tercih edilmelidir. Fakat dersin sonunda resmi ifllemler ve yukar da belirtilen sebeplerden dolay de erlendirme sonuçlar nota dönüfltürülmeli ya da not fleklinde ifade edilmelidir. Simon ve Giroux (2001) Ölçek düzeylerinin not fleklinde ifade edilmesine dönük olarak en basit flekliyle her bir performans düzeyinin bir harf ya da say tayin etmek suretiyle nota çevrilmesini önermifltir. Bu du-
142 KURAM VE UYGULAMADA E T M B L MLER rumu istisnai, mükemmel, çok iyi, iyi performans düzeylerine sahip bir ölçek üzerinde örnekleyerek istisnai (exceptional); A+, mükemmel (excellent); A/A-, çok iyi (very good); B/B+ ve iyi (good); C+ fleklinde nota çevirmifltir. Bu çal flma kapsam nda rubriklerden elde edilen sonuçlar n nota/puana çevrilmesi holistik rubri e iliflkin verilen flablon üzerinde her bir performans düzeyini temsil eden puan/not de eri alt nda verilmek suretiyle öneri mahiyetinde verilmifltir. Sonuç ve Tart flma Gerek dünyada gerekse ülkemizde son y llarda e itim programlar ve ölçme de erlendirme sistemlerini ö renci merkezli hâle getirmek için yo un bir çaba harcanmaktad r. Bu sebeple var olan e itim programlar ve ölçme de erlendirme sistemleri gözden geçirilmekte ve yeniden düzenlenmektedir. Ülkemizde de bu tür çal flmalara son y llarda önem verilmifl, bu anlamda birçok çal flma yap lm flt r ve hâlâ yap lmaktad r. Bu tür bir anlay fl içerisinde ö renci performans n daha iyi görebilmeyi ve de erlendirmeyi amaçlayan daha kapsaml ölçme ve de erlendirme araç, gereç ve yöntemlerine gereksinim duyuldu u bir gerçektir. Bu anlay fl içerisinde ölçme ve de erlendirmede tek bir kaynak ve o, kayna a dayal kararlar vermek yerine daha kapsaml ve birçok kayna a (multi source) dayal kararlar verme yönelimi do mufltur. Bu sebeple de ö rencilerin performanslar n ortaya ç karacak yap land r lm fl görevler üzerinde, onlar n bilgi, beceri, çal flma al flkanl klar ve motivasyon, ilgi, tutum gibi birçok psikolojik özelliklerini ne derece kullanabildiklerini ve uygulayabildiklerini gösteren performansa dayal ölçme araçlar gelifltirilmeye bafllanm flt r. Bu ba lamda, ölçme ve de erlendirmede standart testlerin kullan lmas gerekli fakat tek bafl na yeterli de ildir. Bu durumu Brualdi (1998) flu flekilde aç klamaktad r; ço- u ö retmen daha önce ö retilenlerin ne kadar n n ya da ne derece ö renildi ini belirlemek için çeflitli türlerde testler olufltururlar. Bu bir rutin hâline gelmifltir. Muhtemelen de bu test (kapsam geçerli- ini sa lad için) boflluk doldurma, çoktan seçmeli vb. bir test olacakt r. Bununla birlikte çoktan seçmeli testlerde çok üst düzeyde becerilerin yoklanmas s n rl d r. Örne in bir ngilizce testinde ö renci bir hikâyenin bafllang c n, sonunu ve ortas n bilebilir fakat ö rencinin girifl geliflme ve sonucu içeren bir hikâye yazabilece i
KAN / Performans De erlendirme Sürecine Katk lar Aç s ndan Yeni Program Anlay fl... 143 buna dayanarak garanti edilemez. Bu sebeple son y llarda e itim bilimciler standart ve ö retmen yap m testlerin yan nda performans de erlendirmeye iliflkin baflka kaynaklar n da kullan lmas gerekti ini belirtmektedirler. Performans tabanl de erlendirme sistemi içerisinde rubrikler performansa dönük birçok duruma ve e itim hedeflerine uygun olarak çok çeflitli flekillerde oluflturulabilecekleri ya da kolayca adapte edilebilecekleri için son y llarda oldukça popüler olmufllard r. Rubrikler performans kriterlerine iliflkin niteliksel tan mlamalar ve aç klamalar içerdi inden biçimlendirme (formative) ve de er biçmeye (summative) dönük de erlendirme için daha anlaml ve etkili araçlar niteli indedirler. Rubrikler yap land r lm fl performans görevlerine ait performans kriterlerine iliflkin ö rencilerin çabas n, bilgi ve becerisini, çal flma al flkanl klar n ve de erlerini yans tmas n n beklendi i durumlarda de erlendirme ve ö renmeye destek olan son derece yararl ve pratik araçlard r. Bu anlamda önemi göz önünde tutuldu unda rubriklerin gelifltirilmesi ve kalitesinin (tutarl l, geçerlik ve güvenirli i) art r lmas için e itim bilimcilere ve di er e itimcilere büyük görevler düflmektedir. lk olarak rubriklerin do- as, özellikleri, yap s gözden geçirilmeli ve daha sonra oluflturulan ve kullan lan rubriklerin geçerlik, güvenirlik gibi çok önemli niteliklere sahip olup olmad belirlenmelidir. Daha sonra rubrik gelifltirmeye dönük anlafl labilir algoritmalar gelifltirilmeli ve uygulamaya konulmal d r. E itim bilimciler taraf ndan rubrikler ve algoritmalar gelifltirildikten ve nitelikleri (geçerlik, güvenirlik) test edildikten sonra ö retmenler alanlar na uygun, e itim hedefleriyle tutarl rubrikler gelifltirme, uygulama, sonuçlar n yorumlama ve nota çevirme konular nda e itime tabi tutulmal d r. Zira birçok araflt rma yap sal hatalar ndan dolay yararl olmayan, kolayca ulafl labilecek birçok rubrik oldu unu ortaya koymufltur (Popham 1997; Tierney, & Simon, 2004). Tutarl ve baflar l bir rubrik daha sonraki y llarda da ölçme ve de erlendirme faaliyetlerinde kullan labilir ve bu anlamda ö retim sürecine uzun y llar hizmet edebilir. Bunun için gelifltirilmesi aflamas nda yo un çaba harcanmal d r.
An Alternative Method in the New Educational Program from the Point of Performance-based Assessment: Rubric Scoring Scales Adnan KAN* Abstract Scoring rubrics are useful to serve performance assessment for learning and assessment because they can be created for a variety of subjects and situations. Rubrics look like more suitable and effective tools for summative and formative evaluation because they include qualitative description of the performance criteria. In recent years, rubrics have been accepted as most popular performance-based assessment tools. It has been recomended that rubrics can be used in the new educational program in Turkey which was revised and re-organized in the scoop of constructualism. It has also been stated at annual meeting of Ministry of Education that rubrics should be preferred for all lectures when implementing an effective performance-based assessment. But it is not an easy procedure to develop an effective rubric. Many of educational scientists have studied rubrics and thier properties. This article examines the guidlines and principles from the educational literature that are related to scoring rubrics. The purpose of this article can be summarized as follows: (1) Describe what is a scoring rubric and the different types of scoring rubrics. (2) To put forward the principles of consistent and successful scoring rubrics. (3) To discuss it s instructional design from the point of view of educational literature. (4) To contribute to rubric developers and educational literature aimed at improving the design of classroom assessment rubrics. At the same time, applications, considerations, and suggestion are given with clear examples and templates. Key Words Scoring Rubric, Analytic Rubric, Holistic Rubric. Correspondence: Assist. Prof. Dr. Adnan KAN, Mersin University, Education Faculty, Deparment of Educational Sciences, Mersin-Turkey. E-mail: adnankan@mersin.edu.tr Educational Sciences: Theory & Practice 7 (1) January 2007 144-152 2007 E itim Dan flmanl ve Araflt rmalar letiflim Hizmetleri Tic. Ltd. fiti.
KAN / An Alternative Method in the New Educational Program from the Point of... 145 Scoring rubrics are useful to serve performance assessment for learning and assessment because they can be created for a variety of subjects and situations that can show effort, knowledge, skill, and work habits on performans tasks. They contain qualitative the description of performance criteria that works well with in the process of formative and summative evaluation. In recent years, many educational researchers have identified scoring rubrics by designing, defining, examplying, and discussing thier properties and instructional design (e.g., Airasian, 1991, 2000, 2001; Mc Daniel,1994; Popham, 1997; Goodrich, Moore, & Gronlund, 1998; Brookhart, 1999; Goodrich, 2000; Moskal, 2000, 2003; Mertler, 2001; Nitko, 2001; Simon & Giroux, 2001; Tierney & Simon, 2004; Fisher, 2005). This article examines the guidlines and principles in educational literature that are related to scoring rubrics. The purpose of this article can be summarized as follows: Describe what a scoring rubric is and different types of scoring rubrics. To put forward the principles of consistent and successful scoring rubrics. To discuss the instructional design of the rubrics from the point of view of educational literature. To contribute to rubric developers and educational literature aimed at improving the design of classroom assessment rubrics. As a most popular tool of performance assessment, scoring rubrics have been defined by many researchers from the 1990 s to 2005. A scoring rubric is defined as a results of researchers, especially Gronland. A scoring rubric is a scoring guideline that describes the characteristics of different levels of performance using scoring or judging a performance through the performance of a task. A scoring rubric has typically three parts; (1) performance criteria, (2) performance level, and (3) performance definition accros scale level. A scoring rubric is usually qualitative and descriptive. It requires using criteria that best describe actual student products. Scoring rubric scales are usually organized as a table that consists of vertical and horizontal axis. Vertical axis contains performance criteria that describe the characteristics of product or performance. Horizontal axis contains headings indicating the increasing levels of perorman-
146 EDUCATIONAL SCIENCES: THEORY & PRACTICE ce towards competency mastery. The performance definition accros scale level takes place where the vertical axis and horizontal axis cut each other. There are two type of scoring rubrics: (1) Holistic rubrics require the evaluator to score the overall process or product as a whole without judging the component parts seperately and (2) analytic rubric in which the evaluator scores seperate indivudual parts of the product or performance first from point of view of performance criteria and then sum the individual scores to obtain a total score. Neither rubric is beter than the other. Both have a place in authentic assessment depending on the following. Holistic rubric is probably more appropriate when performance task requires to reflect students creativity and where there is no definite and clear correct answer. When errors in some part of the process can be tolorated provided the overall quality is high, holistic rubrics are also utilized. Performance tasks may require specific acceptable responses and creativity is not an essential feature of the students responses. Analytic rubric may probably be a more appropriate technic for scoring the performance or product. Using holistic rubrics can result in a somewhat quicker scoring process than analytic rubrics because analytic rubric requires that individual work should be examined seperately for each of the performance criteria. Steps in the designing scoring rubrics compiled from various sources are presented below (Airasian 1991, 2000, 2001; Moskal, 2000; Nitko, 2001; Mertler, 2001): Inspecting the nature of the performance and learning objectives and deciding which type of a rubric will be used. Identifying the performance criteria and observable characteristics of the performance criteria in an understandable and clear language. Identfying the performance level and characteristics accros performance level. These requires matching the performance level and observable characteristics of the performance For holistic rubrics, describing the highest and lowest levels of performance, combining the descriptors for all attributes. Then writing descriptions for all intermediate levels of performance. For analytic rubrics, describing the highest and lowest levels of performance, using the descriptors for each attributes seperately. Then
KAN / An Alternative Method in the New Educational Program from the Point of... 147 writing description for all intermediate levels of performance for each attribute seperately. Revising the rubric and taking others ideas for rubrics. Collecting the samples of student work. It has long been believed that in assigning a score, the rubric loses its descriptive feature and power to provide detailed and meaningful information about the quality of the performance as reflective of a spesific level of skill mastery. For this reason, Simon and Giroux (2001) offered that its scale equates Exceptional with letter A+, Excellent with A/A-, Very good with B/B+, and Good with C+. Throughout each course, assesssment results should be communicated with students primarily using descriptive statements based on the rubrics, but a final letter grade should be assigned at the and of the course for offical transcript purposes.
148 EDUCATIONAL SCIENCES: THEORY & PRACTICE Kaynakça/References Airasian, P. W. (1991). Classroom assessment. New York: McGraw-Hill. Airasian, P. W. (2000). Assesment in the clasroom: A concise approach. Boston: McGraw-Hill. Airasian, P. W. (2001). Clasroom assessment: Concept and application. Boston: McGraw-Hill. Brookhart, S. M. (1999). The art anda science of classroom assessment: The missing part of pedagogy. (ASHE-ERIC Higher Education Report Vol. 27, No. 1). Brualdi, A. (1998). Performans assessment in the classroom. (ERIC Research Report: ED423312). Fisher, R. L. (2005). Developing effective succes rubrics. Kappa Delta Pi Record, 41 (3), 131-135 Goodrich, A. H. (2000). Using rubric to promote thinking and learning. Educational Leadership, 57, 13-18 Goodrich Andrade, H. (2001, April 17). The effects of instructional rubrics on learning to write. Current Issues in Education [On-line], 4 (4). Gronlund, N. (1998). Assessment of student achievement. New York: McGraw- Hill. Kerrins, J., & Cushing, S. K. (1996). Gotscha! Or rubrics? Journal on Excellence in College Teaching, 7 (1), 31-56. Mertler, C. A. (2001). Designing scoring rubrics for your clasroom. Practical Assessment, Research and Evaluation, 7 (25). Retrieved from January 31, 2005 http://pareonline.net/getvn.asp?v=7&n=25. Moskal, B. M. (2000). Scoring rubrics: what, when, how? Practical Assessment, Research and Evaluation, 7 (3). Retrieved from August 20, 2004 http://pareonline.net/getvn.asp?v=7&n=3. Moskal, B. M. (2003). Recommendations for developing clasroom performance assessment and scoring rubrics. Practical Assessment, Research and Evaluation, 8 (14). Retrieved from January 31, 2005 http://pareonline.net/getvn.asp?v=8&n=14. Nitko, A. J. (2001). Educational assessment of students. Upper Saddle River, NJ: Merrill. Popham, W. J. (1997). What s wrong-and what s right-with rubrics. Educational Leadership. 55, 72-75. Popham, W. J. (1995). Classroom assessment: What teachers need to know. Boston: Allyn Bacon.
KAN / An Alternative Method in the New Educational Program from the Point of... 149 Simon, M., & Giroux- F. R. (2001). A rubric for scoring postsecondary academic skills. Practical Assessment, Research and Evaluation, 7 (18). Retrieved from January 31, 2005 http://pareonline.net/getvn.asp?v=7&n=18 Stiggins, R. J. (1994). Student-centered classroom assessment. New York: McMillan Company. Tierney, R., & Simon, M. (2004). What s still wrong with rubrics: Focusing on the consistency of performance criteria across scale levels. Practical Assessment, Research and Evaluation, 9 (2). Retrieved from December 12, 2005 from http://pareonline.net/getvn.asp?v=9&n=2 Wiggins, G. (1989). A true test toward more authentic and equitable assessment Phi Delta Kapan, 70, 703-713.
150 EDUCATIONAL SCIENCES: THEORY & PRACTICE EK 1 HOL ST K RUBR K ÖRNE * DURUM: 6. S n f ö retmeni olan Ahmet Bey ö rencilerine grafik okuma ve yorumlama becerilerini kazand rmay amaçlayan bir ders plan haz rl yor. Bu dersin sonunda ö rencilerinin afla daki hedefler do rultusundaki yetkinlik düzeylerini belirlemek istiyor. Bu dersin sonunda ö renciler; Bar grafiklerine dayal verileri analiz edebilecek, Bar grafiklerine dayal yorumlar yapabilecek, Bar grafi ine dayal kestirimlerde bulunabileceklerdir. Ahmet Bey in amac ürüne dönük bir de erlendirme yapmak oldu u için holistik rubrik gelifltirmeye karar veriyor. Ahmet Bey bu hedefler do rultusunda, hedeflenen davran fllar n kazan ld n gösteren gözlenebilir özellikleri; Matematiksel hesaplamalar Kestirim yapma Sonuç ç karma Aç klamalar n ifade edilmesi olarak belirlemifltir ve daha sonra belirledi i bu gözlenebilir özelliklere iliflkin çeflitli performans düzeylerine ait (bütüncül) tan mlar yapm fl ve bunu bir tabloda afla daki gibi ifade etmifltir. Ders: Matematik Konu: Grafikler Performans Görevi: Grafi e dayal verileri analiz edebilme becerisi. sim:.. Tarih:. PERFORMANS DÜZEY 4 (Mükemmel) 3 (Baflar l ) 2 (Geliflmekte) (Zay f) 1 (Bafllang ç D.) (Çok Zay f) PERFORMANS TANIMLARI Grafi e dayal tam ve do ru kestirimler yapar. Uygun matematiksel ifllemleri hatas z olarak kullan r. Grafiklerden mant kl ve anlaml sonuçlar ç kar r. Düflüncelerin ifade edilmesi ve aç klamalar oldukça yeterlidir. Grafi e dayal do ru kestirimler yapar. Uygun matematiksel ifllemleri birkaç hatayla kullan r. Grafiklerden anlaml sonuçlar ç kar r. Düflüncelerini ve aç klamalar n iyi ifade eder. Ço unlukla do ru ve tam olmamas na ra men grafi e dayal kestirimler yapar. Uygun olmayan matematiksel ifllemler kullan r fakat ifllemler hatas zd r. Grafiklerden sonuç ç kar r fakat çok anlaml ve mant kl de ildir. Düflünce ve aç klamalar n iyi ifade edemez. Grafi e dayal kestirimler tamamen yanl flt r. Uygun olmayan matematiksel ifllemleri hatal olarak kullan r. Grafi e iliflkin sonuçlar ç karamam fl, Grafi e dayal aç klama yok veya çok yetersizdir. 0 Cevap ya da çözüm yok/performans görevi yap lmam fl. * Çal flmada kullan lan örnekler için Mertler, C. A. (2001) den yararlan lm flt r.
KAN / An Alternative Method in the New Educational Program from the Point of... 151 EK 2 ANAL T K RUBR K ÖRNE DURUM: 10. S n f ö retmeni olan Sami bey seçim ve seçim süreçleriyle ilgili bir üniteye bafllayacakt r. Ö rencilerine seçimlerle ilgili bir proje haz rlatmay düflünmektedir. Fakat Sami Bey geçmifl y llardaki tecrübelerinden ö rencilerin zaman zaman veri toplama, örneklem seçme, verilerin analizi gibi konularda s - k nt yaflad klar n tespit etmifltir. Bu sebeple ö rencilerinin bu kavramlara iliflkin performanslar na dönük de erlendirme yapmaya karar verir. Ö retmenin görmek istedi i; uygun örneklem seçme ve bu örneklem üzerinde uygun analizler yaparak evrene iliflkin do ru kestirimler yapabilme becerisidir. Bu sebeple ö rencilerinin afla daki hedefler do rultusundaki performanslar n de erlendirecektir. Ö renciler; Uygun yöntemleri kullanarak veri toplayacaklar, Do ru ve tam olarak verileri analiz edecekler ve özetleye cekler, Bulduklar sonuçlar etkili ve anlafl l r bir dille ifade ede cekler. De erlendirme amac, sürece dönük eksiklikleri ortaya ç karmak oldu u için ö retmen afla daki kriterlere dayal bir analitik rubrik gelifltirmeye karar veriyor. Veri toplama Örnekleme tekni i statistiksel analiz Sonuçlar n yorumlanmas
152 Ders: Olas l k ve statistik Konu: Veri Analizi Performans Görevi: Örneklemden hareketle evrene iliflkin kestirimde bulunabilme becerisi. sim:.. Tarih:. KR TERLER Örnekleme Tekni i PERFORMANS DÜZEYLER BAfiLANGIÇ GEL fimekte BAfiARILI MÜKEMMEL Uygun olmayan örnekleme tekni i kullan lm fl. Uygun örnekleme tekni i kullan lm fl fakat uygulamada büyük hatalar var. Uygun örnekleme tekni i seçilmifl fakat uygulamada küçük hatalar var. Uygun örneklem tekni i seçilmifl ve uygulamada hata yok. Veri Toplama Gerekli bilgiyi toplamak için uygun olmayan sorular sorulmufl. Kapsam temsil edici çok az uygun soru sorulmufl. Sorular n ço u uygun ve ilgili kapsam temsil edici sorulmufl. Sorular n tamam gerekli bilgiyi toplamak için uygun ve kapsam temsil ediyor. statistiksel Analiz Toplanan veriyi betimlemeye ve özetlemeye dönük herhangi bir giriflimde bulunmam fl. Veriyi analiz etmeye dönük giriflim var fakat uygun olmayan analizler kullan lm fl. Uygun analizler kullan lm fl fakat analiz tamamlanmam fl. Verilerin analiz edilmesinde tamam yla uygun yöntemler hatas z olarak kullan lm fl. Sonuçlar n Yorumlanmas TOPLAM PUAN: Sonuçlar yeterince iyi ifade edilmemifl ve tart fl lmam fl. Organize edilmemifl ve anlafl lmas güç. Sonuçlar baz önemli bilgileri ifade ediyor fakat fikirleri desteklemek için iyi organize edilmemifl. Sonuçlar önemli bilgilerin ço unu ifade ediyor. Fikirleri destekliyor. Sonuçlar, önemli bilgi ve ç kar mlar içeriyor. Ç kt lara iliflkin üst düzeyde kestirimler yap lm fl.