Yazma Performansını Değerlendirmede Çözümleyici Puanlama Yönergesi Kullanımı -Değerlendirmeciler Arası Uyum Araştırması-

Transkript

1 DURU / Uyum Zorluklarını Yordamada Yalnızlık, Sosyal Destek ve Sosyal Bağlılık Arasındaki Yazma Performansını Değerlendirmede Çözümleyici Puanlama Yönergesi Kullanımı -Değerlendirmeciler Arası Uyum Araştırması- Latif BEYRELİ*, Gökhan ARI** Öz Bu araştırmada çözümleyici puanlama yönergesine (analytic rubric) göre yapılan yazma performansının değerlendirilmesinde, değerlendirmeciler arasında uyum olup olmadığı belirlenmeye çalışılmış; ayrıca değerlendirme sürecini etkileyen faktörler incelenmiştir. Araştırmada kullanılan çözümleyici puanlama yönergesi üç bölüm ve on özellikten oluşmaktadır: Dış yapı (biçim, yazım ve noktalama), dil ve anlatım (sözcükler, cümleler, paragraflar, anlatım), düzenleme (başlık, serim, düğüm, çözüm). Çalışmanın temelini, İstanbul Anadolu yakasındaki (Beykoz, Kadıköy, Ümraniye, Üsküdar) okullarda altıncı ve yedinci sınıfta öğrenim gören iki yüz öğrencinin oluşturduğu öyküleyici metinler teşkil etmektedir. Metinler altı değerlendirmeci tarafından çözümleyici puanlama yönergesine göre değerlendirilmiştir. Değerlendirme sonuçlarına göre değerlendirmeciler arası uyumun yeterli olduğu belirlenmiştir. Anahtar Kelimeler Yazma Performansını Değerlendirme, Puanlama Yönergesi (Rubric), Çözümleyici Puanlama Yönergesi, Değerlendirmeciler Arası Uyum. * Marmara Üniversitesi, Atatürk Eğitim Fakültesi, Türkçe Eğitimi Bölümü, Öğretim Üyesi. **Aksaray Üniversitesi, Eğitim Fakültesi, Türkçe Eğitimi Bölümü, Öğretim Görevlisi. Kuram ve Uygulamada Eğitim Bilimleri / Educational Sciences: Theory & Practice 9 (1) Kış / Winter Eğitim Danışmanlığı ve Araştırmaları İletişim Hizmetleri Tic. Ltd. Şti.

2 86 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Yrd. Doç. Dr. Latif BEYRELİ Marmara Üniversitesi, Atatürk Eğitim Fakültesi, Türkçe Eğitimi Bölümü, Kadıköy / İstanbul. Elektronik Posta: beyreli@marmara.edu.tr Yayın ve Diğer Çalışmalarından Seçmeler Kültüral, Z. & Beyreli, L. (1999). Şerîfî şehnâme çevirisi (4 cilt). Ankara: Atatürk Kültür Dil ve Tarih Yüksek Kurumu Türk Dil Kurumu Yayınları. Alışık, G. S. & Beyreli L. (2001). Liseler için güzel konuşma ve yazma. Ankara: Millî Eğitim Bakanlığı Yayınları. Beyreli, L., Çetindağ, Z. & Celepoğlu, A. (2005). Yazılı ve sözlü anlatım. Ankara: PegemA Yayıncılık. Beyreli, L. (2002). Tanzimat tan Cumhuriyet e dilde sadeleşme akımından Türkçe sözlüklerin yeri. Osmanlı içinde (c. IX, s ). Ankara: Yeni Türkiye Yayınları. Demirkan, M. & Beyreli, L. (2005). Aziz Nesin in Parle vu Fransızca adlı öyküsünde mizahi üslubun incelenmesi. MÜ Atatürk Eğitim Fakültesi Uluslararası V. Dil, Yazın, Deyişbilim Sempozyumu Edebiyat, Edebiyat Öğretimi ve Çevribilim Yazıları içinde (C. II, s ). Ankara: PegemA Yayıncılık. Dr. Gökhan ARI Aksaray Üniversitesi, Eğitim Fakültesi, Türkçe Eğitimi Bölümü, Aksaray. Elektronik Posta: gokhanari1977@yahoo.com

3 DURU / Uyum Zorluklarını Yordamada Yalnızlık, Sosyal Destek ve Sosyal Bağlılık Arasındaki Yazma Performansını Değerlendirmede Çözümleyici Puanlama Yönergesi Kullanımı -Değerlendirmeciler Arası Uyum Araştırması- Latif BEYRELİ, Gökhan ARI İlköğretimde yazma, çeşitli etkinliklerle öğrencilerin herhangi bir konuda duygu, düşünce, hayal, bilgi, tasarı, olay, durum ve gözlemlerini yazma kurallarına uygun olarak etkili ve planlı bir biçimde bir bütün hâlinde anlatmalarını amaçlayan bir beceri alanıdır. Niteliği göz önüne alındığında bu becerinin çoktan seçmeli sorularla değerlendirilmesi zordur. Çoktan seçmeli sorularla öğrencilerin dil bilgisi, yazım ve noktalama kurallarına uyum düzeyleri belirlenip değerlendirilebilir. İlköğretim altıncı, yedinci ve sekizinci sınıflarda yazılı anlatımın değerlendirilmesi geleneksel olarak yazılı yoklamalarda en az otuz puanlık bir kompozisyon sorusunun cevaplanmasına dayanmakta iken 2006 yılından itibaren uygulanmaya başlanan İlköğretim Türkçe Dersi (6, 7, 8. Sınıflar) Öğretim Programı nda performans değerlendirme öne çıkmıştır. Performans görevi (performance task), programda öngörülen eleştirel düşünme, problem çözme, okuduğunu anlama, yaratıcılığını kullanma, araştırma yapma gibi öğrencinin bilişsel, duyuşsal, psikomotor alandaki becerilerini kullanmasını, geliştirmesini ve bir ürün ortaya koymasını gerektiren çalışmaları kapsayan ve öğretmen rehberliğinde yaptırılan görevleri ifade eder. (MEB Talim ve Terbiye Kurulu Başkanlığı, 2007, s. 614). Bu görev okulda yerine getirilir. Performans görevi, değerlendirmenin bir parçası olarak öğrencinin yapması gereken etkinliktir. Yazma

4 88 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ becerisiyle ilgili bir performans görevi, süreç içinde bir ürün ortaya koymayı; yani metin oluşturmayı gerektirir. Performans değerlendirme (performance assessment), öğrencinin bir süreç içinde üretimini ya da katılımını gözleyen ve yargıda bulunmayı esas alan değerlendirmedir. İki parçası vardır: görev ve puanlama. Biri olmadan diğeri meydana gelemez ve performans değerlendirilemez (Arter, Spandel, Culham ve Pollard, 1994, s. 48). Performans değerlendirmenin bir unsuru olarak öğretmen tarafından yazma görevi belirlenir, çerçevesi çizilir. Değerlendirmede nelere puan verileceğini belirlenir. Buna göre de bir ölçme aracı geliştirilir. Yazma görevi öğrenciye verilir. Görevin yapısına göre süreç veya ürün değerlendirilir. Bilindiği üzere öğretmenler, Millî Eğitim Bakanlığına ait genel ağa (web) öğrencilerin yazılı notlarıyla birlikte performans ve proje notlarını girmekte ve bu notlar da öğrencinin başarısını etkilemektedir. Dolayısıyla yeni öğretim programında performans değerlendirme önemli bir konumdadır. Türkiye şartlarında sınıflardaki öğrenci sayısı düşünüldüğünde süreç değerlendirmenin geleneksel değerlendirmeye göre daha zor olacağı düşünülebilir; ancak değerlendirmeye kanıt teşkil etmesi bakımından dinleme, konuşma ve okuma becerisine göre yazma becerisini, daha doğru bir ifade ile yazma performansını değerlendirmenin daha somut ve/veya nesnel olduğu gözden uzak tutulmamalıdır. İlköğretim Türkçe Dersi (6, 7, 8. Sınıflar) Öğretim Programı nda yazma becerisinin kazandırılması altı ana amaç ve kazanımın (yazma kurallarını uygulama, planlı yazma, farklı türlerde metinler yazma, kendi yazdıklarını değerlendirme, kendini yazılı olarak ifade etme alışkanlığı kazanma, yazım ve noktalama kurallarını uygulama) gerçekleştirilmesi hedeflenmektedir. Dolayısıyla öğrenci yazılarının değerlendirilmesinde bu amaç ve kazanımlar çerçevesinde metin dil bilimi, edebiyat ve kompozisyon bilgilerine göre ölçme ve değerlendirme araçlarının hazırlanmasını gerektirir. Türkiye de yazılı anlatımla ilgili kaynaklar incelendiğinde birçok ölçme aracının mevcut olduğu görülmektedir. Bu araçların, değerlendirme amaçlarına göre benzerlikleri ve farklılıkları vardır. Yazılı anlatımla ilgili yayımlanan ölçme araçlarının çoğu yüz puan üzerinden değerlendirmeye alınmaktadır. İlköğretim Türkçe Dersi (6, 7, 8. Sınıflar) Öğretim Programı nda yer alan ölçme aracı da öğrenci yazılarının yüz puan esasına göre değerlendirilmesini önermektedir. Bu tür ölçeklerdeki temel

5 BEYRELİ, ARI / Yazma Performansını Değerlendirmede Çözümleyici Puanlama problem, belirli bir ölçütte bulunan puanın alt ve üst düzeylerinin (puan dağılımlarının) neye göre yapılacağının net olmamasıdır. Örneğin öğretim programında yer alan yazılı anlatımı değerlendirme formunda belirtilen Her bir paragrafta tek bir duygu ve düşünce işlenmiştir. ölçütüne beş puan ayrılmıştır. Bir değerlendirmecinin bu ölçüte dört veya iki puan verdiği düşünülürse bu puanların niçin verildiği sorusunun cevabı, puanlamanın yüz üzerinden yapıldığı değerlendirme araçlarında olduğu gibi adı geçen değerlendirme formunda da bulunmadığı görülür. Çağdaş bir değerlendirme aracında ise bunun cevabı olmalıdır. Bir ölçüte niçin kaç puan verildiğinin açıklanması hem değerlendiren (öğretmen) hem de değerlendirilen ürünü ortaya koyan (öğrenci) bakımından ve değerlendirmenin nesnelliği açısından önemlidir. Puanlama Yönergeleri Birçok ülkede yazılı anlatımı değerlendirmede rubrik (rubric) adı verilen puanlama yönergeleri kullanılmaktadır. Yazılı anlatımı değerlendirmede kullanılan puanlama yönergeleri temel özellikli, bütüncül ve çözümleyici olmak üzere üç çeşittir. (Weigle, 2002, s. 109). Temel Özellikli Puanlama Yönergeleri: Temel özellikli puanlama yönergeleri, daha çok özel bir yazma göreviyle ilgili öğrencilerin temel yazma becerilerini değerlendirmeye yöneliktir. Örneğin öğrencilerin açıklayıcı anlatımı kullanma, dil bilgisi kurallarına uyma, görev sorumluluğunu yerine getirme gibi ölçütler değerlendirmeye alınabilir (ayrıntılı bilgi için bk. Weigle, 2002, s ). Bütüncül Puanlama Yönergeleri: Bütüncül puanlama yönergeleri, öğrenci çalışmalarını değerlendirmede kullanılan, belirlenen özellikler doğrultusunda özellikleri bir puanla değerlendirmeyi amaçlayan, performansın farklı düzeylerini yüzeysel biçimde tanımlayan değerlendirme araçlarıdır (Elbow, 2000; Gunning, 2006; Weigle, 2002). Bu değerlendirme aracına göre yapılan bütüncül puanlama, metnin bütününe tek not ya da puan verilmesi, bir yazıyı oluşturan birbirinden farklı özelliklerin bir arada ölçülerek toplanıp değerlendirilmesi bakımından tartışmalıdır. Bütüncül puanlama yapan değerlendirmeciler, bütün yazıyı öznel biçimde daha çabuk okuyarak yazının geneline göre tek bir not verirler. Bütüncül puanlamada öğretmenler/değerlendirmeciler, metne bütünsel yaklaştıkları için yazının önemli bir unsurundan aşırı derecede etkilen-

6 90 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ mekten çok, parçanın genelinden etkilenirler. (Gunning, 2006; Wolcott ve Legg, 1998). Ancak parçanın geneli göz önüne alındığında birkaç özellik ön plana çıkar ve değerlendirmeci bu birkaç özelliğin etkisiyle çok iyi olmayan bir yazıyı, hak etmediği hâlde yüksek puanla ödüllendirebilir; yine birkaç özelliğin etkisiyle çok zayıf olmayan bir yazıyı, hak etmediği hâlde düşük bir puanla cezalandırılabilir. Bütüncül puanlama yönergesi hazırlamak zor olsa da yönergeye göre değerlendirme yapmak hızlı ve kolaydır; çünkü yazının geneline bir not verilmesini gerektirir. Yapısı itibarıyla bütüncül yönergeler, öğrencilerden tam ve doğru veri elde etmede sınırlı bir kabiliyete sahiptir. Bu, özellikle, performansı düşük ya da orta düzeyde olan öğrencileri geliştirmede kullanışlı bir yol değildir. Bütüncül puanlama yönergesi oluşturmanın zorluğu, bütün özellikler sıralandığında, bir düzeyi başka bir düzeyden ayırmaktır. (Martin-Kniep, 2000, s. 35). Çözümleyici Puanlama Yönergeleri: Düzeyleri birbirinden ayırmada en uygun puanlama yönergesi, çözümleyici özellikte olanıdır. Yazmada çözümleyici puanlama yapmak, her bir öğrencinin yazı örneğindeki alt becerileri ayrıştırmak için paylaştırılmış puan dizileri elde etmeye girişmektir (Babin ve Harrison, 1999, s. 117). Çözümleyici puanlama, yazıyı oluşturan özellikleri/parçaları (el yazısı, cümleler, başlık vs.) puanlamaktır. Bunun için de yazılı anlatımda bulunması gereken nitelikler belirlenir. Belirlenen farklı nitelik parçaları ayrı ayrı değerlendirilir. Yani her bir parçaya/özelliğe ayrı ayrı puanlar verilir. Dolayısıyla çözümleyici puanlama yönergesine göre yapılan değerlendirme zaman alır; ancak birçok bilim adamı; çözümleyici puanlamanın daha geniş, ayrıntılı ve kullanışlı olduğu fikrinde birleşir. (Babin ve Harrison, 1999, s. 117). Değerlendirme aracının ayrıntılı olması hem öğretmen hem de öğrenci için yararlıdır; çünkü öğretmen hangi özelliklere, neye göre, kaç puan vereceğini daha iyi anlar ve uygular. Öğrenci de hangi özelliklere, neye göre, kaç puan alacağını bilirse yönergede belirtilen ölçütlere göre daha nitelikli bir metin oluşturabilir. Crehan (1997) a göre çözümleyici puanlama; öğretmenlerin öğretimlerine, öğrencilerin yazmalarına rehber olarak onlara mevcut durumla ilgili daha çok bilgi sunar ve daha düzenli, daha ayrıntılı geri bildirim sayesinde öğrenci yazılarındaki güçlü ve zayıf yönleri belirlemeye yardımcı olur. Öğrenci yazılarını değerlendirmede öğretmenin amacına, öğrenciden

7 BEYRELİ, ARI / Yazma Performansını Değerlendirmede Çözümleyici Puanlama beklenen performansa göre çözümleyici veya bütüncül yönergeler kullanılabilir; ancak hangisinin daha güvenilir olduğu konusu tartışmalıdır. Kimi araştırmacılar çözümleyici puanlamanın bütüncül puanlamadan daha güvenilir olduğunu ileri sürer (örneğin Elbow, 2000; Gunning, 2006). İlköğretim Türkçe Dersi Öğretim Programı (MEB Talim ve Terbiye Kurulu Başkanlığı, 2006, s. 220) nda öğretmenlere kullanılması tavsiye edilen Yazılı Anlatımı Değerlendirme Formu, üç bölüm altında (biçim: 10 puan; dil ve anlatım: 80 puan; yazım ve noktalama: 10 puan) yazılı anlatımda aranan on yedi maddeden oluşmaktadır. Bu on yedi madde gerçekte ideal bir yazıda bulunması gereken özelliklerdir. Ayrıca, ölçekte verilen puanlamanın öğretmen/değerlendirmeci tarafından değiştirilebileceği de belirtilmiştir. Bu tip bir değerlendirme formuna alternatif olarak yazılı anlatım unsurlarını belirlemede, kompozisyon öğretiminde ve geri bildirimde birçok yararı olan çözümleyici puanlama yönergeleri, Türkçe dersi yazma becerisi kapsamında verilen performans görevini değerlendirmede kullanılabilir. Yazılı anlatım etkinliklerinin puanlanmasındaki güvenirlik genellikle aynı yöntemlerle puanlanan diğer yazılı yoklamaların güvenirliğinden daha düşük bulunur. Buna sebep, puanlayıcıların bir kompozisyonda bulunması gerekli niteliklerin neler olduğunda anlaşamamaları ve puanlamanın subjektif ölçütlerle yapılmasıdır. Bu sakıncanın azaltılması için, kompozisyonların da analitik [çözümleyici] anahtarlarla puanlanması düşünülmüştür. Analitik anahtar, çoğu hâlde puanlayıcılar arası uyumu ve bu nedenle puanların güvenirliğini artırır. (Turgut, 1990, s. 65). Öğrenci yazılarını değerlendirmede hangi ölçütlerin yer alması gerektiği kompozisyon, metin dil bilim ve edebiyat bilgileri aracılığıyla belirlenebilir. Bu belirlemeye göre hazırlanan çözümleyici puanlama yönergesini oluşturan dış yapı, dil ve anlatım ile düzenleme özelliklerine göre yapılan değerlendirme sonucunda bu tip bir değerlendirme aracının yazılı anlatımı değerlendirmede yeterli olup olmadığı tespit edilebilir. Bu çalışmanın genel amacı, öğrenci yazılarının değerlendirilmesinde, nesnel ölçütlerin bulunup bulunmadığını, diğer bir ifadeyle aynı ölçme ve değerlendirme aracını kullanan birden fazla değerlendirmeci arasında bir uyumun bulunup bulunmadığını belirlemektir. Bu genel amaç doğrultusunda aşağıdaki sorulara cevap aranmıştır:

8 92 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Aynı ölçeği kullanan değerlendirmeciler arasındaki uyumun oranı nedir? Değerlendirmede olası farklılığı doğuran etkenler nelerdir? Değerlendirilen metinlerin dış yapı, dil ve anlatım, düzenleme bölümleri bakımından değerlendirmeciler arası uyum hangi seviyelerdedir? Yöntem İlköğretim altıncı ve yedinci sınıf öğrencilerinin oluşturduğu yazıların değerlendirilmesinde kullanılan çözümleyici puanlama yönergesinin güvenirliliğini belirlemeyi amaçlayan bu çalışmada tarama modeli uygulanmıştır. Bu modelde çok sayıda örnek üzerinde çalışma gerektiğinden kesit alma yolu seçilir. İlişkisel tarama modelleri iki ve daha çok sayıdaki değişken arasında değişmenin varlığını ve/veya derecesini belirlemeyi amaçlayan araştırma modelleridir. İlişkisel çözümleme; korelasyon ve karşılaştırma yolu ile yapılır. (Karasar, 2002, s. 81). Verilerin çözümlenmesinde doküman incelemesi ile içerik analizi tekniklerinden kategori analizi kullanılmıştır. Çalışma Grubu Araştırma eğitim-öğretim yılında İstanbul Anadolu yakasındaki beş okulun altıncı ve yedinci sınıflarında öğrenim gören 623 öğrencinin oluşturduğu metinler arasından tesadüfi olarak seçilen iki yüz metni kapsamaktadır. Araştırmanın örneklemini teşkil eden ilçeler, okullar ve öğrenci sayıları aşağıda belirtilmiştir: Beykoz - Fatin Hoca İlköğretim Okulu: 50 Kadıköy - Nevzat Ayasbeyoğlu İlköğretim Okulu: 50 Ümraniye - Pınarbaşı İlköğretim Okulu: 50 Üsküdar - Rauf Orbay İlköğretim Okulu: 50 Metinlerin yüzü altıncı sınıf öğrencilerine, yüzü yedinci sınıf öğrencilerine aittir. Güvenirliği artırmak ve olası öznelliği önlemek için araştırmaya ikiden fazla değerlendirmecinin katılması uygun görülmüştür. Araştırmaya gönüllü olarak katılan altı değerlendirmeci, araştırmanın çalışma grubunu oluşturmaktadır. Değerlendirmecilerin görevleri, unvanları, cinsiyetleri ve hizmet süreleri şöyledir:

9 BEYRELİ, ARI / Yazma Performansını Değerlendirmede Çözümleyici Puanlama Birinci değerlendirmeci: Türkçe eğitimi bölümünde görev yapan uzman (yüksek lisans) araştırma görevlisi (erkek, sekiz yıl). İkinci değerlendirmeci: Türkçe eğitimi bölümünde görev yapan doktor öğretim görevlisi (erkek, sekiz yıl). Üçüncü değerlendirmeci: Türkçe eğitimi bölümünde görev yapan uzman (yüksek lisans) araştırma görevlisi (bayan, sekiz yıl). Dördüncü değerlendirmeci: Türkçe eğitimi bölümünde görev yapan uzman (yüksek lisans) araştırma görevlisi (bayan, beş yıl). Beşinci değerlendirmeci: İlköğretim okulunda görev yapan uzman (yüksek lisans) Türkçe öğretmeni (bayan, altı yıl). Altıncı değerlendirmeci: İlköğretim okulunda görev yapan Türkçe öğretmeni (bayan, iki yıl). Veri Toplama Araçları Araştırmada veri toplama araçları; öğrencilerin yazdığı öyküleyici anlatımla oluşturulmuş anı türündeki yazılar ve bunların değerlendirilmesinde kullanılan çözümleyici puanlama yönergesidir. Görece olarak daha kolay yazılabilmesi bakımından öğrencilerin yaşadıkları, şahit oldukları, etkilendikleri olayları yazmaları istenmiştir. Öğrencilere böyle bir yazma görevi verilmesinin sebebi, yaşanmış olayın bellekte belirli bir düzende bulunacağı ve yazı planının kolay yapılacağı beklentisi olmuştur. Öğrencilerin oluşturdukları yazıları değerlendirebilmek için çözümleyici puanlama yönergesi kullanılmıştır. Çözümleyici puanlama yönergesini oluşturan özellikler, ölçütler ve tanımlar Türkiye de daha önce yapılmış araştırmaların, yabancı kaynakların taranması, öğretim programındaki amaç ve kazanımların, değerlendirme formunda belirtilen ölçütlerin incelenmesi ve uzman görüşlerinin alınmasıyla geliştirilmiştir. Çözümleyici puanlama yönergesinin hazırlanmasında öğretim programında yer alan yazılı anlatımı değerlendirme formundaki üç ana başlık (biçim, dil ve anlatım, yazım ve noktalama) örnek alınmış; ama kompozisyon yapısı bakımından sözü edilen ölçekten farklı olarak öğrenci yazıları dış yapı (biçim, yazım ve noktalama), dil ve anlatım (sözcükler, cümleler, paragraflar, anlatım), düzenleme (başlık, serim, düğüm, çözüm) özellikleri bakımından değerlendirilmiştir. Özelliklerin içerikleri şöyle özetlenebilir:

10 94 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ 1.1. Biçim: Metin alanı içinde ve dışında boşluklar bırakabilme, okunaklı yazma Yazım ve noktalama: Yazım ve noktalama kurallarına uyabilme Sözcükler: Olayı ve durumu ifade eden sözcükleri seçebilme, niteleyici sözcükler kullanabilme Cümleler: Farklı uzunlukta, yapıda ve dizilişte cümleler kurabilme Paragraflar: Kendi içinde konu bütünlüğü olan paragraflar oluşturabilme Anlatım: Olayların anlatımında duygu ve düşünceleri katma, konuyu akış ve mantık bakımından doğru sunabilme Başlık: Konuya uygun başlık yapabilme Serim (Giriş): Olayın geçtiği yer, zaman, kişi ve olay hakkında bilgi sunma Düğüm (Gelişme): Olayları akış sırasına göre birbirini tamamlayacak biçimde ayrıntısıyla anlatabilme Çözüm (Sonuç): Olay anlatımını bitirip olayla ilgili yorum yapabilme. Çözümleyici puanlama yönergesini oluşturan puanlama düzeyleri ise şunları içerir: Çok iyi (4): Gerekli özellikler, doğru ve etkili biçimde yerine getirilmiştir. İyi (3): Gerekli özellikler, amaca uygun biçimde yerine getirilmiştir. Orta (2): Gerekli özellikler, amaca uygun biçimde yerine getirilmeye çalışılmış; ancak eksiklikler vardır. Zayıf (1): Gerekli özellikler, yerine getirilememiş ya da amaca uygun biçimde yerine getirilememiştir. Özelliklerin düzeylere (boyut/derece) göre tanımlanmasında çok iyi (4) düzeyde etkileyicilik, iyi (3) düzeyde doğruluk ya da tamlık, orta (2) düzeyde eksiklik, zayıf (1) düzeyde yanlışlık ya da yokluk nitelikleri esas alınmıştır. İşlem Öğrenciler tarafından oluşturulan metinler, çözümleyici puanlama yönergesine göre konusunda uzman altı değerlendirmeci tarafından değerlendirilmiştir.

11 BEYRELİ, ARI / Yazma Performansını Değerlendirmede Çözümleyici Puanlama Değerlendirmecilerin eğitimi: Puanlama yönergesine uygun bir değerlendirme yapabilmek için değerlendirmecilerle ikişer oturumda çalışılmıştır. Değerlendirme aşamaları şöyle özetlenebilir: (i) Öğrencinin yazdığı metin okunmadan önce, metinde anlatılanlardan ve metindeki diğer özelliklerden etkilenmemek için biçim özellikleri bakımından metin alanı içindeki ve dışındaki boşluklara dikkat edilir. (ii) Metin baştan sona hızlı bir biçimde okunur. Bu okuyuşta öğrencinin yazısına alışılmaya çalışılır. Metinde anlatılan konu ve olay anlamaya çalışılır. İlk okuma sonunda -varsa- okunamayan ya da okunması güç olan sözcükler belirlenir. Biçim özelliklerine puan verilir. Bu arada öğrencinin anlatımı hakkında bir fikir edinilir. Sözcük seçimi, cümle uzunlukları, paragraf bütünlüğü ve yazım ve noktalamada yapılan hatalar göz önünde bulundurulur; ama bunlara puan verilmez. (iii) İkinci okuyuşta serim (giriş), düğüm (gelişme), çözüm (sonuç) bölümleri okunur ve bunlara puan verilir. Son olarak konuyu yansıtması bakımından başlığa puan verilerek düzenleme özellikleri değerlendirilmiş olur. (iv) Üçüncü okuyuşta sözcük, cümle ve paragraf özelliklerine puan verilir. Bu aşamada niteleyici sözcüklere ve kalıplaşmış ifadelerin kullanılmasına; cümle yapılarına ve dizilişlerine, paragraf bütünlüğüne dikkat edilir. (v) Yazım ve noktalama özelliklerine puan vermek için metne göz gezdirilir, önceki okuyuşlarda edinilen intibalar da dikkate alınarak yazım ve noktalama kurallarına uyumda hata sayma yöntemiyle puan verilir. (vi) Son olarak anlatım (anlatım biçimi, tür bilgileri, üslup) özelliklerine puan verilerek değerlendirme süreci tamamlanmış olur. Değerlendirme sürecinde rastgele hatayı ve değerlendirmecilerin sıkılmasını önlemek için süre kısıtlanmamıştır. Katılımcılar, metinleri kendilerine verilen diziliş sırasına göre okuyup değerlendirmişlerdir. Verilerin çözümlenmesinde kategori analizi kullanılmıştır. Kategori analizi, genel olarak belirli bir mesajın önce birimlere bölünmesini ve ardından bu birimlerin, belirli kriterlere göre kategoriler hâlinde gruplandırılmasını ifade eder. Analiz kategorileri çok çeşitli boyutlara dayanabilir. Örneğin mesajın konusu, yönü, taşıdığı değerler, amaçlar ve niyetler, amaçlara ulaşmada başvurulan yollar, kişileri betimlemede kul-

12 96 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ lanılan özellikler, mesajın kaynağı, mesajın hedeflediği kişi veya kitleler, olayların geçtiği yer ve zaman, çatışma konuları gibi mesajın söylediği şeye ilişkin boyutlar ile mesajın tipi, biçimi, iletişimin gramer özellikleri, sentaksı, retoriğin yöntemleri gibi mesajın söylenme tarzıyla ilgili boyutlar kategorilendirmede esas alınabilir. (Bilgin, 1995, s ). Bu çalışmada daha önce belirtilen on özellik, değerlendirme kategorilerini oluşturmaktadır. Değerlendirmeciler arasındaki puanlama ilişkisini belirlemek için Pearson korelasyon analizi ve güvenirlik analizi (reliability analysis) yapılmıştır. Bu çalışmaya benzer bir araştırmada (Tezci, 2002) kullanılması sebebiyle alfa (alpha) değerine de yer verilmiştir. Alfa katsayısı güvenirlik katsayısını vermez, yalnızca güvenirliğin bundan çok daha yüksek olacağına işaret eder. (Aker, Dündar ve Peşken, 2005, s. 55). Değerlendirmeciler arası uyumu belirleyebilmek için Kendall uyum kat sayı (Kendall s coefficient of concordance: w) hesaplama yöntemi de kullanılmıştır. Kendall ın uyum kat sayısı değerlendirmeciler arasındaki uyumun ölçülmesinde kullanılır. (Legendre, 2005; Powers ve Harris, 1991; Sigler ve Tallent-Runnels, 2006). Aker ve arkadaşlarına (2005, s. 53) göre ikiden fazla değerlendirmecinin olduğu durumlarda bu kat sayı kullanılır. Bu ölçümde amaç, değerlendirmecilerin doğru ölçüm yapıp yapmadığını belirlemek değil, değerlendirmeciler arasında uyumun olup olmadığını belirlemektir. (Powers ve Harris, 1991). Bu kat sayı, 0 ile 1 arasında bulunduğunda değerlendirmeciler arasında uyumun olduğu, 0 bulunduğunda ise uyumun olmadığı anlamına gelir (Legendre, 2005; Malvern ve Skidmore, 2001). Kendall uygunluk kat sayısı (w) şu şekilde belirlenir (Legendre, 2005, s. 229): Bu kat sayı ile ilgili sonuçlar Excel programı aracılığıyla bulunmuştur. Bulgular Çözümleyici puanlama yönergesine yapılan değerlendirmede altı değerlendirmeci arasında uyumu belirlemede Pearson korelasyon analizi yapılmış, Freidman ve Kendall uygunluk kat sayıları ve alfa değeri bulunmuştur.

13 BEYRELİ, ARI / Yazma Performansını Değerlendirmede Çözümleyici Puanlama Tablo 1. Metin Bölümlerine Göre Değerlendirmeciler Arası Güvenirlik Analizi Sonuçları Özellikler En yüksek Değerlendirmeciler (Pearson) (Pearson) Freidman Kendall En düşük Ortalama Değerlen uygunluk uygunluk Alfa korelasyon korelasyon korelasyon dirmeciler kat sayısı kat sayısı değeri (Pearson) (w) (w) 1.1. Biçim, , ,8104,0365,001922, Yazım ve Noktalama, , ,7515,0049,001251, Sözcükler, , ,7064,0131,001084, Cümleler *, , ,6728,0271,001015, Paragraflar, , ,8300,0219,002020, Anlatım *, , ,6599,0318,001125, Başlık, , ,7166,0095,001188, Serim, , ,7054,0019,001185, Düğüm *, , ,6841,0181,001295, Çözüm, , ,7128,0091,001345,9364 Tablo incelendiğinde değerlendirmeciler arası güvenirlilik analizi sonucuna göre, biçim (,8104) ve paragraf (,8300) özellikleri bakımından altı değerlendirmeci arasındaki korelasyon ortalamasına göre çok iyi bir uyumun olduğu söylenebilir. Yazım ve noktalama (,7515), sözcükler (,7064), başlık (,7166), serim (7054) ve çözüm (,7128) özellikleri bakımından altı değerlendirmeci arasındaki korelasyon ortalamasına göre, yüksek korelasyonda bir ilişki olduğu görülmektedir. Cümle (,6728), anlatım (,6599) ve düğüm (,6841) özellikleri bakımından ise altı değerlendirmeci arasındaki korelasyon ortalamasına göre,70 ten düşük bir korelasyon ortalamasının olması orta düzeyde bir uyumun olduğunu göstermektedir. Değerlendirmeciler arası uyumun en yüksek olduğu özellik, paragraflardır. En düşük uyumun olduğu özellik ise anlatımdır. Alfa değeri, Pearson korelasyon sonuçlarıyla doğru orantılı olarak düşmüş veya artmıştır. Özelliklerden hiçbirinde alfa değerinin 1 e yakın olmaması güvenirlilikle ilgili olumlu bir izlenim verebilir. Yönergeyi oluşturan özeliklere verilen puanlarda Freidman güvenirlik kat sayı sonuçlarının 0 ile,05 arasında çıkması değerlendirmeciler arasında bir uyum olduğuna işaret etmektedir. Kendall uygunluk kat sayı sonuçlarının da 0 ile 1 arasında olması sebebiyle değerlendirmeciler arasında bir uyum olduğunu göstermektedir.

14 98 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Pearson korelasyon ortalaması bulgularına göre çözümleyici puanlama yönergesindeki cümle, anlatım ve düğüm özelliklerinin altı değerlendirmeci arasındaki orta düzeydeki uyum, istatistiki olarak beklenen ilişkinin (,70) altındadır. Kimi araştırmacılar (örneğin Saruhan ve Özdemirci, 2005, s. 139),3-,7 arasındaki korelasyonun orta dereceli bir ilişki olduğunu; kimi araştırmacılar (örneğin Cohen ve Manion, 1994, s ) sosyal bilimler araştırmalarında,65 ve,85 arasındaki bir ilişkinin yeterli olacağını ileri sürerler. Dolayısıyla yönergedeki on özellikten üçünde (cümle, anlatım ve düğüm) korelasyonun,65 in altında olmaması diğer özelliklerin,70 ten yüksek çıkması sosyal bilimler için -özellikle de yazılı anlatım gibi nitel değerlendirmelerde- güvenirlilik açısından yeterlidir. Bu yeterliliğin oluşmasında yönergedeki düzey tanımlamalarının yanında değerlendirme sürecine altı uzman değerlendirmecinin katılması etkili olmuştur. Tablo 1 incelendiğinde Pearson korelasyon analizlerine göre birinci ve altıncı değerlendirmecinin puanlamaları arasında yüksek uyum vardır. Birinci ve altıncı değerlendirmeci birbiriyle doğru orantılı olarak düşük, orta ve yüksek puanlar vermiştir. Değerlendirmeciler arası uyum analizlerine, gözlemlere ve kuramsal bilgilere dayanarak bu bulgulara ulaşılmasının sebepleri şöyle sıralanabilir: 1.1. Biçim özellikleri hakkında bir bakışta bir değerlendirme yapmak mümkün olabilir. Bu yüzden değerlendirmeciler arasındaki uyumun yüksek olması beklenen bir sonuçtur Metni daha anlaşılabilir kılan, metin yazarlarının bilgilerini ve tecrübelerini metne yansıtan yazım ve noktalama özellikleri metnin başından sonuna kadar kendini gösterir. Bu araştırma kapsamında yapılan değerlendirme, yanlış yazılan sözcüklerin ve noktalama kurallarına aykırı kullanımların sayılmasıyla gerçekleşmiştir. Dikkatli bir inceleme sonucunda bu değerlendirmeyi yapmanın zor olmadığı söylenebilir Sözcükler metnin bütününe yayılır; çünkü metnin ana maddesi sözcüktür. Metnin bütünü okunduğunda sözcük özelliklerine dört düzey arasından bir değer vermek gerektiğinde metindeki niteleyici sözcüklere, ad ve fillerin durumuna tekrar bakmak ve buna göre bir değerlendirme yapmak gerekir Cümleler de sözcükler gibi metnin bütününe yayılan ögelerdir. Cümleyi oluşturan sözcüklerin yerleri, yüklemin durumu, cümle yapıları, cümle dizilişleri, sebep-sonuç cümlelerine yer verilmesi ve cüm-

15 BEYRELİ, ARI / Yazma Performansını Değerlendirmede Çözümleyici Puanlama leler arasındaki bağlantıların incelenmesi sonucu bir değer vermenin zorluğu, ayrıca öğrencilerin oluşturduğu cümlelerin yapısı, noktalama işaretlerinin yanlışlığı veya eksikliği sebebiyle cümle özelliklerine bir değer biçmenin güçlüğü yadsınamaz; çünkü birçok niteliği bütüncül bir biçimde değerlendirmek gerekir. Ölçeğin hazırlanması sırasında cümle özelliklerini tek bir cümleyle tanımlamak mümkün olabilir; ama bu tanım tam olarak bütüncül bir niteliğe dönüşür. Cümle özellikleri ayrıştırılabildiğine göre kuramsal olarak çözümleyici bir değerlendirme yapmak gerektiği görülür. Yapılacak birkaç çalışmayla çözümleyici puanlama yönergesinde yer alan cümle özellikleri üzerinde değişikliklere gitmek mümkündür Paragraf özellikleri, metnin bütününe yayılsa da yazım kurallarına veya noktalama işaretlerine, sözcüğe ve cümleye göre sayı bakımından azdır. Bu sebeple bu özelliklere göre değerlendirme yapmak daha kolay olabilir. Ancak paragrafın kendi içindeki konu bütünlüğünü veya paragraflar arasındaki uyumun değerlendirilmesi zor olabilir; çünkü bu araştırma kapsamındaki metinler incelendiğinde öğrencilerin bir kısmının serim, düğüm ve çözüm bölümlerini dikkate alarak metinlerini üç paragraf üzerine kurdukları görülmüştür. Serim ve düğüm paragrafları kendi içinde tutarlı olsa da düğüm bölümünü iki üç paragrafa ayırmanın mümkün olabildiği metinlerle karşılaşılmıştır. Tek paragraftan oluşan metinlerin çokluğu paragrafları değerlendirmeyi kolaylaştırmıştır Çözümleyici puanlama yönergesinde anlatım özellikleri incelendiğinde ayrıştırıcı birçok ögenin olduğu görülür. Ayrıca bu özelliğin, metinde yazarın (öğrencinin) üslubunu yansıtması, üslubun bireysellik ve öznellik; değerlendirmeci açısından da öznellik taşıması, dolayısıyla kişiden kişiye değişmesi sebebiyle yönergenin hazırlanması sırasında uyumun düşük olabileceği araştırmacılar tarafından öngörülen bir sonuçtur. Bu sebeple uyumsuzluğu en aza indirebilmek için metinde somut niteliklerin değerlendirilmesi gerektiği görülerek metin yazarının duyguya, düşünceye ve yoruma ne ölçüde yer verdiğinin, metin türüne ne kadar uyulduğunun; olayların, durumların akış sırasına göre yapılıp yapılmadığının çözümleyici puanlama yönergesinde değerlendirmeye alınmıştır Başlığın yerinin sabit olması ve az sözcükten oluşması değerlendirme yapmayı kolaylaştırabilir. Ancak başlığın etkileyiciliği kişiden kişiye değişebilir. Yönergenin hazırlanması sırasında bu özelliğin değerlendirmeciler arasında uyumlu olacağı hatta en yüksek korelasyonda olacağı öngörülmesine rağmen bu durum gerçekleşmemiştir.

16 100 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ 3.2. Serim (giriş) bölümü özelliklerinin somut olmasına rağmen özellik tanımlarında belirtilen ögeler (zaman, yer, kişi, olay bilgileri), yazarın (öğrencinin) bakış açısına, bilerek veya bilmeyerek yazarın seçimine göre düğüm bölümünde de yer alabilir. Bu bakımdan bu özellikler, değerlendirmecinin gözünden kaçabilir ya da bu özellikleri değerlendirmede değerlendirmeciler farklı tutumlar sergileyebilir. Ayrıca, bu ögelerin sunumundaki etkileyicilik, kesinlik/tamlık ya da belirlilik durumu tartışılabilir Bilindiği üzere metinlerde düzenleme bakımından düğüm (gelişme) bölümü, genellikle metnin en uzun kısmıdır. Metindeki diyaloglar, ayrıntılar değerlendirmeciyi etkiler. Bu bakımdan çözüm bölümünün değerlendirilmesinde genel bir değerlendirme yapılabildiği görülmüştür Çözüm bölümü özellikleri metinde anlatılanların bitip bitmediği ve metin yazarının duygusunu, düşüncesini ya da yorumunu katıp katmadığıyla ilgilidir. Bu sebeple çözüm bölümünü değerlendirmenin zor olmadığı söylenebilir. Değerlendirme sürecini daha iyi anlayabilmek için değerlendirmeciler tarafından puanlanan ilk 50 ve son 50 metnin korelasyon sonuçları karşılaştırılmıştır. Tablo 2. Değerlendirmeciler Arası Uyum Ortalamaları Özellikler İlk 50 metnin değerlendirilmesinde elde edilen korelasyon ortalamaları (Pearson) 1.1. Biçim,6244, Yazım ve Noktalama,7029, Sözcükler,6391, Cümleler,5098, Paragraflar,6867, Anlatım,4288, Başlık,6663, Serim,5394, Düğüm,5681, Çözüm,5330,7986 Son 50 metnin değerlendirilmesinde elde edilen korrelasyon ortalamaları (Pearson) Tablo 2 de görüldüğü üzere değerlendirmeciler arası uyum ortalamaları incelendiğinde, ilk elli metnin puanlanmasına göre değerlendirmeciler

17 BEYRELİ, ARI / Yazma Performansını Değerlendirmede Çözümleyici Puanlama arası uyum az iken son elli metnin puanlanmasında uyumun arttığı görülmektedir. Bu bulgulardan hareketle puanlama sürecinde değerlendirmecilerin puanlama yönergesinde yer alan tanımlamalara ve bunlara göre puan verme sürecinde ilk metinlere göre son metinlerde daha uyumlu olduğunu söylemek mümkündür. Bunun sebebi olarak katılımcıların yönergeye ve değerlendirmeye alışmaları gösterilebilir. Tablo 1 incelendiğinde ikinci ve üçüncü değerlendirmeci arasında diğerlerine göre daha az uyum olduğu görülmektedir. İkinci değerlendirmeciyle yapılan görüşmede -değerlendirmecinin- metin değerlendirmeleri arasında uzun aralıklar verdiğini belirtmiştir. Bazen metnin konusundan etkilendiğini ve zaman zaman yüksek puanlar verdiğini vurgulayan uzman, bazen de metnin bir bölümünden olumlu veya olumsuz etkilenerek puanlama yaptığını söylemiştir. Yapılan görüşme sonunda ikinci değerlendirmecinin istemeyerek de olsa puanlama yönergesine uymadığı, metinlerin niteliklerinden etkilendiği ve bazen de bütüncül değerlendirmeler yaptığı anlaşılmaktadır. Uzmanın puanlama cetvelinde özelliklere yüksek puanlar verdiğini eklemekte yarar vardır. Üçüncü değerlendirmecinin özellikle dış yapı ile dil ve anlatım özelliklerine düşük puanlar verdiği; düzenleme özelliklerine yüksek puanlar verdiği belirlenmiştir. Yapılan görüşmede bunun sebebi sorulduğunda uzman, metinlerin dış yapı ve dil özelliklerini yeterli görmediğini; ancak konularını ilginç bulduğunu belirtmiştir (Bu değerlendirmeci daha önce başka bir çalışmada buna benzer bir değerlendirme sürecine katılmıştır.). Üçüncü ve dördüncü değerlendirmeci genellikle kız öğrencilerin yazdığı yazıların konusundan (doğum günü kutlamaları, yıl sonu piknikleri ve eğlenceleri, ölüm vs. konular) etkilenerek özellikle düzenleme özelliklerine diğer değerlendirmecilere göre yüksek puanlar vermiştir. İki değerlendirmeci de bayandır ve kız öğrencilerin yazdığı duygusal metinlerden etkilendikleri anlaşılmaktadır. Dördüncü değerlendirmeci, puanlama sürecinde verdiği notlara baktığında sözcük ve cümle özelliklerine birbirleriyle doğru orantılı şekilde puanlama yapmış olduğunu fark ettiğini belirtmiştir. Beşinci değerlendirmecinin de buna benzer puanlama yöntemi kullandığı tespit edilmiştir. Türkçe öğretmeni olan beşinci ve altıncı değerlendirmeci özellikle yazım ve noktalama özelliklerine düşük puanlar vermiştir. Beşinci değerlendirmeci puanlamalarının çoğunda diğerleriyle orta dereceli bir uyum ilişkisinin olduğu gözlenmiştir.

18 102 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Birinci ve altıncı değerlendirmeci puanlama yönergesinin hazırlanmasında verilerin toplanmasında birlikte hareket ettikleri ve 200 metinden önce de birlikte değerlendirme yaptıkları için yönergeye diğerlerine göre daha alışmıştır. Bu sebeple birçok özelliğin puanlamasında ikisi arasında uyumun yüksek olması doğal karşılanabilir. Değerlendirmecilerin puanlamalarında metin uzunluklarının önemli olduğu söylenebilir; çünkü kısa metinlere değerlendirmeciler genellikle düşük puanlar vermişlerdir. Ancak bu her uzun metne yüksek puan verildiği anlamına gelmemektedir. Tartışma Metin yapıları ve kompozisyon kavramının bütünü dikkate alındığında ve çözümleyici puanlama yönergesi incelendiğinde yazım ve noktalama, sözcükler, cümleler, paragraflar, anlatım, düğüm özelliklerinin biçim, başlık, serim ve çözüm özelliklerine göre daha kapsamlı veya çok boyutlu olduğu, bu özellikleri ayrıştırmanın ve değerlendirmenin çok dikkat edilerek yapılması gerektiği görülür. Çünkü bu özellikler metnin bütününe yayılmıştır. Oysa biçim, başlık, serim ve çözüm bölümlerinin kuramsal olarak yerleri bellidir ve değerlendirme yapmanın diğer özelliklere göre daha kolay olduğu söylenebilir. Çözümleyici puanlama yönergesine göre yapılan değerlendirmelerde sosyal bilimler araştırmaları açısından değerlendirmeciler arasında yeterli seviyede uyum bulunmuştur. Çözümleyici puanlama yönergesine göre yapılan altı katılımcının yer aldığı değerlendirmede, cümleler, anlatım ve çözüm özelliklerinde değerlendirmeciler arası uyum, diğer özelliklere göre daha düşüktür. Bunun en önemli sebebi yönergeye rağmen anlatım ve çözüm özelliklerinin nitelikle ilgili olması ve kişiden kişiye değişmesi gösterilebilir. Çözümleyici puanlama yönergesinde yer alan anlatım (özetle; olayı sırasıyla anlatma, duygu, düşünce ve yorum yapma ve bakış açısı ortaya koyma, olayları metin türüne ve anlatım biçimine uygun biçimde anlatma) ve çözüm özelliklerinin (özetle; olayı sırasıyla anlatma, gerekli ayrıntıya ve diyaloglara yer verme, betimlemeler, açıklamalar yapma) içeriği ile ilgili tanımlama düzeyleri daha da ayrıştırılarak yeniden düzenlense de bu özelliği oluşturan tanımlamaların kişisellikten kurtarılması yazılı anlatımın yapısı gereği zor görünmektedir. Cümle özellikleri ise hata saymaya dayandırılırsa değerlendirmeciler arası uyumun artacağı düşünülebilir.

19 BEYRELİ, ARI / Yazma Performansını Değerlendirmede Çözümleyici Puanlama Değerlendirme sürecinde az da olsa değerlendirmeciler, farklı sebeplerle (zaman, odaklanamama, metin yazarının anlatımı, konunun çekiciliği, metinler arası farklılıklar) puanlama yönergesinden farklı özelliklere puanlar vermişlerdir. Bunda metin sayısının fazlalığı ve iki farklı sınıfa ait olması önemli bir rol oynayabilir. Değerlendirmecilerin kız öğrencilere ait metinlere daha yüksek puanlar verdiği görülmüştür. Bunda kız öğrencilerin yazdığı metinlerin daha nitelikli (özellikle kâğıt düzeni, sunum, anlatım açısından) olmasının etkisi düşünülebilir. Çözümleyici puanlama yönergesinde yer alan ölçütlere ait bazı tanımlamalar bütüncül özellikler göstermektedir. Bu durum hem -öncelikli olarak- yazılı anlatımla hem de puanlama yönergesiyle ilgilidir; çünkü çözümleyici puanlama yönergesini oluşturan kimi ögeler bütüncül özellik taşıyabilir. (Babin ve Harrison, 1999, s. 118). Değerlendirmeye katılan değerlendirmeci sayısı, değerlendirilen metin sayısı, yazılı anlatımın ve nitel çözümlemenin yapısı dikkate alındığında on özelliğin ve çözümleyici puanlama yönergesine göre yapılan değerlendirmede katılımcılar arası uyumun yeterli olduğu görülmektedir. Yazılı anlatımı değerlendirmede çözümleyici puanlama yönergesi kullanıldığı takdirde, özellikle öğretim yılı başında öğrencilerin yazmadaki eksikleri tespit edilerek öğretimin planlaması, öğretmenin muhtemel eksikliklere göre hareket etmesi ve uygun bir strateji belirlemesi sağlanabilir. Okullarda çözümleyici puanlama yönergesi hazırlama ilkelerine göre geliştirilen puanlama yönergeleri uygulanmalıdır. Türkçe ve sınıf öğretmenleri zümreleri kendi aralarında puanlamalar yaparak değerlendirme aracının uygulanabilirliğini sınamalıdır. Öğretmen kılavuz kitaplarında yazılı anlatımı değerlendirmede daha çok bütüncül puanlama yönergeleri yer almaktadır. Bunlarla birlikte çözümleyici yönergelere de mutlaka yer verilmelidir. Bu çalışmada kullanılan, öyküleyici metinlerin değerlendirilmesi amacıyla, hazırlanan çözümleyici puanlama yönergesindeki düzenleme özellikleri (giriş, gelişme, sonuç) değiştirilerek diğer metinler de (örneğin bilgilendirici metinler) değerlendirmeye alınabilir.

20 104 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ