LİSANSÜSTÜ EĞİTİMDE PROGRAM DEĞERLENDİRMEYE İLİŞKİN TEZLERİN META DEĞERLENDİRMESİ (FIRAT ÜNİVERSİTESİ ÖRNEĞİ)* Çetin SEMERCİ Ece MERAL Fırat Üniversitesi Eğitim Fakültesi Eğitim Bilimleri Bölümü csemerci@firat.edu.tr ecemeral@yahoo.com Özet Bu araştırmanın amacı, Fırat Üniversitesi Sosyal Bilimler Enstitüsü nün kuruluşundan bu yana (1983-2007) Program değerlendirme ye ilişkin yapılan tez çalışmalarının meta değerlendirmesini yapmaktır. Meta değerlendirmesi kavramı 1960 lı yıllarda Scriven tarafından ortaya atılmış ve değerlendirmelerin değerlendirmesi olarak tanımlanmıştır. Meta değerlendirme, tamamlanan değerlendirme çalışmalarını bazı ölçütlerle karşılaştırıp bir yargıda bulunma olayıdır. Bu anlamda, yapılan her değerlendirme çalışmasının değerlendirmesi ve değerlendirmesi yapılan çalışmanın değerlendirmesi yapılabilir ve bu şekilde döngü olarak devam edebilir. Araştırmanın yöntemi, nitel araştırmalarda kullanılan doküman incelemesi yöntemidir. Doküman incelemesinin araştırmacıya zaman ve para tasarrufu anlamında katkıda bulunduğu söylenebilir. Araştırma sonucunda, Fırat Üniversitesi Sosyal Bilimler Enstitüsü nün 25 yıllık bir tez arşivinin incelenmesinde, program değerlendirme ile ilgili yapılan tez çalışmalarının genel olarak, Eğitim Bilimleri Anabilim Dalı tarafından yapıldığı, betimsel (tarama) araştırma yönteminin kullanıldığı ve program değerlendirme modellerinin kullanılmadığı tespit edilmiştir. Anahtar kelimeler: Değerlendirme, program değerlendirme, meta değerlendirme The Meta-Evaluation of The Theses Related to Programme Evaluation in Graduate Education (The Sample of Fırat University) Abstract The aim of this research is to make a meta- evaluation of the theses related to programme evaluation since the foundation of the Social Sciences Institute of Fırat University (1983-2007). The concept of meta-evaluation was put forward by Scriven in 1960 and was expressed as the evaluation of all the evaluations. Meta evaluation is the method in which the completed evaluation studies with some sclaes by giving a judgement are evaluated. In this case, the evaluation of all studied evaluations can be evaluated repeatedly and this can be done continuously. The method of the research is document investigation which is used in qualitative researches. It can be said that the document investigation may support the researcher to save time and money. As a result of the study which investigated the last 25 year theses archive in the Institute of Social Sciences at Fırat University, it was determined that in the theses which were completed about programme evaluation by the department of Educational Sciences, only the descriptive method has been used, not the programme evaluation methods. Key Words: Evaluation, curriculum evaluation, meta evaluation. *Bu çalışmada meta değerlendirme denemesi yapılmıştır. Anadolu Üniversitesi nde 2007 yılında Lisansüstü Eğitim Sempozyumunda (17-20 Ekim 2007) bildiri olarak sunulmuştur.
LİSANSÜSTÜ EĞİTİMDE PROGRAM DEĞERLENDİRMEYE İLİŞKİN TEZLERİN META DEĞERLENDİRMESİ (FIRAT ÜNİVERSİTESİ ÖRNEĞİ) GİRİŞ 2000 li yıllarda program geliştirmeci ve değerlendirmeciler işlerine daha sıkı sarılmaktadır. Çünkü, çağın gereklerine göre program geliştirme iyi bir değerlendirmeyi gerektirmektedir. Program değerlendirmenin doğru ve isabetli yapıldığı durumlarda programlar, kaliteli ve nitelikli öğrenci ürününü ortaya çıkarabilmektedir. Türkiye de yükseköğretim kurumlarının eğitim öğretimdeki kalite sorununun aşılması için, birçok araştırma yaptığı bilinmektedir. Bu araştırmaların birçoğu program değerlendirme ile ilgilidir. Yükseköğretimde program değerlendirme çalışmaları, mevcut eğitimin kalitesinin ve etkililiğin artırılmasında önemli rol oynamaktadır. Program değerlendirme, gözlem ve çeşitli ölçme araçları ile eğitim programlarının etkililiği hakkında veri toplama, elde edilen verileri programın etkililiğinin işaretçileri olan ölçütlerle karşılaştırıp yorumlama ve karar verme sürecidir (Erden, 1993, 9). Program değerlendirme çalışmaları, mevcut kurumların ulaşmak istediği amaçları, bunların gerçekleşmesini sağlayacak içeriği, içeriğin öğrenilmesine yol açacak öğrenme ortamını ve amaçlara ne ölçüde ulaşıldığını ortaya koymaya yarayan değerlendirmeyi kapsar. Bu bağlamdaki değerlendirme, bireyin başarısını önce ölçmek, sonra başarı hakkında karar vermek için yapılır. Diğer taraftan program değerlendirme çalışmaları, uygulanan eğitim programının etkililik derecesini ortaya yapılmaktadır. koymak için Sosyal bilimlerde bağımsız bir alan olarak ortaya çıkmasıyla değerlendirme, hedef davranışlarının ölçümüyle yakından ilgili hale gelmiştir (Morris ve Fitz-Gibbon, 1978, 10-27; Patton, 1997, 8-20). Etkili bir değerlendirmede, hedef davranışlarının spesifik, açık, net ve ölçülebilir olması gereklidir (Worthen ve Sanders, 1973, 15-42). Hedeflerle ilgili hususlar, program değerlendirmenin problemli bölümleridir (Friedman, Rothman ve Withers, 2006, 201). Diğer taraftan, program değerlendirmede, yaygın uygulama olarak, tek yöntem yaklaşımlarının yerine çoklu yöntem yaklaşımları ciddi bir şekilde uygulanmaya başlanmıştır (Tashakkori ve Teddlie, 1998, 12-25; Kidder ve Fine,
1987, 57-75; Shotland ve Mark, 1987, 77-94). Bu yaklaşımlar tipik olarak hem nicel hem de nitel veri toplama yollarını içermektedir (Waysman ve Savaya, 1997, 230-234). Görülüyor ki, program değerlendirme çalışmaları zaman alıcı ve zahmetli bir iştir. Bu işin tam ve doğru yapıldığını görmek için meta değerlendirme (Meta evaluation) kavramı alan yazına girmiştir. Meta değerlendirme kavramı, 1940 lı yıllarda Orata tarafından isimlendirilmiş ve 1960 lı yıllarda Scriven tarafından terimleştirilmiştir. Bu kavram değerlendirmelerin değerlendirmesi olarak tanımlanmıştır (Cook ve Cruder, 1978, 5). Önceki program değerlendirme çalışmalarından rapor edilmiş verilerin tekrar analizi meta değerlendirme kavramının bazı konularını oluşturmaktadır (Basarab, 1994,19; Gallegos, 1994, 41-43). Bu rapor tipleri son zamanlarda alan yazında görülmektedir. Gowin ve Millman 1975 li yıllarda, meta değerlendirme ile ilgili yeterlik ve etkililiğin başarılabileceğini tartışarak tamamlanmış değerlendirme çalışmalarının eksikliklerini ve güçlüklerini ortaya koymuşlardır. Ayrıca, Abramson (1979, 137), meta değerlendirme ile değerlendirme sürecinin daha iyi anlaşılabilmesini sağlayacak dört alan belirlemiştir. Bunlar (1) değerlendirmelerin uygulanması, (2) değer kuramı, (3) değerlendirme ölçütleri ve (4) meta değerlendirmeyi sağlayacak uygulamalar. Burada vurgulanan meta değerlendirme, sadece yol gösteren değerler hakkında bilgi sağlamaz, aynı zamanda değerlendirme sürecinin daha iyi açıklanmasını da sağlar. Meta değerlendirme, değerlendirme sürecinin ve sonuçlarının savunma yoludur (Cooksy ve Caracelli, 2005, 31-32). Bu anlamda meta değerlendirme, biçimlendirici ve toplam olarak ikiye ayrılabilir. Biçimlendirici meta değerlendirme, devam eden bir değerlendirmeyi geliştirmek için kullanılır (Greene, 1992, 71-74). Biçimlendirici meta değerlendirmeler, değerlendirmecilere çalışmalarını tasarlama, planlama, yönetme, yorumlama ve raporlaştırmada yardımcı olur (Stufflebeam, 1978, 23). Bu değerlendirmeler, programın geliştirilmesi aşamasında sürekli dönüt sağlayan (Brown ve Evans, 1990, 129) ve ürün kalitesin daha iyi olabilmesi için yürütülen iç değerlendirmelerin (Romiszovski, 1981, 365-370) değerlendirmesidir. Bir başka anlamda, değerlendirme olayının tekrar yaşanmasıdır. Toplam meta değerlendirme, değerlendirme bulgularının inanılırlığı hakkında bilgi sağlar ve değerlendirmecilerin zayıf yönlerini ortaya koyar (Scriven, 2001, 301-307; Henry,
2001, 419-429; House, 1987, 52-56; Whitmore ve Ray, 1989, 78-90; Worthen, 2001, 409-418; Stufflebeam, 2001,183-209). Toplam değerlendirmeler, tamamlanmış değerlendirmelerdir (Stufflebeam, 1978, 17). Bu tamamlanmış değerlendirmelerin değerlendirilmesi toplam meta değerlendirme olmaktadır. Meta değerlendirmeler, kendi süreç ve bulgularının kalitesi hakkında karar vermek için değerlendirmelerin yeniden gözden geçirilmesidir (Leeuw ve Cooksy, 2005, 95-108; Bickman, 1997, 10-16; Cook ve Gruder, 1978, 25-40; Lipsey vd, 1985, 7-28; Grene, 1992, 71-74; Scriven, 1991, 10-22). Bu yeniden gözden geçirmede profesyonel standartlar kullanılırsa program hakkında doğru kararlar verilmiş olur (Aklin ve Coyle, 1988, 331-340). Kusurlu değerlendirmeler, yanlış kullanım riskini artıracağından (Hofstetter ve Alkin, 2003, 197-222; Weiss, 1998, 8-22, Stevens ve Dial, 1994, 10-24; Data, 2000, 8-14) program değerlendirmelerin titizlikle yapılması gerekir. Patton (1997, 143), meta değerlendirmeyi değerlendirme çalışmalarının kalite kontrolü olarak tanımlamaktadır. Bütün bu bilgilerden hareketle, meta değerlendirme, mevcut değerlendirme çalışmalarının geçerlik ve güvenirlikleri için standart veya ölçütlerle karşılaştırarak değerlendirmenin derecesi hakkında karar vermektir. Meta değerlendirme bir süreç olarak da ele alınabilir. Bu tür değerlendirmelerin değerlendirmeleri bir döngü şeklinde devam etmeye açıktır. Meta değerlendirme için standartlar belirlenmiştir. Meta değerlendirme standartları, teknik yeterlilik, yararlılık, doğruluk ve kullanılabilirlik olarak sınıflandırılabilir (Stufflebeam, 1978, 25). Joint Komitesi kamu hizmeti, ön hazırlık, adetlere uyma ve dikkat sınıflamasında 30 standart belirlemiştir (Gallegos, 1994, 47-48). Diğer taraftan, meta değerlendirme için ölçütler belirlenmiştir. Değerlendirme ve sürecini tanımlama, kurum beklentileri, eğitim ve tecrübe, tarafsızlık, öncelikleri ve ölçümleri anlamak, analizlerin güvenirliği, inandırıcılık, metinlerin açık ve net olmasıdır (Uusikyla ve Virtanen, 2000, 63-64). Bir başka çalışmada, rehberlik, değerlendirmecilerin seçimi, süreci planlama, öncelikler, rapor kalitesi ve benzerlerini içeren ölçütler belirlenmiştir (Friedman, Rothman ve Withers, 2006, 63-64). Burada verilen bilgiler, bir meta değerlendirmesi yapılırken ölçüt veya standartların oluşturulması gerektiğini göstermektedir. Türkiye de eğitim alanındaki problemler sürekli güncelliğini korumaktadır. Eğitim kalitesine ilişkin değerlendirmeler tam ve doğru olarak yapılsaydı bu
problemler bu kadar güncelliğini korumazdı. Bu nedenle, meta değerlendirmelere ihtiyaç vardır. Bu araştırmada toplam meta değerlendirme üzerinde yoğunlaşılmıştır. Araştırmanın Amacı Araştırmanın amacı, Fırat Üniversitesi Sosyal Bilimler Enstitüsü nün kuruluşundan bu yana (1983-2007) Program değerlendirme ye ilişkin yapılan tez çalışmalarının meta değerlendirmesini yapmaktır. Araştırmanın Sınırlılığı Araştırmanın sınırlılıkları aşağıda verilmiştir: 1. Değerlendirme, işleyiş, geçerlik, güvenirlik, geliştirme, program, başarı, erişi ve inceleme gibi kavramlar program değerlendirme çalışmalarını gösteren ipuçları olarak ele alınmış ve araştırma bu sınırlılıkla yapılmıştır. 2. Araştırma, Fırat Üniversitesi Sosyal Bilimler Enstitüsü nde 1983-2007 yılları arasında yapılan program değerlendirmeye ilişkin tez taramalarıyla ve ulaşılabilen kaynaklarla sınırlıdır. 3. Araştırma, bu bildiri yazarlarının konuya ilişkin uzmanlıklarıyla sınırlıdır. YÖNTEM Araştırmanın yöntemi, nitel araştırmalarda kullanılan doküman incelemesi yöntemidir. Bu çerçevede, öğrenci tezleri, dosyaları ve jüri raporları incelenmiştir. Doküman incelemesinin araştırmacıya zaman ve para tasarrufu anlamında katkıda bulunduğu söylenebilir. İncelemede, Fırat Üniversitesi Sosyal Bilimler Enstitüsü nde 1983-2007 yılları arasında 25 yıllık kapsamda yapılan toplam 895 tezden program değerlendirmeye ilişkin 11 tez ele alınmıştır (Vergili, 1993; Semerci, 1993; Dönmez, 1995; Pehlivan, 1995; Dikici, 1997; Taşpınar, 1997 Semerci, 1998; Boydak, 1999; Atıcı, 2000; Mersinligil, 2002; Dikici, 2002). Program değerlendirmeye ilişkin tezler Eğitim Bilimleri Anabilim Dalı nda yürütülmüştür. Bu dalda, yüksek lisans ve doktora tez jüri üyeleri ortak rapor haricinde tezi inceledikten sonra bireysel raporlarını hazırlar ve raporlara göre tezin sunumuna karar verilir veya reddedilir. Ayrıca doktora tez izlemede bulunan üç öğretim üyesi altı ayda bir tezi izler ve ortak rapor enstitüye sunulur. Bu tezlerin meta değerlendirmesini yapabilmek için araştırmanın bir meta değerlendirme modeli oluşturulmuştur. Bu bağlamda, tezlerin değerlendirme sürecinin tanımlanmasına bakılmış, çoklu veri olarak tez ve raporlar incelenmiş ve eş zamanlı olarak alan
yazın incelemesi, ilgili tezlerin belirlenmesi, danışman ve jüri raporları ile ölçütler belirlenmiştir. Sonra, bildiri yazarları tezlerle ölçütleri karşılaştırarak sonuca gitmiş ve değerlendirmenin derecesi ve kalitenin kontrolüne ilişkin sentezler yapmışlardır. Çoklu veri Çoklu veri Çoklu veri Tablo 1. Araştırmanın Meta Değerlendirme Modeli Eş zamanlı Eş zamanlı Eş zamanlı Eş zamanlı Eş zamanlı Meta değerlendirme probleminin tanımlanması Alan yazın incelemesi Program değerlendirme tezlerinin belirlenmesi Tez danışman raporları Tez savunması jüri raporları Ölçütlerin belirlenmesi Tezlerle ölçütlerin karşılaştırılması Sonuç Değerlendirme derecesi ve kalite kontrolü *Cook ve Gruder (1978, 17) in meta değerlendirme modellerinden esinlenilmiştir. Araştırmada, tezlerin meta değerlendirilmesinde kullanılacak ölçütler alan yazın taramasına göre belirlendikten sonra uzman görüşlerine başvurulmuş ve kapsam geçerlik oranı (Content Validity Ratio) bulunmuştur. Bu amaçla, Fırat Üniversitesi, Cumhuriyet Üniversitesi ve Adıyaman Üniversitesi nde görev yapan 11 öğretim üyesinin uzman görüşüne başvurulmuş ve her madde için Gerekli, Gerekli ama yeterli değil ve Gerekli değil seçenekleriyle cevap istenmiştir. Meta değerlendirme ölçütleri, üç başlık altında (İçerik- 6 madde, değerlendirmeci- 6 madde ve rapor- 4 madde) toplam 17 maddeden 16 sı için 11 uzmandan 9 unda birlik sağlanmış ve Grant ve Davis (1997, 269-274) in formülüyle kapsam geçerlik oranı 0.636 bulunmuştur. Bu oran yeterli görülmüştür (Meta değerlendirme ölçütleri Ek 1 de verilmiştir). Ölçütler, çok zayıf (1), zayıf (2), orta (3), iyi (4) ve çok iyi (5) şeklinde derecelendirilmiştir. Maddelerin yorumlanmasında 1.00-1.80, 1.81-2.60, 2.61-3.40, 3.41-4.20, 4.21-5.00 sınırları dikkate alınmıştır. Meta değerlendirmeye ilişkin tezlerin değerlendirilmesinde verilerin dağılımı da göz önüne alınarak Çok
zayıf ile zayıfı ve İyi ile çok iyi birlikte alınmak suretiyle zayıf, orta ve iyi şeklinde üçlü derecelemede tablo frekansları verilmiştir. BULGULAR Araştırma bulguları, tezlerin meta değerlendirmesini içeren içerik, değerlendirmeci ve rapor başlıklarıyla ele alınmıştır. İncelenen tezlerin 9 u tarama ve 2 si deneysel yöntemle yürütülmüştür. Diğer taraftan, tezlerin 8 i doktora ve 3 ü yüksek lisans tezidir. İÇERİK Tezlerin meta değerlendirmesinde içerik başlığına ilişkin altı madde ile inceleme yapılmıştır. Tabloda aritmetik ortalamalar ve frekanslar verilmiştir. Tablo 2. Meta değerlendirmede içerikle ilgili bulgular X f zayıf f orta f iyi 1. Değerlendirme sürecinin tanımlanması 3.09 3 4 4 2. Metinlerin açık ve net olması 3.18 3 3 5 3. Önceliklerin belirgin olması 3.00 4 2 5 4. Ölçme işlemlerinin geçerliği 3.36 1 5 5 5. Analizlerin güvenirliği 3.09 2 6 3 6. Program değerlendirme modellerinden yararlanılması 1.27 10-1 Genel 2.83 4 3 4 İçerik boyutunun bir bütün olarak meta değerlendirmesi yapıldığında, orta düzeyde yeterli olduğu söylenebilir. Ancak, içerik boyutunda ortalama 4 tezin zayıf, 3 tezin orta ve 4 tezin de iyi düzeyde olduğu görülmektedir. Bunun yanında, 3 tezin değerlendirme sürecinin yeterince tanımlanmadığı ve metinlerin açık ve net olmadığı, 4 tezin önceliklerinin belirgin olmadığı, 1 tezin ölçme işlemlerinin geçerli olmadığı 2 tezin analizlerinin güvenilir olmadığı ve 10 tezde program değerlendirme modellerinden yararlanılmadığı görülmektedir.
Tablo 3. Meta değerlendirmede değerlendirmeci ile ilgili bulgular X f zayıf f orta f iyi 7. Araştırmacının program değerlendirme tezini yapabilmesi için aldığı eğitim ve tecrübesi 3.64-5 6 8. Program değerlendirme çalışmalarında tarafsızlık 3.45-6 5 9. Anabilim dalının konuya ilişkin beklentilerine çözüm bulma 3.00 3 4 4 10. Araştırmada inandırıcılığın sağlanması 3.45 1 4 6 11. Araştırma için bütçenin oluşturulması 1.27 10 1-12. Danışmandan alınan rehberlik 3.00 4 3 4 Genel 2.97 3 4 4 Değerlendirmeci boyutu bir bütün olarak ele alındığında orta düzeyde yeterli olduğu söylenebilir. Ancak, değerlendirmeci boyutunda ortalama 3 tezin zayıf, 4 tezin orta ve 4 tezin de iyi düzeyde olduğu görülmektedir. Bunun yanında, 5 tezde değerlendirmecilerin aldığı eğitim ve tecrübe, 6 tezde program değerlendirme çalışmalarındaki tarafsızlığı orta düzeydedir. 3 tezde anabilim dalının beklentilerine çözüm bulunmadığı, 1 tezde araştırmada inandırıcılığın olmadığı, 10 tezde bütçenin belirsiz olduğu ve 3 tezde doküman incelemelerinden çıkarılabildiği kadarıyla danışmandan rehberlik alınmadığı görülmektedir. Tablo 4. Meta değerlendirmede raporla ilgili bulgular X f zayıf f orta f iyi 13. Bulgulara bağlı sonuçların başka sonuçlarla karşılaştırmalı olarak tartışılması 2.91 3 6 2 14. Tez savunma jüri raporlarından tezin analizi 3.09-10 1 15. Tez danışman raporlarından tezin analizi 3.27-8 1 16. Raporların tarafsızlığı 3.18-9 2 Genel 3.11 1 8 2 Raporlar bir bütün olarak ele alındığında orta düzeyde yeterli olduğu söylenebilir. Ancak, rapor boyutunda ortalama 1 tezin zayıf, 8 tezin orta ve 2 tezin de iyi düzeyde olduğu görülmektedir. Bunun yanında, tezlerin 3 ünde sonuçların başka sonuçlarla karşılaştırılmadığı, 10 tezin jüri raporlarına göre orta düzeyde analiz edildiği, 8 tezin danışman raporlarına göre orta düzeyde analiz edildiği ve 9
tezde jüri raporlarının orta düzeyde tarafsız olduğu görülmektedir. Raporlarda tezlerin daha çok şekil bakımından incelendiği, bulgulara atıf yapıldığı ve imla hatalarına dikkat çekildiği tespit edilmiştir. SONUÇ VE TARTIŞMA Araştırmanın amacı, Fırat Üniversitesi Sosyal Bilimler Enstitüsü nün kuruluşundan bu yana (1983-2007) Program değerlendirme ye ilişkin yapılan tez çalışmalarının meta değerlendirmesini yapmaktır. Bu işi yaparken tez yazarlarını zan altında bırakmak ve onları küçük düşürmek söz konusu değildir. İncelemeye alınan tez yazarlarının tamamı yardımcı doçent, doçent veya profesör konumunda olup bir kısmının da idari görevleri mevcuttur. Buradaki örtük bir amaç, bundan sonra program değerlendirme çalışmaları yapacak araştırmacılara bazı hatalara dikkatlerini çekerek yardımcı olmaktır. Meta değerlendirme çalışmasında, oluşturulan ölçütlerle veriler toplanırken objektif olunmaya çalışılmıştır. Ancak subjektif yargıların da işin içinde olabileceği unutulmamalıdır. Tez ve raporlardan bilgi toplanırken, en çok zorlanılan ölçüt danışmanın rehberliği ölçütüdür. Bu ölçütle ilgili bilgi toplarken öğrencinin teze dönük dersler almaya yönlendirilip yönlendirilmediğine, tezlerin püf noktası denilebilecek yöntem gibi kısımlarda bariz hataların olup olmadığına ve genel izlenimlere bakılmıştır. Araştırmanın içerik, değerlendirmeci ve rapor boyutlarında meta değerlendirme ölçütlerine göre genel olarak orta düzeyde bir yeterlilik görülmektedir. Bu üç boyutta, iyi ve orta düzeydeki tezlerin yanında zayıf tezlerin de belirgin ve kayda değer sayıda olması ilgi çekici bir noktadır. Tezler için en az bir yılın üzerinde büyük çaba harcanmaktadır. Bu çabaların boşa gitmemesi için tezlerin özellikle püf noktaları olarak adlandırılabilecek ve araştırmada da kullanılan üç boyuttaki 16 meta değerlendirme ölçütüne dikkat edilmesi gereklidir. Bu üç boyut aşağıda ele alınmıştır. İçerik boyutunda, hedeflerle konuların birbirine girdiği, bu anlamda 3 tezin değerlendirme sürecinin iyi tanımlanmadığı görülmektedir. Program değerlendirme çalışmalarında hedeflerle ilgili durumların her zaman problem olabileceği (Fridman, Rothman ve Withers, 2006, 201) göz önüne alınmalıdır. Bu çalışmalarda, araştırma yöntemleri ile ilgili bir problem bulunmamaktadır. Ancak, dünya alan yazında çoklu yöntem yaklaşımlarını ciddi bir şekilde kullanmaya başlamıştır (Tashakkori ve
Teddlie, 1998, 12-25; Kidder ve Fine, 1987, 57-75; Shotland ve Mark, 1987, 77-94). Araştırmada, 1 tezin ölçme işlemlerinin geçerli olmadığı, bir başka değişle tezin amaca hizmet etmediği görülmektedir. Bu tür tezlerde, araştırmacı, danışman ve jüri üyelerinin biraz daha dikkatli olmasında fayda vardır. Diğer taraftan, 2 tezin analizlerinin güvenilir olmadığı, bir başka deyişle sonuçlarının tutarlı, kararlı ve duyarlı olmadığı görülmektedir. Bu nedenle teze ilişkin analizlerin ikinci bir araştırmacı tarafından tekrar edilip sonuçların tutarlılığı kontrol edilmelidir. Araştırmadaki 10 tezde program değerlendirme modellerinden yararlanılmadığı görülmektedir. Özellikle, program değerlendirme modelleri bir geminin dümeni gibidir ve yol göstericidirler. Araştırma yönünün belirlenmesi zaman açısından da önemli bir kazançtır. Belli başlı program değerlendirme modelleri, Tyler modeli, Scriven modeli, Stake modeli, Stufflebeam modeli, Ray modeli, Eisner modeli ve benzerleridir (Ornstein and Hupkins, 1988; Semerci, 1998; Erden, 1993). Bu modellerin birinden veya sentezleyerek yararlanmak gerekir. Değerlendirmeci boyutunda, tez yapabilmek için alınan eğitim ve tecrübe orta düzeydedir. Ancak orta düzeyde eğitim ve tecrübe ile çok iyi tez yapılması beklenemez. Bu nedenle tez konuları belirlenirken alınan eğitim ve tecrübeye göre konular belirlenmelidir. Diğer taraftan tezlerin %36.4 ünde danışmandan rehberlik alınmadığı görülmektedir. Rehberlik alındığı zaman da, II. Lisansüstü Eğitim Sempozyumu (2005) undan elde edilen bilgilere göre, danışmanlar yazılı dönüt vermemekte ve dayatmacı tutumlarıyla karşılaşılmaktadır. Ayrıca, araştırma bütçeleri tez ve rapor incelemelerinden çıkarılamamakta ve belirsiz olmaktadır. Rapor boyutunda, tezlerin şekil bakımından incelendiği ve daha çok bulgulara atıf yapıldığı tespit edilmiştir. Tezlerin orta düzeyde analiz edilmesi, derinlemesine incelenmediği düşüncesini oluşturmaktadır. Raporlarda tarafsızlığın da orta düzeyde olması, program değerlendirme çalışmalarına olan güveni zedelemektedir. Meta değerlendirme çalışmaları gösteriyor ki, program değerlendirmeyle ilgili örnek alınabilecek gerçekten titizlikle hazırlanmış çok iyi tezler olduğu gibi, zayıf tezler de bulunmaktadır. Ancak, unutulmaması gereken bir nokta da, bir tezin iyi yönlerinin olabileceği gibi zayıf yönleri de olabilmektedir. Bu nedenle, her tezin kendi sürecine özgü değişebilen bir durum olarak iyi ve zayıf yönlerinin
bulunabileceği göz ardı edilmemelidir. Örnek tezden değil örnek tezlerden yararlanıldığı sürece araştırma kaliteleri artması sağlanabilir. ÖNERİLER 1. Araştırmacılar program değerlendirmelere ilişkin araştırmalar yaparken, program değerlendirme modellerini de gözden geçirip, sentez yaparak veya birini kullanmaları yararlı olacaktır. 2. Tezlerde araştırma bütçesi eke konulmalıdır. Araştırma fonları, program değerlendirmeye ilişkin tezlerin neye mal olduğunu görmeli ve ona göre destekler artırılmalıdır. 3. Jüri üyelerinin tezleri derinlemesine incelediği raporlarında belli olmalıdır. 4. Meta değerlendirme çalışmaları tüm tezler, kurumlar, projeler vb. için yapılabilir. 5. Tezlerle ilgili olarak Enstitülerin bazılarında olduğu gibi etik kurullar kurulmalı ve işlevselliği sağlanmalıdır. KAYNAKÇA Abramson, T. (1979). Handbook of Vocational Education Evaluation, London: Publications. Alkin, M.C. ve Coyle, K. (1988). Thoughts on evaluation utilization, misutilization and non-utilization. Studies in Educational Evaluation 14, 331-340. Atıcı, B. (2000). Bilgisayar Destekli Asenkron İşbirlikli Öğrenme Yönteminin Sınıf Yönetimi Dersinde Öğrenci Başarısına Etkisi. Yayınlanmamış yüksek lisans tezi, Fırat Üniversitesi, Elazığ. Basarab, D. J. (1994). Assessing the Quality of Training Evaluation Studies, Performance and Instruction. 33 (3): 19-22. Bickman, L. (1997). Evaluating evaluation: Where do we go from here? Evaluation Practice, 18,1-16. Boydak, M. (1999). Hizmetiçi Eğitim Programlarının Etkililiğinin Değerlendirilmesi Yayınlanmamış yüksek lisans tezi, Fırat Üniversitesi, Elazığ. Brown, A. ve Evans, K. (1990). Rolling feedback strategy: An approach to evaluation in dynamic context. Evaluation and Research in Education. 4(3), 129-145.
Cook, T. D. ve Gruder, C. L. (1978). Metaevaluation research. Evaluation Quarterly, 2, 5-51. Cooksy, L. J. ve Caracelli, V. J. (2005). Quality, context and use: Issues in achieving the goals of metaevalution. American Journal of Evaluation, 22(1), 31-42. Data, L. E. (2000). Seriously seeking fairness: Strategies for crafting non-partisan evaluations in a partisan world. American Journal of Evaluation, 21, 1-14. Dikici, A. (1997). Resim İş Öğretmenlerinin, Resim İş Programlarına İlişkin Görüşleri. Yayınlanmamış yüksek lisans tezi, Fırat Üniversitesi, Elazığ. Dikici, A. (2002). Liselerde Görev Yapan Resim Öğretmenlerinin Öğrencilerin Yaratıcılıklarını Geliştirmeye Yönelik Nitelikleri. Yayınlanmamış doktora tezi, Fırat Üniversitesi, Elazığ. Dönmez B. (1995). Beden Eğitimi Öğretmeni Yetiştiren Programlardaki Alan Derslerinin Karşılaştırılması. Yayınlanmamış yüksek lisans tezi, Fırat Üniversitesi, Elazığ. Erden, M. (1993). Eğitimde Program Değerlendirme, Ankara: A. PEGEM Yayıncılık. Friedman, V. J.; Rothman, J. ve Withers, B. (2006). The power of why: Engaging the goal paradox in program evaluation. American Journal of Evaluation, 27(2), 201-218. Gallegos, A. (1994). Meta-Evaluation of School Evaluation Models. Studies in Educational Evaluation. 20(1): 41-54. Grant, J.S. ve Davis, L.L. (1997). Selection and use of content experts for instrument development, Research in Nursing and Health, 20, 269-274. Grene, J. C. (1992). A case study of evaluation auditting as metaevaluation. Evaluation and Program Planning, 15, 71-74. Henry, G. T. (2001). How modern democracies are shaping evaluation and the emerging challenges for evaluation. American Journal of Evaluation, 22(3), 419-429. Hofstetter, C., ve Aklin, M. C. (2003). Evaluation use revisited. In T. Kellaghan ve D. L. Stufflebeam (Eds). International handbook of educational evaluation evaluation (pp.197-222). Dordrecht, The Netherlands: Kluwer. House, E. R. (1987). The evaluation audit. Evaluation Practice, 8, 52-56. II. Lisansüstü Eğitim Sempozyumu (2005). Kapanış oturumu, 26-28 Eylül 2005, Marmara Üniversitesi, Eğitim Bilimleri Enstitüsü, İstanbul.
Kidder, L.H. ve Fine, M. (1987). Qualitative and quantitative methods: When stories converge. In M.M.Mark ve L. Shotland (Eds.), Multiple methods in program evaluation (ss. 57-75). San Francisco, CA: Jossey-Bass. New Directions for Program Evaluation, 35. Leeuw, F. L. ve Cooksy, L. J. (2005). Evaluation the performance of development agencies: The role of metaevaluation. In G. K. Pitman, O. N. Feinstein, ve G. K. Ingram (Eds.), World Bank series on evaluation and development: Cilt 7. Evaluating development effectiveness (ss. 95-108). New Brunswick, NJ: Transaction Publishing. Lipsey, M. W., Crosse, S., Dunkle, J., Pollard, J., ve Stobart, G.(1985). Evaluation: The state of the art and the sorry state of the science. In D. S. Cordray (Ed.), Utilizing prior research in evaluation planning (New Direction fot Program Evaluation, No. 27, ss. 7-28).San Francisco: Jossey-Bass. Mersinligil G. (2002). İlköğretim 4. ve 5. Sınıflarda Uygulanan İngilizce Dersi Öğretim Programının Değerlendirilmesi. Yayınlanmamış yüksek lisans tezi, Fırat Üniversitesi, Elazığ. Morris, L., ve Fitz-Gibbon, C. (1978). How to deal with goals and objectives. Beverly Hills, CA: Sage. Ornstein, A.C. and Hupkins, F.P. (1988). Curriculum: Foundations Principles and Issues, New Jersey: Prentice Hall, Englewood Cliffs, USA. Patton, M. Q. (1997). Utilization-focused evaluation: The new century text (3rd ed.). Thousand Oaks, CA: Sage. Pehlivan, Z. (1995). Eğitim Programı Açısından, Özel ve Resmi Ortaöğretim Kurumlarında Ders Dışı Okul Spor Faaliyetleri ve Yeniden Örgütlenmesi. Yayınlanmamış yüksek lisans tezi, Fırat Üniversitesi, Elazığ. Ramiszowski, A.J. (1981). Designing instructuonal systems, Decision making in course planning and curriculum. London: Kogan Page. Scriven, M. (1991). Evaluation thesaurus (4th ed.). Newbury Park, CA: Sage. Scriven, M. (2001). Evaluation: Future tense. American journal of Evaluation, 22, 301-307. Semerci, N. (1993). Fırat Üniversitesi Sosyal Bilimler Lisansüstü Programlarının Nicelik ve İşleyişi Üzerine Bir İnceleme. Yayınlanmamış yüksek lisans tezi, Fırat Üniversitesi, Elazığ. Semerci, Ç. (1998). Mesleki ve Teknik Eğitim Fakültesi Programlarının Değerlendirilmesi. Yayınlanmamış doktora tezi, Fırat Üniversitesi, Elazığ.
Shotland, R.L. ve Mark, M.M. (1987). Improving inferences from multiple methods. In M.M.Mark ve L. Shotland (Eds.), Multiple methods in program evaluation (ss. 77-94). San Francisco, CA: Jossey-Bass. New Directions for Program Evaluation, 35. Stevens, C.J. ve Dial, M. (Eds.). (1994). Preventing the misuse of evaluation. New Directions for Program Evalution, No.64. San Francisco, CA: Jossey-Bass. Stufflebeam, D. L. (2001). The meta-evaluation imperative. American Journal of Evaluation, 22, 183-209. Stufflebeam D. L. (1978). Metaevaluation: An Overview, Evaluation and The Health Proffesions. Spring, 1(1), 17-36. Tashakkori, A. ve Teddlie, C. (1998). Mixed methodology: Combining qualitative and quantitative approaches. Thousand Oaks, CA: Sage. Taşpınar, M. (1997). Modüler Öğretim Yönteminin Öğretim Yöntemleri Dersinde Öğrenci Başarısına Etkisi. Yayınlanmamış doktora tezi, Fırat Üniversitesi, Elazığ. Uusikylâ, P. ve Virtanen, P. (2000). Metaevaluation as a tool for learning: A case study of the European structural fund evaluations in Finland, 6(1), 50-65. Vergili, A. (1993). Özel Ortaöğretim Kurumlarında Yabancı Dil Öğretiminde Benimsenen İlkeler İle Uygulanan Teknik ve Yöntemlerin Bazı Değişkenler Açısından Karşılaştırılması. Yayınlanmamış yüksek lisans tezi, Fırat Üniversitesi, Elazığ. Waysman, M. ve Savaya, R. (1997). Mixed-method evaluation: A case study. Evaluation Practice, 18(3), 227-238. Weiss, C. H. (1998). Evaluation (2nd ed.). Upper Saddle River, NJ: Prentice Hall. Whitmore, E. ve Ray, M. L.(1989). Qualitive evaluation audits. Evaluation Review,13, 78-90. Worthen, B. R. (2001). Whither evaluation? That all depends. American Journal of Evaluation, 22(3), 409-418. Worthen, B. ve Sanders, J. (1973). Educational evaluation: Theory and Practice. Worthington, OH: Charles A. Jones.
EK-1 Meta Değerlendirme Ölçütleri Açıklama: Aşağıda meta değerlendirme ölçütleri verilmiştir. Bu ölçütlere ilişkin dereceleme puanları şu şekildedir. Çok Zayıf : 1 Zayıf : 2 Orta : 3 İyi : 4 Çok iyi : 5 İçerik Dereceleme 1. Değerlendirme sürecinin tanımlanması ( ) 2. Metinlerin açık ve net olması ( ) 3. Önceliklerin belirgin olması ( ) 4. Ölçme işlemlerinin geçerliği ( ) 5. Analizlerin güvenirliği ( ) 6. Program değerlendirme modellerinden yararlanılması ( ) Değerlendirmeci 7. Araştırmacının program değerlendirme tezini yapabilmesi için aldığı eğitim ve tecrübesi ( ) 8. Program değerlendirme çalışmalarında tarafsızlık ( ) 9. Anabilim dalının konuya ilişkin beklentilerine çözüm bulma ( ) 10. Araştırmada inandırıcılığın sağlanması ( ) 11. Araştırma için bütçenin oluşturulması ( ) 12. Danışmandan alınan rehberlik ( ) Rapor 13. Bulgulara bağlı sonuçların başka sonuçlarla karşılaştırmalı olarak tartışılması ( ) 14. Tez savunma jüri raporlarından tezin analizi ( ) 15. Tez danışman raporlarından tezin analizi ( ) 16. Raporların tarafsızlığı ( )