cezalandırıcı bir süreç olarak algılanmamalı, aksine onun gelişmeye katkı sağlayan yönü vurgulanmalıdır.

Transkript

1

2 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ şın, ülkemizde yılı itibariyle 103 devlet ve 53 vakıf toplam 156 üniversiteden (YÖK, 2010) bazıları, kontenjanlarını dolduramama sorunu ile karşı karşıya bulunmaktadır (Özmen, 2010). Yüksek Öğrenim Kurulu Başkanı, öğretim yılı için, 550 bin orta öğretimden mezun öğrenciye karşılık 672 bin kontenjan olduğunu belirtmiştir (ÖSYM, 2010). Bu durum, öğrenci sayısı ile kontenjan sayısı arasındaki farkın ne kadar yüksek olduğunu göstermektedir. Yukarıda değinilen gerekçelerle artık devlet üniversitelerinin de kalite süreçleri uygulamalarını formaliteyi tamamlamak amacıyla değil, gerçekten kaliteyi yükseltmek ve rekabette öne çıkmak amacı ile yürütmesi gerekmektedir. Bu gerekçelerle; devlet üniversitelerinin, kalite çalışmalarının her aşamasında kaliteye gereksinimi vardır. Malche (1932), İstanbul Üniversitesi nin tarihçesi ve kuruluşu hakkında bir rapor hazırlamıştır. Bu raporda yer alan çok önemli bir açıklama hala geçerliğini koruyor görünmektedir. Üniversite sorunu, aslında; Türkiye nin fikri, manevi, hatta toplumsal geleceği sorunudur Üniversiteler fikri, manevi ve toplumsal geleceğimiz için dün gibi bugün de son derece önemlidir. Ancak bu önemli kuruluşların gelişmesi için neler yapılıyor sorusu sorulmalıdır. Bu soruya yanıt verebilmek için üniversitelerin ilk olarak etkili bir değerlendirme sistemine gereksinimi vardır. Göçmen (2004), günümüzde eğitimde gelişme kavramının hem nicel hem de nitel gelişmeyi içerdiğini vurgulamaktadır. Değerlendirmenin olmadığı ya da değerlendirmeye gereken önemin verilmediği bir eğitim sisteminin başarıya ulaşmasının zor olduğunu vurgulamaktadır. Bir üniversitenin niteliğine ilişkin en önemli göstergelerden biri ise öğretim elemanı ve dersinin kalite düzeyidir. Öğretim elemanı kalitesi, eğitimin kalitesini doğrudan etkileyen faktörlerin başında gelmekte, öğretim elemanlarının performanslarının değerlendirilmesi kalite kontrolünün güvencesi olarak görülmektedir (Açan ve Saydan, 2009 s. 227; Karamullaoğlu, 2000, s. 34). Öğretim elemanları hakkında saptamada bulunan Özmen in görüşleri şöyledir; Bugün üniversitelerimizde bilimsel araştırma yapmayan öğretim üyeleri bulunduğu gibi, güncel bilgiyi takip etmeyen ve hala 40 sene öncesinde kendisi öğrenciyken okutulan derslerde tuttuğu notlarından okuyarak ders veren öğretim üyeleri bulunmaktadır (2010, s. 6-7). Değerlendirme olmaksızın bu gibi sorunlarla baş edebilmek oldukça zordur. Ayrıca Theall ve Franklin in (2000) belirttiği gibi değerlendirme cezalandırıcı bir süreç olarak algılanmamalı, aksine onun gelişmeye katkı sağlayan yönü vurgulanmalıdır. Öğretim elemanlarının performansının değerlendirilmesi, araştırma ve öğretim olmak üzere iki farklı alanda yapılmaktadır. Tong ve Bures (1987), öğretim elemanlarının araştırma performansının değerlendirilmesinde en önemli ölçütleri; akademik dergilerde makalelerin yayınlanması, kitap editörlüğü veya yazarlığı ve bildiriler sunma olarak sıralamıştır. Öğretim performansının değerlendirilmesinde ise, çok çeşitli veri kaynakları ve veri toplama araçları bulunmaktadır. Kalaycı (2009), akademisyenlerin öğretim performanslarını değerlendirme yöntemlerini on başlık altında incelemiştir. Bu yöntemler; öğrenci değerlendirme anketi, bölüm veya anabilim dalındaki tecrübeli meslektaşları tarafından yapılan değerlendirme, kendi kendini değerlendirme, yöneticilerin değerlendirmesi, üniversite dışından uzman değerlendirmesi, mezun olan öğrencilerin değerlendirmesi, en başarılı öğretimi gerçekleştiren öğretim elemanlarına verilen ödüller, video çekimleri, mezunlar hakkında işverenlerin görüşleri ve öğrencilerin öğrenme düzeyidir. Öğretim elemanlarının öğretim performanslarını ölçmek üzere toplanan veriler; biçimlendirici (formatif) ve yargısal (summatif) değerlendirme amacıyla toplanmaktadır. Değerlendirme sonuçları akademisyenlerin öğretim performansları hakkında kendilerine, öğrencilere ve yönetime bilgi sağlamaktadır. Değerlendirmenin önemli bir başka işlevi ise, öğretim hizmetlerinin niteliğinin arttırılması ve öğretim programlarının gelişmesinin sağlanmasıdır (Kalaycı, 2009). Öğretim performansının öğrenciler tarafından değerlendirilmesi 1920 lerden beri yükseköğretimde sıklıkla kullanılan bir yöntemdir (Cashin, 1999; Seldin, 1999). Araştırmacılar, öğrenci değerlendirme anketlerinin sonuçlarının öğretimin kalitesini arttırmada etkili olduğu konusunda hemfikirlerdir (Jackson ve ark., 1999; Marsh ve Roche, 1997; Perry ve Smart, 1997). Ancak anketlerin geçerliliği ve güvenilirliği ile ilgili tartışmalar devam ederken Oliver, Tucker, Gupta ve Yeo nun (2008) geçerli ve güvenilir bir anketin oluşturulmasına ilişin çalışmaları dikkat çekicidir. Theall (2002), öğrencilerin öğretim elemanlarının performansı hakkında karar verecek kadar yetkin olmadığını, yükseköğretime yeni başlayan öğrencilerin öğretim elemanının konu hakkındaki bilgisini hassas bir biçimde ölçemeyeceğini, başka bir öğretim elemanının görüşünün alınmasının daha etkili olabileceğini savunmaktadır. 824

3 KALAYCI, ÇİMEN Nitekim öğretim elemanının kontrolü dışında olan faktörlerin (sınıf büyüklüğü, öğrenci motivasyonu vb.) sonuca etki edebileceği ve değerlendirmede kullanılan anketlerin geçerliliği ve güvenilirliğinin düşük olduğu yönünde de görüşler vardır. Örneğin Cashin (1995), öğretimin niteliği hakkında bir yargıya varmada öğrenci verileri de dahil olmak üzere, hiçbir veri kaynağının tek başına yeterli bilgi sağlayamadığını belirtmektedir. Kolitch ve Dean (1999), öğretimin öğrenciler tarafından değerlendirilirken kullanılan anketlerin birçoğunun geleneksel sınıf içi öğretime odaklandığını, öğretmen merkezli yöntemlerdeki etkinliliği yansıtmak için oluşturulduğunu ifade etmektedirler. Ayrıca bu anket maddelerinin, içerik geçerliliği açısından öğretimin tüm kavram ve süreçlerini karşılamadığını da belirtmişlerdir. Bazı öğretim elemanları, sınav notlarının yüksek verilmesinin anketlere verilecek yanıtları etkileyeceğini ileri sürmektedir. Öğrenmesi güç olarak kabul edilen derslere (istatistik, finans vb.) giren öğretim elemanlarının daha avantajlı olduğu, çünkü öğrencinin anketi yanıtlarken dersin güçlüğünü dikkate aldığı ileri sürülerek; anketlerde, dersin öğretim elemanına yüksek puan verilebileceğini savunmuşlardır (Barth, Charleston ve Carolina 2008). Öğrencilerin öğretim elemanını değerlendirmesi konusundaki tüm olumsuz eleştirilere karşın, Marsh (1984), öğrenci değerlendirmelerinden elde edilen bilginin; çok boyutlu, güvenilir ve etkili öğretimin göstergesi olması bakımından göreceli olarak geçerli olduğunu belirtmiştir. Hoyt ve Palet (1999), öğrenci değerlendirmelerinde çok sayıda değerlendirmecinin sürece katıldığını, bu durumun güvenilirliği arttırıcı etki yarattığını, öğretim elemanını saatlerce gözlemlemiş öğrencilerin anketi doldurmasının da geçerliliği arttırdığını belirtmiştir. Barth ve arkadaşları (2008) öğretimin öğrenciler tarafından değerlendirildiği anketlerin genel olarak verimli olduğunu ileri sürmektedir. Anket sonuçlarına göre, yüksek ortalamalara sahip öğretim elemanlarının mevcut öğrenci değerlendirme sistemini desteklerken, düşük puanlar alan öğretim elemanları ise bu anketlerin güvenilir olmadığını savunmaktadır. Alanyazındaki genel eğilim ise, öğretim elemanlarının öğretim performanslarının öğrenciler tarafından değerlendirilebileceği yönündedir. Ancak uygulamalarda iyi niyetle hareket edilmesi, geçerliliği ve güvenilirliği sağlanmış veri toplama araçlarının kullanılması, sonuçlara etki edecek birçok faktörün göz önünde bulundurulması, anketlerde öğrenci kimliğinin gizliliği esasının uygulanması ve öğretim elemanının öğrencinin ankete verdiği puanları kabullenmeye eğilimli olması gereği vurgulanmaktadır (Centra, 1993; Chen ve Hashower, 2003; Marsh, 1984; Yeşiltaş ve Öztürk, 2000). ÖEDD Anketleri ve Eğitim Programı İlişkisi Yükseköğretim kurumlarında uygulanan ÖEDD anketlerinden elde edilen sonuçlar yükseköğretim kurumlarındaki program geliştirme çalışmaları açısından büyük önem taşımaktadır. Çünkü Varış ın (1988) da vurguladığı gibi program geliştirme, düzenlenen programın masa başında değiştirilmesi, bir kısım konuların çıkarılması ya da eklenmesi değildir. Bir programın basılı bir materyal olarak değeri ancak uygulamadaki başarısı ile ölçülmektedir. Uygulamaların öğrenciler tarafından değerlendirilmesi ve sonuçların program geliştirme çalışmalarına yansıtılması bir gerekliliktir. Yükseköğretim programlarında yer alan, her bir öğretim programının değerlendirilmesi ve geliştirilmesi sürecinde öğrencilerden ve diğer kaynaklardan elde edilen dönütlerin önemli bir işlevi olduğu bilinmektedir. Bu nedenle, Avrupa ve ABD üniversitelerinin birçoğunda öğrenci değerlendirmelerine dayalı dönütlere büyük önem verilmektedir. Bunun sonucunda öğrencilere izledikleri eğitim programını ve öğretim elemanlarını değerlendirme fırsatları sıklıkla verilmekte, uygulamaları olumsuz yönde etkileyebilecek faktörleri ortaya çıkarabilmek için araştırmalar yapılmaktadır (Moore ve Kuol, 2005). Devebakan, Koçdor, Musal ve Güner (2003), eğitim programlarının değerlendirilmesinde, programın niteliği ve uygulanış biçimi hakkında karar vermeyi sağlayacak bilgilerin toplanmasının gerekliliğini vurgulamaktadırlar. Koç ve Coşkuner (2007) ise, öğretim sürecine yönelik olarak, bu sürecin en önemli paydaşı olan öğrencilerin görüşlerinin bir ölçme aracına dayalı olarak alınmasının, öğretim elemanının ve dersinin gelişmesine katkı sağlayacağını belirtmektedirler. Öğretim Elemanı ve Ders Değerlendirme (ÖEDD) Anketlerinin Hazırlanmasında Dikkat Edilmesi Gereken İlkeler ÖEDD anketleri, öğretim elemanının öğretim performansı ve dersi hakkında dönüt vermesi nedeniyle kalitenin arttırılması çalışmalarında kullanılan en önemli araçlardan biridir. Buna karşın Coffey ve Gibbs (2001) İngiltere de kullanılan anketlerin çoğunun profesyonel olarak hazırlanmadığını (Home Grown) açıklamış, 825

4 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Husband (1996) ise, öğrenci anketlerinin anlam bakımından açık ve geçerlik bakımından yeterli olmadığını savunmuştur. Tagomori ve Bishop (1995) iki yüz anket incelemiştir. Bu anketlerde yer alan maddelerin dörtte üçünün ya belirsiz ya da öznel ifadeler içerdiğini açıklamışlardır. Bu sorunun nedenlerinden biri, Kolitch ve Dean in (1999) de belirttikleri gibi, anketlerin uzman olmayan kişiler tarafından hızlı biçimde hazırlanmasıdır. Bu nedenle Türk Yükseköğretim Sistemi nde kullanılan ÖEDD anketlerinin, anket yazım kurallarına uygun olarak tasarlanması gerekir. Bu anketlerin nasıl tasarlanması gerektiği ve hangi maddelerin olması gerektiğine dair kesinleşmiş bir şablon bulunmamaktadır. ÖEDD anketleri, Yükseköğretim Akademik Değerlendirme ve Kalite Geliştirme Komisyonu (YÖDEK, 2007) tarafından önerilmekte ve üniversitelerin Akademik Değerlendirme ve Kalite Geliştirme Kurulu (ADEK) çalışmaları kapsamında hazırlanmakta ve uygulanmaktadır. Bu uygulama ile ilgili olarak fakültelerin bazıları bağımsız uygulamalarda yürütmektedir. Bu anketlerin hazırlanması aşamasında; anket yazım kurallarına, öğretim programının boyutlarına, güvenilirlik ve geçerlilik hesaplamalarına dikkat edilmesi gerekir. Anketlerde genellikle şu bölümler bulunmaktadır: Öğretim elemanının öğretim performansı ile ilgili bölüm (iletişim, sınıf yönetimi, değerlendirme vb.), ders değerlendirme (dersin içeriği, hedefleri, yararı, zorluğu, karmaşıklığı vb.) ve öğrencilerin derse ilişkin kendi performanslarını değerlendiren bölümler. ÖEDD anketlerinin hazırlanmasında dikkat edilmesi gereken özellikler saptanırken alan yazın incelenmiş ve bu özellikler dört ana başlıkta toplanmıştır. Anket Maddeleri, Eğitim Programı İle Uyumlu Olmalıdır: Öğretim elemanlarının en temel görevlerinden biri öğretimdir. Öğretim, insan yaşamının belli döneminde kazandırılan, planlı, programlı, destekli, genellikle bir belgeyle sonuçlanan, davranışların gelişmesini hedefleyen bir kavramdır (Varış, 1998, s. 6). ÖEDD anketlerinde yer alan maddelerin neler olması gerektiğine karar verebilmek için, öğretim kavramını daha derinden irdelemek gerekir. Öğretim elemanı, öğretimi eğitim programına uygun olarak yürütmektedir. Dolayısıyla anket maddeleri, dersin öğretim programı ile uyumlu olmalıdır. Anket maddelerinin öğretim programının boyutlarına göre yapılandırılarak verilerin toplanması, ilgili dersin program geliştirme çalışmalarına yararlı veri sağlayacaktır. Kolitch ve Dean (1999) ise, anket maddelerini farklı biçimde kategorilendirmiştir. (1) programın analizi, (2) öğretim elemanının sınıf içi davranışı (3) öğrenci performansının değerlendirilmesi, (4) iletişim, (5) genel değerlendirme. Pamuk (2005), araştırması kapsamında incelediği Öğretim Elemanını Değerlendirme Anketi nin 18 maddesinden yedi sinin dersle ilgili, 11 inin öğretim elemanı ile ilgili olduğunu saptamıştır. Dersle ilgili olan maddeleri dersin içeriği ve dersin işlenişi olarak iki alt kategoride; öğretim elemanı ile ilgili olan maddeleri de öğretim elemanının eğitimdeki sorumlulukları ve dersin işlenişinde yardımcı faktörler olarak iki alt kategoride toplamıştır. Cashin (1995), öğrenci değerlendirme anketlerinde yaygın olarak bulunan maddelerin; dersin organizasyonu, anlaşılırlık, iletişim becerileri, öğretmen öğrenci etkileşimi, iş yükü, değerlendirme (sınavlar ve notlar) ve öğrencinin kendini değerlendirmesi kategorilerinden oluştuğunu saptamıştır. Yukarıda yapılmış olan analizlere dikkat edildiğinde, anket maddelerinin bir eğitim programının en az iki boyutunu kapsadığı görülmektedir. Daha geçerli anket hazırlayabilmek ve sonuçları sistematik biçimde uygulamalara yansıtabilmek için anketlerin eğitim programı boyutlarının da temele alınarak hazırlanması önemlidir. Öğrencilerin Öğretimden Beklentilerinin Bilinmesi Gerekir: ÖEDD anket maddeleri hazırlanırken, etkili bir öğretim elemanında bulunması gereken özellikler ve etkili öğretimin kapsamının bilinmesi önemlidir. Çünkü anketlerin ölçmek istediği en önemli performans öğretim elemanının öğretim performansı seviyesidir. Standartlaşmış etkili öğretim elemanı ya da etkili öğretim tanımı yapılamadığı için anketlerde yer alan maddelerin, öğrencilerin öğretim hizmetlerinden beklentilerine uygun olması gerekir. Öğrencilerin etkili bir öğretim elemanı olarak gördükleri eğitimcilerin hangi özellikleri olduğu, yapılan birçok araştırmada ortaya konmuştur (Ergün, Duman, Kıncal ve Arıbaş, 1999; Helterbran, 2008; Sarı, 2004, Voss, Gruber ve Szmigin, 2007). Bu konudaki diğer çalışmalar da dikkate alınarak anket maddeleri oluşturulmalıdır. Geçerli ve Güvenilir Bir Anket Oluşturulmalıdır: Alanyazın incelendiğinde, ÖEDD anketlerinin geçerliliği ve güvenilirliği üzerine yapılan tartışmalar oldukça yoğundur. Güvenilirlik, belli bir özelliği ölçmek amacıyla yapılan ölçmelerin aynı bireyler üzerinde, benzer şartlarda tekrar edilebilirliğidir (Büyüköztürk, Çakmak, Akgün, Karadeniz ve Demirel, 2009). Güvenirlik maddelerin tutarlılığını, istikrarını ve genelebilirliğini kapsar. ÖEDD anketleri için güvenilirlik, 826

5 KALAYCI, ÇİMEN değerlendiricilerin bir madde bazında hemfikir olmasıdır (tutarlılık). Bu durum bir sınıftaki öğrencilerin belli bir maddeye benzer puan verme eğiliminde olmaları olarak açıklanabilir. Geçerlilik ise, bir ölçme aracının ölçmeyi amaçladığı özelliği ölçebilmesidir (Balcı, 2009). ÖEDD anketlerinde ise bunun karşılığı, öğrenci değerlendirme anketindeki maddelerin öğretim elemanının ve dersinin etkililiğini ne derecede ölçebiliyor olmasıdır. Üzerinde uzlaşılmış bir etkili öğretim tanımı olmadığı için etkili öğretimin tüm özelliklerini kapsayıcı bir ölçüt de yoktur. Yapılabilecek mantıki yollardan biri, etkili öğretimi yansıtan öğrenci değerlendirmelerinin verileri göz önünde bulundurularak çeşitli yaklaşımların denenmesidir (Cashin, 1995). Değerlendirmenin geçerliliği ve yararı maddelerin içerik ve kapsamına bağlıdır. İyi ifade edilmemiş ya da uygun olmayan maddeler yararlı bilgi sağlayamayacaktır (Marsh ve Roche, 1997). Anket Yazım Tekniklerine Uygun Olmalıdır: Anketlerindeki maddelerin; anlaşılabilirlik düzeyi, ifadelerinin düzgün olmaması, maddenin uzun olması gibi durumlar anketin güvenilirliğini ve geçerliliğini düşürmektedir (Büyüköztürk ve ark., 2009). Bu gerekçelerle ÖEDD anketleri de anket yazım tekniklerine uygun hazırlanmalıdır. Anket maddeleri ve ÖEDD anket maddeleri yazılırken dikkat edilmesi gereken ilkeler yapılan çeşitli çalışmalarda, ayrıntılı olarak belirlenmiştir (Altunışık, Coskun, Bayraktaroğlu ve Yıldırım, 2004; Arıkan, 2007; Arseven, 2004; Balcı, 2009; Barth ve ark., 2008; Baş, 2008; Büyüköztürk ve ark., 2009; Chen ve Hashower, 2003; Fraenkel ve Wallen, 2000; Kalaycı, 2008a; Millan ve Schumacher, 2001; Özoğlu, 1992). ÖEDD anket maddeleri hazırlanırken dikkat edilmesi gerekli noktalar: Maddelerin, araştırma amacını karşıladığından emin olunmalı, sorunun gerekliliği üzerinde tartışılmalıdır. Maddeler tüm cevaplayıcılar tarafından aynı şekilde anlaşılmalıdır. Sözcüklerin değişik anlamlar içermesi, maddelerin çok genel olması istenilmeyen durumlardır. Bir maddede yalnız bir özellik sorulmalıdır. Maddede iki ya da daha fazla fikri içeren özelliklerden kaçınılmalıdır. Özellikle bağlaçlı ifadelerden kaçınılmalıdır. Maddelerin kısa ve yalın olmasına özen gösterilmelidir. Aynı maddede birden fazla olumsuz ifade kullanılmamalıdır. Yönlendirici, taraflı ifadeler kullanılmamalıdır. Cevaplayıcıların bilgi düzeylerine uygun maddeler sorulmalıdır. Varsayımlara dayalı maddelerden uzak durulmalıdır. Kısaltmalardan kaçınılmalıdır. Alanyazın tarandığında, öğretim elemanı ve ders değerlendirme anketlerini programın boyutları açısından inceleyen bir çalışmaya rastlanmamıştır. Bu konudaki çalışmalar genellikle; öğrencilerin anketlere verdikleri puanlara etki eden değişkenleri (Barth ve ark., 2008; Comer, 2001; Jacobs, 1995; Kalaycı, 2008a; YÖK, 2000); öğretim elemanını değerlendirme yöntemlerini (Colins, 2002; Kalaycı 2009), öğretim elemanlarının ders vermelerindeki başarılarını (Aksu, Çivitçi ve Duy, 2008; Devebakan ve ark., 2003; Murat, Aslantaş ve Özgan, 2006; Tonbul, 2008; Yeşiltaş ve Öztürk, 2000); Koç ve Coşkuner (2007) ve anket geliştirme süreçlerini (Oliver ve ark., 2008; Sarı, 2004) incelemiştir. Türk alan yazınında, ÖEDD anketleri konusunda araştırmaların sayısı ise son derece sınırlıdır. Bu çalışma, bu konuda yapılacak olan çalışmalara öncü niteliğinde bir çalışma olmasından dolayı önem taşımaktadır. Öğretim elemanlarının ve öğretimin değerlendirilmesi çeşitli yöntemlerle yapılmaktadır. Bu araştırmada, bu yöntemlerden biri olan ÖEDD anketleri incelenmiştir. Çalışma, üniversitelerimizde uygulanan anketlerin ve içeriğinde yer alan maddelerin nasıl yapılandığını ve bir eğitim programının boyutları açısından nasıl dağılım gösterdiğini ortaya koymuştur. Bulgular, üniversitelerde kullanılan bu anketlerin hazırlanması aşamasına yararlı ipuçları vereceğinden önemlidir. Anketlerden toplanan veriler hem biçimlendirici hem de yargısal amaçlarla toplanmaktadır. Geçerliği ve güvenirliği düşük araçlarla toplanan veriler geçerli ve güvenilir olmayan değerlendirmelere neden olacaktır. Bu araştırma üniversitelerin bünyesinde çalışan Akademik Değerlendirme ve Kalite Geliştirme Kurulları na kendi kurumlarında uygulanan anketlerin daha titizlikle hazırlaması gerektiğine ilişkin somut veriler sağlamıştır. Bir eğitim programının başarısı, ancak programın uygulama sonuçları ile anlaşılabilir. Üniversitelerde öğretim elemanlarının öğretim performansının ve öğretimin değerlendirilmesi, öğretim elemanlarının kendi performansları hakkında bilgi vereceğinden önemlidir. Ancak bu değerlendirme kullanılan araçların geçerli ve güvenilir olması gerekir. Bu araştırma, üni- 827

6 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ versitelerde anketlerin yaygın kullanılmadığını ve kullanılan anketlerin geçerlik - güvenirlik sorunu taşıdığını dolaysıyla bu araçlarla toplanan verilerin de geçerlik ve güvenirlik sorunu taşıdığını ortaya koyduğundan önemlidir. Araştırmanın amacı; yükseköğretim kurumlarında öğretim elemanının öğretim performansını ve dersini değerlendirme amacıyla kullanılan Öğretim Elemanı ve Ders Değerlendirme (ÖEDD) Anketleri nin eğitim programının boyutları ve anket hazırlama teknikleri açısından incelenmesidir. Bu amaca ulaşmak için aşağıdaki üç soruya cevap aranmıştır. 1- ÖEDD anketlerinde yer alan öğretim elemanının öğretim performansını değerlendirmeye yönelik maddeler eğitim programının boyutlarına göre nasıl yapılandırılmıştır? 2- ÖEDD anketlerinde yer alan ders değerlendirmeye yönelik maddeler nasıl yapılandırılmıştır? 3- ÖEDD anketleri anket hazırlama ilke ve tekniklerine göre nasıl yapılandırılmıştır? Yöntem Model Bu çalışma, var olan bir durumu olduğu şekilde betimlemeyi amaçladığından tarama modeli özelliği taşımaktadır. Tarama araştırmacısı, nesnenin ya da bireyin doğrudan kendisini inceleyebileceği gibi, önceden tutulmuş çeşitli kayıtları kendi incelemeleri ile bir sistem içinde bütünleştirerek yorumlar (Karasar, 2009). Bu çalışmada ÖEDD anket maddelerinin, nasıl yapılandırıldığı sorusuna cevap arandığından tarama modeli kapsamında bir çalışmadır. Araştırmada nitel araştırma yöntemi kullanılmıştır. Evren ve Örneklem Türkiye de devlet ve vakıf üniversitelerinde öğretim elemanlarının öğretim performansını değerlendirme amacıyla kullanılmakta olan tüm öğretim elemanı ve ders değerlendirme anketleri bu araştırmanın genel evrenini oluşturmaktadır. Araştırmada, anketlere ulaşmak için 94 devlet ve 45 vakıf üniversitesi olmak üzere toplam 139 üniversite ile iletişim kurulmuştur. Bu iletişim; resmi yazışma (faks ile), yüz yüze görüşme, internet araştırması, ve telefon yoluyla yapılmıştır. Bu üniversitelerden 39 u devlet, dokuzu vakıf üniversitesi olmak üzere toplam 48 üniversiteden yanıt gelmiştir. Yanıt gelen üniversitelerden 16 sı öğretimi değerlendirme amacıyla herhangi bir anket uygulamadıklarını beyan etmiştir. Öğrencilerin öğretimi değerlendirdiği anketleri uygulayan 32 üniversiteden 35 ankete ulaşılmıştır. Böylece 32 üniversiteye ait 35 ÖEDD anketi de araştırmanın örneklemini oluşturmuştur. Verilerin Toplanması Bu araştırmada nitel araştırma yöntemi özellikleri temele alınarak tasarlanmıştır. Nitel veri toplama yöntemlerinden doküman incelemesi yapılmıştır. Alt amaçlar doğrultusunda, Türkiye deki üniversitelerden öğretim elemanının öğretim performansını ve dersi değerlendirmek için öğrencilerin görüşlerinin alındığı anketler 2009 yılında toplanmıştır. Araştırmanın verileri üniversitelerin öğretim elemanını ve dersinin öğrenciler tarafından değerlendirilmelerinde kullandıkları anketler ve bu anketlerde yer alan maddelerdir. Öğretim elemanını ve dersini değerlendirme amacıyla kullanılan anket maddeleri üniversiteden üniversiteye hatta aynı üniversitenin farklı fakültelerinde dahi değişmektedir. Bu değişimin, bölümlerin ya da derslerin özelliklerinden dolayı olduğu tahmin edilmektedir. Laboratuar derslerinin çok olduğu bölümlerde uygulamaya dayalı anket maddeleri yer alması beklenmektedir. Ancak anketler incelendiğinde, uygulamalı dersler ve kuramsal dersler için farklı anket uygulaması, araştırma örnekleminde sadece Nevşehir Üniversitesinde görülmektedir. Bazı üniversiteler uygulamalı dersler için anket içinde ayrı bir bölüm oluştururken, üniversitelerin büyük çoğunluğu bütün dersler için aynı anketi uygulamaktadır. Anketlerde yer alan maddelerin genelde öğretim elemanını değerlendirme, ders değerlendirme ve öğrencilerin kendilerini değerlendirmesi ile ilgili maddelerin olduğu belirlenmiştir. Bazı anketlerde öğretim elemanını değerlendirme, ders değerlendirme, öğrencinin kendisini değerlendirmesi kısımları ayrı başlıklarla bölümlenmiş şekilde, bazılarında ise karışık olarak sunulmuştur. Genelde anketlerde arasında madde bulunduğu saptanmıştır. Ancak üç ankette, madde sayısının 40 tan fazla olduğu tespit edilmiştir. Anketlerin çoğunluğunda açık uçlu soru bulunmaktadır. Öğrencilerin kendilerini değerlendirdiği maddeler ve açık uçlu maddeler bu çalışmada kapsam dışı bırakılmıştır. 828

7 KALAYCI, ÇİMEN Tablo 1. Araştırmanın Örneklemini Oluşturan Üniversitelerin Anketleri ve Anket Adları Sıra No Üniversite Adı Anket Adı 1 Afyon Kocatepe Üniversitesi Öğretim Elemanı Memnuniyet Anketi 2 Anadolu Üniversitesi Ders Değerlendirme Anketi Bilgisayar Mühendisliği Bölümü 3 Ankara Üniversitesi Öğretim Değerlendirme Öğrenci Formu 4 Atatürk Üniversitesi Öğretim Süreci Değerlendirme Formu 5 Atılım Üniversitesi Eğitim Değerlendirme Formu 6 Başkent Üniversitesi Öğretim Elemanı Değerlendirme Formu- Mühendislik Fakültesi Öğretim Elemanı ve Ders Değerlendirme Formu- Eğitim Fakültesi 7 Bilkent Üniversitesi Ders ve Öğretim Üyesi Değerlendirme Formu 8 Celal Bayar Üniversitesi Öğretim Üyesi Değerlendirme Formu 9 Çankaya Üniversitesi Öğretim Elemanları Değerlendirme Anketi Soruları 10 Doğu Akdeniz Üniversitesi Değerlendirme Anketi 11 Ege Üniversitesi Ders Değerlendirme Formu 12 Erciyes Üniversitesi Öğrenci Ders Memnuniyeti Anketi Soruları 13 Gazi Üniversitesi Ders ve Öğretim Elemanı Değerlendirme Anketi 14 Giresun Üniversitesi Öğretim Elemanı ve Dersi Değerlendirme Formu 15 Hacettepe Üniversitesi Öğretim Üyesi ve Ders Değerlendirme Anketi 16 Haliç Üniversitesi Ders Değerlendirme Formu 17 İstanbul Üniversitesi Ders/Öğretim Üyesi Değerlendirme Anketleri- Fen Bilimleri Enstitüsü 18 İTÜ Ders Anket Formu Öğretim Üyesi Değerlendirme Anketi 19 *İnönü Üniversitesi - 20 İzmir Yüksek Teknoloji Enstitüsü Ders Değerlendirme Anketi- Kimya Mühendisliği Bölümü 21 Işık Üniversitesi Öğretim Elemanı ve Ders Değerlendirme Formu 22 Kastamonu Üniversitesi Öğretimi Değerlendirme Öğrenci Anket Formu 23 Kocaeli Üniversitesi Öğretim Elemanı ve Ders Değerlendirme Anketi 24 Marmara Üniversitesi Ders ve Öğretim Üyesi Değerlendirme Formu 25 Nevşehir Üniversitesi Öğretim Elemanı Değerlendirme Formu- Sema ve Vefa Küçük Sağlık Yüksek Okulu (Kuramsal dersler için) Öğretim Elemanı Değerlendirme Formu- Sema ve Vefa Küçük Sağlık Yüksek Okulu(Uygulama) 26 Orta Doğu Teknik Üniversitesi Öğretim Sisteminin Öğrenciler Tarafından Değerlendirilmesi 27 Rize Üniversitesi Öğretim Elemanı Değerlendirme Formu Öğrenci Değerlendirmesi 28 Selçuk Üniversitesi Öğrenci Ders Anketi- Mühendislik Mimarlık Fakültesi 29 Süleyman Demirel Üniversitesi Öğrenci Ders Değerlendirme Anketi 30 TOBB Ekonomi ve Teknoloji Üniversitesi Öğretim Elemanı Değerlendirme Anketi 31 Ufuk Üniversitesi Öğretim Elemanı ve Ders Değerlendirme Anketi 32 Uludağ Üniversitesi Öğrenci Ders Değerlendirme Anketi * İnönü Üniversitesinin anketine ulaşılmış analiz edilmiş, ancak bu anketin adına rastlanmamıştır. Verilerin Analizi Doküman incelemesi, araştırılması hedeflenen olgu veya olgular hakkında bilgi içeren yazılı materyallerin analizini kapsar (Yıldırım ve Şimşek, 2000, s. 140 ). Bu araştırmada dokümanlar yani anketler içerik analizi ile çözümlenmiştir. Bu çalışmada, anketlerde yer alan maddelerden benzer olguları ölçen maddeler, yani aynı düşünceyi farklı kelimelerle ve cümlelerle ifade eden maddeler için en uygun ve kapsayıcı olan ifade maddenin ana fikri olarak kavramlaştırılmıştır. Araştırmanın birinci alt amacının analiz aşamaları; 1. Bir anketteki öğretim elemanının öğretim performansını değerlendiren maddeler, programın dört boyutu (hedef, içerik, eğitim durumu ve değerlendirme) temele alınarak analiz edilmiştir. Bu çalışmada, programın eğitim durumu boyutunun içinde yer alan iletişim alt kategorisi, anketlerde fazla yer aldığı için ayrı bir boyut gibi ele alınmıştır. Analiz yapılmadan önce programın her bir boyutuna araştırmacı tarafından numara verilerek kodlanmıştır (Hedef:1, İçe- 829

8 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ rik:2, Eğitim Durumu:3, Değerlendirme:4, İletişim =5). Maddelerin analizi yapılırken her bir madde hangi boyutla ilgili ise o boyutu temsil eden numara maddenin kenarına yazılmıştır. Her bir anket için yapılan bu işlem daha sonra 35 anket için ayrı ayrı yapılmış ve birinci alt amaçla toplam 570 madde açıklanan biçimde analiz edilmiştir. Daha sonra aynı numaraları alan maddeler bir araya getirilmiş ve ilgili olduğu program boyutu altına yerleştirilmiştir. Programın her bir boyutu kategori olarak adlandırılabilir. İçerik analizi yönünden önceden kategorilerin belirlenip ilgili maddelerin bu kategorilere yerleştirilmesi, alan yazında önceden belirlenmiş kategoriler (pre-set) olarak adlandırılmaktadır. Bu kategoriler eğitim programının boyutları olan; hedef, içerik, eğitim durumu, değerlendirme ve iletişim dir. 2. Programın boyutlarına (kategorilere) göre tüm anketlerin ve ilgili maddelerinin analizi tamamlandıktan sonra, her bir kategoride aynı ana fikri veren maddeler bir araya getirilerek frekans ve yüzdeleri hesaplanmıştır. Aynı ana fikirde olup farklı ifade edilen maddelerin bir araya getirilebilmesi için renklendirme işlemi yapılmıştır. 3. Her boyutta oluşturulan ana fikir tablosunda, birbirleriyle belli bir konuda ilişkili olan maddelerin ana fikri bir araya getirilerek gruplandırılmıştır. Her bir grup bir alt kategori oluşturmuş ve her alt kategoriye de ilgili olduğu ana fikre dayalı olarak isim verilerek frekans ve yüzdesi hesaplanmıştır. Araştırmanın ikinci alt amacının analiz aşamaları; 1. Anketlerde yer alan dersin değerlendirilmesi ile ilgili 100 madde incelenerek, ana fikri aynı olan maddeler aynı renklerle renklendirilmiştir ve bunun sonucunda maddelerin ana fikir tablosu oluşturulmuştur. 2. Ana fikir tablosunda, birbirleriyle belli bir konuda ilişkili olan maddelerin ana fikri bir araya getirilerek gruplandırılmıştır. Her bir grup için bir kategori oluşturulmuş ve her kategoriye isim verilerek frekans ve yüzdesi hesaplanmıştır. Araştırmanın üçüncü alt amacının analiz aşamaları; Çalışmanın bu bölümü ile ilgili olarak, anketlerde yer alan 716 madde anket yazım tekniklerine uygunluk açısından analiz edilmiştir. Bu maddelerden 570 i öğretim elemanını değerlendirme, 100 ü dersi değerlendirme ve 46 sı ise öğrencinin kendini değerlendirdiği maddelerden oluşmaktadır. Bu analizde, Tablo 2 de gösterilen ölçütler kullanılmıştır (Altunışık ve ark., 2004; Arıkan, 2007; Arseven, 2004; Balcı, 2009; Barth ve ark., 2008; Baş, 2008; Büyüköztürk ve ark., 2009; Chen ve Hashower, 2003; Fraenkel ve Wallen, 2000; Kalaycı, 2008a; Millan ve Schumacher, 2001; Özoğlu, 1992). Tablo 2 de yer alan maddeler, anket yazım ilke ve teknikleri ile ilgili alanyazın taramasına dayalı olarak araştırmacılar tarafından hazırlanmıştır. Anket hazırlamada dikkat edilmesi gereken ölçütler; dil ve anlatım ile ilgili beş madde ve maddenin içeriği ile ilgili 11 madde olarak belirlenmiştir. Anket maddelerinin 16 ölçüte uy- Tablo 2. ÖEDD Anketlerinin Anket Yazım Tekniklerine Uygunluk Açısından Değerlendirilmesinde Kullanılan Ölçütler Sıra no Dil ve Anlatım Yönünden Sıra no İçerik Yönünden 1 Soruların kısa olmasına dikkat edilmelidir. 1 Sorular araştırma amacına uygun olmalıdır. 2 Aynı soruda birden fazla olumsuz ifade kullanmaktan kaçınılmalıdır. Bir soruda yalnız bir konu sorulmalıdır. 2 3 Sorular yalın bir dille yazılmalıdır. 3 Varsayıma dayalı soru sormaktan kaçınılmalıdır. 4 Kısaltmalardan kaçınılmalıdır. 4 Anlam bakımından belirsizlik oluşturan sözcükler kullanılmamalıdır. 5 Teknik dilden uzak olmalıdır. 5 Çok genel sorulardan kaçınılmalıdır. 6 Yönlendirici ifadeler kullanılmamalıdır. 7 Cevaplayıcıların bilgi düzeyine uygun sorular sorulmalıdır. 8 Ölçüte dayalı cevaplar gerektiren sorulardan kaçınılmalıdır. 9 Araştırma probleminin gerektirdiğinden daha fazla soru olmamalıdır. 10 Hafızaya dayalı sorulardan mümkün oldukça kaçınılmalıdır. 11 Tahmin içeren tahminen, kabaca, yaklaşık gibi ifadelerden kaçınılmalıdır. 830

9 KALAYCI, ÇİMEN gunluğu araştırılırken; uygun olmayan maddelerin yanına ölçütlerin sıra numarası yazılarak kodlanmıştır. Tablo 2 de yer alan değerlendirme ölçütleri hazırlanırken iki alan uzmanı ve bir dil bilimciden görüş alınmıştır. Verilerin analizi aşamasında güvenirliği sağlamak amacı ile analizler araştırmacıların biri tarafından yapılmış daha sonra diğer araştırmacı tarafından kontrol edilmiştir. Bu kontroller esnasında boyutlara yerleştirilen maddeler hakkında iki araştırmacı tartışma yapmış ve ortak görüşleri doğrultusunda bazı değişikliklere gidilmiştir. Bu son değişiklikler, bağımsız bir araştırmacı ve araştırmaya katılan dört lisans öğrencisi ile bir hafta süresince detaylı bir biçimde incelenerek analizlere ve ilgili sonuçlarına son şekli verilmiştir. Bulgular ve Yorum ÖEDD anketlerinde yer alan öğretim elemanının öğretim performansını değerlendirmeye yönelik maddeler eğitim programının boyutlarına göre nasıl yapılandırılmıştır? ÖEDD anketlerinde yer alan öğretim elemanını değerlendirmeyi amaçlayan maddeler programın dört boyutu temele alınarak analiz edilmiştir. Her bir boyutta yer alan maddelerden aynı veya benzer anafikirde olanlar belirlenmiş ve alt kategorilere ayrılarak frekans ve yüzde dağılımları hesaplanmıştır. Anketlerdeki maddelerden 33 ünün programın hedef boyutu ile ilgili olduğu görülmektedir. Aynı veya benzer anlamı ifade edenlerin birleştirilmesi sonucu dört çeşit madde elde edilmiştir. Dönem başında dersin amacı açıklandı maddesi anketlerde en fazla yer alan ifadedir. (Anketlerde hedef boyutu ile ilgili madde çeşidi az olduğundan alt kategorilere ayrılmamıştır) Anketlerdeki maddelerin 66 sının programın içerik boyutuyla ilgili olduğu belirlenmiştir. Aynı veya benzer anlamı ifade edenlerin birleştirilmesi sonucu yedi çeşit madde elde edilmiştir. Öğretim elemanı derste işlediği konu hakkında yeterli bilgi ve beceriye sahipti. maddesi programın içerik boyutuyla ilgili olarak anketlerde en çok yer alan maddedir. Öğretim elemanı yeterliliği alt kategorisinde sadece Öğretim elemanı derste işlediği konu hakkında yeterli bilgi ve beceriye sahipti. maddesi bulunmaktadır. Konu (içerik) alt kategorisinde üç çeşit madde yer almıştır ve anketlerde en fazla Öğretim elemanı dersle ilgili yeni gelişmeleri sınıfta öğrencilerle paylaştı. maddesi tekrarlanmıştır. Bu maddeye benzer bir madde Tonbul un (2008) yaptığı çalışmada, öğretim üyeleri ve öğrencilerin; öğretim performansını değerlendirmede en önemli değerlendirme ölçütü olarak Alanındaki gelişmeleri izleme, bilgileri güncelleme maddesi ilk sırada yer alan iki maddeden biri olarak belirlenmiştir. Kaynaklar alt kategorisi ise üç çeşit Tablo 3. Hedef Boyutuyla İlgili Öğretim Elemanının Öğretim Performansını Değerlendiren Maddelerin Dağılımı Sıra No Maddelerin Anafikri Frekans (f) Yüzde (%) 1 Dönem başında dersin amacı açıklandı Dönem/yıl başında ders içeriği, işleniş şekli, değerlendirme sistemi ve kaynakları içeren ders tanıtım formu verildi Öğrencilere dersin hedef davranışlarını kazanmaları için neler yapmaları gerektiği söylendi Günlük ders planı kuralına uygun hazırlandı. 1 3 TOPLAM Tablo 4. İçerik Boyutuyla İlgili Öğretim Elemanının Öğretim Performansını Değerlendiren Maddelerin Dağılımı Alt Kategoriler Maddelerin Anafikri Frekans (f) Yüzde (%) Toplam (%) Öğretim elemanı yeterliliği Konu (içerik) Kaynaklar Öğretim elemanı derste işlediği konu hakkında yeterli bilgi ve beceriye sahipti Öğretim elemanı dersle ilgili yeni gelişmeleri sınıfta öğrencilerle paylaştı Derste işlenenler dersin adıyla uyumluydu Öğretim elemanı konusu ile ilgili çeşitli kaynaklar kullandı. 1 1 Dersle ilgili temel ve yardımcı kaynaklar hakkında yeterli bilgi öğrencilere verildi Ders kitabı ve diğer kaynaklar dersin amacına uygundu Dönem boyunca ders kapsamları eksiksiz olarak izlendi. 5 8 Toplam

10 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ madde yer almaktadır ve anketlerde en fazla tekrarlanan Dersle ilgili temel ve yardımcı kaynaklar hakkında yeterli bilgi öğrencilere verildi. maddesidir. Bulgulara göre, içerik boyutuyla ilgili anketlerde en fazla kaynaklar ile ilgili maddelerin üzerinde durulduğu görülmektedir. ÖEDD anketlerinde yer alan öğretim elemanının öğretim performansını değerlendirmeyi amaçlayan maddelerden 276 sının programın eğitim durumu boyutuyla ilgili olduğu görülmektedir. Bu maddelerden aynı veya benzer anlamı ifade edenlerin birleştirilmesi sonucunda eğitim durumu boyutu ile ilgili 23 çeşit madde elde edilmiştir. Öğretim elemanı ders işlerken, uygun yöntemlerle, öğrencinin etkin katılımını sağladı. maddesi, programın eğitim durumu boyutuyla ilgili olarak anketlerde en çok yer alan madde olduğu görülmektedir. Derse hazırlık alt kategorisinde iki çeşit madde yer almaktadır ve en fazla tekrarlanan madde Öğretim elemanı derslere hazırlanarak geldi. olmuştur. Eğitim durumu (işleniş) alt kategorisinde 18 çeşit madde yer almıştır ve bu maddelerden anketlerde en fazla Öğretim elemanı ders işlerken, uygun yöntemlerle, öğrencinin aktif katılımını sağladı. ifadesi yer almıştır. Araç-Gereçler alt kategorisinde Öğretim elemanı tepegöz, tahta vb. ders araçlarını etkin bir şekilde kullandı. maddesi bulunmaktadır. Zaman Yönetimi alt kategorisinde ise iki farklı madde yer almaktadır. Bu maddelerden en fazla tekrar eden Öğretim elemanı ders saatleri dışında dersle ilgili olarak öğrenciye zaman ayırdı. maddesidir. Bulgulara göre, eğitim durumu boyutu ile ilgili anketlerde, öğretim elemanının dersi işlenişi ile ilgili maddelere sıklıkla yer veril- Tablo 5. Eğitim Durumu Boyutuyla İlgili Öğretim Elemanının Öğretim Performansını Değerlendiren Maddelerin Dağılımı Alt Kategoriler Derse hazırlık Eğitim durumu (Dersin İşlenişi) Maddelerin Anafikri Frekans (f) Yüzde (%) Öğretim elemanı derslere hazırlanarak geldi Öğretim elemanı dersi planlı, amacına uygun bir şekilde işledi Öğretim elemanı ders işlerken, uygun yöntemlerle, öğrencinin etkin katılımını sağladı Öğretim elemanı dersi anlaşılır bir şekilde işledi ve öğrencilerin sorularını net şekilde yanıtladı Öğretim elemanı dersi ilgi çekici bir şekilde işledi Öğretim elemanı derste gerektiği kadar örnekler vererek dersi işledi. 9 3 Öğretim elemanı dersin sonunda dersi özetledi ve bir sonraki dersle bağ kurdu. 8 3 Öğretim elemanı sınıf yönetiminde başarılıydı. 8 3 Öğretim elemanı öğrencilerin eksiklerini tamamlamasına ve kendisini geliştirmesine fırsat verdi. 8 3 Öğretim elemanı dersi İngilizce işledi. 5 2 Öğretim elemanı öğrencileri araştırma yapmaya yönlendirdi ve bilgisayar, kütüphane kullanımına teşvik etti. 5 2 Öğretim elemanı, öğrencileri derse özendirdi. 5 2 Öğretim elemanı analitik/sorgulayıcı düşünce yeteneğini özendirdi. (Öğretim elemanı öğrencilerin düşünmelerine ve kendi kendilerine öğrenmelerine, 5 2 eleştirici ve yaratıcı olmalarına fırsat verdi.) Öğretim elemanı öğretmede başarılıydı. 4 1 Öğretim elemanı ödev, proje gibi çalışmaların yürütülmesinde öğrencilere yardımcı ve yol gösterici oldu. 4 1 Öğretim elemanı öğrencilerin isteklerini karşıladı. 4 1 Öğretim elemanı, öğrencilerin olumlu davranışlarını pekiştirdi. 3 1 Öğretim elemanı öğrencilerin cevaplarının doğru, yanlış ve eksik yönlerini belirtti. 2 1 Öğretim elemanı, sorunun doğru cevabını buldurmak için öğrencilere yerinde ve yeterli sayıda ipucu verdi. 1 1 Toplam (%) Öğretim elemanı derste değişik öğrencilere söz hakkı verdi. 1 1 Araç gereç Öğretim elemanı tepegöz, tahta vb. ders araçlarını etkin bir şekilde kullandı Zaman Öğretim elemanı ders saatleri dışında dersle ilgili olarak öğrenciye zaman ayırdı yönetimi Öğretim elemanı derslere zamanında geldi ve dersleri eksiksiz tamamladı Toplam

11 KALAYCI, ÇİMEN Tablo 6. İletişim Boyutuyla İlgili Öğretim Elemanının Öğretim Performansını Değerlendiren Maddelerin Dağılımı Alt Kategoriler Maddelerin Anafikri Frekans(f) Yüzde(%) Toplam(%) Ders anlaşılır bir şekilde sunuldu Eğitim durumu /Dersin işlenişi İletişim becerisi Öğretmen tutumu Öğretim elemanı zor kavramları ve fikirleri anlaşılabilir bir tarzda açıkladı Öğretim elemanı önemli noktaları vurgulayarak dersi anlaşılır şekilde işledi. 9 7 Öğretim elemanı dersi içinden gelerek anlattı. 7 6 Öğretim elemanı soruları cevaplarken olumlu bir tavır içindeydi. 4 4 Öğretim elamanının iletişimi iyiydi. 9 7 Öğretim elemanı derste beden dilini etkili bir biçimde kullandı. 3 3 Öğretim elemanının ses tonu, sınıftaki herkesin duyabileceği düzeydeydi. 1 1 Öğretim elemanı öğrencilere karşı hoşgörülüydü Öğretim elemanı ile öğrenci arasında olumlu bir etkileşim vardı Öğretim elemanı sorulara ve eleştirilere açıktı. 7 6 Sınıftaki atmosfer rahatlatıcı ve arkadaşçaydı. 6 5 Öğretim elemanı öğrencilerin öğrenim ihtiyaçlarına karşı duyarlıydı. 3 3 Toplam diği anlaşılmaktadır. Eğitim programının eğitim durumu boyutunda yer alan iletişim alt kategorisi, geniş kapsamlı olduğundan ayrı bir kategori olarak incelenmiş, daha sonra eğitim durumu kategorisi içerisindeki durumu Tablo 8 de belirtilmiştir. Anketlerde iletişim ile ilgili 113 maddeden aynı veya benzer anlamı ifade edenlerin birleştirilmesi sonucunda iletişim ile ilgili 13 çeşit madde elde edilmiştir. Ders anlaşılır bir şekilde sunuldu. maddesinin iletişim ile ilgili olarak anketlerde en çok tekrarlanan madde olduğu görülmektedir. Dersin işlenişi alt kategorisinde beş çeşit madde vardır ve bu maddelerden Ders anlaşılır bir şekilde sunuldu. maddesi en fazla yer almıştır. İletişim becerisi alt kategorisinde üç çeşit madde yer almıştır ve bu maddelerden anketlerde en fazla Öğretim elamanının iletişimi iyiydi. maddesi Tablo 7. Değerlendirme Boyutuyla İlgili Öğretim Elemanının Öğretim Performansını Değerlendiren Maddelerin Dağılımı Alt Kategoriler Maddelerin Anafikri Frekans (f) Yüzde (%) Toplam (%) Sınavlarda sorulan sorular dersin içeriğini yansıtmıştır Ders kapsamında yapılan uygulama, ödev, proje vb. çalışmaların konuyu öğrenmenize katkısı oldu Ölçme Bu dersin sınav soruları bilenle bilmeyeni ayırt edici nitelikteydi Sınav soruları tüm öğrencilerin anlayacağı biçimde hazırlandı. 5 6 Sınavda verilen süre yeterliydi. 1 1 Sınavlar, ödev ve projeler analitik/eleştirel/yaratıcı düşünce gerektiriyordu. 1 1 Öğretim elemanı sınavları ve ödevleri objektif bir şekilde değerlendirdi Öğretim elemanı, sınav, ödev ve projeler hakkında yorumlar yaparak bizi bilgilendirdi. 7 9 Notlar zamanında öğrencilere duyuruldu. 7 9 Öğretim elemanı, değerlendirilmiş sınav kağıtlarını zamanında geri verdi. 3 4 Değerlendirme Sınav sonuçları tahminlerimle uyumluydu Öğretim elemanı, not sistemini açıkça belirtti. 2 3 Hedef davranışlara ulaşıldı. 1 1 Öğretim elemanı öğrencilerin çalışmalarını yönetmede ve değerlendirmede dikkatli ve özenli davrandı. 1 1 Öğretim elemanı, dersin amaçlarını ölçecek sorularla, çeşitli ve doğru yöntemlerle değerlendirme yaptı. 1 1 Toplam

12 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ bulunmaktadır. Öğretmen tutumu alt kategorisi ise, beş çeşit madde içermektedir. Bu maddelerden anketlerde en fazla tekrarlananı ise Öğretim elemanı öğrencilere karşı hoşgörülüydü. maddesidir. Bulgulara göre, anketlerde ders sunumuyla ilgili maddelerin sıklıkla yer aldığı anlaşılmaktadır. Öğretim elemanının öğretim performansını değerlendiren anketlerde iletişim ile ilgili maddelerin yer alması önemlidir. Tonbul un (2008) yaptığı çalışmada, öğretim üyeleri ve öğrencilerin öğretim performansını değerlendirmede en önemli değerlendirme ölçütü olarak etkili iletişim becerisine sahip olma maddesi ilk sırada yer alan iki maddeden biri olarak belirlenmiştir. Anketlerdeki maddelerden 82 sinin programın değerlendirme boyutuyla ilgili olduğu görülmektedir. Bu maddelerden aynı veya benzer anlamı ifade edenlerin birleştirilmesi sonucunda değerlendirme ile ilgili 15 değişik madde elde edilmiştir. Sınavlarda sorulan sorular dersin içeriğini yansıtmıştır maddesi programın değerlendirme boyutuyla ilgili olarak anketlerde en çok tekrarlanan maddedir. Ölçme alt kategorisinde altı çeşit madde vardır ve bu maddelerden Sınavlarda sorulan sorular dersin içeriğini yansıtmıştır maddesi en fazla yer almıştır. Değerlendirme alt kategorisinde ise dokuz çeşit madde bulunmaktadır. Anketlerde en fazla Öğretim elemanı sınavları ve ödevleri objektif bir şekilde değerlendirdi. maddesi yer almaktadır. Bulgulara göre, ölçme alt kategorisine ait anketlerdeki madde sayısının değerlendirme alt kategorisine ait madde sayısından fazla olduğu görülmektedir. Anketlerde yer alan öğretim elemanlarının öğretim performansının değerlendirildiği 570 maddenin % 6 sı programın hedef boyutu, % 12 si programın içerik boyutu, % 68 i programın eğitim durumu boyutu ve % 14 ü ise programın değerlendirme boyutu ile ilgili olduğu görülmektedir. Buna göre, öğretim elemanlarının öğretim performansını değerlendirmek amacıyla hazırlanan anketlerin daha çok programın eğitim durumu boyutu ile ilgili olduğu, diğer boyutların ise göz ardı edildiği söylenebilir. Koç ve Coşkuner in (2007) yaptıkları çalışmanın bulgularında, öğretimi değerlendirme anketleri hakkında anketteki maddeleri yetersiz bulan öğrencilerin, bu yetersizliğin giderilmesi için öğretim elemanlarının derste kullandıkları öğretim teknikleri (eğitim durumu boyutu), iletişim becerileri (eğitim durumu boyutu), konusuna hakimiyeti (içerik boyutu) vb. maddeleri içerecek daha çok maddenin bulunması gerektiği belirtilmiştir. Colins in (2002) çalışmasında öğrencilerin öğretim elemanlarını değerlendirdiği anketlerin içerik ve yapısal olarak yeterli olmadığı saptanmış ve anketlerin düzeltilerek tekrar hazırlanması önerilmiştir. ÖEDD Anketlerinde Yer Alan Ders Değerlendirmeye Yönelik Maddeler Nasıl Yapılandırılmıştır? Türkiye deki 23 devlet ve dokuz vakıf üniversitesinde ders değerlendirme amacıyla öğrencilere uygulanan anketlerin içerik analizi sonucunda, anket maddelerinde yer alan ders değerlendirme ile ilgili maddeler betimlenmiştir. Anketlerde yer alan ders değerlendirme ile ilgili maddelerden birbirleriyle aynı ana fikirde olanların frekansları belirlenmiştir. Tablo 8. ÖEDD Anketlerinde Yer Alan Öğretim Elemanının Öğretim Performansını Değerlendiren Maddelerin Eğitim Programının Boyutlarına Göre Dağılımı Programın Boyutları Alt Kategoriler Frekans (f) Yüzde (%) Yüzde (%) Hedefler Kaynaklar 27 5 İçerik Öğretim Elemanı Yeterliği Konu (İçerik) 14 3 Eğitim Durumu (Dersin İşlenişi) *İletişim Eğitim Durumu Zaman Yönetimi Derse Hazırlık 41 7 Araç Gereçler 24 4 Değerlendirme Ölçme 43 8 Değerlendirme Toplam *İletişim bu araştırmada kategori olarak ele alınmıştır. Ancak programın eğitim durumu boyutunda yer aldığı için alt kategori olarak gösterilmiştir. 834

13 KALAYCI, ÇİMEN Tablo 9. Ders Değerlendirme İle İlgili Maddelerin Kategorilere Ayrılması Kategoriler Maddelerin Ana Fikri Frekans (f) Yüzde (%) Toplam (%) Dersin genel değerlendirilmesi Dersin yararı Dersin özellikleri Dersi genel olarak değerlendiriniz. 8 8 Ders hakkındaki düşüncelerinizi belirtiniz. 6 6 Bu ders mesleki gelişimim açısından gerekliydi ve yararlı oldu Bu ders bana kariyerimle ilgili bilgi, beceri ve yetenekler kazandırdı. 5 5 Bu ders bana etkin dil becerileri geliştirmemde yardımcı olmaktadır. 2 2 Dersin materyalleri (kitaplar, makaleler vb.) yeterliydi. 7 7 Ders ilginç ve zevkliydi. 6 6 Ders, programa uygundu. 6 6 Diğer derslere göre daha zor bir dersti. 4 4 Dersin kredisi dersin gerektirdiği çalışma için uygundu. 3 3 Bu dersi öğrenmek için ders dışında çok zaman ayırdım. 2 2 Derste kullanılan materyal (kitap, ders notları, yazılı malzeme ve diğer ek kaynaklar) dersin anlaşılmasında yardımcı oldu. 2 2 Dersle ilgili kaynaklara erişim kolaydı. 1 1 Ders, daha önce aldığınız derslerle uyumluydu. 1 1 Ders kitabı ve önerilen diğer kaynaklar zordu. 1 1 Ders kitabı ve önerilen diğer kaynaklar ders içeriğiyle uyumluydu. 1 1 Toplam Anketlerde ders değerlendirme ile ilgili 100 madde yer almaktadır. Bu maddelerden aynı veya benzer anlamı ifade edenlerin birleştirilmesi sonucunda ders değerlendirme ile ilgili 16 çeşit madde elde edilmiştir. Bu ders mesleki gelişimim açısından gerekliydi ve yararlı oldu. maddesinin anketlerde en fazla yer aldığı görülmektedir. Dersin genel değerlendirilmesi kategorisi iki çeşit maddeden oluşmaktadır. Bu maddelerden anketlerde en fazla tekrar eden Dersi genel olarak değerlendiriniz. maddesidir. Dersin yararı kategorisinde üç farklı madde yer almaktadır. Bu maddelerden en fazla tekrar eden Bu ders mesleki gelişimim açısından gerekliydi ve yararlı oldu. maddesidir. Dersin özellikleri kategorisinde ise 11 çeşit madde yer almaktadır. Bu maddelerden anketlerde en fazla bulunanı Dersin materyalleri (kitaplar, makaleler vb.) yeterliydi. maddesidir. Bulgulara göre, anketlerde dersin öğrenciye sağlayacağı fayda ile ilgili maddelere sıklıkla yer verildiği görülmektedir. Anketlerde yer alan dersin öğrenci beklentilerini karşılaması, ilgi çekici olması, içeriğin zor olması vb. maddeler program geliştirme çalışmaları için önemli veriler oluşturmaktadır. Devebakan ve arkadaşları (2003) tarafından yapılan çalışmada, dersin içeriğinin ve düzeyinin beklentileri karşılaması maddesine öğrencilerin düşük puan verdiği belirtilmiştir. Anketlerden elde edilen veriler doğrultusunda öğrencilerin derslerden beklentilerinin neler olduğu öğrenilebilir. Anket Hazırlama İlke ve Tekniklerine Göre ÖEDD Anketleri Nasıl Yapılandırılmıştır? Öğrencilerin öğretim elemanının öğretim performansını ve dersi değerlendirmesi amacıyla üniversitelerde uygulanan 35 ankette yer alan maddeler anket hazırlarken dikkat edilmesi gereken 16 ölçüte göre (Tablo 2) incelenmiştir. Maddelerin beş ölçüte uymadığı, diğer 11 ölçüte ise uygun olduğu belirlenmiştir. Tablo 10. Anket Hazırlama Tekniklerine Uygun Olmayan Maddelerin Dağılımı Ölçütler Uygun Olmayan Madde Frekansı (f) Uygun Olmayan Madde Yüzdesi (%) Bir maddede yalnız bir konu sorulmalıdır Anlam bakımından belirsizlik oluşturan sözcükler 33 5 kullanılmamalıdır. Sorular kısa olmalıdır Çok genel sorulardan kaçınılmalıdır. 9 1 Ölçüte dayalı cevaplar gerektiren sorulardan 7 1 kaçınılmalıdır. Toplam İncelenen Toplam Madde Sayısı 716 Anketlerde yer alan toplam 716 maddenin belirlenen anket yazım ilke ve tekniklerine göre incelendiğinde, maddelerin % 21 inin (

14 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ madde) belirlenen ölçütlere uygun olmadığı belirlenmiştir. Anket maddelerinin % 10 unun Bir maddede yalnız bir konu sorulmalıdır ölçütüne uymadan yazıldığı görülmektedir. Başka bir ifade ile anketlerde yer alan maddelerin % 10 u binişik olarak hazırlanmıştır. Anketlerde yer alan binişik maddelere örnek olarak Öğretim elemanı farklı düşünceleri hoşgörü ile karşılıyor, bilmediklerini kabul edip etmemekte dürüst ve esnek davranıyor., Öğrencilerin çalışmalarını yönetmede ve değerlendirmede dikkatli ve özenli olma, Öğretim üyesi beklentilerime yanıt verdi ve kendisinden bir daha ders almak isterim. maddeleri gösterilebilir. Binişik maddelerde öğrenciler maddede belirtilen birden fazla davranışın yalnızca birine odaklanarak puan vermeleri, anketin geçerliliğini etkileyecektir. Anketlerde yer alan ve %5 oranında bulunan, belirsizlik oluşturan sözcükler içeren maddelere örnek olarak; Bu derste çok şey öğrendim., Sınav sonuçları geciktirilmeden değerlendirilip ilan edildi., Öğretim elemanı derslere hazırlıklı geldi, Derslerini yaparken zevk alıyor ve istekli maddeleri gösterilebilir. Anketlerin ifade ediliş tarzı, formatı ve ölçek oluşturma gibi çalışmaların en önemlileri Low a (1988; 1991;1999) aittir ve hem Alderson (1992) hem de Low (1996) bu konudaki çalışmaların yetersiz olduğunu açıklamışlardır. Ülkemizde bu uygulamayı yürüten üniversitelerin bu konuda iki yönlü çalışma yapması gerekmektedir; ilki geçerli ve güvenilir anketler hazırlama, ikincisi ise bu konuda bilimsel araştırmaları yoğunlaştırma. Kalaycı (2008a) tarafından yapılan çalışmanın bulgularında; araştırmada kullanılan ankette yer alan maddelerin binişik olmasının puanlamada kararsızlığa neden olduğu, muğlak ya da göreceli ifadelerin ankette yer almasının da öğrencinin maddeyi yanlış anlamasına etki ettiği belirtilmiştir. Çok genel maddelere Konuların anlaşılır biçimde işlenmesi, Öğretim elemanıyla iletişim kurabilme, Araştırma görevlisi, öğrencilerin taleplerini karşılamıştır. ; ölçüte dayalı maddelere Öğretim elemanı dersi başarılı bir şekilde işlemektedir., Bu ders bana çok bilgi kazandırdı., Doğru cevabı buldurmak için öğrencilere yerinde ve yeterli sayıda ipucu verme. maddeleri örnek olarak verilebilir. Uzun yazılmış maddelere örnek olarak Öğrencilerini eleştirirken; kırmadan, söylenmesi gerekenleri en az suçlama ile söyleyebilme yeteneğine sahip olma. maddesi gösterilebilir. Colins in (2002) çalışmasında da öğrencilerin öğretim elemanlarını değerlendirdiği anketlerin çelişkili ifadeler içerdiği, ifadelerin daha açık ve anlaşılır olması gerektiği belirtilmiştir. Yukarıdaki bulgular; Husband ın (1996), Kolich ve Dean in (1999), Coffey ve Gibbs in (2001) araştırma sonuçları ile paralellik göstermektedir. Tartışma ve Öneriler Çalışmanın bulguları, yükseköğretim kurumlarında uygulanan Öğretim Elemanı ve Ders Değerlendirme anketlerinin (ÖEDD) belli bir sistematiği temele almadan hazırlandığını ortaya koymuştur. Eğer bir ders veya bir öğretim elemanının başarılı olup olmadığını ölçülemiyorsa, süreç hakkında bilgi elde edilmemiş demektir. Bunun sonucunda, gerekli düzeltmeleri ve gelişimi sağlayacak uygulamalar gerçekleştirilemeyecektir. Oysa değerlendirme eğitim ve öğretim sürecinin ayrılmaz bir parçasıdır. Bu görüşe paralel olarak, yükseköğretim kurumlarında öğretim kalitesinin artması için, öğretim elemanlarının ve dersin öğrenciler tarafından değerlendirilmesi önemli bir süreçtir. Özellikle Amerika Birleşik Devletleri, ÖEDD anketlerinin geçerlik, güvenirlik başta olmak üzere anket hazırlama tekniği hakkında geniş kapsamlı bilgi havuzu oluşturmuştur. ABD, ÖEDD anketlerini hazırlama teknikleri ve uygulamalar konusundaki çalışmalarını sürdürmektedirler. Ayrıca bu anketlerin uygulamasıyla, toplanan verilerin analizi, analizden elde edilen verilerin yorumlanması ve son olarak da yapılan yorumların öğretimin kalitesinin gelişmesine nasıl yansıtılacağına ilişkin 1500 çalışma olduğunu belirten Cashin in (1995) açıklamasından bu yana dünyadaki alan yazın incelendiğinde araştırmaların sayısındaki artış dikkat çekicidir. Buna karşın, Türk alan yazınında, ÖEDD anketleri konusunda araştırmaların sayısı ise son derece sınırlıdır. Ülkemizdeki akademisyenler tarafından bu konuda araştırmalar yapılması, üniversitelerin kalite geliştirme süreçlerinde ihtiyaç duyduğu bilgi havuzu nun oluşturulmasında çok önemli rol oynayacaktır. Temel olarak, ÖEDD anketlerinin hazırlanmasında dikkat edilmesi gereken önemli unsurlar: a) güvenilirlik ve geçerliliğin sağlanması, b) anket yazım ilkelerine uygunluk, c) eğitim programının boyutlarına uygunluk d) öğrencilerin öğretimden beklentilerinin göz önünde bulundurulmasıdır. Bu unsurların göz ardı edilmesi durumunda bazı anket maddeleri ölçülmesi gereken özellikleri ölçemeyebilir. Bu sonuç üniversitelerde uygulanan hem biçimsel hem de yargısal değerlendirmenin objektifliğini olumsuz yönde etkileyebilir. Bu araştırmada, ÖEDD anketlerinde yer alan maddeler eğitim programının boyutlarına göre analiz edilmiştir. 836

15 KALAYCI, ÇİMEN ÖEDD anketleriyle toplanan veriler ile öğretim programları arasında bir ilişki kurulması program geliştirme ve kalite geliştirme çalışmaları için önemlidir. Bu çalışmanın bulguları, üniversitelerin anket maddelerinin oluşturulmasında herhangi bir sistematiği ve tekniği temele almadıklarını saptamıştır. Anket hazırlayanlar anket maddelerini belirli bir sistematiğe ve tekniğe uygun hazırlamadıkları sürece, toplanan veriler güvenilir ve geçerli olmayacaktır. Bu sonuç etkisiz değerlendirme ile sonuçlanacak ve anketler sadece bir rutini gerçekleştirme aracı olarak üniversitelerde kullanılacaktır. Bu çalışmada ÖEDD anketlerinin anket yazım tekniklerine uygunluğu açısından yapılan analizinde, 35 ankette 716 madde incelenmiş ve maddelerden 152 si anket yazım tekniklerine uygun olmadığı saptanmıştır. Bu bulgu, anketlerin geçerlik ve güvenirlik sorunu taşıdığını göstermektedir. Geçerlik ve güvenirlik sorunu taşıyan sorunlu anketler, biçimsel ve yargısal değerlendirme süreçlerini olumsuz yönde etkileyecektir. Üniversitelerin bünyesinde yer alan Akademik Değerlendirme ve Kalite Geliştirme Kurulu anketlerin hazırlanmasında, anket yazım tekniklerine uyulması konusunda ölçme ve değerlendirme uzmanlarından yararlanmalıdır. Kalaycı nın (2008b) üniversitelerde öğretimin kalitesinin artırılmasını amaçlayan merkezlerin kurulmasına ilişkin önerisi önemlidir. Kalaycı (2008b) üniversitelerde kalite geliştirme uygulamalarının (adı ne olursa olsun) yürütülmesi için sürekliliği olan bir merkezin oluşturulması gerektiğini, özellikle bu merkezin öğretimin kalitesi yükseltmek için tüm değerlendirme ve geliştirme sürecini yürütmesi gerektiğini belirtmiştir. Yurt dışında eğitimde başarılı sayılan üniversitelerde bu merkezlerde program geliştirme çalışmaları, tam bir program geliştirme döngüsü halinde işlemektedir. Aynı merkezlerde ölçme değerlendirme uzmanından, program geliştirme uzmanına kadar çok değişik yelpazede uzmanlar çalışmaktadır. ADEK kurulları bu merkezlerin işleyişine benzer uygulamalar başlatabilir. Bu konuda uzman elemanlarla ve sürekli bir biçimde çalışmaların yürütülmesi yüksek öğretim kurumlarının kalitesi için bir gerekliliktir. Yüksek öğretim kurumlarında bu işleyişin nasıl olduğunu irdelemek, şu andaki işleyiş hakkında kıymetli veriler ortaya koyacağından önemlidir. Ayrıca üniversitelerde kuramsal ve uygulamalı dersler için farklı anketler hazırlanabilir. Her lisans programı kapsamındaki derslerin özelliklerine göre öğretim elemanı ve ders değerlendirme anketleri hazırlanarak üniversitelerin ilgili bölümlerinin kullanımına sunulabilir. Anketlerin hazırlanması ve hazırlandıktan sonra sürekli araştırma-geliştirme çalışmalarının yapılması gereklidir. Bu çalışmanın yapıldığı tarihten sonra uygulamaya konulan anketleri inceleyen yeni bir araştırma tasarlanabilir. Anket maddelerinin hangi boyutları kapsaması konusunda öğretim elemanları ve öğrencilerden görüşler alınabilir. Üniversiteler birçok fakülteden oluşmaktadır ve her birinin amaçları ve işleyişi farklı olmasına rağmen kullanılan anketler çoğunlukla aynıdır. Bu uygulama, değerlendirmenin güvenirliğini ve geçerliğini olumsuz yönde etkilemektedir bu sorunu irdeleyen araştırmalar yapılabilir. 837

16

17 KALAYCI, ÇİMEN Kurulu [YÖK], 2010) in Turkey, are now facing problem of not being able to find enough students enrolled in their programs (Ölçme, Seçme ve Yerleştirme Merkezi [ÖSYM], 2010; Özmen, 2010). The idea of universities given by Malche (1932) is stil very important as it was in the past for our moral future and our society s future. However, question of what has been done for improving these important institutions? has to be asked. To answer this question adequately, universities need to have an effective evaluation system. Göçmen (2004) stated that, nowadays, education related improvement concept contains both quantitative and qualitative improvement at the same time. Without evaluation, it is hard to deal with quality related problems. Moreover, as Theall and Franklin (2000) indicate, evaluation should not be regarded as a punitive process, on the contrary it is emphasized that evaluation should contribute to development. It is known that feedback from students and other sources have important functions and usages during evaluating and improving curricula of higher education institutions. As a result of this fact, European and American universities give great importance to the feedback based on evaluation made by students (Moore & Kuol, 2005). In Turkish literature, researches on ICEQs are very limited. This study is a pioneering one on the subject, this situation makes this study very important for the Turkish literature. Instructors and courses evaluation can be made by using various methods (Kalaycı, 2009; Tong & Bures, 1987). Evaluation of teaching performance by students has been frequently used a method of evaluation since 1920 (Cashin, 1999; Seldin, 1999). Researchers are mostly in an agreement such that results of students evaluation teaching questionnaires are influential and effective in improving the quality of teaching (Jackson et al., 1999; Marsh & Roche, 1997; Perry & Smart, 1997). However, discussions and arguments related to reliability and validity of questionnaires still continue among researchers (Barth, Charlston, & Carolina, 2008; Cashin, 1995; Centra, 1993; Hoyt & Palet, 1999; Kolitch & Dean, 1999; Marsh, 1984; Oliver, Tucker, Gupta, & Yeo, 2008; Theall, 2002). It is known that, in higher education programs, the feedbacks which are obtained from students and other sources and which are used in curriculum evaluation and development, have an important usage (Devebakan, Koçdor, Musal, & Güner, 2003; Koç & Coşkuner, 2007). As it was stated by Varış (1988), Curriculum Development is not a process of chancing some parts of the curriculum or is not a process of adding or deleting some parts of the curriculum. During the process of determining important points which are related to preparation of ICEQs, related literature has been considered carefully (Altunışık, Coşkun, Bayraktaroğlu, & Yıldırım, 2004; Arıkan 2007; Arseven, 2004; Balcı, 2009; Baş, 2008; Büyüköztürk, Çakmak, Akgün, Karadeniz, & Demirel, 2009; Cashin, 1995; Chen & Hashower, 2003; Ergün, Duman, Kıncal, & Arıbaş, 1999; Fraenkel & Wallen, 2000; Helterbran, 2008; Kalaycı, 2008a; Kolitch & Dean, 1999; Marsh & Roche, 1997; Millan & Schumacher, 2001; Özoğlu, 1992; Pamuk, 2005; Sarı, 2004; Tagomori & Bishop, 1995; Varış, 1998, p. 6; Voss, Gruber & Szmigin, 2007) and these important points were gathered under four main title: Items in ICEQs have to be compatible with curriculum, Expectations of students from education have to be known, ICEQ has to be valid and reliable, ICEQ has to be in accordance with questionnaire preparation and item wording principles. With this point of view, ICEWs which are used in Turkish Higher Education System have to be in accordance with questionnaire itself with questionnaire preparation principles. There is no strict principles list saying how to design and prepare an ICEQ and also saying which type of items to be included in an ICEQ. Usage of ICEQs is advised by Higher Education Academical Evaluation and Quality Improvement Commission (YÖDEK, 2007). These questionnaires are prepared and put into practice by Academical Evaluation Quality Improvement Commission (AEQIC) of each university Related to this ICEQ preparation and application process, some faculties in few universities are conducting this process independently. During the ICEQ preparation process; questionnaire preparation principles, dimensions of the curriculum, reliability and validity calculations have to be considered very careful. In general, following sections can be found in ICEQs: a section related to the teaching performance of an instructor (communication, class management, evaluation etc.), a section related to the evaluation of the course (course content, goals and objectives of the course, being hard course, complexity, course usefulness etc.), a section related to evaluation of students selfperformance during the course. When the ICEQ related literature is considered carefully, there is no research study which analize the ICEQs based on the dimensions of curri- 839

18 EDUCATIONAL SCIENCES: THEORY & PRACTICE culum. In general, ICEQ related literature have focused on the variables which have effects on the ratings given by students (Barth et al., 2008; Comer, 2001, Jacobs,1995; Kalaycı, 2008a; YÖK, 2000); evaluation methods for evaluating instructors (Colins, 2002; Kalaycı, 2009), teaching performance of instructors (Aksu, Çivitci, & Duy, 2008; Devebakan et al., 2003; Koç & Coşkuner, 2007; Murat, Aslanbaş, & Özgan, 2006; Tonbul, 2008; Yeşiltaş & Öztürk, 2000) and questionnaire preparation process (Oliver et al., 2008; Sarı, 2004). In this study, of all these various methods of evaluation of teaching performance of an instructor, ICEQs used in Turkish universities are analyzed. The study shows how the questionnaires used in Turkish universities and their items are formed and how the items show distribution in terms of curriculum components. The findings will provide important clues on the process of preparing questionnaires; hence, the study is also important. Purpose The aim of the study is to examine the questionnaires used to evaluate teaching performance at higher education institutions in Turkey and called Instructor and Course Evaluation Questionnaires (ICEQ) in terms of questionnaire preparation techniques and components of curriculum. In order to reach the aim, the three research questions below are tried to be answered. 1. How the items which are aiming to evaluate teaching performance of instructors included in ICEQ are formed based on curriculum components? 2. How the items which are aiming to evaluate courses included in ICEQs are formed? 3. How are ICEQs formed based on the methods and principles of questionnaire preparation? Method Research Design This study aims to describe a current situation in the same way as it is in real life (Karasar, 2009), so survey method is applied. Qualitative research methods are applied and the study is designed on the basis of qualitative research method qualifications. Of all the qualitative data collection methods written document analysis is applied. Universe and Sampling The universe of the study is the whole of the instructors and course evaluation questionnaires used in all of the state and private universities in Turkey. In this study, 139 universities are contacted including 94 state and 45 private universities and in the end, 35 ICEQs from 32 Turkish universities constituted the sample of the study. Instrument In the light of research questions, the questionnaires on students opinions related to teaching performance of instructors and courses evaluation in Turkish universities were collected in The data of this study are the questionnaires and their items which are used by students to evaluate instructors and their courses. Concerning this part of the study, 716 items collected from ICEQs are analyzed in terms of questionnaire preparation strategies. Of all the items, 570 of them are to evaluate the instructors; 100 of them are to evaluate the course and 46 of them are to evaluate the students themselves. Data Analysis Document analysis consists of analysis of written materials which includes information about phenomenon or phenomena to be aimed to research (Yıldırım & Şimşek, 2000, p. 140). In this study data in other words questionnaires are decoded via Content Analysis Method. Results Of all the 570 items in the questionnaires evaluating instructors teaching performances, 6 % are considered as related to the Aim component of a curriculum, 12 % to the Content component of a curriculum, 68 % to the Teaching- Learning Process component of a curriculum and finally 14 % to the Assessment component of a curriculum. With reference to the findings, it can be concluded that the questionnaires intending to evaluate instructors teaching performance focuses mostly on teaching- learning process component of curriculum and that other components of curriculum are ignored. According to Koç and Coşkuner s (2007) study results, the students think the questionnaire items are insufficient and claim that there should be more items related to the teaching techniques (the component of teaching learning 840

19 KALAYCI, ÇİMEN Discussion The findings of this study show that, in Turkish universities, preparation of questionnaires items is not based on any systems or any techniques. As long as people preparing the questionnaires do not acquire or follow a specific system and techniques, the data collected through these questionnaires will not be reliable and valid. This situation brings out ineffective evaluation and the questionnaires will be used only as to perform a routine. In this study, when the items of ICEQs are analyzed in terms of questionnaire preparation techniques, 716 items collected from 35 questionnaires are analyzed and of all the items 152 of them are determined as not appropriate to questionnaire preparation techniques. The finding indicates the questionnaires have problems regarding validity and reliability. The questionnaires with reliability and validity problems will affect the summative and formative evaluation process negatively. At that point, Kalaycı s suggestion (2008b) related to establishing centers with the aim of increasing the education quality at universities is very important. Kalaycı (2008b) claims that whatever its name such kind of centers should be established and especially they are vital for education quality. At universities with academic success and quality, curriculum development studies function as curriculum development circle at such centers. At the same centers, there are experts varying from measurement and evaluati- Table 1. The Distribution of ICEQs Items Evaluating Instructors Teaching Performance according to Components of Curriculum Curriculum Components Sub Categories Frequency (f) Percent (%) Percent (%) Objectives Sources 27 5 Content Qualification of instructors Subject (Content) 14 3 Teaching process (conveying the course) Teaching- Communication Learning Time management Process Course preparation 41 7 Teaching materials 24 4 Assessment Measurement 43 8 Evaluation Total process), communication skills (the component of teaching learning process), instructors field expertise (the component of content) etc. used in courses by instructors. Colins (2002) finds out that the questionnaires through which students evaluate teachers are inadequate in terms of content and structure and advises that the questionnaires be corrected and re-prepared. When the total 716 items are analyzed according questionnaire preparing techniques and strategies, 21% of the items (152 items) are not in line with these techniques and strategies. Of all the items, 10 % are not written in line with the criteria stated as With an item, only one subject should be asked. In other words, 10% of the questionnaire items are written in such a way that these items are trying to evaluate more than one thing in one item. This situation is completely against the questionnaire preparation principles. Some of the important studies related to wording of items of questionnaires, design of the questionnaires, and constructing a scale are conducted by Low (1988, 1991, 1999) and also both Alderson (1992) and Low (1996) indicated that studies related to these variables are not adequate. In our country, Turkey, universities, which are conducting studies, related to ICEQs, have to focus on two types of studies in general: the first one is to prepare valid and reliable ICEQs and the second one is to increase the number of studies related to ICEQs. The study of Colins (2002) states that in questionnaires, with which students evaluates their instructors, there are some contradictory statements ( items) and states that statements or wording of items have to be more open and more understandable. The findings of this present study are in agreement with the findings of the studies of Coffey and Gibbs (2001), Husband (1996), and Kolitch and Dean (1999). 841

20 EDUCATIONAL SCIENCES: THEORY & PRACTICE on experts to curriculum development experts. Academical Evaluation Quality Improvement Commission (AEQIC) may begin applications like the centers operations. References/Kaynakça Öğretim elemanlarının akademik kalite özelliklerinin değerlendirilmesi: Kafkas Üniversitesi İİBF örneği. Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, Validating questionnaires Sosyal bilimlerde araştırma yöntemleri. Araştırma teknikleri ve rapor hazırlama Anket hazırlama (Alan araştırmaları için). Sosyal bilimlerde araştırma yöntem, teknik ve ilkeler Journal of Education for Business, 84 Anket nasıl hazırlanır, uygulanır, değerlendirilir? Bilimsel araştırma yöntemleri Student ratings of teaching: the research revisited, IDEA Paper No. 32 misuses. Current practices in evaluating teaching: A practical guide to improved faculty performance and promotion decisions Reflective faculty evaluation: enhancing teaching and determining faculty effectiveness. Assesment & Evaluation in Higher Education, 281 Assessment & Evaluation in Higher Education, 26 Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 35 Journal of Educational Research, 73 Dokuz Eylül Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 5 İdeal bir öğretim elemanının özellikleri. Afyon Kocatepe Üniversitesi Sosyal Bilimler Dergisi, 3 How to design and evaluate research in education Değerlendirmeye genel bir bakış: Kriter referanslı (mutlak) ya da norm- referanslı (bağıl) değerlendirme Education, 129 Idea Paper Studies in Higher Education, 21 Educational and Psychological Measurement, 59 Student ratings of college teaching: What research has to say. Kuram ve Uygulamada Eğitim Yönetimi, 14 6 Kuram ve Uygulamada Eğitim Yönetimi, 15 niversitelerde akademik personelin eğitim- öğretim faaliyetlerindeki performanslarının değerlendirilmesi. Bilimsel araştırma yöntemi 16. Ulusal Eğitim Bilimleri Kongresi içinde (s ) 842