E-ÖĞRENME ORTAMLARINDA KULLANILABİLECEK DEĞERLENDİRME YAZILIMLARINA DÖNÜK BİR İNCELEME AN EVALUATION OF QUIZ MANAGEMENT TOOLS FOR E-LEARNING PLATFORMS Serkan ÇELİK Kirikkale Üniversitesi sercelikan@yahoo.com Ali KARAY Kirikkale Üniversitesi a.karay@hotmail.com ABSTRACT: Process based assessment has been considered as one of the vital component of the sophisticated e-learning programs including learning (content) management systems that synthesize the functionality of computer-mediated communications software and on-line methods of delivering course materials. Most of the quiz management tools currently available have common sets of traits and range of capabilities. However, inevitably some are better suited comparing to the others to particular educational objectives and some are simply better design issues than others. Thus, e-learning practitioners may need to have a systematic comparison framework of quiz management software in order to decide which type of tool perfectly fits into specific educational environments. Providing a summary of the features of a number of current systems, this study aims to compare a bunch of leading software used to assess learner performances within e-learning settings. The problem with which this study is concerned is how to evaluate the properties, capabilities and orientation of different assessment software from an educational perspective. It also tries to provide a basis for constructing a pedagogical evaluation methodology for the assessment software under some theoretical headings such as general features (SCORM compatibility, language support, availability for common use), design (theme modification, CSS Editor, library option), testing alternatives and publishing options, question types, and feedback. Keywords: E-learning assessment tools, online quiz management, integrated assessment systems ÖZET: Sürece dayalı değerlendirme, gelişmiş e-öğrenme programları olarak tanımlanan, bilgisayar ortamlı iletişimi ve çevrimiçi ders iletimini harmanlayabilen öğrenme yönetim sistemleri açısından önemli bir öğrenme bileşeni olarak kabul edilmektedir. Hali hazırda birçok çevrimiçi sınav geliştirme ve yönetme aracı birtakım ortak içerik ve becerilere sahip bir şekilde kullanımda yer almaktadırlar. Ancak, bu değerlendirme yazılımlarının eğitimsel açıdan birbirlerine göre üstünlükleri ve sınırlıkları bulunmaktadır. Bu durum ise, e-öğrenme ortamları geliştiricilerinin / uzmanlarının hangi değerlendirme yazılımının hangi öğrenme ortamlarına daha etkili bir şekilde eklemlenebileceği ile ilgili karşılaştırmalı bir ölçütler listesine ihtiyaç duyabilecekleri anlamına gelmektedir. Halen kullanılmakta olan değerlendirme yazılımları ile ilgili genel bilgiler vermesinin yanı sıra, bu çalışmada çevrimiçi ortamlarda öğrenme performansının ölçülmesi noktasında bazı önde gelen değerlendirme yazılımları çeşitli açılardan karşılaştırılmışlardır. Çalışma kapsamında, altı farklı değerlendirme yazılımının bileşenleri, becerileri ve eğitimsel yönelimleri; SCORM uyumluluğu, dil desteği, tasarım, ölçme ve yayınlama seçenekleri, soru tipleri ve geribildirim açısından karşılaştırılmıştır. Anahtar Sözcükler: E-öğrenme değerlendirme yazılımları, çevrimiçi sınav yönetimi, bütünleştirilmiş değerlendirme sistemleri GİRİŞ Öğrenme ve ders yönetim sistemlerinin eğitim içeriğinin düzenlenmesi, öğrenme paydaşları arasındaki iletişimin arttırılması ve öğrenme yükümlüklerinin yerine getirilmesi amaçlarıyla kullanımlarının yaygınlaşmış olmasına bağlı olarak, alternatif ve bütünleşik değerlendirme bakış açılarına uygun öğretim yazılımları giderek daha fazla dikkat çekmeye başlamıştır (Scalise & Gifford, 2006). Bu durumun bir diğer önemli nedeni ise, hem yüz yüze hem de bilgisayar destekli klasik değerlendirme araç ve yöntemlerinin öğrenmeyi geliştirmekteki işlevsel yetersizlikleridir (Birenbaum et al. 2006). Etkili bir öğrenme ortamı oluşturmak için önceden hazırlanmış klasik ölçme yöntem ve araçlarından çok daha
verimli bir ölçme değerlendirme bakış açısına ihtiyaç vardır (Hall, 2004). Klasik ölçme yöntemleri, maliyetleri, gerektirdikleri zaman, öğrenci motivasyonu üzerindeki olumsuz etkileri ve işlevsel olmamaları, bireysel farkları göz ardı etmelerinden dolayı başarısız olmaktadırlar. Birenbaum et al. (2006; 62) günümüz eğitim sistemindeki ölçme yaklaşımlarının etkisizliklerinin nedenlerini açıklarken değerlendirmenin amacının öğrenmeyi ölçmek değil öğrenmeyi desteklemek olduğuna vurgu yapmaktadır. Diğer taraftan, öğretiminin amacının ölçüm yapmak değil, öğrenmeyi kolaylaştırmak olması gerektiği düşüncesini göz ardı eden öğretmenlerin de yanlış ölçme değerlendirme uygulamalarının yerleşmesinde sorumlulukları bulunmaktadır. Öğrenmenin ölçüldüğü ortamlarda değerlendirme genelde tek boyutlu, genel, eğitim programından bağımsız ama öğretimi yönlendiren, katı, özgün olmayan ve bağlamdan bağımsız bir şekilde yürütülmektedir. Öğrenmeyi desteklemek amaçlı yapılan değerlendirmede ise, ölçme sistemi çok boyutlu, biçimlendirici, eğitim programı ile bütünleşik, özgün, bağlamlandırılmış ve esnek bir yapıya sahiptir. Öğrenmeyi destekleyici değerlendirme yaklaşımı öğrenciler açısından şeffaf, gerçek hayatı yansıtan, problem çözme becerisi gerektiren ve bireysel gereksinimleri hesaba katan bir düşünce taşımaktadır. Penn State ve Lincoln Universitelerinin birlikte hazırladıkları Uzaktan Eğitimde Yenilikler adlı çalışmada (Innovations in Distance Education, 1999), öğrencilerin kendi gelişimlerini gözlemleyebilmelerine, etkili geribildirim almalarına, akran ve öz değerlendirme yapmalarına olanak sunabilmek için her öğrenciyi eşsiz gören ve mümkün olan her durumda kullanılması gereken bir değerlendirme çabası gerektiği vurgulanmıştır. Birenbaum et al. (2006) güncel anlamda etkili ve öğrenmeyi destekleyici bir değerlendirme sistemi oluşturmak için bütünleşik değerlendirme sistemleri (Integrated Assessment Systems, IAS) adı altında hem öğrencilerin hem de öğretmenlerin beklentilerini karşılayabilecek yeni bir takım ölçme araçlarının geliştirilmesi ve kullanılması gerektiğini öne sürmektedir. Bütünleşik değerlendirme sistemleri öğretmenler açısından, içeriğin öğrenilmesi ile ilgili yöntemlere daha fazla zaman ayrılmasını sağlayabileceği, değerlendirme materyallerinin hazırlanması için gereken süreyi kısaltabileceği, biçimlendirici tekniklerle öğrenci gelişimi hakkında daha fazla bilgi verebileceği için avantajlar taşımaktadır. Öğrenciler için ise, bütünleşik değerlendirme sistemleri istendiğinde öğreticiden bağımsız öz değerlendirme yapma, sınav korkusunu yenmeye yardımcı olma, motivasyonu arttırma, öğrenci özerkliğini arttırma ve problem çözme becerisini geliştirme şeklinde katkılar sunabilmektedirler (Iahad et. al 2004). Günümüzde ticari ve ücretsiz olmak üzere, birçok değerlendirme tekniğini bir arada bulundurma özelliğine sahip, bütünleşik değerlendirme kurgusuna uygun ve biçimlendirici değerlendirme için kullanılabilecek yazılımlar bulunmaktadır. Söz konusu yazılımların, birazda yenilik etkisinden dolayı henüz çok fazla sorgulanmadan kullanıcıların talebi ile karşılaştıkları söylenebilir. Bu noktada, bu araçların sundukları fonksiyonellikleri değerlendirmek için pedagojik ölçütler geliştirmek ve yazılımları kendi aralarında karşılaştırmanın yararlı olacağı ön görülmektedir. YÖNTEM Bu çalışma, çevrimiçi ve bilgisayar destekli öğrenme ortamlarında kullanılmak üzere geliştirilmiş olan bir grup değerlendirme yazılımını karşılaştırmalı ve ölçütlendirilmiş bir şekilde değerlendirmeyi ve bu sayede öğrencilere, öğreticilere, eğitim yöneticilerine, materyal geliştirme uzmanlarına ve ölçe değerlendirme uzmanlarına dönük bir bakış açısı sunmayı amaçlamaktadır. Çalışmanın bir diğer amacı da benzer programları değerlendirmek için kullanılması gereken ölçütlerle ilgili bir fikir sunmaktır. Çalışma kapsamında, ticari ve açık kaynak kodlu olmak üzere altı farklı (, Mark,, Tools,, learning ) değerlendirme programı çeşitli parametreler aracılığıyla incelenmiş ve karşılaştırılmışlardır. Programlar incelenirken öncelikle belirli yeterlikleri üzerinde durulmuştur. Söz konusu yeterlikler; öğrenme öğretme ortamlarında sundukları kullanıcı rolleri, grafik kullanıcı ara yüzü, soru sunum seçenekleri, geliştirilebilecek soru tipleri, hata düzeltme özellikleri, öğrenci gelişim sürecini takip özellikleri, sistem uyumluluk özellikleri olarak sıralanabilir. İncelenen programlar ile ilgili genel bilgiler Tablo 1 de verilmiştir.
Tablo 1. Değerlendirme Programları Genel Özellikleri Maker Mark My Udutu Tools Advanced E-learning Ticari Yazılım SCORM Uyumu Türkçe Dil Desteği Demo Sürümünün Sınırlılıklarının Olması Online Destek Seçeneği Kullanım Kolaylığı Programlar genel olarak ele alındığında, tamamının ticari yazılımlardan oluştuğu, kullanıcı dostu bir kullanıma ve çevrim içi desteğe sahip olduğu, MyUdutu dışındakilerin hepsinin demo/ilk sürümlerinde sınırlıklar bulunduğu ve sadece MyUdutu nun Türkçe dil desteğine sahip olduğu görülmektedir. Bundan sonraki bölüm, programların kendi içlerinde biçimsel ve işlevsel açılardan değerlendirilmesine dönüktür. PROGRAM DEĞERLENDİRME Bu çalışmada kullanılan değerlendirme ölçütleri; tasarım, test oluşturma ve yayınlama ölçütleri, soru hazırlama ölçütleri, test uygulama ölçütleri, geri bildirim ölçütleri olarak belirlenmiş ve veriler tablolar halinde sunulmuştur. Tablo 2. Değerlendirme araçlarını bir takım görsel tasarım ölçütleri kapsamında incelemeyi amaçlamaktadır. Tablo 2. Değerlendirme Programları Görsel Tasarım Ölçütleri Tools Mark Hazır Temaların Bulunması Hazır Temaların Üzerinde Değişiklik Yapabilme CSS Editörünün Olması Eklenen Medya Nesnelerinin Saklandığı Bir Kütüphanenin Bulunması Her ne kadar tamamının kullanıcıya hazır temalar sunmasına karşın, incelenen programlar görsel tasarım açısından farklılıklar göstermektedir. Örneğin programlardan sadece bazıları hazır temalar üzerinde değişiklik yapmaya olanak sunarken, sadece ve Mark yazılımlarının CSS Editörü içerdiği saptanmıştır. Diğer taraftan, sadece Mark, MyUdutu ve Tools adlı araçların programa eklenen medya nesnelerinin saklanabilmesi için bir kütüphane içerdiği görülmektedir. Tablo 3 de değerlendirme programları test oluşturma ve yayınlama becerileri açısından incelenmişlerdir. Tablo 3. Değerlendirme Programları Test Oluşturma ve Yayınlama Ölçütleri Easy Quiz Maker Mark Tools Soru Havuzu Oluşturma Soru Havuzundan Rastgele ve Sıralı Soru Seçme Özelliği Testlere Video ve Ses Ekleyebilme Özelliği
Oluşturulan Testlere MS Ofice den Bilgi Aktarma Özelliği Test Çıktılarını MS Word Uyumlu Alabilme Özelliği Test Çıktılarını MS Excel Uyumlu Alabilme Özelliği Test Çıktılarını HTML Uzantılı Alabilme Özelliği Oluşturulan Testlere Kullanıcı Adı ve Parola Ekleme Özelliği Testi Canlı/Anında Yayınlama Özelliği Senaryo Oluşturabilme Özelliği Programların soru havuzu oluşturabilme ve bu soru havuzundan rastgele ve sıralı soru seçebilme özellikleri incelendiğinde, MyUdutu ve Advanced e-learning builder programlarının her iki özelliği de taşımadıkları, in soru havuzu oluşturabildiği ancak rastgele ve sıralı soru seçimi yapmaya izin vermediği, diğer programların ise hem soru havuzu oluşturmak hem de rastgele ve sıralı soru seçmek için uygun olduğu görülmüştür. Programlar ayrıca, oluşturulan testlere video, ses ve harici programlardan bilgi eklenebilme boyutlarında incelenmiş ve dışındaki bütün programların video ve ses ekleme özelliği gösterdiği ancak sadece MyUdutu ve Advanced e-learning araçlarının harici programlardan bilgi aktarabildiği gözlenmiştir. Test çıktılarını MS Word, Excel ve HTML formatlarında alabilme noktasında programının öne çıktığı, ve Mark araçlarının sadece HTML uzantılı çıktı verebildiği izlenmiştir. Diğer ölçüt maddelerine bakıldığında ise, oluşturulan testlere kullanıcı adı ve parola ekleme özelliğine sahip araçların Mark, Tools ve olduğu, sadece Mark ve MyUdutu nun oluşturulan testi anında yayınlayabildiği, senaryo tabanlı soru oluşturan yazılımların ise MyUdutu ve Tools olduğu saptanmıştır. Tablo 4 te araçlar ürettikleri soru çeşitleri açısından değerlendirilmiştir. Tablo 4. Değerlendirme Programları Soru Tipi Ölçütleri Tools Mark Maker Eşleştirme Soru Tipi Kullanabilme Çoktan Çok Seçmeli Soru Tipi Kullanabilme Resim Üzerindeki Herhangi Bir Bölgeyi Seçme Soru Tipi Kullanabilme Anket Oluşturma Özelliği Sürükle-Bırak Soru Tipi Kullanabilme Sorulara Metatag/Etiket Özelliği Verme Soruların Zorluk Derecesini Belirleme Özelliği Soruların Her Birine Ayrı Puan Verme Özelliği Sekiz ayrı kategoriye sahip olan soru tipi ölçütlerine bakıldığında, Mark ın alt kategorilerin tamamını yerine getirebildiğini, in ise anket oluşturma dışındaki bütün ölçütleri taşıdığı görülmektedir. Diğer atarftan, Advanced e-learning builder programının sadece çoktan seçmeli soru tipine izin verdiği ve her soruların her birine ayrı puan verme dışındaki ölçütlere sahip olmadığı anlaşılmıştır. Maker ın eşleştirme tipinde ve resim üzerinden soru oluşturma ve soruları etiketleme özelliklerinin bulunmadığı, Mark ın ve Tools un ise soruların zorluk derecelerini belirlenmesine izin vermedikleri, Tools aracının ayrıca soruları etiketleme
becerisine sahip olmadığı deneyimlenmiştir. Tablo 5 değerlendirme programlarını test uygulama ve geribildirim açısından incelemektedir. Tablo 5. Değerlendirme Programları Test Uygulama ve Geribildirim Ölçütleri Tools Mark Maker Kulanıcıların Başarılarını Belirlemek İçin Geçme Notu Belirme Özelliği Kullanıcının Soruları Cevaplamadan Geçmesine İzin Verme Özelliği Sorulardaki Her Bir Cevap İçin Ayrı Geri Dönüt Yazma Özelliği Sorulara Sesli Geri Dönüt Verme Özelliği E-öğrenme ortamlarında kullanılacak olan testlerin uygulanması ve öğrencilere anlık geribildirim verilmesi bağlamında programların bir takım özellikleri taşıyıp taşımadıkları sorgulanmış ve başarı/geçme notu belirleme ölçütü için diğer kıstaslar için başarılı sayılabilecek olan MyUdutu, Tools ve Advanced e-learning builder araçlarının diğer üç yazılıma kıyasla eksik kaldıkları görülmüştür. Kullanıcılara testteki soruları cevaplamadan geçebilme özerkliği tanınması ile ilgili olarak, Mark, Tools ve Advanced e-learning builder ın diğer programlardan ayrıldığı ve bu konuda esnek oldukları gözlenmiştir. Ayrıca, bu tür programlar için önemli bir kriter olan her bir cevap için ayrı geri bildirim yazabilme özelliğine sahip programların ise,, Tools ve olduğu deneyimlenmiştir. Ek olarak, sadece MyUdutu ve Tools programlarının sorulara sesli geri dönüt ekleyebilme olanağına sahip olduğu saptanmıştır. SONUÇ E-öğrenme ortamlarına kullanılabilecek olan değerlendirme programlarının incelenmesi sonucunda, her ne kadar kullanılan ölçütler bağlamında bütün beklentileri karşılayabilen bir programdan bahsetmek mümkün değilse de, söz konusu programların özellikle öğrenme ve ders yönetim sistemleri ile bütünleştirilebilmeleri ve dolayısıyla öğrenci performans gelişimini takip edebilme olanağı sunmaları öğrenme ortamları için önemli bir katkı olarak değerlendirilebilir. Diğer programlar ile karşılaştırıldığında yazılımının görece daha fazla özellik barındırdığı söylenebilir. Elde edilen veriler ışığında, e-öğrenme ortamlarına kullanılabilecek değerlendirme programları; her tür web tarayıcıda çalışabilmeli, kullanıcı dostu bir grafik arayüzüne sahip olmalı, farklı kullanıcı rollerini destekleyebilmeli, farklı sınav uygulayabilme fırsatları sunabilmeli, hazırlanan soruları depolayabilme imkânı bulunmalı, soru havuzundan rastgele doru seçebilme imkânı olmalı, otomatik düzeltme yapabilmeli, öğrenciye anlık ve etkili geri bildirim sunabilmeli, çoklu ortam desteği sunabilmeli, farklı formattaki testleri çalıştırabilmeli ve/veya diğer programlara uyumlu halde kullanıma sunabilmelidir. Bu konuda çalışma yapmak isteyen araştırmacılara, uzaktan eğitim öğrencilerinin öğrenme stilleri ile uyumlu değerlendirme tekniklerinin belirlenmesi ve uygulanması bağlamında teknolojik yenilikler üzerinde yoğunlaşmalarının faydalı olacağı düşüncesi salık verilebilir. KAYNAKÇA Birenbaum, M., Breuer, K., Cascallar, E., Dochy, F., Dori, Y., Ridgway, J., & Wiesemes, R. (2006). A learning Integrated Assessment System. Educational Research Review, 1(1), 61-67. Retrieved from http://linkinghub.elsevier.com/retrieve/pii/s174793806000030 Dalziel J. (2001) Enhancing Web-Based with Computer Assisted Assessment: Pedagogical and Technical Considerations in Proceedings of the Fifth International Computer Assisted Assessment Conference, Loughborough University.
Hall, C. (2004). Assessment: Principles, Concepts, Planning and Standards. Unpublished class hand-out. Victoria University of Wellington, School of Education. Iahad, N., Dafoulas, G. A., Kalaitzakis, E., & Macaulay, L. A. (2004). Evaluation of online assessment: The role of feedback in learner-centered e-learning. In 37th Annual Hawaii International Conference on System Sciences (HICSS 04), Big Island (Hawaii). IEEE Computer Society. Innovations in distance education (1998). An emerging set of guiding principles for the design and development of distance education. Pennsylvania: Pennsylvania State University. [Online]. Available: http://www.outreach.psu.edu/de/ide. Scalise, K., & Gifford, B. (2006). Computer-Based Assessment in E-: A Framework for Constructing Intermediate Constraint s and Tasks for Technology Platforms. Journal of Technology,, and Assessment, 4(6). Retrieved from http://www.jtla.org.