BİLGİSAYARLAŞTIRILMIŞ UYARLANABİLİR TEST SİSTEMLERİ VE EĞİTİM YAZILIMLARINA ENTEGRASYONLARI: TEORİDEN PRATİĞE BİR İNCELEME

Transkript

1 BİLGİSAYARLAŞTIRILMIŞ UYARLANABİLİR TEST SİSTEMLERİ VE EĞİTİM YAZILIMLARINA ENTEGRASYONLARI: TEORİDEN PRATİĞE BİR İNCELEME Hacer ÖZYURT, Özcan ÖZYURT, Adnan BAKİ Anahtar Kelimeler Bilgisayarlaştırılmış uyarlanabilir test sistemleri, Eğitimde bilgisayarlaştırılmış uyarlanabilir test kullanımı, Ölçme ve değerlendirme, Bireysel eğitim Özet Ölçme ve değerlendirme, eğitim sisteminin vazgeçilmez gereksinimlerinden birisidir. Bilgisayar/web destekli öğrenme ortamlarında ölçme ve değerlendirme için bilgisayarlaştırılmış uyarlanabilir test sistemlerinin kullanımı her geçen gün artmaktadır. Bilgisayarlaştırılmış uyarlanabilir test sistemlerin temel özelliği her bireye yetenek düzeyine göre farklı soru setleri sunmasıdır. Bu özelliği ile bireysel öğrenmenin ölçme ve değerlendirme ayağını tamamlamaktadır. Bilgisayarlaştırılmış uyarlanabilir test kavramının bütüncül olarak ele alındığı bu çalışmada, bilgisayarlaştırılmış uyarlanabilir test sistemlerinin tanımı yapılarak bu sistemlerin gelişim süreci ve genel özellikleri ele alınmıştır. Bunun yanı sıra bilgisayarlaştırılmış uyarlanabilir test sistemlerinin geliştirilmesi sürecinde kullanılan yöntem ve tekniklere değinilmiştir. Son olarak literatürde yer alan çalışmalardan yola çıkarak bu sistemlerin eğitim sistemlerinde kullanımları, avantaj ve dezavantajları ile eğitim sistemlerine katkıları tartışılmıştır. Keywords Computerized adaptive testing systems, Use of computerized adaptive tests in education, Assessment and evaluation, Individual education Abstract Assessment and evaluation are one of the indispensible requirements of educational system. The use of computerized adaptive testing systems in computer/web based learning environments for assessment and evaluation increases day by day. The main characteristic of computerized adaptive testing systems is that they direct different question sets to each individual according to their levels of ability. Thanks to this characteristic, it integrates the assessment and evaluation part of individual learning. In this study we covered the concept of computerized adaptive testing as a whole, development process and general characteristics of computerized adaptive testing concept were handled by defining them. Additionally, methods and techniques used development process of computerized adaptive testing systems were also mentioned. Finally, use of these systems in educational terms, their advantages and disadvantages with their contributions to educational systems were discussed based on the studies in literature.

2 1. GİRİŞ Test, eğitim sistemi içerisinde öğrencilerin seviyelerini ölçmek için yaygın olarak kullanılan ölçme araçlarından biridir. Test uygulamaları genellikle kağıt-kalem testleri şeklinde uygulanmaktadır. Ancak bilgisayar teknolojisindeki hızlı gelişmeye paralel olarak kağıt-kalem testleri yerini Bilgisayarlaştırılmış Uyarlanabilir Test (BUT) sistemlerine bırakmaya başlamıştır. BUT sistemleri temelden uygulamaya kadar birçok aşamada değerlendirilebilecek karmaşık bir sistemler bütünüdür. Uyarlanabilir test farklı soru maddesi setlerinin farklı bireylere ölçülen yetenek durumlarına göre uygulandığı testlerdir (Weiss, 1985). Bilgisayar ortamında bireyselleştirilmiş uyarlanabilir test uygulamasının ilk örneği Alfred-Binet IQ testinde görülmektedir te çocuklar için geliştirilen bu test, her çocuğun yaşına uygun bir başlangıç sorusu ile başlayıp verilen yanıta göre sonraki sorunun zorluk derecesini belirlemekte ve bir çok kere başarısız olduğu durumda sonlanmaktadır (Weiss, 2004; Georgiadou, Triantafillou & Economides, 2006; Fetzer, Dainis, Lambert & Meade, 2008). Elbette bu, farklı soru seviyeleriyle oluşturulmuş kitapçıklar ile öğretici tarafından gerçekleştirilebiliyordu. Bu test önceden hazırlanmış bir madde havuzu, zorluk düzeylerine göre sınıflandırılmış sorular, başlangıç seçeneği, önceden tanımlı bir puanlama sistemi, sorulacak soruların havuzdan seçilmesi için bir kural ve önceden tanımlı bir sonlandırma kuralı şeklindeki özellikler ile bireyselleştirilmiş test özelliklerini taşımaktadır (Kalender, 2004; Fetzer ve diğ., 2008; Öztuna, 2008). Bu test günümüzdeki uyarlanabilir testlerle kıyaslandığında basit görünse de gelişmiş uyarlanabilir test uygulamalarının temelini oluşturmaktadır. Bilgisayar ortamında uyarlanabilir testin ortaya çıkışı 1900'lü yılların başında olmasına karşın sonraki yıllarda bu teste ilgi olmamış ve kullanımı yaygınlaşmamıştır. Amerika Savunma Bakanlığı kara, hava ve deniz kuvvetlerinde kullanmak için BUT sistemleri üzerine yıllarca yoğun çalışmalar yürütmüştür. Ancak bilgisayarların maliyeti ve boyutları bu alanda yeterli verim sağlanamamasına neden olmuştur ve 1970'li yıllarda uyarlanabilir test uygulamalarında hızlı bir gelişme görülmüştür. Bu gelişme, bilgisayar teknolojisindeki yeni gelişmelerin yanı sıra madde tepki kuramı alanındaki araştırmaların artmasına da bağlı olmuştur. (Ponsoda, 2000; Kalender, 2004; Weiss, 2004; Fetzer ve diğ., 2008) lerde BUT uygulamaları için daha gelişmiş yöntemler uygulanmaya başlanmıştır. Örneğin değişken adım-boyutlu madde seçim modelleri, belirsiz sayıda madde-seçim yolu sağlama ve sınava girenlerin etkileşimli genel yetenek kestirimi gibi teknikler geliştirilmiş ve kullanılmıştır. Bugünkü BUT motorlarında daha çok Maksimum Bilgi Modeli ve Bayes teknikleri gibi değişken adım-boyutlu modeller kullanılmaktadır (Fetzer ve diğ., 2008).

3 2. BİLGİSAYARLAŞTIRILMIŞ UYARLANABİLİR TEST (BUT) VE ÖZELLİKLERİ BUT sistemleri her katılımcıya kendi yetenek düzeyine uyarlanmış bir test sunmaktadır. Her katılımcıya aynı uzunluklu bir test veren klasik test sistemlerine alternatif olarak düşünülen BUT sistemleri her bir bireye kendi yetenek düzeyine uygun olarak madde seçim uyarlaması yapmaktadır. Çünkü bir bireye kendi yetenek düzeyinin çok üstünde (çok zor) sorular sormak ya da yetenek düzeyinin çok altında (çok kolay) sorular sormak testi alanın yetenek düzeyi hakkında fazla bilgi sağlamamaktadır. Ayrıca kişinin yetenek düzeyine uygun olmayan sorular sormak kişinin sıkılmasına da neden olabilmektedir (Kalender, 2004; Triantafillou & Economides, 2006; Way, Davis & Fitzpatrick, 2006; Marinagi, Kaburlasos & Tsoukalas, 2007; Tian, Miao, Zhu & Gong, 2007; Fetzer ve diğ., 2008). BUT sistemlerinin dört ana bileşeni vardır. Bunlar madde havuzu, madde seçim prosedürü, yetenek kestirimi ve durdurma kuralı şeklinde sıralanabilir. BUT 'un merkezi kavramı, bir test maddesinin katılımcının yetenek seviyesine (θ) en iyi eşleşmesidir. Madde güçlüğü ve θ nın en uygun denkliği katılımcının yetenek seviyesi hakkında maksimum bilgi sağlar. BUT sistemlerinin fonksiyonlarına uygun olması için maddelerde iki ölçüt aranır. Birincisi madde özellikleri bilinen maddelerden oluşan büyük bir madde veritabanı oluşturulmalıdır. İkincisi de bütün maddeler tek boyutlu (aynı genel yapı ya da aynı özelliği ölçer) olmalıdır (Boyd, 2003; Eggen, 2004; Fetzer ve diğ., 2008; Öztuna, 2008; Erdoğdu, 2009). BUT sistemlerinde her yanıttan sonra yetenek kestirimi güncellenir ve sonraki madde yeni kestirime göre uygun özelliklere göre seçilir. BUT uygulamasında ilk olarak her bir bireyin giriş seviyesini belirlemek için orta güçlükte seçilen bir madde sunulur. Test süresince her bir yanıt hızlıca hesaplanır, eğer katılımcı doğru yanıt vermişse test istatistiksel olarak katılımcıyı yüksek seviye olarak belirler ve bu yüksek yeteneğe karşılık bir madde sunar. Eğer sonraki madde de doğru yanıtlanırsa yetenek yeniden yüksek olarak kestirilir ve sonraki madde yeni yetenek kestirimine karşılık olarak sunulur. Buna karşılık yanlış yanıtlama meydana gelirse bilgisayar sürekli olarak katılımcının yetenek kestirimini istatistiksel olarak kabul edilebilir kesinlikte bir kestirime ulaşana kadar ya da maksimum sayıda test maddesi gibi bir sınıra ulaşana kadar yeniden değerlendirir. Şekil 1'de BUT sisteminin iki sonuçlu modellerdeki (0-1 ya da başarılıbaşarısız) işleyişi görülmektedir (Tonidandel, 2001; Eggen, 2004; Kalender, 2004; Guzmán & Conejo, 2005; Al-A'ali, 2007; Tian ve diğ., 2007; Triantafillou, 2007; Öztuna, 2008).

4 Şekil 1. BUT sisteminin iki sonuçlu modellerdeki (0-1 ya da başarılı-başarısız) işleyişi Birçok BUT sistemi bir kullanıcı modeli içerir. Kullanıcı modelinin değişkenleri değerlendirmesinden çıkardığı sonuçlara göre kullanıcının bilgi, ustalık ve kabiliyet gibi karakteristiklerini tanımlar. Bununla birlikte BUT sistemlerinin büyük bir çoğunluğunun ana amacı derecelendirme/kabul ile bağlantılı bir karar için katılımcıları bir problem güçlüne göre sıralamaktır. Sonuç olarak bu sistemler tarafından kullanılan kullanıcı modeli büyük bir kullanıcı değişkenleri dizisini içermez. Onlar genellikle yeterlilikle ilgi değerlendirmedeki sonucun amaçlarını gösteren değişkenleri içerir (Triantafillou, 2007; Somyürek, 2009). Kullanılacak soru havuzundaki soruların parametrelerinin belirlenmesi de önemli bir husustur. Sorular havuza eklenmeden önce yüzlerce hatta binlerce kişiye uygulandığından parametreleri (zorluk derecesi, ayırt edicilik indeksi ve şans faktörü) bilinmektedir ve uygulanacak sorular bu parametrelere dayanarak seçilmektedir (Boyd, 2003; Kalender, 2004). Bir BUT sisteminde amaç katılımcının yeteneği hakkında mümkün olduğunca çok bilgiyi mümkün oldukça az madde ile elde etmektir. Bunu yapmak için birincil görevlerin birbirini takip ettiği temel bir döngü kurulur (Gouli, Kornilakis, Papanikolaou & Grigoriadou, 2001; Tian ve diğ., 2007; Triantafillou, 2007; Fetzer ve diğ., 2008). Bu döngünün adımları şu şekilde sıralanabilir:

5 --- à Test alan katılımcının yeteneği kestirilir à Yetenek kestirimine göre en uygun madde seçilir à Katılımcı maddeyi yanıtlar. à -- Bu temel çember uygun sonlandırma kurallarından birine varana kadar devam eder. Şekil 2'deki akış diyagramı bir BUT motoru tarafından uygulanan madde seçimi, puan ve yetenek kestirimi süreçlerini göstermektedir (Fetzer ve diğ., 2008). Giriş Maddesinin Sunumu Yanıtı Değerlendir Sonraki Maddeyi Seç ve Sun Hayır Yetenek Kestirimini Hesapla Durdurma Kuralı Sağlandı mı? Evet Final Puanını Hesapla Şekil 2. BUT motoru tarafından uygulanan madde seçimi, puan ve yetenek kestirimi süreçleri Katılımcının yeteneğini kestirmenin bir kaç yolu olduğu gibi en uygun maddeyi seçmenin de olası bir kaç kuralı vardır. Bununla birlikte genelde seçilen madde katılımcının yetenek kestirimi için uygun maksimum bilgi sağlar. Bilgi kavramı direkt olarak sorudaki yetenek seviyesindeki Madde Karakteristik Eğrisi (MKE) eğimiyle bağlantılıdır. Buna göre yüksek madde karakteristik eğrisi eğimine sahip (örn: a parametresi), geçerli θ kestirimine göre madde güçlük değerleri yakından düzenlenmiş ve ayırıcılığı maksimum maddelerin seçimi ile katılımcı hakkında maksimum bilgi elde edilir (Way, Davis & Fitzpatrick, 2006; Fetzer ve diğ., 2008). Bütün BUT sistemleri madde seçimi/yetenek kestirimi çemberini durdurmak için bir kaç tip durdurma kuralını birleştirmelidir. Bu durdurma kuralları aşağıdakilerden bir yada bir kaç tanesini içerebilir (Weiss, 1985;

6 Boyd, 2003; Weiss, 2004; Tian ve diğ., 2007; Fetzer ve diğ., 2008; Öztuna, 2008). Minimum madde sayısı vermek. o Bu kural diğerlerinden daha önceliklidir öyle ki minimum madde sayısına ulaşılmadan hiç bir sınav sonlanamaz. Maksimum madde sayısı vermek. Hem madde hem de test seviyesinin maksimum zaman sınırına ulaşma. Yetenek kestirim seviyesi için minimum kesinlik seviyesine ulaşma. o θ nın kesinliği istatistiksel testlerdeki güvenilirlik kavramına benzer şekilde standart hata ile yeniden sunulur. Yetenek kestirimi geçme-kalma kriterinden yeterince uzaklaştığında. Katılımcı test dışı tavır sergilemeye başladığında. o BUT programı yanıt dizilerinin çok yavaş mı çok hızlı mı olduğunu anlayabilir. Testi ertelemek ya da durdurmak yönündeki final kararı için test yöneticisine başvurur. BUT sistemlerinin özellikleri dikkate alındığında kağıt-kalem testlerine göre bir çok avantajının olduğu görülmektedir. Bu sistemlerin önemli üstünlükleri aşağıdaki gibi sıralanabilir (Tonidandel, 2001; Kalender, 2004; Wagner, 2004; Triantafillou & Economides, 2006; Triantafillou, 2007; Fetzer ve diğ., 2008; Öztuna, 2008; Erdoğdu, 2009): Testin uygulanma süresini kısaltır, Her öğrenci kendi seviyesine özgü bir test alır, Güvenliği artırır, Test sonuçları anında değerlendirilebilir, Test istenildiği an verilebilir, Test kalem-kâğıt gereksinimlerini ortadan kaldırır, Madde havuzundan istenmeyen sorunların çıkartılması kolaydır, Test standardizasyonunu genişletir, Test gözetim süresini kısaltır, Soru seçiminde esnekliği artırır, Test uygulayıcısının hazırlığı olmaksızın test uygulanabilir. BUT sistemleri bu üstünlüklerinin yanında bir takım dezavantajlar da taşımaktadır: Her konu ya da yetenek için uygulanamaz, Bilgisayar donanımındaki sınırlılıkları ve maliyeti sorun olabilir, Bilgisayar korkusu bu tür uygulamalarda sorunlar doğurabilir, Ölçülen yeteneğin tek boyutlu olma şartının genelde sağlanmaması, Madde havuzunun büyük olması gerekliliği.

7 3. BUT GELİŞTİRME SÜRECİ Herhangi bir BUT sisteminin başarısı büyük ölçüde kaliteli bir madde havuzuna bağlıdır. Bir BUT sistemi için madde üretimi geliştirme sürecinin ilk ve belki de en uzun aşamasıdır. Finaldeki madde havuzu katılımcıya sunulacak olan maddelerin yaklaşık olarak 5 ila 10 katı kadar maddeden oluşmalıdır. Buna göre 30 maddelik bir test için madde havuzunda maddenin bulunması önerilir. Madde yazımı sıkıntılı ve can sıkıcı bir süreçtir maddelik bir testte başlangıç madde dizisinin geliştirilmesi için 400 den fazla madde gerekebilir. Çünkü bu maddeler büyük kısmı analiz süreçlerinde azaltılacaktır (Weiss, 1985; Wise, 1997; Triantafillou & Economides, 2006; Fetzer ve diğ., 2008). Başlangıç madde havuzu kurulduktan sonra her bir madde için veriler toplanır. Tipik madde tepki kuramı analizleri için en az 300 veri noktası gerekmekle birlikte 500 veri noktası tercih edilir. Çünkü çoğunlukla 300 kişiye başlangıç madde havuzundaki bütün maddelerin uygulanması uygun olamamaktadır. Maddeler daha küçük alt havuzlara bölünmeli ve kesin veriler toplanmalıdır (Fetzer ve diğ., 2008).Yeterli katılımcı örneklemi ile madde parametreleri (ayırt edicilik(a), güçlük(b), şans(c)) kestirilebilir. Bu parametreler final madde havuzunda tutulacak olan maddelere karar vermek için kullanılır. Final madde havuzu BUT sistemine entegre edilir ve testi alanlar için uygun bir madde seçim yolu oluşturulur (Weiss, 2004; Fetzer ve diğ., 2008). Madde bankasının sürekli geliştirilmesi açısından, deneysel maddeler eklenebilir. Ancak bu maddeler kullanıcının puanı hesaplanırken dikkate alınmaz. İşaretlenen bu maddeler diğerleriyle beraber sunulur. Parametre kestirimleri bu durumda verimli olabilir ve madde havuzunda maddeyi tutma ya da yok etme ilgili kararlar verilebilir. Böylece yeni maddelerin madde havuzuna sürekli akışı sağlanır (Tian ve diğ., 2007; Fetzer ve diğ., 2008). Bir madde gözden geçirilip düzenlendiğinde artık yeni bir madde olarak kabul edilir. Madde bazı açılardan düzenlenmelidir. Madde güçlüğü ya da diğer bazı açılardan maddenin işlevi düzenlenmelidir. Dolayısıyla düzenlenmiş bir madde yeni bir madde olarak dikkate alınmalı ve buna göre güçlük seviyesi yeniden hesaplanmalıdır (Tian ve diğ., 2007). BUT sınavları çoğunlukla uzak bölgelerde yapılır. Bu şartlar altında madde havuzu eğer şifreleniyor ya da başka bir şekilde korunuyorsa bütün bölgelere tamamıyla taşınmamalıdır. Bunun yerine farklı bölgelere madde havuzundan farklı örtüşümler gönderilmelidir. Bunun bir kaç yararı vardır (Tian ve diğ., 2007). İlki test güvenliğini arttırmasıdır. Çünkü test paketlerinden birinin çalınması madde havuzunun tümünü tehlikeye sokmaz. İkincisi madde sergilenmesini sırlandırmasıdır. Herhangi bir madde yalnızca katılımcıların bir kısmı tarafından görülebilir. Üçüncüsü büyük miktarda deneyimli katılımcının aynı testi alma olasılığını azaltır. Dördüncüsü eğer test uygulaması sürecinde bir sorun ortaya çıkarsa bu durumdan sonra muhtemelen BUT uygulamalarının sadece bir kısmı etkilenir. Beşincisi örtüşme görülmesidir. Öyle ki madde güçlükleri farklı

8 taraflar karşılaştırılabilir ve eşitlenebilir. Böylece katılımcıların performans değerlendirmelerinin adil olduğundan emin olunabilir Madde Tepki Kuramı Madde Tepki Kuramı (MTK) kişinin her bir maddeye doğru cevap verme olasılığını dikkate alan, katılımcıdan ve testten bağımsız katılımcıyı tanımlayan matematiksel bir modeldir. Bu kuramda aynı bireye farklı sorular içeren iki farklı test uygulansa bile kestirilen yetenek düzeyi farklı olmaz. Testin sonunda ulaşılan puan test puanı değil katılımcının yetenek seviyesinin bir kestirimidir. Bu yetenek seviyesi sık sık theta (θ) olarak anılır ve +3 ile -3 arasında değer alır. θ skalası üzerinde sıfır ortalama yetenek seviyesini, negatif değerler ortalamadan daha düşük yetenek seviyesini, pozitif değerler ortalamadan daha yüksek yetenek seviyesini gösterir (Boyd, 2003; Yıldırım, Çömlekoğlu & Berberoğlu, 2003; Kalender, 2004; Weiss, 2004; Çinici, 2006; Kan, 2006; Fetzer ve diğ., 2008). Her matematiksel modelde olduğu gibi Madde Tepki Kuramının da belli kabulleri vardır (Gouli ve diğ., 2001; López-Cuadrado, Pérez, Vadillo & Arruabarrena, 2002; Fetzer ve diğ., 2008; Öztuna, 2008). Tek Boyutluluk: Katılımcının yetenek seviyesini uygun bir şekilde ölçmek isteyen bir MTK modeli için yalnızca tek bir yapı ya da örtük özelliği ölçmeye yönelik test maddeleri ayarlanmalıdır. Yani Tek boyutlu MTK modellerinde test performansını sadece bir tek gizil değişkeninin (yetenek) belirlediği kabul edilir. Bu varsayımın tam olarak karşılanması mümkün değildir. Bunun sebebi test performansına sınav kaygısı, test stratejileri, kişilik, hızlı işlem yapabilme becerisi, motivasyon ve benzeri pek çok değişkenin etki etmesidir. Yine de bu diğer değişkenlerin etkisinin en az düzeyde olması beklenir. Baskın bir faktör veya bileşenin test performansını etkilediği ve büyük ölçüde açıkladığının görülmesi bu varsayım için temeldir. Bu baskın bileşenin testin ölçtüğü değişken olması istenir. Tek boyutluluğun test edilmesi için faktör analizi metotları kullanılabilir. İlk faktör varyansının ikinci faktör varyansına oranı bir tek boyutluluk indeksi olarak önerilmiştir. Madde seçiminde, faktör analizinde aykırı kalan maddeler madde havuzundan çıkarılıp tekrar faktör analizi uygulanması ve istenen tek boyutlu yapı yakalanıncaya kadar bu şekilde maddelerin elenmesi bir yöntem olarak öne sürülmüştür. Yerel Bağımsızlık: Bireylerin θ düzeyleri sabit tutulduğunda, ölçme aracının maddelerine verdikleri yanıtların istatistiksel olarak bağımsız olmasına yerel bağımsızlık adı verilmektedir. MTK modellerinde, bir bireyin testin farklı maddelerine verdiği yanıtların istatistiksel olarak bağımsız olduğu varsayılır. Maddeler birbirlerine ipucu verdiklerinde yerel bağımsızlık karşılanmaz. Örneğin tek bir yeteneği ölçen bir matematik testinde sorunun içindeki kelimeler yanıta dair ipuçları içeriyorsa yerel bağımsızlık varsayımı karşılanmaz. Çünkü katılımcının test maddesine dair yanıtını matematik yeteneğinin yanı sıra ikinci bir faktör olan ipucu

9 etkilemiş olur. Maddelerin testin içindeki yerlerinin cevapları etkilemesi yerel bağımsızlık ile çelişir. Ayrıca, yerel bağımsızlığın sağlanmış olması, tek boyutluluğun sağlanmış olmasını gerektirir. MTK'da bir soruya doğru cevap verme olasılığının yetenek düzeylerine göre dağılım fonksiyonu madde karakteristik eğrisi olarak adlandırılmakta, bu eğriyi tanımlayan farklı matematiksel denklemler de modelleri oluşturmaktadır (Yıldırım, Çömlekoğlu ve Berberoğlu, 2003; Kalender, 2004; Wagner, 2004; Guzmán, Conejo & García-Hervás, 2005). Bireylerin testin maddelerine verdikleri cevaplara doğru (1) yanlış (0) şeklinde puanlama yapılmasına izin veren modellere iki kategorili MTK modelleri denir. Sıfır (0) ve bir (1) şeklinde puanlanan tek boyutlu testlerde en çok kullanılan modeller lojistik modellerdir. MTK yetenek kestirimi için çeşitli modeller kullanmaktadır. Bu modeller kullanılan parametre sayısı ve çeşidine göre değişiklik göstermektedir (Gouli ve diğ., 2001; López- Cuadrado ve diğ., 2002; Boyd, 2003; Yıldırım, Çömlekoğlu & Berberoğlu, 2003; Eggen, 2004; Kalender, 2004; Wagner, 2004; Way, Davis & Fitzpatrick, 2006; Kan, 2006; Al-A'ali, 2007; Fetzer ve diğ., 2008; Öztuna, 2008) Bir parametreli lojistik model Rasch modeli olarak da bilinen bir parametreli model, katılımcının yeteneğini (θ) bir parametre kullanarak kestirir. Bu parametre b ile ifade edilen madde güçlüğüdür. Bir parametreli model madde güçlüğü parametresi b ve bireyin yetenek düzeyi arasında ilişki kurmaktadır. Bu model şans başarısının sıfır (0) olması ve her maddenin eşit derecede ayırıcılık gücüne sahip olması seklinde iki ek varsayıma sahiptir. Kullanılan her bir madde için bu model katılımcının maddeyi doğru yanıtlama olasılığını elde etmeye yönelik, hem madde güçlük seviyesini hem de katılımcının yetenek kestirimi θ yı içeren bir mantıksal fonksiyon kullanır. b nin gerçek değeri katılımcının yetenek seviyesini gösterir. Burada katılımcının soruyu %50 şansla doğru yanıtlama olasılığı bulunmaktadır. Bağıntının ifadesi aşağıda görülmektedir; θ : bireyin yetenek seviyesi b: maddenin zorluk derecesi e: (sabit) D: 1.7 P (θ) : θ yetenek seviyesindeki bireyin b zorluk derecesindeki maddeye doğru cevap verme olasılığı D ölçekleme çarpanı, mümkün olduğu kadar normal tepe işlevine yakın lojistik işlev oluşturmak için modele dahil edilmiştir. Bu da ancak D = 1,7 olduğu zaman mümkün olmaktadır.

10 Şekil 3'te bu bağıntının grafiği görülmektedir. Bir boyutu üzerinde madde güçlüğü b ve yetenek θ ölçümü, diğer boyut üzerinde ise maddenin doğru yanıtlanma olasılığı bulunmaktadır. Mantıksal fonksiyonun grafiği (Madde Karakteristik Eğrisi - MKE) bu maddenin (mavi ile gösterilen) sıfır güçlüğe sahip olduğunu göstermektedir. Başka bir deyişle katılımcının yetenek ortalaması maddeyi %50 doğru yanıtlama şansıdır. Madde karakteristik eğrisi sağa kayarken fonksiyon daha zor maddeleri göstermektedir. Şekil 3. Bir parametreli lojistik modelde madde güçlüğüne göre kestirilen yetenek seviyesi için maddenin doğru yanıtlanma olasılığı İki parametreli lojistik model İki parametreli lojistik model katılımcının yeteneğini kestirirken ikinci bir parametreyi göz önüne almak dışında bir parametreli lojistik modele benzer. Bu parametre a ile de gösterilen madde ayırt ediciliği ya da eğimdir. Bu parametre belirli bir yetenek düzeyinde sorunun düşük ve yüksek yetenek grubundakileri ayırma gücünü temsil etmektedir. Madde ayırt edicilik indisi a, madde karakteristik eğrisinin b noktasındaki, yani eğrinin büküm noktasındaki eğimidir. Eğimi daha büyük olan maddeler daha ayırıcı ve daha kullanışlıdır. İki parametreli lojistik modelde bağıntının ifadesi aşağıda görülmektedir. a: madde ayırıcılık gücü indeksi

11 b: maddenin zorluk derecesi θ : bireyin yetenek seviyesi D: 1.7 e: (sabit) P (θ) : θ yetenek seviyesindeki bireyin b zorluk derecesindeki maddeye doğru cevap verme olasılığı. İki parametreli modelde güçlük seviyesine bakılmadığında maddelerin eğimleri birbirinden farksızdır. Bu durum Şekil 4'ten görülebilir. Şekil 4. İki parametreli lojistik modelde madde güçlüğü ve ayırt edicilik indeksine göre hesaplanan yetenek kestirimi için sorunun doğru yanıtlanma olasılığı İki maddenin MKE eğrilerinin karşılaştırılması örneğindeki mavi madde ile kırmızı madde farklı güçlük seviyelerine ve dolayısıyla farklı eğimlere sahiptir. Mavi maddenin özellikleri eğim 1.7 ve güçlük seviyesi 0.5, kırmızı maddenin özellikleri eğim 0.6 ve güçlük seviyesi 1.0 dır. İkinci parametre bir MTK modelinin veriyi ayarlama ve belli bir madde havuzu için uygulanabilir olma şansını arttırır. Çünkü paralel MKE kısıtlaması ortadan kalkar Üç parametreli lojistik model Bu model madde güçlüğü ve ayıt ediciliğin yanı sıra üçüncü parametreyi modele dahil eder. Bu parametre genellikle tahmin parametresi olarak adlandırılır ve c ile gösterilir. Tahmin parametresi özellikle çoktan seçmeli testlerle ilişkili olarak çok düşük yetenek seviyesindeki bir katılımcının şans eseri doğru yanıtı bulması fikrini modele dahil eder.

12 a: madde ayırıcılık gücü indeksi b: maddenin zorluk derecesi c: tahmin parametresi θ: bireyin yetenek seviyesi D: 1.7 e: (sabit) P (θ) : θ yetenek seviyesindeki bireyin b zorluk derecesindeki maddeye doğru cevap verme olasılığı. c değeri teorik olarak [0, 1] aralığında olmasına rağmen, pratikte 0 < c < 0.35 değerleri aralığındadır. Üç parametrenin yetenek ve doğru yanıt üzerindeki etkisi Şekil 5'te görülmektedir. Şekil 5. Üç parametreli modelde madde güçlüğü, ayırt edicilik indeksi ve şans faktörüne göre hesaplanan yetenek kestirimi için maddenin doğru yanıtlanma olasılığı Doğru maddenin bulunma olasılığının alt limiti 0 dan 0,25 yükselmiştir. Bu hem bir parametreli hem iki parametreli modelin üstündedir. Bu MKE ortalama güçlük seviyesinde (b=0) ve oldukça ayırıcı (a=1) bir madde eğimi göstermektedir. Bu parametrelere dayanarak hesaplanan sorunun doğru yanıtlanma olasılığının yetenek düzeyine göre örnek bir grafiği Şekil 6'da verilmiştir (Rudner, 1998; Aktaran: Kalender, 2004).

13 Şekil 6. üç parametreli modelde madde karakteristik eğrisi örneği a, grafiğin büküm noktasının (prob=0.5) x eksenini kestiği noktanın eğimidir. a'nın değeri ne kadar büyükse grafik o kadar dik ve dolayısıyla da o kadar ayırt edici olacaktır. b'nin değeri grafiği sola ya da sağa taşıyacaktır (sorunun doğru yanıtlanma olasılığı yetenek düzeyleri için farklılaşacaktır, sola gittikçe soru kolay, sağa gittikçe soru zor demektir). c grafiğin y eksenini kestiği noktadır ve çok düşük yetenek düzeyindekilerin bu soruyu yapabilme, yani rastgele bir cevap işaretlendiğinde, bu cevabın doğru çıkma olasılığını verir. c'nin değeri yükseldikçe sorunun düşük yetenek düzeyindekiler tarafında çözülme olasılığı artar. MTK için madde kestirim fonksiyonunun tanımlanmasındaki karmaşıklıktan dolayı parametrelerin hesaplanması zor olmaktadır. Bu nedenle, özellikle madde ve birey sayısı fazla olduğunda, bilgisayar programına ihtiyaç duyulmaktadır. Bu amaçla hazırlanmış çok sayıda özel yazılım bulunmaktadır (Raîche, Blais & Magis, 2007; Öztuna, 2008). 4. BUT SİSTEMLERİNİN EĞİTİMDE KULLANIMI Bilgisayar ortamında bireyselleştirilmiş testler günümüzde GRE (Graduate Record Examination) ve TOEFL (Test of English as a Foreign Language) uygulamalarında kullanılmaktadır. Bu testlerde bireylere önceden hazırlanmış ve parametreleri bilinen sorulardan oluşan bir havuzdan sorular sorulmaktadır. Her soru bireyin önceki sorulardaki performansına göre belirlenmektedir. Bu testler belirli test merkezlerinde önceden randevu alınarak uygulanmaktadır. Yurt dışında konuyla ilgili olarak oldukça geniş bir literatür bulunmaktadır. BUT kullanan sistemlerden bazıları Tablo 1'de sunulmuştur (Fetzer ve diğ., 2008).

14 Tablo 1. Başlıca BUT Uygulamaları ve Web Adresleri Başlıca BUT Uygulamaları Adaptive Matricrs Test (AMT) American Institute of Certified Public Accountants Exam (AICPA) American Society of Clinical Pathologists Exam (ASCP) Armed Services Vocational Aptitude Battery (ASVAB) Business Language Testing Service Computer Tests (BULATS) CAT of Written English for Spanish Speakers CAT - Pharmacology Cito Company Educational CATs College Level Academic Skills Test (CLAST) Computer Adaptive Screening Test (CAST) Computer Adaptive Test for English (CATE) Computer - Adaptive Test for Reading Chinese (CATRC) Graduate Management Admission Test (GMAT-CAT) Learning Potential CAT (LPCAT) Measures of Academic Progress (MAP) MicsoSoft Certified Professional Exams Middle Years Information System Tests (MidYIS) National Council Licensure Exam (NCLEX) National Registry of Emergency Medical Technicians Exam (NREMT) Navy Computer Adaptive Personality Scale (NCAPS) North American Pharmacist Licensure Exam (NAPLEX) Performance Series - Scantron Corporation Quality Metric CAT Tests Scholastic Reading Inventory (SRI) Standardized Test for Assesment of Reading (STAR) Web Adresi st.html Cito.byuh.edu Eall.hawaii.edu/yao/catrc/default.htm m teacher.scholastic.com

15 Yurtiçinde bu konu ile ilgili yapılan çalışmalar aşağıda özetlenmiştir. Kaptan (1993, Aktaran: Kalender, 2004) çalışmasında kağıt kalem testleriyle bilgisayar ortamında bireyselleştirilmiş testleri karşılaştırmıştır. Bu çalışmada geçmiş ÖSS sorularından oluşan bir test geliştirmiş ve uygulamıştır. Bireylere kağıt kalem testindeki 50 soruya karşılık bilgisayar ortamında 14 soru uygulanmıştır. Çalışma sonucunda test uygulama zamanında ve uygulanan soru sayısında belirgin düşüşler ortaya koymuştur. Yetenek kestirimleri arasında anlamlı fark bulunmamıştır. İşeri (2002) çalışmasında, Ortaöğretim Kurumları Seçme Yerleştirme Sınavı ve Özel Okullar Sınavının matematik kısımlarından oluşturduğu soru bankasını kullanarak matematik başarısının bilgisayar ortamında bireyselleştirilmiş test uygulamasıyla ölçülmesi konusunu ele almıştır. Bu çalışmada şu sonuçlara varılmıştır: bilgisayar ortamında bireyselleştirilmiş testler yetenek düzeyini daha az soru kullanarak güvenilir biçimde ölçmektedir. Öğrencilerin cevaplarını kontrol edebilmelerine izin verildiği takdirde, yüksek yetenek düzeyindeki öğrenciler düşük yetenek düzeyinde olarak kestirilmektedir. Bayesian metodu daha iyi kestirim sağlamakta ve sabit sayılı durma ve sabit hatalı durma yöntemlerinin her ikisi de iyi sonuçlar sağlamaktadır. Kalender (2004) çalışmasında, bireyselleştirilmiş testlerin eğitimde kullanımıyla ilgi yaptığı araştırmasında şu sonuçlara ulaşmıştır: Testlerin bilgisayar ortamında uygulanmasının ve Madde Tepki Kuramı'nın kullanılmasının mümkün olduğunu görülmüştür. Büyük ölçekli sınavlar için gerekli olan sistemin geliştirilmesi hakkında bilgisayar donanımının seçimi, uygun bir ağ yapısının oluşturulması, test merkezlerin seçimi, testleri uygulayanların eğitimi ve uygulama için uygun yazılımın geliştirilmesi gibi konularda çalışmalar yapılması gerekmektedir. Yeteri kadar araştırma yapıldığı takdirde ülkemizde bilgisayar ortamında bireyselleştirilmiş testlerin üniversite ve lisansüstü giriş ya da dil yeterliliği sınavlarında kullanılması söz konusu olabilir. Bu testlerin uygun şekilde ve mevcut yapı dikkate alınarak uygulanması halinde ülkemizdeki büyük ölçekli sınavlarda başarılı sonuçlar vereceği düşünülmektedir. Çinici (2006) çalışmasında, web tabanlı uzaktan eğitimde İngilizce dersi için uyarlanır değerlendirme sistemi tasarlamış ve gerçekleştirmiştir. Çalışmanın sonuçlarına göre; değerlendirme sistemini kullanmaya başladığında genel bilgi seviyesi 60 civarında olan bir öğrencinin, eksik ve zayıf yönlerini (%50 veya daha az) belirleyebildiği, bu konulardaki ders notlarını gözden geçirerek ve kendi kendini sınamaya yönelik testler yaparak genel başarı seviyesini 80 civarına çıkardığı görülmüştür. Öztuna (2008) çalışmasında, kas iskelet sisteminin özürlülük değerlendiriminde bilgisayar uyarlamalı test yöntemini kullandığı çalışmasında uygulama sonucunda hastaların özürlülük düzeyleri daha az madde ile daha kısa sürede belirlenebildiği sonucuna ulaşmıştır. Uysal (2008) çalışmasında, öğretim etkinlikleri kuramına göre tasarladığı öğretim yazılımı ve uyarlanabilir alıştırma yazılımının akademik başarıya

16 etkisini araştırdığı çalışmasında şu sonuçlara ulaşmıştır. Öğretim etkinlikleri kuramına göre tasarlanan öğretim yazılımını kullanarak Bilgisayar Programlama Dersinin öğrenimini gerçekleştiren öğrencilerin akademik başarı puanları ile geleneksel öğretim yazılımını kullanan öğrencilerin akademik başarı puanları arasında anlamlı bir farkın olduğu bulunmuştur. Öğrenme stillerine göre uyarlanabilir alıştırma yazılımını kullanan öğrencilerin akademik başarı puanları ile geleneksel alıştırma yazılımını kullanan öğrencilerin akademik başarı puanları arasında anlamlı bir farkın olmadığı bulunmuştur. 5. SONUÇ Eğitim sistemi içerisinde ölçme ve değerlendirme için yaygın olarak kullanılan araçlardan biri testlerdir. Bilgisayar ve yazılım teknolojilerinin gelişimine paralel olarak bilgisayar-web tabanlı öğrenme ortamlarında bilgisayarlaştırılmış uyarlanabilir test (BUT) uygulamaları yaygınlaşmaya başlamıştır. BUT sistemlerinin karakteristik özelliği her katılımcıya kendi yetenek düzeyine uyarlanmış bir test sunmaktır ve bu yapısı ile klasik test uygulamasından farklılaşmaktadır (Weiss, 1985). Her katılımcıya aynı uzunlukta klasik test vermeye alternatif olarak düşünülmüş bu sistemde, her bireye kendi yetenek düzeyine uygun olarak madde seçim uyarlaması otomatik olarak yapılmaktadır. Kişinin yetenek düzeyine uygun olmayan soruları alması bireyin sıkılmasına sebep olabilir (Kalender, 2004; Triantafillou & Economides, 2006; Way, Davis & Fitzpatrick, 2006; Marinagi, Kaburlasos & Tsoukalas, 2007). Bu durum BUT ile en alt düzeye indirgenmiş olmaktadır. Herhangi bir BUT sisteminin en önemli yapı taşlarından birisi katılımcılara sunulacak sorulardan oluşan madde havuzudur. Bir BUT sistemi için madde üretimi, sistemin geliştirilme sürecinin ilk ve en önemli aşamalarından biridir. Madde havuzunun sağlıklı oluşturulması BUT sisteminin geliştirilmesi için önem taşımaktadır (Wise, 1997; Kalender, 2004 Triantafillou & Economides, 2006; Fetzer ve diğ., 2008). Literatüre göre, BUT sistemleri klasik test sistemine göre birçok avantajı barındırmaktadır. Bu avantajların bazıları; testin uygulanma süresinin kısalması, her öğrenciye kendi seviyesine uygun bir test sunulması, test sonuçlarının anında değerlendirebilir olması şeklinde sıralanabilir. BUT sistemleri getirmiş olduğu birçok avantajın yanında bir takım dezavantajları da bünyesinde barındırmaktadır. Bu dezavantajlardan bazıları da özellikle bilgisayar kullanımı ve donanımdan kaynaklanan unsurlar olarak ön plana çıkmaktadır (Tonidandel, 2001; Kalender, 2004; Wagner, 2004; Triantafillou & Economides, 2006; Triantafillou, 2007; Fetzer ve diğ., 2008; Öztuna, 2008; Erdoğdu, 2009). Avantajları ile dezavantajları karşılaştırıldığında BUT sistemlerinin büyük ölçüde olumlu sonuçlar elde ettiği görülebilir. BUT sistemlerinin eğitimde kullanımına ilişkin çalışmalara bakıldığında olumlu sonuçlara rastlanmıştır. Nitekim literatürde, uzaktan eğitim, web

17 tabanlı eğitim ve bilgisayar destekli eğitim uygulamalarının ölçme/değerlendirme kısmında BUT sistemlerinin ve uyarlanabilir alıştırma yazılımlarının öğrencilerin yetenek düzeylerini daha az soru kullanarak güvenilir bir biçimde ölçtüğü gibi olumlu bulgular yer almaktadır. (Kaptan, 1993; Gouli ve diğ., 2001; İşeri, 2002; López-Cuadrado ve diğ., 2002; Guzmán, Conejo & García-Hervás, 2005; Çinici, 2006; Öztuna, 2008) BUT sistemleri başta web tabanlı öğrenme ortamları olmak üzere özellikle uzaktan eğitim sistemlerinde önemli uygulama alanları bulabilir. Bu bağlamda BUT sistemlerinin geliştirilmesi ve uygulanması ile alana önemli katkılar sağlanabilir. BİLGİ Bu çalışma TÜBİTAK tarafından 109K543 no lu proje olarak desteklenmektedir. KAYNAKÇA Al-A'ali, M. (2007). Implementation of an Improved Adaptive Testing Theory. Educational Technology & Society, 10 (4), Boyd, A.M. (2003). Strategies for Controlling Testlet Exposure Rates in Computerized Adaptive Testing Systems. Yayımlanmamış Doktora Tezi, The University of Texas at Austin. Çinici, M. A. (2006). Web Tabanlı Uzaktan Eğitimde Uyarlanır Değerlendirme Sistemi Tasarımı Ve Gerçekleştirimi. Yayımlanmamış Yüksek Lisans Tezi, Hacettepe Üniversitesi, Ankara. Eggen, T.J.H.M. (2004). Contributions To The Theory And Practice Of Computerized Adaptive Testing. Yayımlanmamış Doktora Tezi, University of Twente. Erdoğdu, B. (2009). Computer Based Testing Evaluation Of Question Classification For Computer Adaptive Testing. Yayımlanmamış Yüksek Lisans Tezi, Bahçeşehir Üniversitesi, İstanbul. Fetzer, M., Dainis, A., Lambert, S., Meade, A. (2008). Computer Adaptive Testing (CAT) in an Employment Context, PreVisor s PreView.

18 Georgiadou, E., Triantafillou, E. & Economides, A. A. (2006). Evaluation Parameters For Computer-Adaptive Testing, British Journal of Educational Technology,37(2), Gouli E., Kornilakis H., Papanikolaou K. & Grigoriadou M. (2001) Adaptive Assessment Improving Interaction in an Educational Hypermedia System. Proceedings of Human Computer Interaction, Panhellenic Conference with International Participation, Guzmán, E., Conejo, R., & García-Hervás, E. (2005). An Authoring Environment for Adaptive Testing. Educational Technology & Society, 8 (3), Guzmán, E. & Conejo, R. (2005). Self-Assessment in a Feasible, Adaptive Web-Based Testing System. IEEE Transactions on Education,48(4), İşeri, A. I. (2002). Assessment of Students' Mathematics Achievement Through Computer Adaptive Testing Procedures. Yayımlanmamış Doktora Tezi, Ortadoğu Teknik Üniversitesi, Ankara. Kalender, İ. (2004). Bilgisayar Ortamında Bireyselleştirilmiş Testlerin Eğitimde Kullanımı. XIII. Ulusal Eğitim Bilimleri Kurultayı, 6-9 Temmuz 2004 İnönü Üniversitesi, Eğitim Fakültesi, Malatya. Kan, A. (2006). Klasik Test Teorisine ve Örtük Özellikler Teorisine Göre Kestirilen Madde Parametrelerinin Karşılaştırılması Üzerine Ampirik Bir Çalışma. Mersin University Journal of the Faculty of Education 2(), López-Cuadrado, J., Pérez, T.A., Vadillo, J.A. & Arruabarrena, R. (2002). Integrating Adaptive Testing in an Educational System. First International Conference on Educational Technology in Cultural Context: ETCC2002. Joensuu, Finland: University of Joensuu Marinagi, C.C., Kaburlasos, V.G. & Tsoukalas, V.T. (2007). An Architecture for an Adaptive Assessment Tool, 37th ASEE/IEEE Frontiers in Education Conference, October 10 13, 2007, Milwaukee, WI.

19 Öztuna, D. (2008). Kas İskelet Sistem Sorunlarının Özürlülük Değerlendiriminde Bilgisayar Uyarlamalı Test Yönteminin Uygulanması. Yayımlanmamış Doktora Tezi, Ankara Üniversitesi, Ankara. Ponsoda, V. (2000). Overwiev of Computerized Adaptive Testing Special Section. Psicologica, 21, Raîche, G., Blais, J.G. & Magis, D. (2007). Adaptive Estimators of Trait Level in Adaptive Testing: Some Proposals, Paper presented in the 2007 GMAC Conference on Computerized Adaptive Testing. Minneapolis. Somyürek, S. (2009). Uyarlanabilir Öğrenme Ortamları: Eğitsel Hiper Ortam Tasarımında Yeni Bir Paradigma. Bilişim Teknolojileri Dergisi, 1(1), Tian, J., Miao D., Zhu X. & Gong, J. (2007). An Introduction to the ComputerizedAdaptive Testing. US-China Education Review, 4(1), Tonidandel, S. (2001). Computer Adaptive Testing: The Impact of Test Characteristics on Perceived Performance and Test Tekers' Reactions. Yayımlanmamış Doktora Tezi, Rice University. Triantafillou, E. (2007). Computerized Adaptive Test Adapting to What?. Proceedings of the Informatics Education Europe II Conference IEEII. Uysal, M.P. (2008). Öğretim Etkinlikleri Kuramına Göre Tasarlanan Öğretim Yazılımı Ve Uyarlanabilir Alıştırma Yazılımının Akademik Başarıya Etkisi. Yayımlanmamış Doktora Tezi, Gazi Üniversitesi. Ankara. Wagner, T.A. (2004). Item Exposure issues in the Wagner Assessment Test: A Computer Adaptive Testing Approach. Yayımlanmamış Doktora Tezi, Faculty of the Virginia Polytechnic Institute and State University. Way, W.D., Davis, L.L. & Fitzpatrick, S. (2006). Practical Questions in Introducing Computerized Adaptive Testing for K-12 Assessments, Pearson Educational Measurement (PEM). Weiss, D. J. (1985). Adaptive Testing by Computer. Journal of Consulting and Ginkal Pathology, 53(6),

20 Weiss, D. J. (2004). Computerized Adaptive Testing for Effective and Efficient Measurement in Counseling and Education. Measurement and Evaluation in Counseling and Development, 37(2), Wise, S.L. (1997). An Evaluation of the Item Pools Used for Computerized Adaptive Test Versions of The Maryland Functional Tests, Assessment Branch of the Maryland State Department of Education. Yıldırım, H.H., Çömlekoğlu, G. & Berberoğlu, G. (2003). Milli Eğitim Bakanlığı Özel Okullar Sınavı Verilerinin Madde Tepki Kuramı Modellerine Uyumu. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi 24, YAZARLAR HAKKINDA BİLGİ Öğretim Görevlisi, Özcan ÖZYURT, lisans ve yüksek lisans eğitimini Karadeniz Teknik Üniversitesi, Bilgisayar Mühendisliği Bölümü nde tamamladı. Şu anda Karadeniz Teknik Üniversitesi, Eğitim Bilimleri Enstitüsü, OFMAE Bölümü, Matematik Eğitimi alanında doktora çalışmasına devam etmektedir. Başlıca çalışma alanları eğitimde yapay zeka uygulamaları, uyarlanabilir ve zeki öğretim sistemleri, e-öğrenmedir. Tel:(0462) Hacer ÖZYURT lisans eğitimini Karadeniz Teknik Üniversitesi, Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümü nde tamamladı. Şu anda Karadeniz Teknik Üniversitesi, Eğitim Bilimleri Enstitüsü, OFMAE Bölümü, Matematik Eğitimi alanında doktora çalışmasına devam etmektedir. Başlıca çalışma alanları uyarlanabilir ve zeki öğretim sistemleri, bilgisayarlaştırılmış uyarlanabilir test sistemleri ve e- öğrenmedir. Tel:(0505)

21 Prof. Dr. Adnan BAKİ, lisans eğitimi Karadeniz Teknik Üniversitesi, Fatih Eğitim Fakültesi, Matematik Öğretmenliği bölümünde, yüksek lisansını Kanada New Brunswick Üniversitesi nde müfredat ve öğretim dalında, doktorasını da University of London, UK, da öğretmen eğitimi ve bilgisayar destekli matematik öğretimi üzerine tamamladı. Halen Karadeniz Teknik Üniversitesi, Fatih Eğitim Fakültesinde çalışmaktadır. Başlıca çalışma alanları matematik eğitimi, öğretim teknolojileri, öğretmen eğitimi ve uzaktan eğitimdir. Tel:(0462)

22 GENİŞLETİLMİŞ ÖZET Test, eğitim sistemi içerisinde öğrencilerin seviyelerini ölçmek için yaygın olarak kullanılan ölçme araçlarından biridir. Bilgisayar teknolojisindeki hızlı gelişmeye paralel olarak kağıt-kalem testleri yerini Bilgisayarlaştırılmış Uyarlanabilir Test (BUT) sistemlerine bırakmaya başlamıştır. BUT sistemleri temelden uygulamaya kadar birçok aşamada değerlendirilebilecek karmaşık bir sistemler bütünüdür. Uyarlanabilir test farklı soru maddesi setlerinin farklı bireylere ölçülen yetenek durumlarına göre uygulandığı testlerdir (Weiss, 1985). BUT sistemleri her katılımcıya kendi yetenek düzeyine uyarlanmış bir test sunmaktadır. Her katılımcıya aynı uzunluklu bir test veren klasik test sistemlerine alternatif olarak düşünülen BUT sistemleri her bir bireye kendi yetenek düzeyine uygun olarak madde seçim uyarlaması yapmaktadır. BUT sistemlerinin dört ana bileşeni vardır. Bunlar madde havuzu, madde seçim prosedürü, yetenek kestirimi ve durdurma kuralı şeklinde sıralanabilir. BUT 'un merkezi kavramı, bir test maddesinin katılımcının yetenek seviyesine (θ) en iyi eşleşmesidir. Madde güçlüğü ve θ nın en uygun denkliği katılımcının yetenek seviyesi hakkında maksimum bilgi sağlar. Herhangi bir BUT sisteminin başarısı büyük ölçüde kaliteli bir madde havuzuna bağlıdır. Bir BUT sistemi için madde üretimi geliştirme sürecinin ilk ve belki de en uzun aşamasıdır. Finaldeki madde havuzu katılımcıya sunulacak olan maddelerin yaklaşık olarak 5 ila 10 katı kadar maddeden oluşmalıdır. Madde Tepki Kuramı (MTK) kişinin her bir maddeye doğru cevap verme olasılığını dikkate alan, katılımcıdan ve testten bağımsız katılımcıyı tanımlayan matematiksel bir modeldir. Bu kuramda aynı bireye farklı sorular içeren iki farklı test uygulansa bile kestirilen yetenek düzeyi farklı olmaz. Testin sonunda ulaşılan puan test puanı değil katılımcının yetenek seviyesinin bir kestirimidir. Bu yetenek seviyesi sık sık theta (θ) olarak anılır ve +3 ile -3 arasında değer alır. θ skalası üzerinde sıfır ortalama yetenek seviyesini, negatif değerler ortalamadan daha düşük yetenek seviyesini, pozitif değerler ortalamadan daha yüksek yetenek seviyesini gösterir (Boyd, 2003; Yıldırım, Çömlekoğlu & Berberoğlu, 2003; Kalender, 2004; Weiss, 2004; Çinici, 2006; Kan, 2006; Fetzer ve diğ., 2008). Her matematiksel modelde olduğu gibi Madde Tepki Kuramının da belli kabulleri vardır (Gouli ve diğ., 2001; López-Cuadrado, Pérez, Vadillo & Arruabarrena, 2002; Fetzer ve diğ., 2008; Öztuna, 2008). Tek Boyutluluk: Katılımcının yetenek seviyesini uygun bir şekilde ölçmek isteyen bir MTK modeli için yalnızca tek bir yapı ya da örtük özelliği ölçmeye yönelik test maddeleri ayarlanmalıdır. Tek boyutluluğun test edilmesi için faktör analizi metotları kullanılabilir. İlk faktör varyansının ikinci faktör varyansına oranı bir tek boyutluluk indeksi olarak önerilmiştir. Madde seçiminde, faktör analizinde aykırı kalan

23 maddeler madde havuzundan çıkarılıp tekrar faktör analizi uygulanması ve istenen tek boyutlu yapı yakalanıncaya kadar bu şekilde maddelerin elenmesi bir yöntem olarak öne sürülmüştür. Yerel Bağımsızlık: Bireylerin θ düzeyleri sabit tutulduğunda, ölçme aracının maddelerine verdikleri yanıtların istatistiksel olarak bağımsız olmasına yerel bağımsızlık adı verilmektedir. MTK modellerinde, bir bireyin testin farklı maddelerine verdiği yanıtların istatistiksel olarak bağımsız olduğu varsayılır. MTK'da bir soruya doğru cevap verme olasılığının yetenek düzeylerine göre dağılım fonksiyonu madde karakteristik eğrisi olarak adlandırılmakta, bu eğriyi tanımlayan farklı matematiksel denklemler de modelleri oluşturmaktadır (Yıldırım, Çömlekoğlu ve Berberoğlu, 2003; Kalender, 2004; Wagner, 2004; Guzmán, Conejo & García-Hervás, 2005). Bir parametreli lojistik model; Rasch modeli olarak da bilinen bir parametreli model, katılımcının yeteneğini (θ) bir parametre kullanarak kestirir. Bu parametre b ile ifade edilen madde güçlüğüdür. Bir parametreli model madde güçlüğü parametresi b ve bireyin yetenek düzeyi arasında ilişki kurmaktadır. Bu model şans başarısının sıfır (0) olması ve her maddenin eşit derecede ayırıcılık gücüne sahip olması seklinde iki ek varsayıma sahiptir. İki parametreli lojistik model; katılımcının yeteneğini kestirirken ikinci bir parametreyi göz önüne almak dışında bir parametreli lojistik modele benzer. Bu parametre a ile de gösterilen madde ayırt ediciliği ya da eğimdir. Bu parametre belirli bir yetenek düzeyinde sorunun düşük ve yüksek yetenek grubundakileri ayırma gücünü temsil etmektedir. Madde ayırt edicilik indisi a, madde karakteristik eğrisinin b noktasındaki, yani eğrinin büküm noktasındaki eğimidir. Eğimi daha büyük olan maddeler daha ayırıcı ve daha kullanışlıdır. İki parametreli lojistik modelde bağıntının ifadesi aşağıda görülmektedir. Üç parametreli lojistik model; bu model madde güçlüğü ve ayıt ediciliğin yanı sıra üçüncü parametreyi modele dahil eder. Bu parametre genellikle tahmin parametresi olarak adlandırılır ve c ile gösterilir. Tahmin parametresi özellikle çoktan seçmeli testlerle ilişkili olarak çok düşük yetenek seviyesindeki bir katılımcının şans eseri doğru yanıtı bulması fikrini modele dahil eder. a: madde ayırıcılık gücü indeksi b: maddenin zorluk derecesi c: tahmin parametresi θ: bireyin yetenek seviyesi D: 1.7 e: (sabit)

24 P (θ) : θ yetenek seviyesindeki bireyin b zorluk derecesindeki maddeye doğru cevap verme olasılığı. Bilgisayar ortamında bireyselleştirilmiş testler günümüzde GRE (Graduate Record Examination) ve TOEFL (Test of English as a Foreign Language) uygulamalarında kullanılmaktadır. Bu testlerde bireylere önceden hazırlanmış ve parametreleri bilinen sorulardan oluşan bir havuzdan sorular sorulmaktadır. Her soru bireyin önceki sorulardaki performansına göre belirlenmektedir. Bu testler belirli test merkezlerinde önceden randevu alınarak uygulanmaktadır. BUT sistemlerinin karakteristik özelliği her katılımcıya kendi yetenek düzeyine uyarlanmış bir test sunmaktır ve bu yapısı ile klasik test uygulamasından farklılaşmaktadır (Weiss, 1985). Her katılımcıya aynı uzunlukta klasik test vermeye alternatif olarak düşünülmüş bu sistemde, her bireye kendi yetenek düzeyine uygun olarak madde seçim uyarlaması otomatik olarak yapılmaktadır. Kişinin yetenek düzeyine uygun olmayan soruları alması bireyin sıkılmasına sebep olabilir (Kalender, 2004; Triantafillou & Economides, 2006; Way, Davis & Fitzpatrick, 2006; Marinagi, Kaburlasos & Tsoukalas, 2007). Bu durum BUT ile en alt düzeye indirgenmiş olmaktadır. Literatüre göre, BUT sistemleri klasik test sistemine göre birçok avantajı barındırmaktadır. Bu avantajların bazıları; testin uygulanma süresinin kısalması, her öğrenciye kendi seviyesine uygun bir test sunulması, test sonuçlarının anında değerlendirebilir olması şeklinde sıralanabilir. BUT sistemlerinin eğitimde kullanımına ilişkin çalışmalara bakıldığında olumlu sonuçlara rastlanmıştır. Nitekim literatürde, uzaktan eğitim, web tabanlı eğitim ve bilgisayar destekli eğitim uygulamalarının ölçme/değerlendirme kısmında BUT sistemlerinin ve uyarlanabilir alıştırma yazılımlarının öğrencilerin yetenek düzeylerini daha az soru kullanarak güvenilir bir biçimde ölçtüğü gibi olumlu bulgular yer almaktadır. (Kaptan, 1993; Gouli ve diğ., 2001; İşeri, 2002; López-Cuadrado ve diğ., 2002; Guzmán, Conejo & García-Hervás, 2005; Çinici, 2006; Öztuna, 2008) BUT sistemleri başta web tabanlı öğrenme ortamları olmak üzere özellikle uzaktan eğitim sistemlerinde önemli uygulama alanları bulabilir. Bu bağlamda BUT sistemlerinin geliştirilmesi ve uygulanması ile alana önemli katkılar sağlanabilir.