İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması *

Transkript

1 Kuram ve Uygulamada Eğitim Bilimleri Educational Sciences: Theory & Practice - 13(4) Eğitim Danışmanlığı ve Araştırmaları İletişim Hizmetleri Tic. Ltd. Şti. DOI: /estp İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması * Sevda ÇETİN a Hacettepe Üniversitesi Selahattin GELBAL b Hacettepe Üniversitesi Öz Bu araştırmada, bir vakıf üniversitesinin yeterlik sınavının kesme puanı, standart belirleme yöntemlerinden işaretleme yöntemi ve Angoff yöntemi ile tekrar hesaplanmış ve bulunan kesme puanları mevcut yeterlik puanı ile karşılaştırılmıştır. Angoff Yöntemi uygulanarak 17 uzman ile belirlenen nihai kesme puanı 27,83 olarak belirlenmiştir. İşaretleme yöntemine göre yapılan hesaplamalar sonucunda elde edilen kesme puanları 1PLM ve RP50 değeri için 19,242 olarak bulunurken, 1 PLM ve RP67 değeri için ise 25,247 puan; 2PLM ve RP50 değeri için 18,897 puan, 2 PLM ve RP67 değeri için ise 25,102 olarak elde edilmiştir. Angoff yönteminde uzmanların belirlediği ile gerçek veriden hesaplanan madde cevaplama olasılıkları arasındaki ilişki düzeyini görmek için uzmanların madde cevaplama olasılıkları ile gerçek madde güçlükleri arasındaki korelasyon katsayıları incelenmiş, uzmanların madde cevaplama olasılıkları ortalamaları ile gerçek madde güçlükleri arasındaki korelasyon katsayısı 0,60 olarak bulunmuştur. Üniversitenin belirlediği kesme puanı olan 35 üzerinde puan alan öğrenci yüzdesi ile işaretleme ve Angoff yöntemlerine göre belirleneni kesme puanları üzerinde puan alan öğrenci yüzdeleri arasında 0,01 düzeyinde fark olduğu; ancak cevaplama olasılıkları RP50 ve RP67 ye göre ve işaretleme yöntemi ile Angoff yöntemine göre belirlenen kesme puanları üzerinde puan alan öğrenci yüzdeleri arasında ise önemli bir fark olmadığı saptanmıştır. Anahtar Kelimeler Angoff Yöntemi, Cevaplama Olasılığı İşaretleme Yöntemi, Kesme Puanı, Standart Belirleme. Standart belirleme, son zamanlarda eğitim kurumlarının ve test merkezlerinin eğitim çıktılarını raporlamada temel amaç hâline gelmiştir. Eğitim kurumları ve test merkezleri bu test sonuçlarına dayanarak karar vermek durumundadırlar. Bu kararlar geçti-kaldı, sertifika, yerleştirme, teşvik, lisanslama vb. olabilir. Yapılan değerlendirmeler sonucu verilen bu kararların doğruluğu, ölçme amacıyla kullanılan testin güvenilir ve geçerli olmasına ve ölçütün (standardın) doğru belirlenmiş olmasına bağlıdır. Kesme puanlarına dayalı yapılan geçti-kaldı ve düzey belirleme türü değerlendirmeler okul başarısı, il başarısı ve ülke başarısı dikkate alındığında sadece bireysel olarak öğrencileri değil, tüm eğitim sistemini de etkileyebilmektedir. Örneğin; Türkiye de yapılan LGS (Liselere Giriş Sınavı), YGS (Yüksek Öğretime Giriş Sınavı), LYS (Lisans Yerleştirme Sınavı), SBS (Seviye Belirleme Sınavı) gibi güncel sınavlar öğrencilerin daha nitelikli bir orta öğretim eğitimi ve üniversite eğitimi alabilmek için katıldıkları sınavlardır. * Bu çalışma Sevda Çetin in doktora tezinin bir kısmını içermektedir. a Sorumlu Yazar: Dr. Sevda ÇETİN, Eğitimde Ölçme ve Değerlendirme alanında doktordur. Çalışma alanları arasında standart belirleme yöntemleri ile kesme puanı belirleme, eğitim istatistiği, ölçek geliştirme yer almaktadır. İletişim: Hacettepe Üniversitesi, Eğitim Bilimleri Bölümü, Beytepe, Ankara. Elektronik posta: tsevda@hacettepe.edu.tr Tel.: b Dr. Selahattin GELBAL Eğitimde Ölçme ve Değerlendirme alanında profesördür. İletişim: Hacettepe Üniversitesi, Eğitim Bilimleri Bölümü, Beytepe, Ankara. Elektronik posta: gelbal@hacettepe.edu.tr.

2 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Bunların yanında uluslararası düzeyde yapılan PIRLS (Progress in International Reading Literacy Study), PISA (Program for International Student Assessment) ve TIMMS (Trends in International Mathematics and Science Study) sınavları ise ülkeler arası eğitim düzeyinin karşılaştırılmasında etkindir. Bu nedenle yurtdışında birçok ülke, eyalet ve okul bazında kendi akademik yeterlik standartlarını belirlemektedirler (Kubiszyn ve Borich, 2007) lerden bu yana geliştirilmeye başlanan eğitim standartlarının amacı öğrenci performansları için ortak hedefler koymaktır (Airasian ve Russell, 2008). Eğitimde standart belirleme ise teste bir ya da daha fazla kesme puanı belirleme süreci olarak tanımlanır. Kesme puanlarının rolü test puanları cetvelini iki ya da daha fazla alana ayırarak performans kategorileri oluşturmak veya kişileri sınıflandırmaktır. Bu nedenle kesme puanları (son dönemlerde daha çok performans standartları olarak isimlendirilmekte) çok daha gerekli ve önemli hâle gelmiştir. Cizek e göre (2001) ise standart belirleme iki ya da daha fazla performans derecesini ayıran puanların belirlenmesinde izlenen tanımlanmış sistemli kurallar ya da süreçler bütünüdür. Bireysel farklılıklara bağlı olarak bir öğrenme süreci sonunda öğrenciler değişik düzeylerde öğrenirler. Öğrencilerin bazıları öğretilenlerin hepsini öğrenirken, bazıları daha azını öğrenir; bir kısmı ise hedeflenen kazanımları edinemezler. Öğrencilerin öğrenme düzeyleri farklı olduğundan farklı boyutlarda ve düzeylerde performans tanımları yapılmalıdır. Performans düzeyleri kesme puanı belirleme yöntemlerine bağlı değildir; düzeyler yöntem belirlenmeden de tanımlanabilir. Performans düzeylerini belirleme sürecinde önce kategori sayısı belirlenir, kategori tanımları ile her bir kategorinin ne anlama geldiğini belirten genel tanımlamalar yapılır. Üç veya dörtten fazla kategoriye ayırmak düzeyler arasındaki farklılıkları ayrıştırmayı zorlaştıracağından, daha fazla kategoriye ayırmak istenen bir durum değildir (Zieky ve Perie, 2004). Performans düzeyleri ile öğrencinin belli bir alanın belli performans düzeyinde gösterebildiği bilgi, beceri ve yetenekleri detaylı olarak anlatılmakta; bir başka deyişle, bu performans düzeyine ulaşabilmesi için öğrenci tarafından yapılması gerekenler tanımlanmaktadır. Kişileri performans düzeylerine göre ayıran performans standartlarını, test puanları cetvelindeki rakamsal diğer bir deyişle, işevuruk hâle getirme süreci standart belirleme süreci olarak adlandırılabilir (Hambleton, 2001). Standart belirleme sürecinde belli aşamalar takip edilerek nihai sonuca (geçme puanı ya da yeterlik puanına) ulaşılır. Standart belirlemede birçok yöntem kullanılmaktadır. Hambleton (2001) ve Reckase (2006) kullanılacak yöntemi belirlerken esas alınması gereken bazı noktaları şu şekilde sıralamışlardır. - Test maddelerinin yapısı dikkate alınmalıdır. Çoktan seçmeli maddelerde Angoff yöntemi çok sık kullanılmaktayken; yapılandırılmış cevap içeren ve performans değerlendirme testlerinde işaretleme yönteminin kullanılması daha uygundur. - Güvenirliği düşük testler standart belirlemede kullanılmamalıdır. - Standart belirleme yöntemine ayrılabilecek zaman da önemlidir. Bazı yöntemlerle standart belirleme süreci daha uzunken bazı yöntemlerle de bu süreç oldukça kısalmaktadır. - Yöntemle ilgili geçmiş deneyimler de önemlidir. Eğer daha önce yöntem denenmişse tekrar kullanılacağı zaman saha çalışmasına gerek kalmayacak, böylece hem zaman hem de maddi açıdan kayıplar yaşanmayacaktır. - Yöntemlerin geçerliği ile ilgili algılar ve kanıtların varlığı da yöntem seçiminde önemlidir. Örneğin bazı araştırmacılar Angoff yöntemi ile ilgili kaygılar taşırken; bazı araştırmacılar karşıt gruplar yöntemini eleştirel bulmaktadırlar. Yukarıda bahsedilenler ışığında standart belirlemenin test geliştirme sürecinde çok önemli bir yere sahip olması gerektiği söylenebilir. Metodolojik bir süreç olmasının yanında standart belirleme süreci aynı zamanda politika yapıcıları, test geliştiricileri ve ölçme uzmanlarını da içerdiğinde çok daha kullanışlı ve savunulabilir sonuçlar vermektedir (Bejar, 2008). Angoff Yöntemi 1971 yılında William H. Angoff tarafından önerilen yöntem, çoktan seçmeli testlerle birlikte çoktan seçmeli olmayan testlerde de kullanılabilmektedir. Angoff yönteminde kesme puanı, uzmanların her bir soru için verdiği tahmini değerlerden oluşmaktadır. Yöntemde maddelerin seçenekleri ayrı ayrı değil, madde bir bütün olarak değerlendirilir. Bir başka deyişle uzman, her bir soru için belirlenen performans düzeyi sınırındaki öğrencinin cevaplayabilme olasılığını tahmin eder. Bu yöntemde uzmanlar tahminde güçlük yaşıyorlarsa uzmanlara 100 kişilik sınır grup öğrencisinden kaç tanesinin soruyu doğru cevaplayabileceğini düşündükleri sorulabilir. Bu olasılık arasında olacaktır. 2160

3 ÇETİN, GELBAL / İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması Sorular kolaylaştıkça olasılık daha da büyüyecektir. Eğer soru çoktan seçmeliyse bu olasılık en az şans başarısıyla soruyu doğru cevaplama olasılığı olan 1/seçenek sayısı oranı kadar olacaktır. Tablo 1 de kesme puanı Angoff Yöntemi ile hesaplanmıştır. Her uzmanın bireysel olarak belirlediği kesme puanı tespit edildikten sonra tüm uzmanların kesme puanlarının ortalaması alınarak nihai kesme puan hesaplanacaktır. Tablo 1. Angoff Yöntemiyle Kesme Puan Hesaplanması maddeler Doğru Cevaplama Olasılığı Toplam: 5.80 İşaretleme (Bookmark) Yöntemi Yöntem Lewis, Mitzel ve Green tarafından 1996 da önerilmiştir. Angoff yönteminin bazı eksiklerini gidermek isteyen araştırmacılar çoktan seçmeli ve yapılandırılmış cevaplar içeren soruların bir arada bulunduğu testlerde kullanabilmek, uzmanların iş yükünü azaltarak karar vermelerini kolaylaştırmak, kesme puanlarını belirlemede uzman kararlarını ölçme modelleriyle birleştirmek ve test içeriğini performans düzeyi tanımlarıyla birleştirmek amacıyla bu yöntemi önermişlerdir (Mitzel, Lewis, Patz ve Green, 2001). İşaretleme yönteminin esası, madde tepki kuramı MTK (IRT) kullanılarak maddelerin haritalanmasıdır. Maddeler ölçek üzerindeki yerlerine göre sıralanırlar. Ölçek üzerindeki yerleri de madde güçlüklerine (p) göre belirlenir. Sıralama ise en basit maddeden en zor maddeye doğru yapılır. Yönteme işaretleme yöntemi adı verilmesinin sebebi de uzmanların maddelerin kolaydan zora doğru sıralandığı kılavuzlarda işaretlemeler yaparak kararlarını bildirmesidir. Bu kılavuza, sıralı madde kılavuzu (ordered item booklet) adı verilir. Test hem çoktan seçmeli hem de yapılandırılmış cevap gerektiren sorulardan oluşuyorsa, her yapılandırılmış cevap içeren soru sıralı madde kılavuzunda birkaç kez görülebilir (yapılandırılmış cevabın doğru cevap puanlarına göre; kısmen doğru 1 puan, çoğunlukla doğru 2 puan, tamamen doğru 3 puan olmak üzere). Aşağıda sıralı madde kılavuzundan örnek bir sayfa yer almaktadır. Testte 14. sırada olan madde, kılavuzun birinci sayfasında yer almaktadır. Sayfada madde kökü ve seçenekler birlikte bulunmalıdır. Sol alt köşede maddenin doğru cevabı verilirken, sayfa başında ise belirlenen cevaplama oranına göre maddeyi doğru cevaplandırabilmek için gerekli olan yetenek düzeyi de verilmelidir. Madde 14 1 Maddeyi %50 olasılıkla doğru cevaplandırabilmek için gerekli olan yetenek düzeyi: -1,842 A: How long have you taugh English? B: I ve taught English A) for B) by C) since D) in Cevap: C Şekil 1. Sıralı Madde Kılavuzu Sayfasından Örnek İşaretleme yönteminin son yıllarda sık kullanılmasının birçok sebebi vardır. İlk olarak yöntem karışık madde formatlarında -hem çoktan seçmeli hem de yapılandırılmış cevap içeren maddelerin bir arada olduğu testlerdekullanılabilir. İkinci olarak yöntem, uzmanların iş yükünü oldukça azaltmaktadır. Örneğin, 50 maddelik bir test için dört performans kategorisi belirlenecekse Angoff yönteminde uzmanın 150 (50 madde x 3 kesme puanı) olasılık değeri vermesi beklenirken, işaretleme yönteminde aynı sıralı kitapçık üzerinden belirlenen ilk kesme puanından sonra diğer maddeler incelenerek sırasıyla diğer kesme puanları belirlenir; böylece uzman tekrar tekrar aynı test maddelerini incelemek zorunda kalmaz. Üçüncü olarak ise yöntem uzmanlar için nispeten daha basittir; çünkü matematiksel olarak daha karmaşık sayılabilecek hesaplamalar, standart belirleme sürecinden önce tamamlanmış olur. Son olarak ise yöntem MTK (IRT) temelli olduğu için psikometrik açıdan MTK nın sağladığı avantajları da barındırır (Cizek ve Bunch, (2007). Tüm bu avantajlarının yanı sıra bazı durumlarda uzmanlar maddelerin sıralanmasıyla ilgili görüş farklılıkları yaşayabilirler (Plake, Impara, Buckendahl ve Ferdous, 2005). Uzmanlar, bazı 2161

4 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ maddelerin kılavuzdaki sırasının değişmesi ile ilgili görüş bildirebilirken; uzmanların çok farklı yerlerde kesme puanı belirleme durumları da gerçekleşebilir (Skaggs ve Tessema, 2001). Bu yöntemde uzmanların üstlendiği görev, Angoff ya da diğer test merkezli yöntemlerdeki uzmanların üstlendiği görevden daha farklıdır. Burada uzmanlar her bir madde için yargıda bulunmaz; kesme puanının maddeler arasındaki yerini saptar. Uzmanlar, maddeleri yeterli ve yetersiz kategorilerine ayırıp bir kesme puanı belirlerken bir olasılık kararı vermek zorundadırlar. Cevaplama olasılığı (Response Probability, RP), belirli bir yetenek seviyesindeki kişinin maddeye doğru cevap verme olasılığıdır (Huyhn, 2000; Kostald, 2001) ki bu madde karakteristik eğrisinde θ k yetenek düzeyindeki kişinin i maddesine doğru cevap verme olasığına (RP) denk gelir ve çoğunlukla 0.67 ya da 0.50 olarak alınır (Huynh, 2006). Ancak, 0.50 ve 0.80 arasındaki değerler de kullanılmaktadır (Berberoğlu, 2009; Huyhn, 2006; Karantonis ve Sireci, 2006; Zwick, Senturk, Wang ve Loomis, 2001). Cevaplama olasılığının kullanımı, kesme puanına göre yeterli bulunan öğrencilerin sıralı maddelerin ön sıralarda olanlarını (işaretli sorunun önündekiler) belirlenen cevaplama olasılığı (RP) oranınca (örneğin 0.67) doğru cevaplayacakları, sıralı maddelerin arka sıralarda olanlarını (işaretli sorunun arkasındakiler) ise doğru cevaplama oranından (örneğin 0.67) daha düşük bir olasılıkla doğru cevaplayabilecekleri bilgisini verir (Mitzel ve ark., 2001; Wyse, 2011). Madde güçlüğü (logit olarak) ve cevaplama olasılığı (RP) verildiğinde, cevaplama olasılığına (RP) eşit bir başarı olasılığı için ihtiyaç duyulan yetenek düzeyi belirlenebilir. Bu yetenek düzeyi, işaretleme yönteminin güçlük noktasıdır (bookmark difficulty location BDL). Her ne kadar bu ölçüm güçlük noktası olarak adlandırılsa da, bir yetenek ölçüsüdür (yetenek ve güçlüğün aynı ölçek üzerinde ölçüldüğü bir yetenek ölçüsüdür). Her madde için bir güçlük değeri hesaplanır ve sıralı madde kılavuzunda bu güçlük değerlerine göre en düşük BDL değerinden (kolay maddeden) en yüksek BDL değerine (zor maddeye) doğru sıralanır. Beretvas (2004), 1 Parametreli Lojistik Model ve 3 Parametreli Lojistik Model (şans parametresi sıfır alınan dolayısıyla 2 Parametreli Lojistik Model) için güçlük değeri BDL hesaplamalarını aşağıdaki gibi yapmıştır. 1 Parametreli Lojistik Model için BDL hesaplaması şu şekildedir. 1 Parametreli Lojistik Model için Cevaplama Olasılığı RP=2/3 ve θ değeri için P(X = 1ǀq) = 2/3 hesaplanmalıdır. P(X = 1ǀθ) = θ değeri için, ln(2) = (θ-^b) 1 Parametreli Lojistik Model Cevaplama Olasılığı RP=2/3 için BDL (güçlük noktası) aşağıdaki gibidir. θ 1PL = ln(2)+^b En genel hâliyle herhangi bir cevaplama olasılığı RP değeri X için ise aşağıdaki hâli alır. 3 Parametreli Lojistik Model için BDL hesaplaması şu şekildedir. 3 Parametreli Lojistik Model için Cevaplama Olasılığı RP=2/3 ve θ değeri için P(X = 1ǀθ)= 2/3 2/3 hesaplanmalıdır. p değeri için, ln(2) = Dâ(θ-^b) 3 Parametreli Lojistik Model Cevaplama Olasılığı RP=2/3 için BDL (güçlük noktası) aşağıdaki gibidir En genel hâliyle herhangi bir cevaplama olasılığı RP değeri X için ise aşağıdaki hâli alır. Son yıllarda sürdürülen standart belirleme çalışmaları sonucunda yukarıda bahsedilen yöntemlerin dışında birçok standart belirleme yöntemi ortaya konmuştur. Her bir standart belirleme yönteminin diğerine göre üstünlüğü bulunurken bazı dezavantajları da görülmektedir. Fakat uygulayıcılar birbirlerine göre çeşitli üstünlükleri ve sakıncaları bulunan bu yöntemlerden hangisini kullanacakları konusunda kararsız kalmaktadırlar. Ülkemizde ise eğitimcilerin birçoğunun bu yöntemlerin hangisinin hangi durumlarda, hangi öğrenci grupları için daha uygun olduğu konusunda pek fazla bilgiye sahip olmadıkları gözlenmektedir. 2162

5 ÇETİN, GELBAL / İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması Araştırmanın Amacı Bu araştırma ile şimdiye dek ortaya konan belli başlı standart belirleme yöntemlerinden Angoff ve İşaretleme Yöntemleri ile bulunan kesme puanlarının mevcut bir geçme puanı ile karşılaştırılması amaçlanmıştır. Problem Cümlesi ve Alt Problemler İşaretleme ve Angoff standart belirleme yöntemleri ile elde edilen kesme puanları bir vakıf üniversitesinin İngilizce yeterlik sınavının belirlenmiş mevcut geçme puanından farklılaşmakta mıdır? Bu yöntemlerle yürütülen standart belirleme süreci nasıl işlemektedir? Çalışmada aşağıdaki sorulara cevap aranmıştır: Üniversite İngilizce hazırlık programı yeterlik sınavının Angoff yöntemiyle hesaplanan yeterlik puanı mevcut yeterlik puanından farklı mıdır? Üniversite İngilizce hazırlık programı yeterlik sınavının İşaretleme yöntemiyle hesaplanan yeterlik puanı mevcut yeterlik puanından farklı mıdır? Angoff yönteminde uzmanların belirlediği madde cevaplama olasılıkları ile üniversite İngilizce hazırlık programı yeterlik sınav puanlarından hesaplanan gerçek madde güçlükleri arasındaki ilişki düzeyi nasıldır? Üniversite İngilizce hazırlık programı yeterlik sınavına ilişkin Angoff ve İşaretleme Yöntemiyle hesaplanan yeterlik puanı (kesme puanı) ile mevcut yeterlik puanı üstünde puan alan öğrenci yüzdeleri farklılaşmakta mıdır? Yöntem Araştırmanın Türü Bu araştırma, Angoff ve İşaretleme yöntemlerinin birbirlerine olan üstünlük ve sınırlılıklarının ortaya konulmasına, yöntemlerle kesme puanı belirlenmesine dayanmaktadır. Angoff ve İşaretleme yöntemlerinin özelliklerinin belirlenmesi, durum saptamaya yönelik olduğundan bu yönüyle çalışma betimsel bir araştırma niteliği taşımaktadır. Öte yandan, yöntemlerin kıyaslanmış olması bakımından da temel bir araştırmadır. Verilerin Elde Edildiği Grup Araştırmanın çalışma grubu, 2009 yılı güz döneminde üniversite İngilizce yeterlik sınavına giren toplam 564 öğrenciden oluşmaktadır. Kesme puanları ise 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Dil uzmanları çeşitli üniversitelerin İngilizce Hazırlık Birimde çalışan İngilizce okutmanlarından oluşmaktadır. Veri Toplama Aracı Veri toplama aracı olarak bir vakıf üniversitenin hazırlık birimince uygulanmakta olan ve önceden belirlenmiş bir kesme puanı bulunan yeterlik testi kullanılmıştır. Üniversite Hazırlık Biriminde güz döneminde uygulanan 125 maddelik çoktan seçmeli yeterlik sınavının 60 maddelik dil ve kelime bilgisi bölümü kullanılmıştır. Veri setinin modele uygun olması için 5 madde çıkartılarak çalışmalar 55 madde üzerinden yürütülmüştür. 55 maddelik testin istatistikleri aşağıda yer alan Tablo 2 de verilmiştir. Tablo 2. Yeterlik Testine İlişkin Betimsel İstatistikler Test İstatistikleri Madde sayısı 55 Öğrenci sayısı 564 Aritmetik ortalama 28,885 Medyan 29 Standart sapma 13,178 Varyans 173,662 Basıklık 0,094 Çarpıklık -1,087 Minimum puan 2 Maksimum puan 55 Alfa 0,948 P(Ortalama güçlük) 0,525 r Ortalama çift serili korelasyon 0,665 Tablodan da görüldüğü gibi 564 öğrencinin katıldığı sınav 55 maddeden oluşmaktadır. Ortalaması 28,88 olan testin orta güçlükte olduğu görülmektedir (p=0,52). Güvenirliği (a= 0,94) yüksek olan testin ayırıcı (r=0,66) olduğu da söylenebilir. Tabloda görülen değere göre testin basıklık değeri 0,094 olduğundan normalden biraz sivri bir dağılım olduğu söylenebilir. Çarpıklık katsayısı ise dağılımın ortalama etrafında simetriden ne kadar saptığını gösterir. Tablodaki çarpıklık katsayısı ±1 sınırları dışında kaldığı için testin sola çarpık olduğu görülmektedir. 2163

6 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Verilerin Analizi Çalışmaya konu olan veri yapısı, sınava giren öğrencilerin teste verdikleri cevaplar ile sınırlıdır. 1 Parametreli ve 2 Parametreli Model sayıltılarının incelenmesi için çalışmada BILOG programı kullanılmıştır. Araştırmada model veri uyumu için tek boyutluluk, yerel bağımsızlık, testteki maddelerin sabit ayırt edicilik düzeyine sahip olup olmadığı, şans başarısı, testin hız testi olup olmadığı, madde ve yetenek parametrelerinin değişmezliği varsayımları her üç modele göre incelenmiş, kullanılan veriye uygun düşen modeller belirlenmeye çalışılmıştır. Yapılan tüm analizler sonucunda veri setinin 2 Parametreli Model için en uygun olduğu görülmüştür. Çalışmada modeller arasında karşılaştırma yapabilmek adına madde parametreleri 1 Parametreli Model için de kestirilmiştir. Alt problemlerin analizi için ise aşağıdaki adımlar izlenmiştir: 1. Angoff Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının yeterlik puanı (kesme puanı) 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Dil uzmanları çeşitli üniversitelerin İngilizce Hazırlık Biriminde çalışan İngilizce okutmanlarından oluşmaktadır. Uzmanlardan her bir test maddesi için A2 (Avrupa Ortak Dil konseyinin belirlemiş olduğu temel İngilizce yeterlik düzeyidir) düzeyi sınırındaki (A1 ve A2 sınırındaki) öğrencileri göz önüne alarak, bu öğrencilerden yüzde kaçının bu test maddesini doğru cevaplayabileceklerine ilişkin görüş alınmıştır. 2. Angoff yöntemiyle kesme puanı belirleme sürecinde öncelikle puanlamada uzmanlar arası uyumun olup olmadığı Kendall ın W uyum katsayısı ile belirlenmiştir. İşaretleme Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının yeterlik puanı (kesme puanı) 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. İşaretleme yöntemiyle kesme puanı belirleyebilmek için önce testteki tüm maddeler için 1PL ve 2PL modele göre madde parametreleri kestirilip daha sonra maddeler önce 1 Parametreli Lojistik model ile kestirilen madde güçlük parametrelerine (b) göre daha sonra da 2 Parametreli Lojistik model ile belirlenen madde güçlük parametrelerine (b) göre sıralanarak sıralı madde kılavuzları oluşturulmuştur. Bu sıralamalar yapılırken her iki modelde de cevaplama olasılıkları (RP) 0.50 ve 0.67 alınarak güçlük noktaları belirlenmiş, bunlar dikkate alınarak sıralama yapılmıştır. İşaretleme yöntemi ile kesme puanı belirleme çalışmalarından önce 1 Parametreli Lojistik Model ve 2 Parametreli Lojistik Modele göre madde parametreleri BILOG programı ile kestirilmiştir. Belirlenen madde parametreleri, cevaplama olasılıkları (RP) ve farklı MTK modellerine göre BDL (Bookmark Difficulty Location) (madde güçlük noktaları) hesaplanmıştır. 3. Angoff yönteminde uzmanların belirlediği madde cevaplama olasılıkları ile gerçek veriden hesaplanan cevaplama olasılıkları arasındaki ilişki düzeyini görmek için uzmanların madde cevaplama olasılıkları ile gerçek madde güçlükleri arasındaki korelasyon katsayıları incelenerek tutarlık düzeyine bakılmıştır. 4. Angoff ve İşaretleme Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının hesaplanan yeterlik puanı (kesme puanı) ile mevcut yeterlik puanı üstünde puan alan öğrenci yüzdelerinin farklılaşıp farklılaşmadığı öğrenci yüzdeleri bulunduktan sonra karşılaştırılarak incelenmiştir. Bunun için bağımlı iki yüzde arasındaki farkın testi yapılmış ve anlamlılığı z testi ile sınanmıştır. Test işleminde önem düzeyi 0.05 alınmıştır. Bulgular Araştırmadaki alt problemlere ilişkin bulgular aşağıda sırasıyla verilmiştir. 1. Alt Problem e İlişkin Bulgular Angoff yönteminde 17 uzmanın tahminleriyle elde edilen puanlar ve her bir uzmana ait bireysel kesme puanları ile bu puanların ortalaması olan nihai kesme puan hesaplanmıştır. Tablo 3. Angoff Yöntem İle Uzmanlarca Belirlenen Kesme Puanları Uzmanlar Uzmana ait kesme puanı Uzmanlar Uzmana ait kesme puanı Uzman-1 35,40 Uzman-9 31,60 Uzman-2 26,40 Uzman-10 31,78 Uzman-3 37,90 Uzman-11 17,55 Uzman-4 27,75 Uzman-12 28,85 Uzman-5 33,85 Uzman-13 26,65 Uzman-6 19 Uzman Uzman-7 18,35 Uzman-15 25,20 Uzman-8 23,82 Uzman-16 34,75 Uzman-17 26,65 Ortalama (nihai kesme puan) 27,

7 ÇETİN, GELBAL / İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması Tablo 3 te görüldüğü gibi uzmanların bireysel kesme puanları 17,55 ile 37,90 arasında değişmekle birlikte tüm uzmanların ortalaması alındığında nihai kesme puanı 27,83 olarak belirlenmiştir. Üniversite A2 düzeyindeki bu yeterlik sınavı için geçme puanını (kesme puanı) soruların %65 ini yapan sınavı geçer şeklinde belirlemiştir. Bu durumda 55 madde üzerinden bakıldığında dil ve kelime bilgisi için kesme puanı 35,75 olmaktadır. Görüldüğü gibi üniversitenin belirlemiş olduğu kesme puanı ile Angoff yöntemi ile belirlenmiş olan kesme puanı arasında yaklaşık 8 puanlık bir fark bulunmaktadır. 2. Alt Problem e İlişkin Bulgular İkinci alt problem için tüm BDL güçlük noktalarındaki theta değerleri belirlendikten sonra her bir MTK modeline göre ve cevaplama olasılıklarına göre maddelerin dört ayrı sıralaması yapılmıştır. Sıralamalar 1PLM göre RP50 ve RP67, 2PLM göre RP50 ve RP67 cevaplama olasılıklarına göre yapılmış ve her bir sıralamaya göre dört ayrı sıralı madde kılavuzu oluşturulmuştur. Oluşturulan bu madde kılavuzları ve 17 ayrı İngilizce dil uzman ile kesme puanı belirleme çalışmaları gerçekleştirilmiştir. Kesme puanı belirleme sürecinin başında uzmanlara yöntemlerle ilgili gerekli bilgiler sunulmuştur. Daha sonra, uzmanlardan, İngilizce dil seviyesi A2 düzeyi sınırında olan bir öğrencinin kılavuzdaki birinci sayfadaki maddeden başlayarak sonraki maddeleri de inceleyerek kaçıncı sayfaya kadar maddeleri %50 olasılıkla doğru cevaplayabileceklerini tahmin etmeleri ve belirledikleri sayfa numarasını işaretlemeleri istenir. Bu süreç 1PL model ve 2PLM e göre RP oranı 0,50 alınarak hazırlanmış iki kılavuz için de gerçekleştirilir. Daha sonra yine aynı uzmanlardan aynı şekilde İngilizce dil seviyesi A2 düzey sınırında olan bir öğrencinin kılavuzdaki birinci sayfadaki maddeden başlayarak sonraki maddeleri de inceleyerek kaçıncı sayfaya kadar maddeleri %67 olasılıkla doğru cevaplayabileceklerini tahmin etmeleri ve belirledikleri sayfa numarasını işaretlemeleri istenir. Bu süreç de 1PL model ve 2PLM e göre RP oranı 0,67 alınarak hazırlanmış iki kılavuz için de gerçekleştirilir. Süreç sonunda uzmanların belirlediği sayfa numaraları ve bu sayfalardaki maddelere karşılık gelen θ değeri değerleri aşağıdaki gibidir. Tablo 4 te görüldüğü gibi her bir yöntem ve RP değeri için uzmanların verdiği sayfa numaralarındaki ların ortalamaları alınarak dört farklı ortalama değeri hesaplanmıştır. Daha sonra bulunan bu nihai lar ham puanlara dönüştürülerek kesme puanları hesaplanmıştır. Bunun için aşağıdaki basamaklar takip edilmiştir. 1PLM için kesme puanları hesaplarken her bir RP değeri için basamaklar ayrı ayrı takip edilmiştir. Öncelikle Tablo 4 te bulunan ortalama q değerleri olan RP50 için -0,708 RP67 için -0,262 değerleri aşağıdaki ilk eşitlikteki θ değeri yerine koyularak sıralı madde kılavuzundaki her bir madde için P i (θ) değerleri bulunmuş, bunların toplamı alınarak da ham puanlar hesaplanmıştır. P i(θ) = X (ham puan)= P i(θ) Yapılan hesaplamalar sonucunda 1PLM ve RP50 değeri için kesme puanı 19,242 olarak bulunurken, 1 PLM ve RP67 değeri için ise kesme puanı 25,247 olarak hesaplanmıştır 2PLM için kesme puanı hesaplarken yine benzer aşamalar takip edilmiştir. Tablo 4 te bulunan ortalama θ değerleri olan RP50 için -0,694 RP67 için -0,333 değerleri aşağıdaki ilk eşitlikteki θ değeri yerine koyularak sıralı madde kılavuzundaki her bir madde için P i (θ) değerleri bulunmuş, bunların toplamı alınarak da ham puanlar hesaplanmıştır. Hesaplamalar sonucunda 2PLM ve RP50 değeri için kesme puanı 18,897 olarak, 2 PLM ve RP67 değeri için ise kesme puanı 25,102 olarak bulunmuştur. P i(θ) = X (ham puan)= P i(θ) Tablo 5. Uzmanların Madde Cevaplama Olasılıkları Ortalamaları İle Gerçek Madde Güçlükleri İle İlgili Betimleyici İstatistikler N Min. Mak. Ortalama Std. sapma Varyans Uzman Olasılıkları 55 0,21 0,87 0,5033 0, ,036 Madde güçlükleri 55 0,20 0,87 0,5253 0, , Alt Problem e İlişkin Bulgular Angoff yönteminde uzmanların belirlediği madde cevaplama olasılıkları ile üniversite İngilizce hazırlık programı yeterlik sınav puanlarından hesaplanan gerçek madde güçlükleri arasındaki ilişki düzeyi ile ilgili olarak Tablo 5 te uzmanların 2165

8 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Tablo 4. İşaretleme Yöntemi ile Belirlenen Madde ve Değerleri (17 uzman) 1PLM/RP50 1PLM/RP67 2PLM/RP50 2PLM/RP67 uzman sayfa no madde no theta sayfa no madde no theta sayfa no madde no theta sayfa no madde no theta , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,262 Ort -0,708-0,262-0,694-0,333 her bir madde için tahmini madde cevaplama olasılıkları ortalaması ile gerçek madde güçlükleri ile ilgili betimleyici istatistikler verilmiştir. Tablo 5 incelendiğinde uzmanların öğrencilerin testteki maddeleri doğru cevaplayabilme yüzdesi olarak ortalama en düşük 0,21 ve en yüksek olarak da ortalama 0,87 oranlarını verdikleri görülmektedir. Sınav puanlarından hesaplanan madde güçlüklerine bakıldığında ise uzmanların tahminlerine oldukça yakın oranlar dikkati çekmektedir. En zor madde 0,20 güçlük indeksine sahipken en kolay maddenin güçlük indeksinin 0,87 olduğu görülmüştür. Uzmanlara göre testin ortalama doğru cevaplanabilme oranı 0,50 iken, sınav puanlarından hesaplanan madde güçlük ortalaması ise 0,52 olarak gözlenmiştir. Standart sapma ve varyanslara bakıldığında da uzmanların kararlarıyla testin yapısının oldukça benzer olduğu söylenebilir. Uzmanların madde cevaplama olasılıkları ortalamaları ile gerçek madde güçlükleri arasındaki korelasyon katsayısı ise 0,60 olarak bulunmuştur. Orta düzeyde bir ilişkinin olduğunu gösteren bu korelasyon değerinin 0,01 manidarlık düzeyinde anlamlı olduğu görülmüştür. 4. Alt Problem e İlişkin Bulgular Bu alt problemde üniversite İngilizce hazırlık programı yeterlik sınavına ilişkin Angoff ve İşaretleme Yöntemiyle hesaplanan yeterlik puanı (kesme puanı) ile mevcut yeterlik puanı üstünde puan alan öğrenci yüzdelerinin farklılaşıp farklılaşmadığı incelenmiştir. Üniversitenin yeterlik puanı olan 35 puan üzerinde puan alan ve testi geçen öğrenci sayısı 196 kişidir, bu öğrencilerin toplam öğrenciler içinde %34 lük bir kesimi oluşturdukları görülmektedir. Angoff Yöntemi ile belirlenen geçme puanı olan 27 puan üzerinde puan alan öğrencilerin sayısı 306 dır. Bu öğrencilerin toplam öğrenci sayısı içindeki oranı ise %54 tür. İşaretleme Yöntemine göre 1PLM ve 2PLM de RP50 düzeyindeki kesme puan olan 19 puan üzerinde puan alan öğrenci sayısı 415 tir. Bu öğrencilerin toplam öğrenci sayısı içindeki oranı ise %73 tür. İşaretleme Yöntemine göre 1PLM ve 2PLM de RP67 düzeyindeki kesme puan olan 25 puan üzerinde puan alan öğrenci sayısı ise 328 dir ve bu öğrencilerin toplam öğrenci sayısı içindeki oranı ise %58 dir. Angoff Yöntemi, İşaretleme Yöntemlerine ve farklı RP düzeylerine göre hesaplanan kesme puanları üzerinde ve mevcut kesme puanı üzerinde puan alan öğrenci yüzdeleri hesaplandıktan sonra öğrenci yüzdeleri arasındaki fark z istatistiği ile sınanmıştır. Tablo 6 incelendiğinde üniversitenin belirlediği kesme puanı olan 35 üzerinde puan alan öğrenci yüzdesi ise işaretleme yöntemine göre belirlenen iki 2166

9 ÇETİN, GELBAL / İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması kesme puanından RP50 ye göre 19 puan, RP67 ye göre 25 puan ve Angoff yöntemine göre 27 puan üzerinde puan alan öğrenci yüzdeleri arasında 0,01 düzeyinde fark olduğu; fakat cevaplama olasılıkları RP50 ve RP67 ye göre ve işaretleme yöntemi ile Angoff yöntemine göre belirlenen kesme puanları üzerinde puan alan öğrenci yüzdeleri arasında ise önemli bir fark olmadığı görülmektedir. Tablo 6. Belirlenen Kesme Puanları İle Üniversite Geçme Puanının İkili Karşılaştırılması Gruplar x i % z Üniversite kesme puanı ,7 RP ,5 14,92* Üniversite kesme puanı ,7 RP ,1 11,7* Üniversite kesme puanı Angoff RP50 RP67 RP 50 Angoff RP67 Angoff * p < 0,01 düzeyinde anlamlı , , , , , , , ,2 Tartışma ve Öneriler 10,83* - 0,056-0,432-0,481 Bu araştırmada farklı standart belirleme yöntemlerinden Angoff ve İşaretleme yöntemlerinin geçme puanları üzerindeki etkileri incelenmiş, mevcut yeterlik puanları ile karşılaştırılmış ve bulgular araştırmanın problemlerinin veriliş sırasına uygun olarak aşağıda tartışılmıştır. Araştırmanın birinci alt problemine cevap olarak üniversitenin mevcut yeterlik puanı ile Angoff yöntemi ile hesaplanan yeterlik puanı arasındaki farklılığı ortaya koyan bulgular için üniversitenin idari olarak kesme puanı belirlerken A1 ve A2 düzeyi sınırındaki öğrenciler için değil, genel olarak A2 düzeyindeki öğrenciler için bir geçme puan belirlemesi neden olarak gösterilebilir. Böylece üniversitenin belirlemiş olduğu geçme puanı, olması gerekenden daha yüksek bir puan olarak karşımıza çıkmaktadır. Ayrıca bu çalışma yürütülürken üniversite yetkilileriyle görüşüldüğünde üniversitenin bu geçme puanını tüm testin %60 ını yapan sınavı geçebilir şeklinde değiştirerek, kesme puanlarını 33 puana çektikleri görülmüştür. Çalışmanın ikinci alt problemde işaretleme yönteminde 1PLM ve 2PLM için de RP67 için belirlenen kesme puanları RP50 için belirlenen kesme puanlarından daha yüksek bulunmuştur. Bu sonuçlar Mueller, Schneider ve Egan ın (2008) çalışmalarıyla da desteklenebilir niteliktedir. Bunun sebebi olarak Hambleton ve Pitoniak ın (2006) da belirttiği gibi uzmanlara RP67 yerine, RP50 olarak verildiğinde uzmanların sıralı madde kılavuzunda daha arka sıradaki sorulara kadar ilerleyecekleri, böylece daha yüksek bir RP değerinin daha yüksek bir kesme puanı belirlenmesine neden olacağı söylenebilir. Bu bulgu Gembo Tshering in (2011) çalışmasıyla da desteklenebilir niteliktedir. Çalışmasında Tshering, CITO nun var olan ve geçme puanı 28 olan bir sınavı için RP50 ve RP67 düzeyinde kesme puanı belirlemiş ve RP50 için kesme puanını 14,19 bulurken, RP67 için kesme puanını 23,10 olarak belirlemiştir. Bu bulgunun sebebi olarak birinci alt problemde olduğu gibi üniversitenin idari olarak kesme puanı belirlerken A1 ve A2 düzeyi sınırındaki öğrenciler için değil, genel olarak A2 düzeyindeki öğrenciler için bir geçme puan belirlemesi neden olarak gösterilebilir. Üçüncü alt problemin bulgularında uzmanların kararlarıyla testin yapısının oldukça benzer olduğu, uzmanların madde cevaplama olasılıkları ortalamaları ile gerçek madde güçlükleri arasındaki orta düzeyde bir ilişki olduğu görülmüştür. Brandon (2004) Angoff yönteminde uzmanların tahmin ortalamaları ile maddelerin gerçek madde güçlükleri arasında yüksek düzeyde bir ilişki yoksa bu tahminlerin geçersiz olduğunu savunmuştur. Yine aynı şekilde Hambleton (2001) uzman tahminleri ortalaması ile madde güçlükleri arasında yüksek bir korelasyon olması gerektiğini savunsa da Reckase (2000) orta düzeyde bir ilişkinin yeterli olacağını belirtmiştir. Impara ve Plake (1998) çalışmalarında tahmini madde güçlükleri ortalaması ile gerçek madde güçlükleri arasındaki ilişkiyi 0,78 olarak belirlemiş ve bu orta düzeydeki ilişkinin, uzmanların tahminlerini geçerli görmede yeterli olduğunu savunmuşlardır. Bu alt problemin ortaya koyduğu anlamlı korelasyon katsayısının orta düzeyde çıkmış olmasının sebebi olarak uzmanların zor maddeler için cevaplama olasılığını olduğundan daha fazla bir değerde tahmin ederken, kolay maddeler için ise cevaplama olasılığını olduğundan daha düşük değerde tahmin etmeleri gösterilebilir (Clauser ve ark., 2009). Üniversite İngilizce hazırlık programı yeterlik sınavına ilişkin Angoff ve İşaretleme Yöntemiyle hesaplanan yeterlik puanı (kesme puanı) ile mevcut 2167

10 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ yeterlik puanı üstünde puan alan öğrenci yüzdeleri arasındaki farklılıkların, üniversitenin idari bir kararla belirlemiş olduğu kesme puanın herhangi bir standart belirleme yöntemine göre değil, A2 düzeyindeki öğrenciler düşünülerek hesaplanmış olması; Angoff ve İşaretleme Yöntemleri ile hesaplanan kesme puanlarının ise birçok uzmanın tahminleriyle A2 düzeyi sınırındaki öğrenciler dikkate alınarak hesaplanmış olması nedeniyle ortaya çıktığı söylenebilir. Araştırma Sonuçlarından Çıkan Öneriler Araştırmada en düşük kesme puanının İşaretleme Yönteminde RP50 düzeyinde hesaplandığı, en yüksek kesme puanının ise Angoff Yöntemiyle hesaplandığı görülmüştür. Kesme puanlarıyla ilişkili olarak öğrencilerin başarı düzeyi de İşaretleme Yönteminde RP50 düzeyinde en yüksek olarak saptanmıştır. Ancak yine de bu farklılıkların kesme puanı üzerinde puan alan öğrenci yüzdeleri arasında anlamlı bir fark yaratmadığı, fakat bir yöntem dikkate alınmadan idari olarak belirlenen kesme puanı ile yöntemlerle belirlenen kesme puanları üzerinde puan alan öğrenci yüzdeleri arasında anlamlı farklılıklar olduğu görülmüştür. Eğitimcilerin bu durumu göz önünde bulundurarak geçerli bir geçme puanı belirlemek için, kendi koşullarına uygun daha kullanışlı (standart belirleme süreci ve matematiksel hesaplamalar vb. açıdan) olabilecek bir standart belirleme yöntemi kullanmaları önerilebilir. Araştırmada işaretleme yönteminde 1 Parametreli Lojistik Model ile 2 Parametreli Lojistik Modele göre belirlenen kesme puanlarının farklılaşmadığı görülmüştür. Araştırmacılar bunu dikkate alarak öğrenci sayıları ve model varsayımlarını dikkate alarak uygun olan MTK modelini seçmeleri önerilebilir. Araştırmacılara Yönelik Öneriler Araştırmada sadece Angoff ve İşaretleme standart belirleme yöntemleri kullanılmıştır. Benzer bir çalışma farklı standart belirleme yöntemleri kullanılarak yapılabilir. Benzer bir çalışmada İşaretleme Yöntemi ile standart belirme çalışması sadece çoktan seçmeli maddelerden oluşan bir testte yönelik değil farklı soru tiplerinin olduğu sınavlara yönelik olarak da yapılabilir. Standart belirleme sürecine katkıda bulunan uzmanların süreçteki düşünceleri ve değerlendirmelerine yönelik detaylı bir çalışma yapılabilir. Uzmanların İşaretleme Yönteminde cevaplama olasılığı (RP) uygulamasını nasıl algıladıklarına dair bir çalışma yararlı olabilir. Bu çalışmada İngilizce yeterlik sınavı için standart belirleme çalışması yürütülmüş ve İngilizce alan uzmanlarıyla çalışılmış, çalışma sırasında bu uzmanların cevaplama olasılığını algılama ile ilgili sıkıntıları gözlenmiştir. Hem sözel bir alanda standart belirleme çalışması hem de sayısal bir alanda standart belirleme çalışması yapılarak, her iki alan uzmanlarının böyle bir süreçte cevaplama olasılığını nasıl algıladıklarına dair benzer bir çalışma yapılabilir. Benzer bir çalışma İşaretleme Yöntemi için alan yazında verilen farklı cevaplama olasılık değerleri ile (0,70 ve 0,80 vb.) yapılabilir. 2168

11 Educational Sciences: Theory & Practice - 13(4) Educational Consultancy and Research Center DOI: /estp A Comparison of Bookmark and Angoff Standard Setting Methods * Sevda ÇETİN a Hacettepe University Selahattin GELBAL b Hacettepe University Abstract In this research, the cut score of a foundation university was re-calculated with bookmark method and with Angoff method, each of which is a standard setting method; and the cut scores found were compared with the current proficiency score. Thus, the final cut score was found to be with the cooperative work of 17 experts through the Angoff method. The cut scores derived by calculations using the bookmark method were found as for 1 PLM and RP50, as for 1 PLM and RP67, as for 2 PLM and RP50, and as for 2 PLM and RP67. Correlation coefficients are examined between probabilities of expert answers and real item difficulties to see relationship level between experts determining probability of right answers and the real difficulty of the items. The correlation coefficient between experts determining probability of right answers and the real difficulty of the items is determined as It is find that there is a significant difference between the percent of students whose score is more than qualifying score determined by the foundation university which is 35 point and the percent of students whose score is more than cut scores determined by Bookmark Method for RP50, RP67 and Angoff Method; but it is also find out that there is no significant difference between the percent of students whose score is more than cut scores determined by the Bookmark Method with RP50 and RP67; and Bookmark method and Angoff method. Key Words Angoff Method, Bookmark Method, Cut Score, Response Probability, Standard Setting. The purpose of educational standards, which have been developed since the 1980s is to set common targets for student performances (Airasian & Russell, 2008). Pass/Fail or performance level assessments that made based on cut scores, does not only effect students individual academic achievements but it also effect the school, state, country achievement and whole education system. PISA, PIRLS and TIMMS tests are effective to compare the countries education levels. Many countries abroad determine their own state and school based academic qualification standards (Kubiszyn & Borich, 2007). Setting standards in education, on the other hand, is defined as the process of determining one or more cut scores for a test. The role of cutoff scores is to form performance categories by dividing the test scores scale into two or more areas, and thus to classify the individuals. Therefore, cut scores (which have recently been called performance standards, mostly) have become more necessary and more important. According to Cizek (2001), however, standard setting is the whole of the processes of defined systematic rules pursued in determining the scores distinguishing the two or more degrees of performance. * This study includes a part of a Ph.D. thesis by Sevda ÇETİN. a Sevda ÇETİN, Ph.D., is currently a doctor of Measurement and Evaluation in Education. Her research interests are standard setting methods, cut scores, educational statistics and scale development. Correspondence: Dr. Sevda ÇETİN, Hacettepe University, Educational Sciences Department, Beytepe, Ankara, Turkey. tsevda@hacettepe.edu.tr Phone: b Selahattin GELBAL, Ph.D., is currently a professor of Measurement and Evaluation in Education. Contact: Hacettepe University, Educational Sciences Department, Beytepe, Ankara, Turkey. gelbal@hacettepe.edu.tr.

12 EDUCATIONAL SCIENCES: THEORY & PRACTICE Depending on individual differences, students learn at differing levels at the end of a learning process. While some of them learn all what is taught, some learn less, and some fail to acquire the targeted gains. Since students levels of learning are different, performance definitions of different dimensions and different levels should be made. Performance levels are not dependent on the methods of determining cut scores; hence, the levels can also be determined without determining a method. In the process of determining the levels of performance, firstly the number of categories is established, and general definitions as to what each category means are made. Because dividing into more than three or four categories would make it difficult to distinguish between the differences of levels, it is not desirable to divide into more categories (Zieky & Perie, 2004). By means of performance levels, students knowledge, skills and abilities in a certain field that can be displayed at a certain level are described in details; in other words, the requirements for a student to reach that level of performance are described. The process of transforming the performance standard distinguishing people according to their performance levels into figures in the table of test scores can be called as the process of standard setting (Hambleton, 2001). Pursuing certain stages in the process of standard setting, the ultimate result (passing grade or proficiency score) is reached. There are many methods in standard setting. Hambleton (2001) and Reckase (2006) list some points for determining which method to use as follows: - The structure of the test items should be observed. Angoff method is very common in use of multiple choice items whereas Bookmark method is more convenient for the tests that have constructed response items and performance evaluation tests. - Tests which are low reliable should not be used in standard setting process. - Time that available to set the standard is important. In some methods standard setting process is longer than the other methods. - Prior experience with a method is important. If researcher has a prior experience with a method, in second experience it may reduce the need for field-testing which can be costly and time consuming. - Perceptions and evidence about validity of the method is important. For example some researchers would avoid the Angoff method because of concerns about its validity, other researchers have been critical of the contrasting groups method. As it seen standard setting is very important in test development process. The process of standard setting, in addition being a methodological process, yields much more useful and defendable results when it involves policy makers, test developers and measurement experts (Bejar, 2008). Several methods of standard setting were introduced in standard setting work conducted, apart from the above mentioned ones. Each method has advantages as well as disadvantages. However, the implementers are undecided about which method to use, when one is more disadvantaged or has more drawbacks. In Turkey also, it is observed that many educators lack knowledge on which method would be more appropriate for which students and for which situations. Angoff Method The method recommended by William H. Angoff in 1971 can be used with tests which are not multiple choices in form as well as with multiplechoice tests. The cut score in the Angoff method is composed of predicted values assigned by experts to each question. The alternatives of the items are not evaluated separately in the method, but the item is considered as a whole. In other words, experts predict the response probability of students who are at the border of performance level determined for each question. Bookmark Method The method was suggested by Lewis, Mitzel and Green in Researchers desiring to remove the inadequacies of the Angoff method recommended the method so as to use it in tests containing multiple choice and structured answers, to reduce the work load of experts and thus to facilitate their decision-making, to combine expert decisions with measurement models in determining the cut scores, and to combine the test content with the definitions of performance level (Mitzel, Lewis, Patz, & Green, 2001). 2170

13 ÇETİN, GELBAL / A Comparison of Bookmark and Angoff Standard Setting Methods Bookmark method was based on using the Item Response Theory (IRT) and mapping the items. Items are ordered according to the place they occupy in the scale. Their place in the scale is determined according to item difficulty (p). The ordering is from the easiest item to the most difficult item. The reason for calling the method as bookmark is that experts state their decisions with markings in guides where the items are ordered from the easiest to the most difficult. The guides are called ordered item booklets. If the test is composed of both multiple choice questions and questions requiring structured answers, each question requiring structured answers can appear in the ordered item booklet several times (and the answers of those questions are, partly correct: 1 point, mostly correct: 2 points, and completely correct: 3 points according to the scores). Bookmark method has often been used recently for several reasons. Firstly, it may be used in mixed item formats- in tests containing both multiple choice questions and questions requiring structured answers. Secondly, the method reduces experts workload considerably. For instance, if four performance categories are to be distinguished for a 50-item test, then an expert is expected to give 150 (50 items X 3 cut scores) probability values in the Angoff method whereas in the Bookmark method the first cut score is determined in the same ordered item booklet, and the other cut scores are determined by analyzing the other items respectively; and therefore the expert does not have to analyze the same test items again and again. Thirdly, the method is relatively simpler for experts because calculations which are mathematically more complex are completed before the process of standard setting. And finally, since it is an IRTbased method, it also accommodates the advantages of IRT in the psychometric perspective (Cizek & Bunch, 2007). Despite all these advantages, experts can sometimes experience disagreements in terms of ordering the items (Plake, Impara, Buckendahl, & Ferdous, 2005). While they may believe that the order of some items should be changed in the booklet, they may also determine cut scores in differing places (Skaggs & Tessema, 2001). The task undertaken by experts in this method is very different from the one undertaken in the Angoff method or in other test-centered methods. Experts have to make a decision on probability while categorising the items as adequate and inadequate, and thus determining a cut score. Response probability (RP) is the probability of a person of a certain ability level to reply correctly to an item (Huyhn, 2000; Kostald, 2001), and in this item characteristic curve it is equivalent to the probability of responding correctly to item i of a person at the θ k ability level; and mostly the RP is regarded as 0.67 or 0.50 (Huyhn, 2006). Yet, the values between 0.50 and 0.80 are also used (Berberoğlu, 2009; Huyhn, 2006; Karantoris & Sireci, 2006; Zwick, Şentürk, Wang, & Loomis, 2001). Using the response probability shows that the students who are found proficient according to the cut score will answer the items in the front order of the ordered items (the questions in front of the marked question) correctly at the rate of PR (for example 0.67) and that they will answer the items at the back of the ordered items (the questions at the back of the marked question) correctly at a lower rate than the RP (for example 0.67) (Mitzel et al,. 2001; Wyse, 2011). When the item difficulty (in logits) and the response probability are given, the level of ability required for achievement probability equivalent to the RP can be determined. This level of ability is the bookmark difficulty location (BDL). Even though the measurement is called a difficulty location, it is actually a measurement of ability (or rather, it is a measure of ability in which ability and difficulty are measured in the same scale). A difficulty value is calculated for each item and they are ordered in the ordered item booklet from the lowest BDL value (the easiest item) to the highest BDL value (the most difficult item) according to the value of difficulty. Beretvas (2004) calculated the difficulty value BDL for 1-parameter logistic model and 3-parameter logistic model (the 2-parameter logistic model in which chance parameter is regarded as zero) as in the following: BDL calculations for 1 Parameter Logistic Model The value of q when P(X = 1ǀq) = 2/3 needs to be calculated for the 1 Parameter Logistic Model with Response Probability RP=2/3 P(X = 1ǀθ) = θ value, ln(2) = (θ-^b) θ 1PL = ln(2)+^b 2171