ROC EĞRİSİ YÖNTEMİ İLE KESME PUANININ BELİRLENMESİ

The Journal of Academic Social Science Studies International Journal of Social Science Doi number:http://dx.doi.org/10.9761/jasss3564 Number: 50, p. 553-562, Autumn II 2016 Yayın Süreci Yayın Geliş Tarihi / Article Arrival Date - Yayınlanma Tarihi / The Published Date 11.06.2016 31.10.2016 ROC EĞRİSİ YÖNTEMİ İLE KESME PUANININ BELİRLENMESİ DETERMINING THE CUT-OFF SCORE WITH THE ROC CURVE METHOD Çiğdem REYHANLIOĞLU KEÇEOĞLU Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü Eğitim Bilimleri Doktora Öğrencisi Prof. Dr. Selahattin GELBAL Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü Eğitim Bilimleri A.B.D. Eğitimde Ölçme ve Değerlendirme B.D. Doç. Dr. Nuri DOĞAN Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü Eğitim Bilimleri A.B.D. Eğitimde Ölçme ve Değerlendirme B.D. Öz Farklı başarı düzeylerine ilişkin bir sınıflama yapabilmek için her düzeye ilişkin kesme ya da standart puanların ortaya konulması gerekmektedir. Farklı başarı düzeylerinin belirlendiği bu işlem standart belirleme olarak adlandırılır. Standart belirleme süreci bireylerin başarı düzeylerini ya da performans düzeylerini ayrıştırabilmek için son derece önemlidir. Her düzeyin birbirinden farklılaştığı noktanın belirlenmesi gerekmektedir. Bu açıdan kullanılacak olan standart belirleme yönteminin de iyi seçilmesi gerekmektedir. Bu çalışmanın amacı, karmaşık, pahalı ve uygulaması zor olan geleneksel standart belirleme yöntemlerine, teknolojinin olağanüstü bir hızla ilerlediği günümüzde, kesme puanını belirlemek amacıyla ihtiyaç duyulan bu yöntemlerin alternatifini sunmaktır. Bu alternatif yöntemin bilgisayar ortamında uygulanmasıyla, objektif sonuçlara ulaşmak ve bu sayede bireylerin başarılı/başarısız ya da geçti/kaldı kararlarının verilmesinde geçerli ve güvenilir sonuçlar elde edebilmek bu çalışmada amaçlanmıştır. Bu çalışmadaki bulgular, Türkiye'de bulunan bir yüksek öğretim kurumundaki yabancı diller yüksek okulu bünyesinde, 2011-2012 güz döneminde, İngilizce hazırlık sınıfından muaf olmak isteyen 1708 öğrenciye uygulanan İngilizce muafiyet sınavının sonuçlarından elde edilmiştir. Öğrencilerin İngilizce hazırlık sınıfından muaf olabilmeleri için, bu sınavdan en az 65 puan almaları veya ulusal düzeyde yapılan dil sınavlarından en az 75 puan almaları gerekir. Ayrıca uluslararası sınavlardan kabul edilebilir puanlar muafiyet için yeterli bulunmaktadır. Buradaki 65 değeri kurumun iç ölçütünü, 75 değeri ise dış ölçütünü temsil etmektedir. Anahtar Kelimeler: Standart Belirleme, Kesme Puanı, ROC Eğrisi Yöntemi, İç Ölçüt, Dış Ölçüt

554 Çiğdem REYHANLIOĞLU KEÇEOĞLU & Selahattin GELBAL & Nuri DOĞAN Abstract In order to do classification according to the achievement levels, there needs to be a cut-off or standard scores for each level. The procedure that involves the determination of various achievement levels is called standard determination. The process of standard determination is critical in separating the achievement and the performance levels of individuals. It is necessary to determine the varying points of differences between each level. For this reason, it is important to choose best the standard determination method. The purpose of this study is showing alternative method, needed in order to determine cut point, instead of conventional standard setting methods which are complex, expensive and difficult to implement. Reaching objective results and so that giving valid and reliable decisions about individuals like successful/unsuccessful or pass/fail are aimed in this study by using this alternative method in computer. Data used in this study are obtained from 1708 students English exemption exams scores who are student at a university in Turkey at school of foreign language in 2011-2012 fall terms. Students should take minimum 65 points from that exam or should take minimum 75 points from national language exams to be exempt from English preparatory class. In addition, taking acceptable scores from international exams could be enough for exemption to preparatory class. The score of 65 represents inner criterion and 75 represents outer criterion of the institution. Keywords: Standart Settings, Cut point, ROC Curve Method, Inner Criterion, Outer Criterion Giriş Günümüz koşullarında, nitelikli insan ihtiyacının artmasıyla beraber, gerek eğitim kurumlarının öğrenci seçimlerinde olsun, gerek işverenlerin eleman seçimlerinde olsun, seçilecek bireylerde olması beklenen nitelikler, değişen dünya koşullarına ve nüfus artışı ile ters orantılı olarak artan nitelikli iş gücüne paralel bir şekilde her geçen gün değişmektedir. Bu durum, seçilmek üzere başvuranların kendilerinde var olmayan bu nitelikleri edinmek, var olan niteliklerini olumlu yönde değiştirmek ve geliştirmek üzere farklı eğitim süreçlerine katılmalarına sebep olmaktadır. Bu süreçlerin sonucunda ise istenen değişikliklerin gerçekleşmesi beklenir. Bazı durumlarda gözlenen bir takım değişiklikler yeterli bulunmayabilir. Bu yetersizliklerin ya da istenmeyen durumların kontrolü ise değerlendirmeyle yapılmaktadır. Değerlendirme, Bloom'a göre (1971) bireylerde belli değişimlerin meydana gelip gelmediğinin, gelmişse ne seviyede olduğunun belirlenmesi için sistematik olarak kanıt toplama süreci, Tekin e (1993) göre, ölçümlerden bir anlam çıkarmak ve ölçülen nesneler hakkında bir değer yargısına ulaşmak ve Turgut ve Baykul a (2010) göre ise, ölçme sonuçlarını (puanları) bir ölçüt (kriter veya referans çerçevesi) ile karşılaştırarak, bir değer yargısına ulaşmaktır. Ölçütsüz değerlendirme olmaz (Tekin, 1993). Ölçüt, ya önceden, kesin olarak belirlenmiş bir standarttır ya da gruba bağlı olarak çıkarılmış tipik bir puandır, normdur. Baykul (2000) ise ölçütü, değerlendirme yapabilmek için ölçme sonuçlarının karşılaştırıldığı, değerler veya değer yargıları olarak tanımlamaktadır. Değerlendirmede bireylerin başarı düzeylerinin önceden ya da sonradan belirlenen bir ölçüte ilişkin kıyaslanması söz konusudur. Bireylerin başarı düzeyleri hakkında karar verebilmek için oluşturulan ölçüte kesme puan ya da standart puan adı verilmektedir. Böylelikle bireylerin almış oldukları puanlar başarı düzeyleri doğrultusunda ve kesme puanı kullanılarak sınıflandırılmaktadır (Cizek, 1993). Ölçme sonuçlarına bağlı olarak bireyleri farklı performans düzeylerine yerleştirmek amacıyla bir kesme puanı belirlenir (Taşdelen, 2009). Kesme puanı, istenilen performans düzeyinde olan öğrenci ile yeterli per-

Roc Eğrisi Yöntemi İle Kesme Puanının Belirlenmesi 555 formans düzeyinde olmayan öğrenciyi birbirinden ayıran uygun performans noktasıdır (Gündeğer, 2012). Farklı başarı düzeylerine ilişkin bir sınıflama yapabilmek için her düzeye ilişkin kesme ya da standart puanların ortaya konulması gerekmektedir. Farklı başarı düzeylerinin belirlendiği bu işlem standart belirleme olarak adlandırılır. Standart belirleme süreci bireylerin başarı düzeylerini ya da performans düzeylerini ayrıştırabilmek için son derece önemlidir. Her düzeyin birbirinden farklılaştığı noktanın belirlenmesi gerekmektedir. Bu açıdan kullanılacak olan standart belirleme yönteminin de iyi seçilmesi gerekmektedir (Tülübaş, 2009). Bütün standart belirleme yöntemleri yargısaldır ve hiçbir veri topluluğu, veri analizi ve model kurma çalışmasının hangi performans düzeyinin önemli, kabul edilebilir ya da kabul edilemez ve uygunsuz olduğuna karar vermek konusunda, nihai yargısal kararın yerini tutmamaktadır (Jaeger, 1989) Hangi standart belirleme yöntemi seçilirse seçilsin standart belirleme süreçleri, günümüzde değişen talepler doğrultusunda daha karmaşık ve zorlu bir hale gelmiştir. Standartlar eskiden tipik bir öğrenci kitlesi temel alınarak geliştirilirken, günümüzde bunun tam tersi bir durum söz konusudur. Standartların çok büyük farklılıklar gösteren öğrenci kitlelerine dayalı olarak belirlenmesi, çok değişik standart belirleme metotlarının kullanılması ya da yeni standart belirleme metotlarının geliştirilmesi zorunlu bir ihtiyaç haline gelmiştir. ROC Eğrisi (Receiver Operating Characteristics Curve) Yöntemi Son yıllara kadar, eğitim uygulamalarında ROC eğrisinin kullanıldığı çalışmalar yoktu. Ancak son bir kaç yıldır, eğitim uygulamalarında, sıklıkla olmasa da ROC eğrilerine rastlamak mümkündür. Bu eğriler, sınıflama kararlarını verirken, özellikle tıbbi alanda hasta/sağlıklı tanısı koymada oldukça kullanışlı bir metottur. ROC eğrisi yöntemi, bir hastalığa tanı koymada kullanılan tanı testlerinin performanslarının değerlendirilmesi ve tanı koyabilmek için kesim noktasının belirlenmesi amacıyla kullanılmaktadır (Alpar, 2010). Alanyazında 800'ün üzerinde bilimsel yayın araştırılmış ve sadece 1998 yılında William ile, 2005 yılında Hintze ve Silberglitt tarafından yayınlanan bilimsel yayınlarda ROC eğrisinin kesme puanını belirleyebileceği üzerinde durulmuştur (Kaftandjieva, 2010). Ölçme sonuçlarından elde edilen verilerin sürekli olması durumunda, bireyleri başarılı ve başarısız olarak sınıflama işlemi zorlaşır. Bu nedenle ROC eğrisi ile kesme puanı belirlenirken, sürekli verilerin süreksiz verilere dönüştürülmesi önerilmektedir (Zweig & Campbell, 1993 ; Kaftandjieva, 2010). Eğitim uygulamalarına bağlı olarak incelenen tanı testlerinin optimum etki noktası değişmektedir. Elde edilen tüm verideki tüm değerler birer kesim noktası olarak kabul edilerek her değer için duyarlılık (sensitivity) ve özgüllük (spesifity) değerleri hesaplanır (Zweig & Campbell, 1993; Kaftandjieva, 2010). ROC eğrisinin düşey ekseninde duyarlılık değerleri, yatay ekseninde ise özgüllük değerleri yer alır. Seçilen farklı kesim noktaları için bulunan farklı duyarlılık-özgüllük özelliklerine bağlı olarak ara seçenekler belirlenerek, ROC eğrileri (Receiver operating characteristic curves) oluşturulur. Sayısal verideki her kesim noktası için elde edilen duyarlılık ve özgüllük değerleri kullanılarak ROC eğrisi çizilir (Özdamar, 2003). ROC eğrisi en yüksek doğruluk veren kesim (cut-off) noktasını belirler. Eğri ile duyarlılık ve belirleyicilik arasında optimal bir ilişki ile kesme değerinin belirlenmesi sağlanır. ROC eğrisi yönteminde kullanılan önemli kavramlardan biri eğri altında kalan alandır. Eğri altında kalan alan testin bireyleri ayırt etme derecesini tek bir sayısal değerle özetlemek için kullanılır. Pratik olarak alabileceği en küçük değer 0.50 en büyük değer ise

556 Çiğdem REYHANLIOĞLU KEÇEOĞLU & Selahattin GELBAL & Nuri DOĞAN 1.00 değeridir. Eğri altında kalan alan, seçilen kesim noktasının gerçeği yansıtma yüzdesi olarak ifade edilir. Eğri altında kalan alanın 1.00 olması, seçilen kesim noktası ile gerçek durumun %100 uyumlu olduğu anlamına gelir. Eşit alana sahip iki eğri tanı testlerinin toplamda benzer performans gösterdiğini gösterir, ama bu durumda eğriler aynı olmak zorunda değildir. Eğriler birbirlerini kesebilir (İyisoy, 2014). Standart belirleme yöntemlerinin hiçbiri kısa zaman, ucuz maliyet ve uygulama kolaylığı öğelerinin tümünü aynı anda barındırmamaktadır. Bu sebeple doğru yönteme karar verilmesi oldukça önemli ve bir o kadar da güçtür. Geleneksel standart belirleme yöntemleri karmaşık, pahalı ve uygulaması zordur. Aynı zamanda uzmanların zihinlerinde canlandırdıkları minimum yeterlik düzeyindeki öğrencinin göreceli bir kavram olması nedeniyle subjektif kararlar alma riski vardır. Ancak, teknolojinin olağanüstü bir hızla ilerlediği şu dönemde, bu çalışma ile kesme puanını belirlemek amacıyla ihtiyaç duyulan bu yöntemlere bir alternatif sunulmaktadır. Bu yöntemin bilgisayar ortamında uygulanması nedeniyle, hızlı bir şekilde objektif sonuçlara ulaşılması ve bu sayede bireylerin başarılı/başarısız ya da geçti/kaldı kararlarının verilmesinde geleneksel yöntemlere göre daha geçerli ve güvenilir sonuçlar elde edilmesi iddialarını test etmek bu çalışmanın amaçlarından biridir. Kullanımı kolay olan bu metot, zamandan ve maliyetten önemli ölçüde tasarruf sağlanması nedeniyle önemlidir. Türkiye de eğitim uygulamalarında kesme puanını belirlemek amacıyla ROC eğrisi yönteminin kullanıldığı çalışmalar oldukça az sayıdadır. Ayrıca farklı ölçüt türlerine göre kesme puanı belirlenmesinde ROC eğrisi ilk kez bu çalışmada kullanılmıştır. Bu nedenle bu tekniğin araştırmacılara tanıtılması çalışmanın nihai amacını oluşturmaktadır. Bu çalışmada ROC eğrisi yöntemi ile kesme puanının belirlenmesi ile, ROC eğrisinin Türkiye literatürüne farklı bir boyutta tanıtılması sağlanmıştır. Yöntem Veri Toplama Yöntemi Bu çalışmadaki bulgular, Türkiye'de bulunan bir yükseköğretim kurumundaki yabancı diller yüksekokulu bünyesinde, 2011-2012 güz döneminde, İngilizce hazırlık sınıfından muaf olmak amacıyla İngilizce muafiyet sınavına giren 1708 öğrencinin sınav sonuçlarından elde edilmiştir. Bu sınavda, çoktan seçmeli test maddelerinden ve klasik yazılı türündeki maddelerden oluşan iki alt test bulunmaktadır. Öğrencilerin sınav puanı bu iki alt testten aldıkları puanların toplamıyla elde edilmektedir. Öğrencilerin İngilizce hazırlık sınıfından muaf olabilmeleri için, bu sınavdan en az 65 puan almaları veya ulusal düzeyde yapılan sınavlardan (ÜDS veya KPDS) en az 75 puan almaları gerekir. Buradaki 65 değeri kurumun iç ölçütünü, 75 değeri ise dış ölçütünü temsil etmektedir. Ayrıca uluslararası sınavlardan kabul edilebilir puanlar muafiyet için yeterli bulunmaktadır. İşlem Bu araştırmada ele alınan bağımsız değişkenlerden biri, sonuçlarından yararlanılan İngilizce hazırlık sınıfı muafiyet sınavının çoktan seçmeli test maddelerinden oluşan alt testinden elde edilen puanlardır. Bu değişken, yapılan analizlerde "çoktan seçmeli" olarak adlandırılmıştır. Diğer bir bağımsız değişken ise, aynı sınavın klasik yazılı türündeki sorulardan oluşan alt testten elde edilen puanlardır. Bu değişken ise, yapılan analizlerde "klasik yazılı" olarak adlandırılmıştır. İngilizce hazırlık sınıfı muafiyet sınavından alınan puanların aritmetik ortalaması öğrencinin aldığı test puanını oluşturmaktadır. Ancak ölçtükleri yapı bakımından ve kullanılan ölçek maddelerin farklı türlerde olması açısından bu iki alt testin sonucunun, geçme kararında aynı önem derecesine sahip olmadığı düşünülmektedir. Bu öngörüden hareketle bu alt testler iki ayrı bağımsız değişken olarak ele alınmıştır. Böylece iki alt testten elde edilen başarı puanlarının, bireyler için alınan başarılı/başarısız kararına anlamlı bir katkı sağlayıp sağlamadığı incelenmiştir.

Roc Eğrisi Yöntemi İle Kesme Puanının Belirlenmesi 557 İç ve dış ölçütlere göre; puanları ölçüt puandan yüksek olan öğrenciler başarılı, ölçüt puandan düşük olan öğrenciler ise başarısız kabul edilmiş ve yeni bir gösterge değişkeni olarak başarı durumu eklenmiştir. Modelin bağımlı değişkenini öğrencilerin başarılı/başarısız olma durumlarını gösteren başarı durumu değişkeni oluşturmaktadır. Başarılı öğrenciler "1", başarısız öğrenciler ise "0" ile kodlanmıştır. Verilerin Analizi ROC eğrisi yöntemi ile kesme puanının belirlenebilmesi için, Medcalc istatistik paket programından yararlanılarak, iç ve dış ölçütlere göre yapılan analizler sonucunda, doğru sınıflama yüzdelerine ilişkin sınıflama sonuçlarını gösteren ROC eğrilerinin incelenmesi gerekir. Yapılan sınıflamanın doğruluğu eğri altında kalan alanın büyüklüğü ile ilişkilidir. Eğri altında kalan alan ne kadar büyükse, yapılan sınıflama o kadar doğrudur. Ancak burada eğri altında kalan alanın hesaplanması ile ilgili metotların bilinmesinde yarar vardır. Eğer yapılan sınıflama kötü olarak yapıldıysa, bir başka deyişle eğri altında kalan alanın beklenen değeri <0,80 ise veya değişkenlere ilişkin dağılımdan en az birinin güçlü bir şekilde iki modlu olduğundan şüpheleniliyorsa bu durumda ampirik (basit) veya çekirdek yoğunluk metodu (Kernel density method) kullanılanılabilir. Öte yandan eğer oldukça iyi bir sınıflama yapıldıysa, bir başka deyişle eğri altında kalan alanın beklenen değeri >0,80 ise veya değişkenlere ilişkin dağılımdan en az birinin güçlü bir şekilde iki modlu olduğundan şüphelenilmiyorsa ampirik metot veya binormal metot kullanılabilir (Lasko, 2002 ; Akt: Koyuncu, 2015). Bu çalışmada, ölçütlere göre yapılan sınıflamanın iyi olması ve değişkenlere ait dağılımın çift modlu olmamasından dolayı ampirik metotla eğri altında kalan alanı hesaplayan Medcalc istatistik paket programı kullanılmıştır. Ampirik metotla ROC eğrisi elde edilirken, Y ekseninde duyarlılık ve X ekseninde 1- özgüllük değerleri olmak üzere koordinat düzleminde işaretlenen noktalar düz çizgilerle birleştirilir ve bu eğri altında kalan alan trapezoid (yamuk) kuralıyla hesaplanmaktadır. Bu yöntem aynı zamanda parametrik olmayan metot olarak da adlandırılmaktadır ve bu şekilde hesaplanan eğri altında kalan alanın tahmini değeri negatif ve pozitif değerlerin muhtemel eşleştirme sayısına göre normalleştirilmiş Mann-Whitney U istatistik değerine eşdeğerdir (Lasko, 2002 ; Akt: Koyuncu, 2015). Bulgular Medcalc istatistik paket programı aracılığı ile iç ve dış ölçütlere göre yapılan sınıflama sonuçları şekil 1 ve 2 de görülmektedir. Şekil 1: ROC Eğrisi ile İç Ölçüte Göre Elde Edilen Sınıflandırma Grafiği

558 Çiğdem REYHANLIOĞLU KEÇEOĞLU & Selahattin GELBAL & Nuri DOĞAN Daha önce de belirtildiği gibi ROC eğrisinin altında kalan alanın büyüklüğü, sınıflamanın doğruluk derecesini belirlemektedir. Bu büyüklük 0.50 ve 1.00 arasında değer alır ve 1.00'e ne kadar yaklaşırsa sınıflama o kadar iyi yapılmış demektir. 1.00 olması ise mükemmel sınıflama yapıldığını gösterir. İç ölçüte göre yapılan analizde, klasik yazılı sınavına ait çizginin altında kalan alanın büyüklüğü 0,831 iken çoktan seçmeli test sınavına ait çizginin altında kalan alan 0,991 olarak belirlenmiştir. Şekil 2: ROC Eğrisi ile Dış Ölçüte Göre Elde Edilen Sınıflandırma Grafiği Dış ölçüte göre yapılan analizde ise, klasik yazılı sınavına ait çizginin altında kalan alanın büyüklüğü 0,809 iken çoktan seçmeli test sınavına ait çizginin altında kalan alan 0,996 olarak belirlenmiştir. Ayrıca her iki ölçüte göre yapılan analiz sonucunda, iki bağımsız değişkenin de kesme puanının belirlenmesinde anlamlı birer yordayıcı oldukları belirlenmiştir. Klasik yazılı sınavınının ve çoktan seçmeli, test maddelerinin anlamlılığını gösteren z istatistiği ile p değerleri tablo 1 de görülmektedir: Tablo 1: Bağımsız Değişkenlere Ait Anlamlılık Değerleri Z p Klasik yazılı Çoktan seçmeli 33,701 339,755 0,0001 0,0001 Sonuç olarak; hem iç ölçüte göre hem de dış ölçüte göre yapılan analiz sonucunda, ROC eğrisi yöntemi ile yapılan sınıflamanın gerçek durumla yüksek düzeyde uyumlu olduğu ve bu nedenle de analizin başarılı olduğu söylenebilir. Bu noktada ROC eğrisi yöntemi ile her iki bağımsız değişken göz önünde bulundurularak kesme puanlarının belirlenmesi önerilebilir. Doğru sınıflama yüzdeleri belirlendikten sonra yine Medcalc istatistik paket programından yararlanılarak ROC eğrisi iki farklı kesme puanı hesaplanmıştır. Program, ROC eğrisi yöntemine dayalı olarak birleşik

Roc Eğrisi Yöntemi İle Kesme Puanının Belirlenmesi 559 değer ölçütü (associated criterion) ve en uygun değer ölçütü (optimal criterion) olmak üzere iki farklı kesme puanı hesaplayabilmektedir. Birleşik değer ölçütü (associated criterion), programın kendisi tarafından boostrap metodu ile hesaplanmaktadır (Medcalc Version 12,3; Copyright (2012).. Boostrap metodu ile herhangi büyüklükteki bir veri setinde gözlemlerin şansa bağlı olarak yer değiştirilmesi ile yeniden örneklenerek çeşitli miktarda ve büyüklükte veri setleri oluşturulabilmektedir. Böylece, mevcut veri setinden mümkün olabildiğince fazla miktarda bilgi alınabilmektedir (Takma ve Atılgan, 2003). En uygun değer ölçütü (optimal criterion) ise programın mevcut veri üzerinden hesapladığı kesme puanıdır ve örneklemin yeterince büyük olduğu durumlarda tercih edilmektedir (Medcalc Version 12,3; Copyright (2012).En uygun değer ölçütü ortalama maliyeti küçülten değerdir. Bu yaklaşım, Metz (Metz, 1978 ; Akt: Tomak & Bek, 2010) ile Zhou ve ark. (Zhou ve ark, 2002; Akt: Tomak ve Bek, 2009) tarafından geliştirilmiştir. Bu yaklaşım bir tanı testinin dört olası sonucunun (DP: Doğru pozitif, DN: Doğru negatif, YP: Yanlış pozitif ve YN: Yanlış negatif) maliyet analizini kapsar. Bu sonuçların her birinin maliyeti belirlenmiş olmalıdır. Bu küçük bir işlem değildir. Aslında tüm çalışma alanı bu maliyetleri belirlemek maksadıyla ortaya çıkmıştır. Çoktan seçmeli test sınavından ve klasik yazılı sınavından elde edilen puanlar için iç ölçüte göre elde edilen birleşik ve en uygun değer ölçütleri tablo 2'de verilmiştir. Tablo 2: ROC Eğrisi Yöntemi ile İç Ölçüte Göre Hesaplanan Kesme Puanları Klasik yazılı Çoktan seçmeli Toplam Birleşik (Associated) 11 49,5 En uygun (Optimal) 15 51,5 60,5 66,5 Burada iç ölçüte göre belirlenen nihai birleşik değer ölçütü hesaplanırken, klasik yazılı sınavının ve çoktan seçmeli test sınavının puanlarından ayrı ayrı elde edilen birleşik değer ölçütleri toplanır. Bu yaklaşıma dayalı olarak iç ölçüte göre belirlenen birleşik değer ölçütü 60,5 olarak hesaplanmıştır. Benzer şekilde iç ölçüte göre belirlenen nihai en uygun değer ölçütü hesaplanırken de klasik yazılı sınavının ve çoktan seçmeli test sınavının puanlarından ayrı ayrı elde edilen en uygun değer ölçütleri toplanır. Buna göre iç ölçüte göre belirlenen en uygun değer ölçütü 65,5 olarak hesaplanır. Çoktan seçmeli test sınavından ve klasik yazılı sınavından elde edilen puanlar için dış ölçüte göre belirlenen birleşik değer ölçütleri ve en uygun değer ölçütleri tablo 3'te verilmiştir.

560 Çiğdem REYHANLIOĞLU KEÇEOĞLU & Selahattin GELBAL & Nuri DOĞAN Tablo 3: ROC Eğrisi Yöntemi ile Dış Ölçüte Göre Hesaplanan Kesme Puanları Klasik yazılı Çoktan seçmeli Toplam 12 58 Birleşik (Associated) 17 60 En uygun (Optimal) 70 77 Burada dış ölçüte göre belirlenen nihai birleşik değer ölçütü hesaplanırken, klasik yazılı sınavının ve çoktan seçmeli test sınavının puanlarından ayrı ayrı elde edilen birleşik değer ölçütleri toplanır. Buna göre dış ölçüte göre belirlenen birleşik değer birimi 70 olarak hesaplanmıştır. Benzer şekilde dış ölçüte göre belirlenen nihai en uygun değer ölçütü hesaplanırken de klasik yazılı sınavının ve çoktan seçmeli test sınavının puanlarından ayrı ayrı elde edilen en uygun değer ölçütleri toplanır. Buna göre dış ölçüte göre belirlenen en uygun değer ölçütü 77 olarak hesaplanır. ROC eğrisi yöntemi ile her iki ölçüte göre belirlenen kesme puanlarını özet olarak tablo 4'te verilmiştir. Tablo 4: ROC Eğrisi Yöntemi ile İç ve Dış Ölçütlere Göre Hesaplanan Kesme Puanları İç ölçüte göre Dış ölçüte göre Kesme Puanları 60,5 70 66,5 77 Sonuç 1. ROC eğrisi yöntemi ile iç ve dış ölçüte göre yapılan analiz sonucunda, iki bağımsız değişken arasında, kesme puanının belirlenmesi üzerindeki yordayıcılıklarında, anlamlı bir fark olduğu belirlenmiştir (p<0,05). Bu farklılığın, doğru sınıflama yüzdeleri göz önünde bulundurularak, çoktan seçmeli test sınavından elde edilen puanların lehine olduğu belirlenmiştir. Bu farkın nedeni puanlamadaki objektiflik düzeylerinde yatabilir. 2. ROC eğrisi yöntemi ile iç ölçüte göre yapılan sınıflandırmanın doğruluk derecesi (%91,1) ve dış ölçüte göre yapılan sınıflandırmanın doğruluk derecesi (%90,25) olarak hesaplanmıştır. 3. ROC eğrisi yöntemi ile elde edilen birleşik değer ölçütü ve en uygun değer ölçütünden hangisinin tercih edileceği noktasında örneklem büyüklüğü göz önünde bulundurulmaktadır. Örneklem büyüklüğünün yeterli olmadığı çalışmalarda, boostrap metodu ile elde edilen birleşik değer biriminin tercih edilmesi önerilmektedir (Medcalc Version 12,3; Copyright (2012). Ancak bu çalışmada kullanılan örneklem yeterince büyük olduğu için, mevcut veri üzerinden hesaplanan en uygun değer ölçütünün kesme puanı olarak kabul edilmesinin uygun olacağına karar verilmiştir. Öneriler Çalışma süreç ve sonucuna dayalı olarak araştırmacılara ve kesme puanı kullanıcı-

Roc Eğrisi Yöntemi İle Kesme Puanının Belirlenmesi 561 larına yönelik bazı öneri ve çıkarımlara ulaşılmıştır. Bu öneriler ve çıkarımlar maddeler halinde aşağıda verilmiştir. 1. Öğrenci başarısı hakkında bir değer yargısı oluşturmaya yönelik olarak yapılan başarılı/ başarısız şeklindeki sınıflama kararları sonucunda, öğrencilerin geleceklerine yönelik önemli kararlar alınmaktadır. Kullanılan ölçüt türüne göre alınan kararların oldukça önemli olması nedeniyle, ölçüt türleri arasında düzenli olarak bu tür karşılaştırmaların yapılması önerilebilir. 2. Kurum içinde ölçüt türüne göre bireylerin sınıflandırılmasında ortaya çıkan farklılıklar, bazı tarafların lehine olabileceği dolayısıyla da yanlılık için yükseköğretim kurumlarının tercih ettikleri ölçüt türünde bir standardizasyon ihtiyacı olduğu görülmektedir. 3. Bu araştırma kapsamında, öğrencileri başarılı/başarısız şeklinde sınıflamaya yarayan kesme puanının belirlenmesinde tek bir istatistiksel yöntemden yararlanılmıştır. Benzer çalışmalar, kesme puanını belirlemeye yönelik farklı yöntemler kullanılarak ve farklı yöntemlerden elde edilen sonuçlar karşılaştırılarak da yapılabilir. 4. Başka bir çalışmada, kesme puanının belirlenmesinde madde parametreleri de göz önünde bulundurulabilir. Farklı düzeyde madde parametrelerine sahip maddelerin kesme puanına etkisi incelenebilir. 5. Bu çalışmada klasik yazılı türündeki ve çoktan seçmeli test maddelerinden oluşan bir başarı testinin sonuçlarından yararlanılmıştır. Başka bir çalışmada, farklı madde türlerinden oluşan testlerden elde edilen puanlar üzerinden de kesme puanı hesaplanabilir. 6. Araştırmacılar kesme puanının belirlenmesinde bir başarı testi yerine, bir yetenek testinin sonuçlarından da yararlanılabilir. KAYNAKÇA Alpar, R. (2010). Spor, Sağlık ve Eğitim Bilimlerinden Örneklerle Uygulamalı İstatistik ve Geçerlik- Güvenirlik. Ankara: Detay Yayıncılık. Baykul, Y. (2000). Eğitimde ve Psikolojide Ölçme Klasik Test Teorisi ve Uygulaması. Ankara: ÖSYM Yayınları. Bloom, S. B., Hastings, J. T. ve Madaus G. F. (1971). Handbook on Formative and Summative Evaluation of Student Learning. USA: Mc Graw Hill Publications. Cizek, G. J. (1993). Reconsidering Standards and Criteria. Journal of Educational Measurement, 30. Gündeğer, C. (2012). Angoff, Yes/No ve Ebel Standart Belirleme Yöntemlerinin Karşılaştırılması, Yüksek Lisans Tezi, Hacettepe Üniversitesi, Ankara. İyisoy, M. S. (2014). Tanı Test Ölçütlerinde ROC Eğrisi ve Sınıflama Analizlerinin Karşılaştırılmasında Kullanımı. Yüksek Lisans Tezi, Selçuk Üniversitesi, Konya. Jeager, R. M. (1989). Certification of Student Competence : In R.L. Linn Ed, Educatioanl Measurement. New York: Macmillan. Kaftandjieva, F. (2010). Methods for Setting Cut Scores in Criterion-referenced Achievement Tests A comparative analysis of six recent methods with an application to tests of reading in EF, EALTA, Cito, Arnhem. Koyuncu, M.S. (2015). Psikolojik Ölçeklerde ROC Analizi Yöntemiyle Standart Belirleme. Yüksek Lisans Tezi, Gazi Üniversitesi, Ankara. Medcalc Version 12,3; Copyright (2012). Medcalc Software bvba, Medcalc Software; Broekstraat 52, B-9030 Maraiakerke, Belgium. Özdamar, K. (2003). SPSS ile Biyoistatistik. Eskişehir: Kaan Kitabevi. Takma, Ç. ve Atılgan H. (2003). Bootstrap Metodu ve Uygulanışı Üzerine Bir Çalışma Olasılık ve Bootstrap Metodu. Ege Üniversitesi Ziraat Fakültesi Dergisi. 40(3), 89-96 ISSN 1018-8851 Taşdelen, G. (2009). Nedelsky ve Angoff Standart

562 Çiğdem REYHANLIOĞLU KEÇEOĞLU & Selahattin GELBAL & Nuri DOĞAN Belirleme Yöntemlerinin Genellenebilirlik Kuramı İle Karşılaştırılmasına İlişkin Bir Araştırma. Yüksek Lisans tezi, Hacettepe Üniversitesi, Ankara Tekin, H. (1993). Eğitimde Ölçme ve Değerlendirme. Ankara: Yargı Yayınları. Tomak, L. ve Bek, Y. (2010). İşlem Karakteristik Eğrisi Analizi ve Eğri Altında Kalan Alanların Karşılaştırılması. Deneysel ve Klinik Tıp Dergisi, 27:58-65 Turgut, M. F. ve Baykul, Y. (2010). Eğitimde Ölçme ve Değerlendirme. Ankara: Pegem Akademi Yayıncılık. Tülübaş, G. (2009). Psikolojik Testlerde Angoff ve Sınır Grup Yöntemleri ile Kesme Puanlarının Belirlenmesi, Yüksek Lisans Tezi, Hacettepe Üniversitesi, Ankara.