OKÖSYS MATEMATİK ALT TESTİNE AİT MADDELERİN YANLILIK ANALİZİ

Transkript

1 XIII. Ulusal Eğitim Bilimleri Kurultayı, 6-9 Temmuz 2004 İnönü Üniversitesi, Eğitim Fakültesi, Malatya OKÖSYS MATEMATİK ALT TESTİNE AİT MADDELERİN YANLILIK ANALİZİ Tuncay ÖĞRETMEN Nuri DOĞAN Araştırma Görevlisi, H. Ü. E.B.F. Eğitimde Ölçme ve Değerlendirme Anabilim dalı ÖZET Bu araştırmanın amacı, Orta Öğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavı Matematik alt testindeki maddelerin madde yanlılığı analizlerini Madde-Tepki Kuramı çerçevesinde işaretli ve işaretsiz alan indekslerini kullanarak yapmaktır. Hesaplanan alan indekslerinin büyüklükleri matematik alt testinin konu alanlarına göre karşılaştırılmaktadır. Madde yanlılığı analizleri sadece cinsiyet gruplarına göre yapılmaktadır. Bu analizlerde OÖKSYS nin verileri kullanılmaktadır. Bu veriler Ankara daki ilköğretim okullarının 1684 kız ve 1660 erkek olmak üzere toplam 3344 ilköğretim sekizinci sınıf öğrencisinin OÖKSY Sınavındaki maddelere verdikleri cevaplardan oluşmaktadır. Araştırma sonuçları matematik alt testindeki maddelerin cinsiyete göre yanlılık gösterdiğini ortaya koymaktadır. İşaretli alan indeksleri testteki çoğu maddenin kızların lehine yanlı davrandığını göstermektedir. Ayrıca, matematik konu alanlarına göre işaretli ve işaretsiz alan indekslerinin büyüklükleri arasında anlamlı bir fark bulunmamaktadır. Anahtar Kelimeler: Madde Karakteristik Eğrisi, Madde Yanlılığı, Cinsiyet Farklılıkları ABSTRACT The purpose of the present study is to carry out differential item functioning analysis for the Mathematics subtest of the High Schools Entrance Examination (HSEE) by the use of signed and unsigned area indices within the framework of Item Response Theory. The differences in the magnitudes of area indices have been compared with respect to the subject areas of the subtest. The DIF analyses have been carried out across the gender groups only. The data were gathered from the 2002 HSEE. A total number of 3344 eighth grade students (1684 female, 1660 male) were selected from the state primary schools in the Ankara province. The results of the study indicated that the mathematics items do not function as intended since they are not free from DIF. In the subtest, most of the items favored the female group with respect to the signed area indices. The subject area comparisons indicated that there is no significant mean rank difference observed with respect to the magnitudes of signed and unsigned area indices. Keywords: Item Characteristic Curve, Differential Item Functioning, Gender Differences. I. GİRİŞ Test maddelerinin, aynı yetenek düzeyinde olan fakat farklı gruplardan gelen bireylerin cevapları açısından farklı özellikler göstermemesi beklenir. Bu beklentinin önemi özellikle seçme ve yerleştirme amacıyla kullanılan testlerde artmaktadır. Örneğin, test maddelerinin farklı cinsiyet veya sosyo-ekonomik düzey gruplarında bulunan aynı yetenek düzeyindeki bireylerden herhangi birinin lehine ya da aleyhine işlemiyor olması gerekir. Madde yanlılığını belirlemek amacıyla yapılan madde analizi çalışmalarının önemi giderek artmaktadır. Söz konusu araştırmalar, madde yanlılığı analizleri olarak tanımlanır ve geçerlik çalışmaları kapsamında incelenmektedir. Bu analizler, testi alan grubun alt grupları arasında karşılaştırmalar yapılması tekniğine dayanır (Ironson and Craig, 1982; Shepard, Camilli and Williams, 1985). Madde yanlılığı analizlerini iki farklı kurama dayandırmak mümkündür. Bu kuramlardan ilki Klasik Test Kuramı (KTK) ve ilgili teknikleri kapsamaktadır. Bu teknikler, madde indekslerinin (madde güçlük indeksi (p) ve madde ayırıcılık gücü indeksi (r )) alt gruplara göre karşılaştırılması üzerine kuruludur. KTK

2 kapsamında başvurulan bir diğer teknik ise Ki-kare (chi-square) tekniğidir. Söz konusu teknikler, klasik test kuramının bazı dezavantajları göz önünde bulundurularak eleştirilmektedir (Shepard, Camilli and Williams, 1985; Rodney and Drasgow, 1990). Eleştiriler, klasik tekniklerle hesaplanan madde parametrelerinin bir gruptan diğerine değişkenlik göstermesi; parametrelerin sabit olmaması veya örnekleme bağımlı olması nedeniyle, yapılan madde yanlılığı analizlerinin hatalı yorumlara yol açacağı iddialarına dayandırılmaktadır. Madde yanlılığın belirlemede yaygın olarak kullanılan ikinci kuram Madde Tepki Kuramıdır (MTK). MTK modellerinin kullanılmasının Klasik Test Kuramı ve tekniklerine göre üstün tarafları olduğu ileri sürülmektedir (Lord ve Novic 1968; Hambleton, and Swaminathan 1985; Baker 2001). MTK modelleriyle elde edilen madde karakteristik eğrisi (Item Charecteristic Curve) ve madde parametrelerinin sabit olduğu yani bir gruptan diğerine değişmeyen değerler aldığı; bu nedenle grupların karşılaştırılmasında araştırmacıya maddenin yanlı olup olmadığı konusunda daha güvenilir sonuçlar verdiği görüşü kesin kanıtları olmamakla birlikte yaygınlaşmıştır. Madde yanlılığı, bir tek test maddesine aynı yetenek düzeyinde fakat farklı gruplardan gelen iki bireyin doğru cevap verme olasılığının aynı olmaması olarak tanımlanabilir (Adams and Rowe, 1988; Mellenberg, 1989; Hambleton, Swaminathan and Rogers, 1991; Raju, 1983). Tanımdan hareketle, bir test maddesinin farklı örneklemlerden gelen ve aynı yetenek düzeyinde olan bireylerde aynı şekilde işlemesi, aynı madde için farklı grupların aynı yetenek düzeyindeki bireylerinden elde edilen madde karakteristik eğrilerinin benzer olması gerekir (Rodney ve Drasgow, 1990). Bu anlamda, madde yanlılığı analizini MTK modelleriyle yapmak, bir test maddesinin iki ayrı gruptan elde edilen madde karakteristik eğrilerinin karşılaştırılmasına dayanır (örneğin, kadın ve erkek cinsiyet grupları). Bu karşılaştırmalarda kullanılabilecek birinci yol madde parametrelerini karşılaştırmaktır. Birinci yolda, farklı gruplardan aynı yetenek düzeyindeki bireyler üzerinden elde edilen madde parametre değerleri aynı ise madde karakteristik eğrilerinin de aynı olması bekleneceğinden madde yansız; madde parametre değerleri arasındaki farklar büyüdükçe madde karakteristik eğrileri de farklılaşacağından madde yanlı yorumu yapılabilir. Karşılaştırmalarda kullanılacak ikinci yol ise farklı gruplardan elde edilen madde karakteristik eğrileri arasında kalan alanların hesaplanmasına dayanır. Madde karakteristik eğrileri arasındaki alan küçükse (sıfıra yakınsa) madde yansız; büyükse madde yanlı yorumu yapılabilir. Madde karakteristik eğrileri arasındaki alanın büyüklüğü sıfırdan uzaklaştıkça (arttıkça) maddenin yanlılığı da artmaktadır (Lord, 1980; Rudner et.al., 1980; Rudner et.al., 1980; Raju, 1988). Madde yanlılığı analizi, büyük ve heterojen grupların aldıkları testlerde genellikle cinsiyet gruplarını, etnik grupları ve bireylerin yaşadığı bölge gruplarını (örneğin, cinsiyete göre kız ve erkek grupları) karşılaştırmaya dayanır. Test maddelerinin yapısı ve içeriği herhangi bir gruba avantaj ya da dezavantaj sağlamamalıdır. Aksi durumda testin geçerliği düşecek ve özellikle bireylerin gelecekteki performansının belirtisi sayılan bu test sonuçlarının yordama geçerliği tartışılır duruma gelecektir. Ülkemizde her yıl yapılan Ortaöğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavı (OKÖSYS) çok büyük ve heterojen gruplara uygulanmaktadır. Özellikle akademik yetenek ölçümüne ağırlık verildiği (MEB 2002b) iddia edilen bu sınavlarda cinsiyete bağlı olarak farklılıklar gözlenmekte; fakat bu farklılıklar sadece cinsiyet gruplarının testlerden aldıkları puanların ortalamaları bazında analiz edilmekte; madde 2

3 düzeyinde analizler ihmal edilmektedir. Yetenek ölçümlerine dayalı ve bireyleri bir sonraki öğrenim göreceği okullara (liselere) yerleştirme amacı ile yapılan bu testin maddelerinin cinsiyet gruplarına göre analizinin yapılmasının önemli bir ihtiyaç olduğu düşünülmektedir. Bu araştırmanın, söz konusu ihtiyaca cevap verebilmesi ve OKÖSYS nin psikometrik özelliklerini kısmen de olsa ortaya koyması beklenmektedir. Araştırmanın Amacı: Bu araştırmanın amacı, OKÖSYS Matematik alt testindeki maddeler cinsiyete göre yanlılık göstermekte midir? temel sorusuna cevap vermektir. Bu temel soruya yanıt vermek, aşağıdaki üç alt problemin çözümlenmesine bağlı olabilir. 1.OKÖSYS Matematik alt testinden elde edilen alan indekslerinin büyüklükleri nedir? 2.OKÖSYS Matematik alt testindeki maddeler cinsiyete bağlı olarak yanlılık göstermekte midir? 3.OKÖSYS Matematik alt testindeki sözel problem, sayısal ilişkiler, hesaplama ve geometri maddelerine göre alan indekslerinin büyüklükleri değişmekte midir? Araştırmanın Önemi OKÖSYS deki maddelerin cinsiyete göre yanlı davranıp davranmadığının tespit edilmesi önemlidir. Eğer maddeler yanlı ise bu durum test puanlarının geçerliğini düşürmektedir. Bu durumda öğrencilerle ilgili verilen kararların geçerliği de düşecektir. Eğer test içinde yanlı madde varsa, testin söz konusu yanlı maddelerden arındırılması ya da başka önlemlerin alınması gereklidir. Bu nedenle, bu araştırma sonuçlarının gelecekte daha geçerli testler oluşturmak için test hazırlayıcılara değerli bilgiler sağlayacağı umulmaktadır. II. İLGİLİ ARAŞTIRMALAR Fennema (1974), matematik başarısında cinsiyete bağlı olarak bir fark olup olmadığını belirlemek üzere ilgili literatürde bir araştırma yapmıştır. Otuz altı araştırmanın bulgularından yaralanarak ulaştığı sonuçları raporlaştırmıştır. Bulgulara göre, ilköğretim düzeyinde matematik başarısı açısından cinsiyete göre belirgin bir fark olmadığı görülmüştür. Fennema ve Sherman (1977), cinsiyetin matematik başarısı üzerine bir etkisi olup olmadığını belirlemek amacıyla, 589 kız ve 644 erkek öğrenciye 9 ve 12. Sınıf düzeyinde Test of Academic Progress testini uygulamışlar ve elde edilen verilerin yaş ilerledikçe cinsiyete bağlı olarak başarı açısından fark oluşmaktadır hipotezini desteklemediği görülmüştür. Senk ve Usiskin (1983), 74 liseden seçtikleri, geometri ispat konusunda yeterli birikime sahip olan 1363 kız ve erkek öğrenciye, geometride ispat yazma soruları uygulamışlardır. Kızlar liseye başlarken yetersiz geometri bilgisine sahip olmalarına rağmen, yıl sonunda yapılan sınavda geometride cinsiyet açısından anlamlı bir fark olmadığı ortaya çıkmıştır. Örneklem grubu heterojen yetenek seviyelerinden oluşturulduğu için, geometri ispat-yazma açısından cinsiyete göre fark olmadığı kararına varılmıştır. Amerikan Ulusal değerlendirme (e.g. National Assessment of Education Progress, 1975) sonuçları erkeklerin kızlara oranla matematik testinden daha yüksek puanlar aldığına işaret etmekteydi. Bu nedenle, 3

4 açıklayıcı değişkenler arasında matematik başarısı açısından bir korelasyon olup olmadığını bulmak üzere bir araştırma yapıldı. Bu araştırma sonuçlarına göre, matematikte başarının cinsiyete göre farklı olmadığı anlaşıldı. Fakat bulgular arasında bazı çelişkilerde dikkati çekmekteydi. Örneğin, Sherman (1980) cinsiyetin başarıda önemli bir değişken olduğunu ve matematik başarısında erkeklerin lehine bir durum görüldüğünü belirtmekteydi. Diğer taraftan, Benbow ve Stanley (1982) yetenek ve başarıya göre bu farkın çok az ve önemsiz olduğunu açıkladılar. Cinsiyetle ilgili olarak matematik başarısında görülen farkı değerlendirmek üzere 8. sınıf düzeyinde bir diğer araştırma Ontario, Kanada, okullarında yapılmıştır okul arasından 130 okul seçilerek araştırma kapsamına alınmıştır. Veri toplamada kullanılan ve 5 seçenekli çoktan seçmeli test maddelerinden oluşturulan test, toplam beş konu alanını içermekteydi (Aritmetik -58 madde-, cebir -31 madde-, geometri - 42 madde-, olasılık ve istatistik -17 madde- ve ölçme -26 madde-). Sonuçlar kız ve erkek öğrenciler arasında aritmetik, cebir ve olasılık-istatistik konu alanları açısından cinsiyete göre anlamlı bir farkın olmadığını ortaya koymuştur. Geometri ve ölçme sorularında erkeklerin lehine çok az bir fark olmasına rağmen bu farkın büyük bir fark olmadığı belirtilmektedir (Hanna, 1986). Gross (1977) katılımcıların lise fen ve matematik puanları, cinsiyet ve IQ larının bilişsel gelişme düzeyine etkilerini incelemek üzere bir araştırma yapmıştır. Ölçümler Standard Piageion ve alternatif formlar kullanarak gerçekleştirilmiştir. Uygulamalar 3 grup üzerinde ve toplam 24 denekle yapıldı. Denekler farklı IQ düzeylerini temsil etmekteydi. Analiz sonuçları IQ nun test puanlarıyla yüksek bir korelasyona sahip olduğunu göstermektedir. Diğer taraftan test puanlarının cinsiyete bağlı olarak bir fark vermediği gözlenmiştir. Doolittle (1987), farklı düzeylerdeki öğrenci gruplarından elde ettiği datalar üzerinden, matematik ve geometri becerisi bakımından kız ve erkek öğrencileri karşılaştırmıştır. Elde ettiği sonuçlara göre, mantıksal düşünme ve geometri sorularında cinsiyetler arasında erkekler lehine fark bulunurken, diğer matematik sorularında kızlarla erkekler arasında matematik performansı bakımından fark bulunmamıştır. Ülkemizde yapılan bir araştırmada (Yenal, 1995), 1993 Öğrenci Seçme Sınavı (ÖSS) Sayısal Testi nin cinsiyete göre yanlılığını incelenmiştir. Bu çalışmanın verileri 1993 ÖSS ye giren Ankara daki beş devlet ve özel okulun öğrencilerinin cevaplarından elde edilmiştir. Araştırmada Madde Tepki Kuramı modellerine göre elde edilen dört alan indeksi madde yanlılığı açısından değerlendirilmiştir. Bulgular, işaretli ve işaretsiz alan indekslerinin madde karakteristik eğrilerinde düzgün olmayan bir yanlılık olduğunu göstermektedir. Konu alanlarının karşılaştırılması sonucunda geometri maddelerinin matematik testinin diğer konu alanlarına göre daha fazla yanlılık gösterdiği ve bu yanlılığın erkeklerin aleyhine olduğu gözlenmiştir. Fen bilgisi testinde ise yanlılık en fazla biyoloji maddelerinde ve erkeklerin aleyhine olmuştur. Ayrıca, analiz sonuçları Fen Bilgisi testinin Matematik testinden daha fazla yanlılık içerdiğini göstermiştir. Diğer taraftan, alan indeksleri arasında anlamlı bir ilişki olduğu gözlenmiştir. III. YÖNTEM 4

5 Örneklem: Araştırma için, 2002 OKÖSYS ye giren ve Ankara ilindeki farklı bölgelerden veya sosyoekonomik düzeyden gelen öğrenciler tesadüfi olarak seçilmiştir. Çalışma grubunun heterojen bir dağılıma sahip olmasına ve farklı yetenek düzeylerini temsil etmesine özen gösterilmiştir. Madde ve test parametrelerinin kestiriminde büyük bir cevap dağılımına ihtiyaç duyulduğundan örneklem grubu geniş tutulmuştur (Goldman ve Raju, 1986). Tavan ve taban etkisinin istatistiksel analizleri olumsuz yönde etkilememesi için üzerinde çalışılan grubun karşılaştırılabilir yetenek seviyesine sahip olmalarına dikkat edilmiştir. Cinsiyetlere göre öğrenci sayıları, OKÖSYS Matematik testine ait ham puan ortalamaları ve diğer betimsel istatistikler Tablo 1 de verilmiştir. Tablo 1. OKÖSYS Matematik Testine Ait Betimsel İstatistikler Gruplar N ss Kayışlılık Basıklık Erkek ,44 5,21 0,45-0,53 Kız ,33 4,88 0,48-0,37 Tüm Grup ,39 5,05 0,44-0,45 Dağılımlara ait istatistikler incelendiğinde, cinsiyet gruplarına ait aritmetik ortalamaların birbirine eşit değerlere sahip olduğu (t =0,606 p=0,545) görülmektedir. İki gruba ait betimsel istatistikler birbirine çok yakın olduğundan grupların denk olduğu söylenebilir. Dağılımların biçimi, çarpıklık ve basıklık değerleri 0 değerine yakın olduğundan; hem kız-erkek grupları hem de tüm grup için simetrik ve normale yakın olduğu kabul edilebilir. Bu nedenle orta yetenek düzeyindeki bireylerden oluştuğu düşünülebilir. Bu sonuç aynı zamanda, verilerin MTK sayıltılarından normalliği sağlandığının kanıtı sayılabilir. Veri Toplama Aracı: Bu araştırmada, 2002 yılı OKÖSYS Matematik alt testine ait veriler kullanılmıştır. Bu sınavın Matematik alt testinde toplam 25 madde bulunmaktadır. Bunlardan 7 tanesi hesaplama, 9 tanesi geometri (bunların iki tanesi şekil-uzay yeteneğini ölçüyor görünmesine rağmen geometri maddelerine dahil edilmiştir), 6 tanesi sözel problem ve 3 tanesi sayılar arası ilişkilerle ilgili becerileri ölçen maddelerdir (MEB 2002a). Verilerin Analizi: Madde Yanlılığı çalışmaları Madde Tepki kuramı çerçevesinde aşağıdaki aşamaları içermektedir (Mellenberg, 1989): 1. Madde Karakteristik Eğrilerinin elde edileceği modele karar vermek, 2. Ölçeklemeyi karşılaştırmaların yapılacağı gruplarda gerçekleştirmek, 3. Gruplar arasındaki yetenek düzeyleri farkını ortadan kaldırmak için tekrar ölçekleme yapmak, 4. İki farklı gruptan elde edilen madde karakteristik eğrileri arasındaki alan indekslerini bulmak. 5

6 Bu çalışmada bir-iki ve üç parametreli modellerin araştırmada kullanılan veriye uyumu incelenmiş, en çok model-veri uyumu gösteren (25 maddeden 22 madde ile uyum veren) iki-parametreli modelin kullanılmasına karar verilmiştir. Madde Tepki Kuramının en önemli sayıltılarından biri de kullanılan testlerin tek boyutlu bir niteliği ölçmesidir (Hambleton ve Swaminathan, 1985). Tek boyutluluk sayıltısını kontrol etmek için, matematik alt testine ait veriler faktör analiziyle incelenmiş ve grafik tekniği kullanılmıştır. Yapılan analiz sonucunda tüm gruptan elde edilen özdeğerler dikkate alınmıştır. İlk özdeğerden 2. özdeğere keskin bir düşüş tek boyutluluğa kanıt oluşturmaktadır (Albenese and Forsyth, 1984). Faktör analizi sonuçlarına göre, Matematik testinin tek boyutlu bir niteliği ölçtüğü Şekil 1 deki özdeğer bileşen grafiğinden anlaşılmaktadır. İlk özdeğer (% 28 varyans açıklama oranı) ile 2. özdeğer arasındaki farkın büyük; 2. ile diğer özdeğerlerin birbirine yakın değerler almasından dolayı testin tek boyutlu olarak yorumlanması mümkündür. Tek boyutluluk aynı zamanda testteki maddelerin yerel bağımsızlığı için de kanıt sayılabilir (Lord ve Novic 1968; Hambleton, and Swaminathan 1985; Baker 2001; Fan 1998). ÖZDEĞERLER 8 6 ÖZDEĞER BİLEŞEN GRAFİĞİ BİLEŞEN Şekil 1. OKÖSYS Matematik Alt Testine ait Özdeğer-Bileşen Grafiği Alan İndeksleri Bu araştırmada kullanılan iki-parametreli modelde bir soru maddesine doğru cevap verma olasılığı aşağıdaki gibi ifade edilmektedir (Lord ve Novic 1968; Hambleton, and Swaminathan 1985; Baker 2001); P ( ) Da i ( θ -bi ) Dai ( θ -bi ) ( θ ) e / + e i = 1 (Denklem 1) Bu eşitlikte, P i (θ)= θyetenek düzeyindeki bireyin i maddesini doğru cevaplama olasılığı, b i = madde güçlük parametresi, 6

7 a i = madde ayırıcılık parametresi, D=1.7 Sabit değeri (ölçekleme faktörü), θ= yetenek düzeyidir. Bunlara ek olarak a i aynı zamanda madde karakteristik eğrisinin eğimini göstermektedir. Bir madde için iki ayrı cinsiyet grubundan elde edilen madde karakteristik eğrileri bir düzlem üzerinde aynı anda çizilirse ve madde gruplara göre farklı olarak işliyorsa, söz konusu iki eğri arasında bir alan gözlemlenir. Bu araştırmada gruplara göre farklı işleyen maddeleri yani yanlılığı tespit etmek için, işaretli ve işaretsiz alan indeksleri kullanılarak madde karakteristik eğrileri arasında kalan alan hesaplamaları yapılmıştır. İşaretli ve işaretsiz alan indeksleri aşağıdaki gibi tanımlanmaktadır (Mellenberg 1989). İşaretsiz alan indeksi: B unsigned = P ( θ ) P ( θ ) dθ İşaretli alan indeksi: B signed = P ( θ ) P ( θ ) dθ q 1i 2i (Denklem 2) p q { } (Denklem 3) p 1i 2i Denklem 2 ve 3 te görüldüğü gibi iki ayrı gruptan elde edilen doğru cevap verme olasılıkları, başka bir deyişle madde karakteristik eğrileri arasındaki farklar alınmakta ve bu farklar alan indeksi olarak yorumlanmaktadır. Formüllerdeki p ve q değerleri yetenek ranjını göstermekte ve bu da genellikle +3 ve 3 aralığında değer almaktadır. İşaretli alan indeksleri maddenin hangi grup lehine işlediğini de göstermektedir. Eğer P 1i (θ) genellikle P 2i (θ) dan büyükse alan indeksi artı işaret almakta ve maddenin birinci grubun lehine çalıştığını göstermektedir. Eksi işaret ise durumu tersine çevirmekte ve maddenin ikinci grubun lehine yanlı davrandığına işaret etmektedir. Diğer taraftan yanlılık, sabit yanlılık ve değişken yanlılık olarak da yorumlanmaktadır. İki gruba ait madde karakteristik eğrileri, temelde b parametrelerinde farklı olmak üzere tüm yetenek düzeylerinde paralel ise sabit yanlılık sözkonusudur. Sabit yanlılıkta, maddenin doğru cevaplandırılma olasılığındaki farlılık tüm yetenek düzeylerinde iki grup için de değişmemekte, madde tüm yetenek düzeylerinde aynı grubun lehine işlemektedir. Eğer madde karakteristik eğrileri kesişiyorsa, maddenin doğru cevaplandırılma olasılığı, alt ve üst yetenek düzeylerinde farklı gruplar için yüksek olmaktadır. Olasılıklardaki farklılık, yetenek düzeylerinde gruplara göre değişkenlik gösterdiği için (sadece bir grubun lehine devamlılık göstermediği için) bu yanlılık türü, değişken yanlılık olarak adlandırılmaktadır. Böyle durumlarda, madde karakteristik eğrilerinin kesişme noktalarının aşağısındaki ve yukarısındaki alanların toplamı sıfır olabilir ve bu yüzden yanlılık ayırt edilemez. Bu durumda, işaretli ve işaretsiz alan indeksleri birlikte değerlendirilir. Alan karşılaştırmalarının tüm hesaplamaları integraller ve Reimann Sum çözümlemesi ile Oort (1992) tarafından geliştirilen Calcbias adlı bilgisayar yazılımı kullanılarak yapılmıştır. Matematik testinin maddelerinin konu alanlarına göre alan indekslerinde büyüklük farkı gösterip göstermedikleri Kruskal-Wallis testi uygulanarak incelendi. Faktör analizi ve klasik test kuramına dayalı olarak yapılan madde ve test istatistikleri için SPSS paket programı (SPSS Inc., 1999); madde tepki kuramına ilişkin analizlerin yapılması için ise PC-BILOG 1.1 bilgisayar programı kullanılmıştır (Mislevy and Bock, 1986). 7

8 IV. BULGULAR VE YORUM Cinsiyet gruplarına göre elde edilen ve yetenek düzeyleri eşitlenerek yeniden ölçeklenen madde karakteristik eğrileri arasında kalan alanların hesaplanması ile bulunan işaretli ve işaretsiz alan indeksleri Tablo 3. de verilmektedir. Tablo 3. Matematik Alt Testine Ait Maddelerin Cinsiyet Gruplarının Karşılaştırılması ile Elde Edilen Alan İndeksleri Madde Konu Alanı İşaretli İndeks İşaretsiz İndeks 1 H -0,0390 0, H -0,1090 0, H -0,0290 0, H 0,1270 0, H 0,0330 0, Sp 0,2570 0, Sp -0,0050 0, H 0,1400 0, H -0,3690 1, Si -0,0790 0, Si 0,0100 0, Si 0,1670 0, Sp 0,2330 0, Sp 0,1340 0, Sp -0,0510 0, Sp 0,4390 0, G 0,1930 0, G -0,1810 0, G -0,0130 0, G -0,1120 0, G -0,3310 0, G -0,4240 1, G -0,4100 1, G 0,1700 0, G 0,2650 0,5240 H: Hesaplama Sp: Sözel Problem Si: Sayısal İlişkiler G: Geometri Alan indeksleri (Tablo 3) incelendiğinde, alanların 0 değerinden farklı olduğu görülmektedir. Bu sonuçlara göre maddelerin hepsinde yanlılık olduğu söylenebilir. Alan indeksi büyüdükçe, yani erkeklere ve kızlara ait madde karakteristik eğrileri arasında kalan alan büyüdükçe yanlılığın arttığı, küçüldükçe azaldığı yorumu yapılabilir. Ancak alanların büyüklüğünü değerlendirmede genel geçer bir ölçüt bulunmadığından iç ölçütlerden faydalanılmaktadır. Bu araştırmada alan indekslerinin ortalaması ( 0,50) ölçüt kabul edilerek değerlendirme yapılmıştır. İç ölçüte göre yapılan değerlendirme sonucunda 10 maddenin cinsiyet bakımından yanlılık gösterdiği anlaşılmaktadır. Bu maddeler, 1., 2., 9., 10., 15., 21., 22., 23., 24. ve 25. maddelerdir. Yanlılığın büyük olduğu 3 maddenin hesaplama; 1 maddenin sayısal işlemler; 1 maddenin sözel problem; 5 tanesinin de geometri soruları olduğu görülmektedir. Bu maddelerden ve 24. maddelerin değerlerinin sıra dışı büyüklük taşıdığı gözlenmiştir. Sıra dışı alan indeksleri değerine sahip bu üç madde erkeklerin aleyhine yanlı davranmaktadır. İşaretli ve işaretsiz alan indeksleri karşılaştırıldığında bir çok 8

9 maddede indeks değerlerinin birbirinden farklı olduğu görülmektedir. İşaretli alan indekslerinin işaretsiz indekslerden küçük olması, madde karakteristik eğrilerinin birbirini kestiğini göstermektedir. Alt ve üst yetenek düzeylerinde eğrilerin birbirini kesmesi işaretli alan indekslerinin hesaplanması sırasında alanların birbirini götürdüğünü ve daha düşük değerlerde indekslerin elde edildiğini göstermektedir. Bu sonuç, gözlenen yanlılığın yetenek düzeyleri boyunca düzensiz (değişken) bir dağılım gösterdiğine işaret etmektedir. Örneğin, böyle bir test maddesine cevap verme olasılığı alt yetenek grubunda kızlar lehine yüksekken, üst yetenek grubunda erkekler lehine yükselebilir. Böyle bir bulgu, yanlılığın ve öğrencilerdeki cevap verme davranışının yetenek düzeyinin bir fonksiyonu olarak değiştiğini söylemek için yeterli olur. İşaretli ve işaretsiz alan indeksleri karşılıklı değerlendirildiğin de 4 (6., ve 16.) maddenin sabit yanlılık ve diğer 21 maddenin değişken yanlılık gösterdiğini söylemek mümkün görünmektedir. Yanlılığı iç ölçütten yüksek olan maddeler dikkate alındığında, yanlı olarak nitelenen maddelerin hepsinde değişken yanlılık söz konusudur. Değişken yanlılığın olduğu maddelerde, madde farklı yetenek düzeylerinde gruplara göre farklı işlemektedir. Sabit yanlılığın olduğu maddelerde ise madde bütün yetenek seviyelerinde aynı grubun lehine yada aleyhine davranmaktadır. Sabit yanlılık gösteren bir maddenin işaretli ve işaretsiz alan indeks değerlerinin, birbirine yakın ve aynı işarete sahip olması beklenir. Hem erkekler lehine yanlı kabul edilen iki maddenin hem de kızlar lehine yanlılık gösteren maddelerin değişken yanlılık gösterdiği işaretli alan indeks değerleri ile işaretsiz alan indeks değerlerinin karşılaştırılmasıyla anlaşılmaktadır. İşaretli alan indeksleri incelendiğinde, yanlı olduğu belirlenen 10 maddeden 8 inin kız öğrencilerin lehine; diğer ikisinin (şekil uzay yeteneğini ölçen 24 ve 25. maddelerin) ise erkeklerin lehine yanlı olduğu görülmektedir. Alan indekslerinin büyüklükleri matematik testinin alt soru gruplarına göre Kruskal-Wallis testi ile incelendiğinde Tablo 4 te verilen sonuçlar ortaya çıkmaktadır. Tablo 4. Matematik Alt Testi Soru Gruplarına Ait Alan İndekslerinin Kruskal-Wallis Testi ile Karşılaştırılması Test Matematik Soru Grubu Hesaplama Sözel Problem Sayısal İliş. Geometri χ 2 p İşaretli İndeks Sıra Ortalamaları 14 9,83 10,67 15,11 2,282 0,516 İşaretsiz İndeks Sıra Ortalamaları 11,43 18,17 13,67 10,56 4,293 0,231 Tablo4 de görüldüğü gibi soru gruplarına göre işaretli ve işaretsi alan indekslerinin büyüklükleri arasında anlamlı bir fark bulunmamıştır. İşaretsiz alan indeksleri dikkate alındığında en yüksek değer Sözel problem maddelerine ait iken; işaretli alan indeksleri dikkate alındığında en yüksek değer geometri maddelerinde görülmektedir. Ancak farklar istatistiksel olarak manidar olmadığından bu büyüklüklerin yorumlanmasında dikkat edilmelidir. Bu sonuca göre, maddelerin soru gruplarına bağlı olarak yanlılık miktarları önemli farklılık göstermemektedir. 9

10 V. SONUÇ ve ÖNERİLER Araştırmadan elde edilen sonuçlar, OKÖSYS Matematik alt testinin, cinsiyet gruplarına göre testin her maddesinin yanlılık gösterdiğini ortaya koymaktadır. İç ölçüt kullanıldığı durumda da maddelerin yarısına yakınının yanlılık değerleri oldukça yüksek bulunmuştur. Özellikle geometri soru grubunun hemen hepsinin yanlılık değerleri yüksek ve kızların lehine bulunmuştur. Bu bulgular, ilgili literatürde verilen bilgilerle çelişkili görünmektedir (Fennema ve Sherman, 1977; Senk ve Usiskin, 1983; Gross, 1977). Ancak Yenal ın (1995) ülkemizde yaptığı araştırmada ulaştığı sonuçlarla benzerlik göstermektedir. Söz konusu testin matematik yeteneğini ölçmediği daha çok matematik başarısını ölçmeye yönelik hazırlanmış olması böyle bir sonucun elde edilmesine yol açmış olabilir. Diğer taraftan soru atlama davranışındaki farklılıklarında göz önünde bulundurulması gerektiği düşünülmektedir. Atlanmış soruların cinsiyet gruplarına göre farklılık göstermesi maddelerin yanlılık düzeylerini etkilemiş olabilir. Bu sonuç, OKÖSYS nin yapısıyla ilgili olabilir. Ancak, madde-tepki kuramına göre elde edilen parametrelerin grup değişiminden etkilenmeyeceği şeklindeki genel kabulün geçerli olmamasına da dayandırılabilir. Bu sonuçlara göre, OKÖSYS diğer alt testlerinin de cinsiyet gruplarına göre madde yanlılığı açısından analiz edilmesinin gereği ortaya çıkmaktadır. Testlerin alt konu alanlarında ki soru sayıları dikkate alınarak yanlılığın eşitlenmesi seçme işleminde doğabilecek hataların azaltılması açısından bir tedbir olarak düşünülebilir. Bazı soru gruplarında gözlenen sıra dışı indeks değerleri daha fazla yanlılığa işaret ettiğinden bu maddelerin dikkatle incelenmesi gerektiği açıkça görülmektedir. Bu araştırmada cinsiyet gruplarına göre yapılan karşılaştırmanın sonraki yıllar için de yapılması, okul türüne (devlet-özel) ve bölgesel farklılıklara göre de yanlılığın incelenmesi ve elde edilen sonuçların testlerin geliştirilmesi amacıyla kullanılmasının faydalı olacağı düşünülmektedir. 10

11 KAYNAKÇA Adams,R. J. and Rowe, K. J., (1988).Item Bias.in Keeves, J.P.(ed.) Educational research, methodology, and measurement:an international handbook. Oxford: Pergamon Press. Albanese, M. A. and Forsyth, R. A.,(1984). The one-,two and modified two- parameter latent trait models: An empirical study of relative fit. Educational and Psychological Measurement 44,pp Baker, Frank. (2001). The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation. < (2001, Nisan 4) Fan, Xitao. (1998). Item Response Theory and Classical Test Theory: An Empirical Comparison of Their Item-Person Statistics. Educational and Psychological Measurement, 58, 3, Dolittle, Allan E., (1987). Gender Differences İn Performance On Mathematics Achivement Items. ACT reaserch report series, Fennema, E., (1974). Sex differences in Mathemetics Achievement: A Review Journal for Research in Mathematics Education., Vol.5,No.3,p Fennema, E. and Sherman, J., (1977) Sex Related Differences in Mathematics Achievement, Spatial Visualization and Affective Factors. American Educational Research Journal, Vol.14,NO.1, p Gross, G. R., (1977). A Study of the Influence of Formal High School Sciences and Mathematics Course Participation, Sex and IQ on Level of Cognitive Development as Measured by Standart Piagetion and Alternate Tasks. Dissertation Abstracts International. The State University of New Jersey. p.407 1A. Hambleton, R. K.,and Swaminathan, H., (1985)..Item Response Theory: Principles and applications.boston: Kluwer-Nijhoff Publishing. Hambleton, R K., Swaminathan, H. and Rogers, H. J., (1991).Fundamentals of item response theory. London: Sage Publication. Ironson, G. H. and Craig, R., (1982). Item bias techniques when amount of bias is varied and score differences groups are presented. University of South Florida, Tampa. Dept of Psychology. (ERIC Document Reproduction Service No. ED ) Lord, F. M., (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum. Lord, M.F ve R. M. Novic. (1968). Statistical Theories of Mental Test Scores. New York: Addison-Wesley Publishing Company. M. E. B. Orta Öğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavı Test Kitapçığı, Ankara, 2002a M. E. B. Orta Öğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavı Kılavuzu, Ankara, 2002b Mellenberg, G. J., (1989). Item bias and item response theory. International Journal of Educational Research: Applications of Item Response Theory.13,2,pp

12 Mislevy, R. J. and Bock, D. R., (1986). PC-BILOG:Item analysis and test scoring with binary logistic models. Scientific Software Inc. Oort, F., (1992). Computer program which computes area indices. University of Amsterdam. Faculty of Psychology. Raju, N. S., Drasgow,F. and Slinde, J.A. (1993). An empirical comparison of the area methods, Lord's chisquare test, and the Mantel-Haenszel technique for assessing differential item functioning. Educational and Psychological Measurement. 53,pp Rodney. G. L. and Drasgow, F., (1990). Evaluation of two methods for estimating item response theory parameters when assessing differential item functioning. Journal of Applied Psychology. 75,2,pp Rudner, L., Getson, P. R. and Knight, D. L. (1980). Biased item detection techniques. Journal of Educational Statistics. 5,pp Senk, S., and Usukin, Z., (1983). Geometry Proof Writing: A New View of Sex Differences in Mathematics Ability. American Journal of Education, Vol.91, No.2, p Shepard, L. A.,Camilli, G. and Williams,D. M. (1985). Validity of approximation techniques for detecting item bias. Journal of Educational Measurement.22,2,pp SPSS INC. (1999): SPSS Professional Statistics, 9.0, SPSS inc., Chicago. Yenal, E., (1995). Differential Item Functioning Analysis of the Quantitative Ability Section of the First Stage of the University Entrance Examination in Turkey. Yayınlanmamış Yüksek Lisans Tezi, Orta Doğu Teknik Üniversitesi, Ankara. 12