Seviye Belirleme Sınavındaki Fen ve Teknoloji ile Matematik Alt Testlerinin Madde Yanlılığı Açısından İncelenmesi

Transkript

1 Kuram ve Uygulamada Eğitim Bilimleri Educational Sciences: Theory & Practice - 12(1) Kış/Winter Eğitim Danışmanlığı ve Araştırmaları İletişim Hizmetleri Tic. Ltd. Şti. Seviye Belirleme Sınavındaki Fen ve Teknoloji ile Matematik Alt Testlerinin Madde Yanlılığı Açısından İncelenmesi İsmail KARAKAYA a Gazi Üniversitesi Öz Bu çalışmanın amacı, 2009 yılı Seviye Belirleme Sınavı (SBS) içerisindeki fen ve teknoloji alt testleri ile matematik alt testlerindeki maddelerin öğrencilerin cinsiyetine göre madde yanlılığı gösterip göstermediğini belirlemektir. Bu amaç doğrultusunda testler içerisinde değişen madde fonksiyonlarına () sahip maddeler Mantel-Haenszel (MH) yöntemi kullanılarak belirlenmiştir. gösteren maddelerin cinsiyete göre madde yanlılığı taşıyıp taşımadığını belirlemek için alan uzmanları ile ölçme ve değerlendirme uzmanlarının görüşlerine başvurulmuştur. Araştırma; 6913 (3614 erkek, 3299 kız) 6.sınıf, 6333 (3277 erkek, 3066 kız) 7.sınıf ve 9374 (4290 erkek ve 5084 kız) 8.sınıf olmak üzere toplam öğrenci üzerinde yürütülmüştür. Araştırmada elde edilen bulgular doğrultusunda, fen ve teknoloji alt testler göz önüne alındığında, 6.sınıf SBS de 2 madde (6 ve 16), 8. Sınıf SBS de 3 madde (14, 15, 17) B düzeyinde içermektedir. Fen ve teknoloji alt testlerinde gösteren 5 maddenin 3 ü kızlar lehine, 2 si ise erkekler lehine işlemektedir. Matematik alt testlerine bakıldığında ise 6. Sınıf SBS de 1 madde (3), 7.sınıf SBS de 1 madde (3) ve 8. Sınıf SBS de ise 2 madde de (2 ve 6) B düzeyinde bulunmuştur ve 8. Sınıf SBS matematik alt testlerinde gösteren 4 maddeden 3 ü erkekler, 1 i kızlar lehine çalışmaktadır. Fen ve teknoloji ile matematik alt testlerinde gösteren maddelerin, madde yanlılığı gösterip göstermediğini belirlemek amacıyla uzmanların görüşlerine başvurulmuştur. Uzmanların görüşlerine göre maddelerdeki lerin madde yanlılığı oluşturmadığı sonucuna ulaşılmıştır. Anahtar Kelimeler Değişen Madde Fonksiyonu, Madde Yanlılığı, Lojistik Regresyon, Mantel- Haenszel. Türkiye de uzun yıllardır, çeşitli eğitim kurumlarına öğrenci seçmek ve yerleştirmek amacıyla merkezi sınavlar yapılmaktadır. Bu merkezi sınavların en başında ilköğretimden ortaöğretime geçişlerde kullanılan sınavlar gelmektedir. İlköğretimden ortöğretim kurumlarına geçişlerde MEB EĞİTEK tarafından yılları arasında Ortaöğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavları (OKÖSYS) uygulanmıştır. a Dr. İsmail KARAKAYA ölçme ve değerlendirme alanında Ögr. Gör. Dr. olarak çalışmaktadır. Çalışma alanları arasında; ölçek geliştirme, öğrenci seçme sınavları ve performans değerlendirme yer almaktadır. İletişim: Gazi Üniversitesi Gazi Eğitim Fakültesi, Eğitim Bilimleri Bölümü Teknikokullar/ANKARA. Elektronik posta: ikarakaya2002@yahoo.com Tel: Fax: OKÖSYS nin genel olarak amacı; ilköğretim programlarına dayandırılarak geliştirilen, akademik yeteneği ölçen bir özellik taşımakta olup (Milli Eğitim Bakanlığı [MEB], 1998) konu alanı ne olursa olsun, testler içerisindeki sorularda genel olarak; a) Verilen bilgi bütününde kullanılan kavram, grafik, tablo ve ilkelerden çıkarımlar yapma, b) şekil, grafik, tablo halinde verilen bilgi örüntüsünün öğeleri arasında ilişki kurarak sonuca varma, c) Yazılı metni, grafiği, tabloyu okuyup anlama, genelleme yapma, öğeler arasında ilişki kurabilme, ilişkileri kullanarak bir sonuca ulaşma, d) Verilen problemi, yazılı metni, şekil, grafik ya da tabloyu belirli ölçütlere göre değerlendirebilme, e) Temel kavram ve ilkeleri kullanarak günlük yaşamdaki gözlemleri çıkarma, benzer örnekler verme, problem çözme gibi zihinsel süreçleri ölçmeye çalışmaktadır (Kutlu ve Karakaya, 2007; MEB, 2003).

2 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Ortaöğretim kurumlarına öğrenci seçme ve yerleştrme amacıyla eğitim-öğretim yılından itibaren 6., 7. ve 8. sınıf düzeylerinde Seviye Belirleme Sınavı (SBS) uygulanmaktadır. SBS içerisinde Türkçe, matematik, fen ve teknoloji, sosyal bilgiler ve yabancı dil olmak üzere beş (5) alt test bulunmaktadır. SBS deki bu testler, ilgili sınıf düzeyindeki öğretim programları dikkate alınarak hazırlanmaktadır. Buradan elde edilen puanlar da kullanarak öğrenciler ilgili ortaöğretim kurumlarına yerleştirilmesinde kullanılmaktadır (MEB, 2007). Bir diğer ifadeyle SBS deki sorular öğrencilerin sadece öğrenim gördüğü yıla ait başarı düzeylerini belirlemekte ve diğer sınıf düzeylerini kapsamamaktadır. SBS içerisindeki testler genel olarak öğretim programlarındaki kazanımlara yönelik olarak hazırlandığından, testler içerisindeki soruların ilgili öğretim programlarının geliştirmeye çalıştığı bilgi ve becerileri ölçecek nitelikte olması beklenmektedir. Her yıl yüzbinlerce aday SBS gibi seçme ve yerleştirme amaçlı sınavlara girmekte, başarı durumuna göre ilgili programlara yerleştirilmekte veya yeterli puanı alamadığı için herhangi bir programa yerleştirilememektedir. Kişiler hakkında önemli kararlar verildiği bu sınavlarda, verilen kararların bireylerin geleceklerini şekillendirdiği için hatalardan arınık olması beklenmektedir. Bu ise öncelikle geçerliği ve güvenirliği sağlanmış ölçme araçlarıyla mümkün olabilecektir. Seçme sınavlarının geçerli ve güvenilir olması, sınavın hedefine uygun olarak çalışması ve amaç doğrultusunda test maddelerinin amaç doğrutusunda hazırlanmasıyla mümkün olabilecektir. İlgili alan yazın incelendiğinde, ortaöğretim kurumlarına geçişlerde yılları arasında uygulanan OKÖSYS ile 2008 yılından itibaren uygulanmakta olan SBS ile ilgili çeşitli araştırmalara rastlanmaktadır. OKÖSYS ve SBS ile ilgili çalışmaların; yordama geçerliği, uygunluk geçerliği ve yapı geçerliğine yönelik olduğu görülmektedir (Anıl ve Güzeller, 2010; Anıl, Güzeller, Çokluk ve Şekercioğlu, 2010; Berberoğlu, Kaptan ve Kutlu, 2002; Güzeller, 2005; Kutlu ve Karakaya, 2007; Örs, 2010). OKÖSYS ile ilgili çalışmalarda ayrıca OKÖSYS testleri içerisindeki maddelerin madde değişim fonksiyonları (differential item functioning-dif) ile madde yanlılığına yönelik çalışmaların yapıldığı görülmektedir (Doğan ve Öğretmen, 2008; Gök, Kelecioğlu ve Doğan, 2010; Öğretmen ve Doğan, 2004; Yurgudül, 2003). Seçme sınavlarının geçerli ve güvenilir olması sınavın hedefine uygun olarak çalıştığını ve test içerisindeki maddelerin amaç doğrultusunda hazırlandığını göstermektedir. Ayrıca maddelerin, yapısının ve içeriklerinin sınavı alan gruplardan herhangi birine avantaj veya dez avantaj sağlamadığına yönelik yorumlar yapılabilir. Eğer testler içerisindeki maddeler bir gruba; cinsiyeti, sosyo ekonomik düzeyi, dini vb çeşitli özelliklerinden dolayı bir avantaj sağlıyorsa sınavın bir gruba karşı yanlı davrandığı söylenebilir. Bu ise test puanlarına göre verilen kararların tartışılmasına ve testin geçerliliğinin olumsuz yönde etkinlenmesine neden olacaktır. Bir diğer ifadeyle testler bir gruba avantaj veya dezavantaj sağlıyorsa bir sistematik hata sözkonusudur (Zumbo, 1999). Bu ise doğrudan geçerliliği olumsuz yönde etkileyecektir. Testler içerisindeki maddelerin madde yanlılığının belirlenmesi, test geçerliğini ve güvenirliğini artırmak için yapılan önemli çalışmalardan biridir. Kristjansson, Aylesworth, Mcdowell ve Zumbo (2005), madde yanlılığının ölçmelerin geçerliliğini tehdit eden önemli bir etken olduğunu; test ve madde yanlılığını belirleme metodlarının mümkün olduğunca kullanılmaya çalışılması gerektiğini belirtmişlerdir. Literatür taramasında, 2008 yılından itibaren uygulanmakta olan SBS deki testle içerisindeki maddelerin, madde değişim fonksiyonlarına ve madde yanlılığına ilişkin herhangi bir çalışmaya rastlanmamıştır. Bu çalışma, SBS testlerinin geçerliliğine yönelik katkılar sağlaması açısından önem taşımaktadır. Ortaöğretim kurumlarına öğrenci seçme ve yerleştirme amaçlı uygulanan SBS gibi sınavların önceden bir başka grupta uygulanması ve uygulamaya göre testler içerisindeki maddelere ilişkin düzenlemelerin yapılması sınavların güvenirliliği ve geçerliliği açısından mümkün gözükmemektedir. Sadece alan uzmanları tarafından hazırlanan maddeler alan, dil ve ölçme-değerledirme uzmanları tarafından incelenmekte ve incelemeler sonucunda gerekli düzeltmeler yapılmaktadır. Düzeltmeler sonucunda test kitapçıkları oluşturularak uygulanmaktadır. Hazırlanan testlerin ve maddelerin amaca uygun olarak deneme uygulaması yapılmadan doğrudan uygulanması ançak madde yazım konusunda uzmanlaşmış kişilerce mümkün olacaktır. Testler içerisindeki li maddelerin belirlenmesi ve bu maddelerin çeşitli alt gruplara göre lehine çalışıp çalışmadıklarının bilinmesi, madde yazım sürecine katkı sağlayacaktır. Bu ise uygulanacak testlerin amacına daha fazla hizmet etmesi açısından önem taşımaktadır. Madde yanlılığı çalışmaları, madde fonksiyonunun aynı yetenek düzeyinde ve farklı gruplarda yer alan bireyler için farklılaşıp farklılaşmadığını belirleyen istatistiksel bir süreçle başlar. Aynı yetenek düzeyindeki alt gruplarda değişen madde fonksiyonu (- differential item functioning) gösteren maddeler belirlenir (Gök ve ark., 2010; Roever, 2005). Sonra gösteren maddelerin, gös- 216

3 KARAKAYA / Seviye Belirleme Sınavındaki Fen ve Teknoloji ile Matematik Alt Testlerinin Madde Yanlılığı... terme nedenleriyle ilgili alan uzmanlarından görüşler alınarak, grup farklılığının gerçekten yetenekler arasındaki farklılıktan mı yoksa ölçme işleminden mi kaynaklandığı ortaya çıkarılmaya çalışılır (Camilli ve Shepard, 1994; Zumbo, 1999). Madde yanlılığına neden olan faktörlerin, testlerin geliştirilme aşamasında dikkate alınması, testlerin puanlanmasında ve değerlendirilmesinde öğrenciler hakkından daha doğru kararların verilmesine katkı sağlayacaktır (Allalouf, Hambleton ve Sireci, 1999). Bireyler bilgi ve yetenek düzeyinde farklılık gösteriyorsa, maddenin doğru yanıtlanma olasılığı farklılık gösterebilir. Bir diğer ifadeyle farklı yetenek düzeylerindeki bireylerin performanslarındaki farklılık bir madde yanlılığının işareti olarak dikkate alınmaz (Schumacher, 2005) yılından itibaren uygulanmakta olan SBS testleri üzerinde, testler içerisindeki maddelerin içerip içermediği veya madde yanlılığı oluşturup oluşturmadığına yönelik çalışmalara rastlanmaması nedeniyle, bu çalışmada SBS deki 6.7. ve 8. Sınıflarda kullanılan fen ve teknoloji ile matematik alt testleri içerisindeki maddelerin madde yanlılığı gösterip göstermediği belirlenmeye çalışılmıştır. Bu amaç doğrultusunda aşağıdaki sorulara yanıtlar aranmıştır; 1. SBS deki 6., 7. ve 8.sınıf fen ve teknoloji alt testleri içerisindeki maddeler, MH yöntemiyle yapılan analizlerde cinsiyete göre farklı fonksiyonlaşmakta mıdır? 2. SBS deki 6., 7. ve 8. sınıf matematik alt testleri içerisindeki maddeler, MH yöntemiyle yapılan analizlerde cinsiyet değişkenine göre farklı fonksiyonlaşmakta mıdır? 3. Değişen madde fonksiyonuna sahip maddeler uzman görüşleri doğrultusunda cinsiyete göre yanlılık göstermekte midir? Araştırmanın Türü Yöntem Bu çalışmanın amacı ortaöğretime öğrenci seçmek amacıyla 2009 yılında SBS de ve 8. sınıflar için kullanılan fen ve teknoloji ile matematik alt testlerindeki maddelerin cisniyet değişkenine göre madde yanlılığı gösterip göstermediğini belirlemektir. Çalışma var olan bir durumu belirlemeye yönelik olduğu için betimsel türden bir çalışmadır. Araştırmanın Evreni ve Örneklemi Araştırmanın evreni, 2009 yılında Ankara il sınırları içerisindeki ilköğretim okullarının 6., 7.ve 8.sınıflarına devam eden ve SBS ye giren öğrencilerdir. Araştırmanın örneklemi ise bu öğrenciler arasından sınıf, cinsiyet ve okul türü değişkenleri de dikkate alınarak rastlantısal yöntemle seçilmiş öğrenciden oluşrmaktadır. Araştırmanın örneklemini oluşturan öğrencilerin sınıf, cinsiyet ve alt testlere göre sayıları Tablo 1 de verilmektedir. Tablo 1. Öğrencilerin Alt Testlere, Sınıf Düzeylerine ve Cinsiyetlerine Göre Dağılımları Sınıf Düzeyi Fen ve Teknoloji Alt Testi Matematik Alt Testi Erkek Kız Toplam Erkek Kız Toplam 6. Sınıf Sınıf Sınıf Tablo 1 de görüldüğü üzere, araştırmada sınıf, sınıf ve sınıf olmak üzere öğrencinin SBS deki fen ve teknloji ile matematik alt testlerine verdikleri yanıtlar kullanılmıştır. Verilerin Toplanması Bu araştırmada, 2009 yılı ortaöğretime öğrenci seçme ve yerleştirme amacıyla uygulanan SBS nin 6., 7. ve 8. sınıf fen ve teknoloji ile matematik alt testlerine ait veriler kullanılmıştır. SBS 6., 7. ve 8. sınıf fen ve teknoloji ile matematik alt testlerinde sırasıyla 16, 18 ve 20 şer madde bulunmaktadır. Araştırmada kullanılan bu veriler MEB EĞİTEK ten alınmıştır. Alan yazın incelendiğinde, 2009 yılında uygulanan SBS deki 6., 7. ve 8.Sınıf fen ve teknoloji alt testlerinin geçerliği ve güvenirliğine ilişkin bir çalışmanın yapıldığı görülmektedir. Bu çalışmaya göre; fen ve teknoloj alt testlerinin güvenirliğine KR-20 iç tutarlılık güvenirlik katsayısı kullanılarak bakılmış ve sırasıyla 0.79, 0.70 ve 0.81 bulunmuştur. Testlerin geçerliğine ilişkin olarak yapı geçerliğine bakılmıştır (Örs, 2010). Bu sonuçlara göre 6., 7. ve 8.sınıf fen ve teknoloji alt testlerinin hem geçerli hemde güvenirlir olduğu söylenebilir. Verilerin Analizi Değişen madde fonksiyonunu belirleme tekniklerine bakıldığında klasik test kuramı ve madde tepki kuramına dayalı teknikler olarak sınıflandırıldığı görülebilmektedir. Klasik test kuramına dayalı teknikler içerisinde yer alan Mantel Haenszel (MH) yöntemi; belirleme aşamasında uygulanmasının ve istatistiksel olarak yorumlanmasının kolay olması, küçük gruplar için etkili sonuçlar vermesi, tekbiçimli belirlemede etkili yöntemlerden biri olması nedeniyle en çok tercih edilen yöntem- 217

4 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ lerden biridir (Guilera, Gomez-Benito ve Hidalgo, 2009). Bu nedenle bu araştırmada belirleme aşamasında MH yöntemi tercih edilmiştir. Verilerin analizi aşamasında MH analizi için EZDIF programından (Waller, 1998) yararlanılmıştır. Bulgular Bu bölümde, 2009 SBS de ve 8.sınıflar için kullanılan fen ve teknoloji ile matematik alt testlerindeki maddelerin madde yanlılığı gösterip göstermediğini belirlemek için öncelikle testler içerisindeki maddelerin cinsiyet değişkenine göre değişen madde fonksiyonlarına bakılmıştır. Testler içerisinde li maddeleri belirlemek amacıyla MH tekniği kullanılmıştır. Analizlerden elde edilen bulgular, aşağıda sırasıyla tablolaştırılmış ve yorumlanmıştır. gösteren maddeler belirlendikten sonra ilgili maddelerin madde yanlılığı gösterip göstermediği alan uzmanları ile ölçme ve değerlendirme uzmanlarından görüşler alınarak belirlenmiştir. SBS deki 6., 7. ve 8. Sınıf Fen ve Teknoloji Alt Testleri İçerisindeki Maddeler, MH Yöntemiyle Yapılan Analizlerde Cinsiyete Göre Farklı Fonksiyonlaşmakta mıdır? 6. sınıf fen ve teknoloji alt testindeki maddelerin cinsiyet değişkenine göre veren maddelere ilişkin MH tekniğine ait sonuçlar Tablo 2 de verilmiştir. Tablo 2. 6.Sınıf Fen ve Teknoloji Testindeki Maddelerinin Cinsiyet Değişkenine Göre MH Analiz Sonuçları Madde No α * χ 2 p ** -MH Düzeyi *** A A A B A A A A A A A B Odak grup: Erkek (n=3614) Referans grup: Kız (n=3299) * Odds oranı (α ) odak ve refrans gruptaki performans farklılığın derecesini ölçer ( Gök ve ark., 2010). ** MH analizi sonucunda Ki-Kare değerinin anlamlı çıkması maddenin A, B veya C düzeyinde içerdiğini göstermektedir. *** [ -MH] <1, düşük-ihmal edilebilir (A), 1 < [ -MH] <1.5 orta (B) ve 1.5 < [ -MH] ise önemli düzeyde (C) içerdiği şeklinde yorumlanır (Zieky, 1993). 6. sınıf fen ve teknoloji testi içerisindeki 16 maddenin 10 unda A düzeyinde ve 2 sinde B düzeyinde olmak üzere toplam 12 maddede bulunmaktadır. Ançak A düzeyindeki 10 maddedeki ler tolerans gösterilebilir düzeydedir. B düzeyinde gösteren maddelerden; 6 numarıalı maddenin erkekler lehine, 16 nolu maddenin ise kızlar lehine çalıştığı görülmektedir. 7. Sınıf fen ve teknoloji alt testinde, cinsiyet değişkenine göre veren maddelere ilişkin MH tekniğine ait sonuçlar Tablo 3 te verilmiştir. Tablo 3. 7.Sınıf Fen ve Teknoloji Testindeki Maddelerinin Cinsiyet Değişkenine Göre MH Analiz Sonuçları Madde No α χ 2 p -MH Düzeyi A A A A A A A A A A A A Odak grup: Erkek (n=3277) Referans grup: Kız (n=3066) 7. sınıflar fen ve teknoloji alt testi içerisindeki 18 maddenin, cinsiyet değişkenine göre sadece 12 sinde A düzeyinde bulunmuştur. Test içerisindeki hiçbir madde de B veya C düzeyinde içermemektedir. 7.sınıf fen ve teknoloji alt testi içerisinde B ve C düzeyinde içeren maddenin olmaması test içerisinde madde yanlılığı gösterebilecek bir maddenin olmadığı şeklinde yorumlanabilir. 8. sınıf fen ve teknoloji alt testinde, cinsiyet değişkenine göre veren maddelere ilişkin MH tekniğine ait sonuçlar Tablo 4 te verilmiştir. 8.sınıf fen ve teknoloji testi içerisindeki 20 madde içerisinden 13 ünde A düzeyinde ve 3 ünde ise B düzeyinde ye rastlanırken C düzeyinde herhangi bir madde de ye rastlanmamıştır. B düzeyinde gösteren maddelere bakıldığında 14 nolu maddenin erkekler lehine, 15 ile 17. maddelerin ise kızlar lehine çalıştığı söylenebilir. 218

5 KARAKAYA / Seviye Belirleme Sınavındaki Fen ve Teknoloji ile Matematik Alt Testlerinin Madde Yanlılığı... Tablo 4. 8.Sınıf Fen ve Teknoloji Alt Testindeki Maddelerinin Cinsiyet Değişkenine Göre MH Analiz Sonuçları Madde No α χ 2 P -MH Düzeyi A A A A A A A A A B B A B A A Odak grup: Erkek (n=3277) Rererans grup: Kız (n=3066) SBS deki 6., 7. ve 8. Sınıf Matematik Alt Testleri İçerisindeki Maddeler, MH Yöntemiyle Yapılan Analizlerde Cinsiyet Değişkenine Göre Farklı Fonksiyonlaşmakta mıdır? Matematik alt testine ait maddelerin öğrencilerin cinsiyetlerine göre içerip içermediğine ilişkin MH analiz sonuçları aşağıda verilmiştir. 6. sınıf matematik alt testindeki maddelerin cinsiyet değişkenine göre veren maddelere ilişkin MH tekniğine ait sonuçlar Tablo 5 de verilmiştir. Tablo 5. 6.Sınıf Matematik Testindeki Maddelerinin Cinsiyet Değişkenine Göre MH Analiz Sonuçları Madde No α χ 2 P -MH Düzeyi B A A A A A A A Odak grup: Kız (n= 3274) Referans grup: Erkek (n=3592) MH analiz sonuçlarına göre 6.sınıf matematik alt testi içerisindeki 16 maddenin 8 nde ye rastlanmıştır. Bu maddelerdeki lere bakıldığında 7 si A düzeyinde 1 i ise B düzeyinde olduğu görülmektedir. B düzeyindeki maddeninde erkerkler lehine çalıştığı söylenebilir. 7. sınıf matematik alt testindeki maddelerin cinsiyet değişkenine göre MH sonuçları Tablo 6 da verilmiştir. Tablo 6. 7.Sınıf Matematik Testindeki Maddelerinin Cinsiyet Değişkenine Göre MH Analiz Sonuçları Madde No α χ 2 p -MH Düzeyi A B A A A A A A A A A A Odak grup: Kız (n=3052) Referans grup: Erkek (n=3061) 7. sınıf matematik alt testi içerisindeki maddelerin cinsiyet değişkenine göre, 11 nde A düzeyinde ve 1 nde B düzeyinde olmak üzere toplam 12 madde içermektedir. Ancak A düzeyindeki 11 maddeki ihmal (tolere) edilebilir düzeyde olduğu için sadece 1 madde içermektedir. Tablo 6 incelendiğinde, bu maddeninde erkek öğrenciler lehine işlediği görülmektedir. 8. sınıf matematik testi içerisindeki maddelerin cinsiyet değişkenine göre MH analiz sonuçları Tablo 7 de verilmiştir. 8. sınıf matematik alt testi içerisindeki maddelerin cinsiyet değişkenine göre, 16 sında A düzeyinde ve 2 sinde B düzeyinde olmak üzere toplam 18 madde içermektedir. Bu test içerisindeki 20 madde içerisinden 18 inde A düzeyinde bulunması dikkat çekmektedir. Ancak 16 maddeki ihmal (tolere) edilebilir düzeyde olduğu için sadece 2 madde içermektedir. Tablo 7 incelendiğinde, B düzeyindeki maddelerden, iki numaralı madde erkekler ve altı numaralı madde ise kızlar lehine çalıştığı söylenebilir. 219

6 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Tablo 7. 8.Sınıf Matematik Testindeki Maddelerinin Cinsiyet Değişkenine Göre MH Analiz Sonuçları Madde No α χ 2 p -MH Düzeyi A B A A A B A A A A A A A A A A A A Odak grup: Kız (n= 5084) Referans grup: Erkek (n= 4290) Değişen Madde Fonksiyonuna Sahip Maddeler Uzman Görüşleri Doğrultusunda Cinsiyete Göre Yanlılık Göstermekte midir? Cinsiyete göre fen ve teknoloji alt testlerinde 6.sınıfta 6 ve 16, 8.sınıfta 14, 15, 17 numaralı maddeler, matematik alt testleri için 6. ve 7. Sınıfta 3 nolu maddeler 8.sınıfta 2 ve 6 numaralı maddeler, B düzeyinde ye sahip oldukları için uzman görüşüne sunulmuştur. Tablo 8. Fen ve Teknoloji İle Matematik Alt Testlerinde İçeren Maddelerin Madde İstatistikleri Sınıf/Test Madde No p Erkek r St. sapma p Kız r St. Sapma 6.Sınıf Matematik Sınıf Matematik Sınıf Matematik Sınıf Matematik Sınıf Fenve Tek Sınıf Fenve Tek Sınıf Fenve Tek Sınıf Fenve Tek Sınıf Fenve Tek SBS 6., 7. ve 8.sınıf matematik alt testlerinde toplam dört madde de B düzeyinde ye rastlanmıştır. Bu maddelerdeki nin kaynağının, madde etkisinden mi yoksa madde yanlılığından mı kaynaklandığını belirlemek amacıyla uzmanların görüşlerine başvurulmuştur. Görüşüne başvurulan uzmanların tamamı, içeren maddelerin tamamının, yanlılık oluşturabilecek bir niteliğe sahip olmadığı yönünde görüş bildirmişlerdir. Fen ve teknoloji alt testlerinde de, içeren 5 maddenin kızlar veya erkekler lehine herhangi bir yanlılık oluşturabilecek bir içeriğe sahip olmadıkları görülmüştür. Tartışma Fen ve teknoloji alt testlerindeki maddelerin madde fonksiyonlarının cinsiyet değişkenine göre değişip değişmediğine ilişkin MH tekniği ile yapılan analiz sonuçlarına göre, 6. Sınıfta 16 madde içerisinden 10 unda A düzeyinde ve 2 sinde B düzeyinde olmak üzere toplam 12 maddede bulunmaktadır. B düzeyinde içeren 6 ve 16 nolu maddelere bakıldığında 1 inin kızlar 1 inin de erkekler lehine çalıştığı görülmektedir. Bu maddelerin içeriğine bakıldığında erkekler lehine işleyen maddenin doğal ve yapay anıtlarla ilgili olduğu, kızlar lehine işleyen maddeninde sağlık bilgisiyle ve aynı zamanda görsel okuduğunu anlama becerisiyle ilgili olduğu söylenebilir. 7.sınıf fen ve teknoloji alt testindeki 18 maddeye bakıldığında ise sadece 12 madde de A düzeyinde rastlanmıştır. 8. Sınıf alt testinde ise 20 madde içerisinden 13 ünde A düzeyinde ve 3 ünde ise B düzeyinde bulunmuştur. Analizler sonucunda ve 8. sınıf fen ve teknoloji alt testleri içerisindeki hiçbir madde de C düzeyinde ye rastlanmamıştır. Erkekler lehine işleyen maddenin (14) kimya alanından sıcaklık-erime konusuyla ilgili olduğu söylenebilir. Bu soruda verilenden hareketle çıkarımda bulunulması istenmektedir. Kızlar lehine işleyen maddelere bakıldığında ise 15 nolu sorunun biyoloji alanından hücre bölünmesiyle ilgili olduğu görülmektedir. Fen ve teknoloji alt testlerindeki kızlar ve erkekler lehine gösteren maddelere bakıldığında ise fizik ve kimya alanından hazırlanan soruların genel olarak erkekler, biyoloji alanından hazırlanan soruların ise kızlar lehine çalıştığı görülmektedir. Bu bulgu konuyla ilgili yapılmış araştırma bulgularıyla paralellik göstermektedir (Kalaycıoğlu ve Berberoğlu, 2010; Zenisky, Hambleton ve Robin, 2004). Matematik alt testlerindeki maddelerin cinsiyet değişkenine göre değişen madde fonksiyonunana sahip olup olmadığını belirlemek için yapılan analiz sonuçlarına göre, 6. sınıftaki 16 madde içerisinden 8 inde ye rastlanmıştır. Bunların 7 si A 220

7 KARAKAYA / Seviye Belirleme Sınavındaki Fen ve Teknoloji ile Matematik Alt Testlerinin Madde Yanlılığı... düzeyinde 1 de B düzeyindedir. 7. sınıf matematik alt testinde 11 nde A ve 1 nde B düzeyinde olmak üzere toplam 12 madde içermektedir. 8. sınıf alt testindeki maddelere bakıldığında ise 20 madde içerisinden 16 da A düzeyinde ve 2 nde B düzeyinde olmak üzere toplam 18 madde içermektedir. Fen ve teknoloji alt testlerinde de olduğu gibi matematik alt testklerinde de C düzeyinde ye sahip herhangi bir madde bulunmamaktadır. Bu bulgu Acar (2008) tarafından OKÖSYS verileri üzerinde yürütülen, Maddenin Farklı Fonksiyonlasmasını Belirlemede Kullanılan Genelleştirilmiş Aşamalı Doğrusal Modelleme, Lojistik Regresyon ve Olabilirlik Oranı Tekniklerinin Karşılaştırılması isimli çalışmasında elde edilen bulgularla benzerlik göstermektedir. Her iki çalışmada da belirli sayıda içeren maddeler bulunmuş ancak bulunan genel olarak tolere edilebilir düzeydedir. Fen ve tekonloji 6.sınıf 6. Sorusu ile matematik 6.sınıf alt testi 3. sorusu erkekler lehine çalışmaktadır. Bu iki soru ele alındığında her ikisininde ortak özelliği doğa ve çevredir. Matematik alanından doğa ile ilgili sorularda ve geometri alanındaki sorularda erkek öğrencilerin daha başarılı olması ve erkek öğrenciler lehine içermesi Abedalaziz in (2010) matematik testlerindeki maddelerin cinsiyet değişkenine göre değişen madde fonksiyonlarının incelemesine yönelik çalışmasından elde ettiği bulgularla da paralellik göstermektedir. Ayrıca Tablo 8 incelendiğinde içeren matematik alt testi içerisindeki maddelerin hepsinde erkek öğrencilerin daha başarılı oldukları görülmüştür. Bu bulgu ilköğretim düzeyinde matematik başarılarında erkek öğrencilerin daha başarılı olduğuna yönelik bulguları içeren çalışmalarla benzerlik göstermektedir (Geary, 1996). Matematik alt testinde içeren maddelere bakıldığında 2. madde algoritmik hesaplamaları gerektiren bir soru olduğu ve bu sorununda erkekler lehine çalıştığı görülmektedir. Kalaycıoğlu ve Berberoğlu (2010) üniversiteye öğrenci seçme sınavında kullanılan matematik alt testindeki algoritmik hesaplamayı ölçen bir maddenin kızlar lehine çalıştığını belirtmektedir. Dolayısıyla elde edilen bu bulgu bu çalışmadan elde edilen bulguyla çelişmektedir. Bu durumun nedenleri arasında uygulanan sınavların farklı öğrenim seviyelerinde olmasından kaynaklanabilir. Ding, Song ve Richardson (2007), ilköğretim düzeyinde erkek öğrencilern daha başarılı oldukları, ortaöğretim düzeyinde veya üniversite düzeyinde ise özellikle problem çözme ve uygulamalarında kız öğrencilerin daha başarılı oldukları görülebildiğini vurgumaktadır. Bir başka çalışmada ise ilköğretim düzeyinde kız öğrencilerin hem matematik hemde sözel dil becerilerine dayalı derslerde erkek öğreniclere oranla daha başarılı olduklarını ortaöğretimden itibaren üniversite düzeyinde geometri alanında erkeklerin daha başarılı oldukları açıklanmaktadır (Amrein ve Berliner, 2002 ). Aynı testin 6.sorusu ise uzamsal becerileri ölçen bir madde olduğu bu maddenin de kızlar lehine çalıştığı görülmektedir. Fen ve teknoloji ile matematik alt testlerindeki B düzeyinde içeren maddelerin uzman görüşleri doğrultusunda yanlılık oluşturmadığı sonucuna varılmıştır. Maddelerin içermesinin nedeni olarak madde etkisinden kaynaklandığı görülmüştür. Ayrıca Zieky (2003) başarıyı ölçen ve önceden deneme imkânı olmayan testlerde, testler içerisindeki B düzeyindeki lerin bile gözardı edilebileceğini belirtmektedir. Bu durum da dikkate alındığında da ilköğretimden ortaöğretime öğrenci seçme ve yerleştirmede kullanılan SBS testleri içerisinde ki matematik ile fen ve teknoloji alt testlerinin madde yanlılığı göstermediği söylenebilir. Bu sonuç, Yurdugül ün (2003) Ortaöğretim kurumları seçme ve yerleştirme sınavının madde yanlılığı açısından incelenmesi ile Yurdugül ve Aşkar (2004) tarafından yapılan OKÖSYS nin Öğrencilerin Yerleşim Yerlerine Göre Açısından İncelenmesi isimli çalışmasından elde edilen bulgularla benzerlik göstermektedir. Fen ve teknoloji alt testleri içerisindeki maddelerin madde yanlılığı göstermemesi, testlerin herhangi bir alt gruba göre yanlı davranmadığı bir diğer ifadeyle sistematik hata içermediği şeklinde yorumlanabilir. Ayrıca bu sonuç, Örs (2010) tarafından fen ve teknoloji alt testlerinin yapı geçerliğine ilişkin yapılan çalışma bulgularını desteklediği şeklinde de yorumlanabilir. Araştırmada SBS deki Fen ve teknoloji ile matematik alt testlerinin madde yanlılığı cinsiyet değişkeni açısından incelenmiştir. Araştırma sonucunda elde edilen bulgular doğrultusunda, her iki testin ve diğer alt testlerinin öğrencilerin sosyo ekonomik düzeyleri, okul türleri, yaşadıkları yerleşim yerleri gibi çeşitli değişkenlere göre yanlılık gösterip göstermediği incelenmesi önerilebilir. Bu çalışmada sadece MH yöntemi kullanılmıştır. Maddelerin madde yanlılığı gösterip göstermediği diğer yöntemlerle test edilerek sonuçlar karşılaştırılabilir. 221

8 Educational Sciences: Theory & Practice - 12(1) Winter Educational Consultancy and Research Center An Investigation of Item Bias in Science & Tecnology Subtests and Mathematic Subtests in Level Determination Exam (LDE) İsmail KARAKAYA a Gazi University Abstract The aim of this study is to determine the items in Science and Technology and Mathematics subtests of 6th, 7th, and 8th grades in the 2009 LDE, which was performed to select the students for the secondary schools, exhibited item bias with regard to student gender. Mantel-Haenszel (MH) method was used in order to determine the differential item functioning (DIF) of the items in the tests. The study was carried out with students in total, 6913 of whom were 6th year students (3614 males and 3299 females), 6333 of whom were 7th year students (3277 males and 3066 females) and 9374 of whom were 8th year students (4290 males and 5084 females). When the Science and technology subtest items are examined, it is seen that 2 (items number 6 and 16) in 6th grade, 3 in 8th grade (item number 14, 15, and 17) tests have B-level DIF. Among those five items 3 are favoring girls and 2 are favoring boys. In Mathematics subtests, item number 3 in 6th grade, item number 3 in 7th grade, and items 2 and 6 in 8th grade have DIF at B level. While 3 of those items work in favor of males, remaining 1 item works in favor of females. Content experts are asked for their opinion on the items having DIF to explore if any of them are biased. Based on the expert reviews it has been concluded that none of them includes gender bias. Key Words Differential Item Functioning, Item Bias, Logistic Regression, Mantel-Haenszel. In Turkey, the central examinations have been performed with the aim of selecting and placing the students in the various education institutions for a long time. Among these central examinations come the ones that are performed in the transition from primary education to secondary education first. In the transition from primary education to secondary education, Secondary Education Student Selection and Placement Exams (SSPE) were performed by the Ministry of National Education (MNE) between 1998 and a İsmail KARAKAYA, Ph.D., Ismail Karakaya studies at Department of Educational Measurement and Evaluations as PhD. His research interests include scale development, alternative assessment in education. Correspondence: PhD. Ismail KARAKAYA, Gazi University, Faculty of Education, Department of Educational Measurement and Evaluations, Teknikokullar/ANKARA. E- mail: ikarakaya2002@yahoo.com Phone: Fax: Developed based on the primary school curriculum and quantifying the academic skills (Milli Eğitim Bakanlığı [MEB], 1998). The aim of SSPE in general is trying to measure the intellectual processes through the questions in the tests such as; a) to make assumptions from the concepts, graphics, tables and principles used in the sum of the given information, b) to come to the conclusion by relating the components of the information pattern provided as figure, graphic, or table, c) to understand the written text, graphic and table, to make generalization, to interrelate among constituents and to reach a conclusion by using the relations, d) to be able to evaluate a given problem, written text, figure, graphic or table by certain measures, e) to make an inference from observations of daily life by using the basic concepts and principles, to give similar examples and to solve the problem no matter what the subject area was (Kutlu & Karakaya, 2007; MEB, 2003).

9 KARAKAYA / An Investigation of Item Bias in Science & Tecnology Subtests and Mathematic Subtests... In order to select students and place them in secondary schools, Level Determination Exam (LDE) has been performed for the 6th, 7th, and 8th grades since the academic year The LDE includes five subtests, which are Turkish, Mathematics, Science and Technology, Social Sciences, and Foreign Language. These subtests in LDE are prepared in order to determine to what extent students have educational attainment defined in educational programs of each related class level. The scores obtained from this exam are used for the placement of the students in relevant secondary schools (MEB, 2007). In other words, the questions in the LDE only determine the success level of students in the year they receive education, and it does not include their other class status. Since the subtests in the LDE are generally prepared in the way targetting the gains of the educational programs, they are expected to be qualified to measure the knowledge and skills that teaching programmes try to develop. Each year, hundreds of thousands of applicants take the student selection and placement exams such as LDE. While some applicants are placed in relevant programs in accordance with their success level, some cannot be placed in anywhere because of their insufficient scores. In these exams, decisions are expected to be error-free since they shape the future of the individuals. This will be primarily possible through measuring tools whose validity and reliability were ensured. The validity and reliability of these exams will be possible through operating them in accordance with their purposes. When the literature is reviewed, various studies are encountered on the SSPEs and the LDEs. It is seen that the studies on the SSPE and the LDE are intended to estimate the predictive validity, concurrent validity, and construct validity (Anıl & Güzeller, 2010; Anıl, Güzeller, Çokluk, & Şekercioğlu, 2010; Berberoğlu, Kaptan, & Kutlu, 2002; Güzeller, 2005; Kutlu & Karakaya, 2007; Örs, 2010). It is also seen that several studies have been carried out on the differential item functioning (DIF) in the items of SSPE subtests and item bias (Doğan & Öğretmen, 2008; Gök, Kelecioğlu, & Doğan, 2010; Öğretmen & Doğan, 2004; Yurgudül, 2003). A valid and reliable selection exam indicates that the exam has been carried out in accordance with its target and the test items were prepared in line with the purpose of the exam. In addition, it can be commented on whether structures and contents of the items in the tests provide neither advantage nor disadvantage to any of the groups taking the exam. If the items in the tests provide an advantage for a group because of various features such as gender, socio-economic status, religion, etc., it can be said that the exam has bias in favor of that group. This will cause the decisions made based on the test scores to be discussed, and the validity of the decisions to be affected negatively. In other words, if the tests provide an advantage or a disadvantage to a group, there is a systematic error (Zumbo, 1999). This will directly affect the validity of the exam in a negative way. Determination of the item bias of the items in the tests is one of the important works to increase the test validity and reliability. Kristjansson, Aylesworth, Mcdowell, and Zumbo (2005), pointed out that item bias was an important factor to threaten the validity of the measurements, and test and item bias detection methods should be used as much as possible. There has not been any study carried out on any item bias or the differential item functioning in the subtests of the LDE. This study is important due to its contributions to the validity of the subtests of the LDE. Applying the secondary school selection and placement exams like LDE to another group in advance, and making arrangements for the items of the subtests as a result of this application does not seem possible in terms of the reliability and validity of the exams. The items in the subtests, which are prepared only by field experts, are evaluated by field, language and measurement experts, and after the evaluation, necessary corrections are made and the test booklets are created by taking into account the features like content, number of the questions etc. Direct application of these tests and items according to its purpose without any trial is only possible by people who are specialized in the item writing. Determination of the items with DIF in the tests and knowing if these items work in favor of various sub-groups will contribute the item writing process. This is important in terms of the tests to be applied serving the purpose more. The item bias studies start with a statistical process that determines whether item function differs for the individuals who are at the same skill levels in different groups. The items that demonstrate the differential item functioning in the sub-groups with same skill levels are determined (Gök et al., 2010; Roever, 2005). After that, by obtaining opinions of the field experts on the reasons why items demonstrate DIF, it is tried to expose if the group differentiation actually results from the differences among the skills or the measuring process (Camilli & Shepard, 1994; Zumbo, 1999) 223

10 EDUCATIONAL SCIENCES: THEORY & PRACTICE Taking into consideration of the factors causing the item bias at test development stage will contribute to give more accurate decisions about the students on scoring and evaluation of tests (Allalouf, Hambleton, & Sireci, 1999). The probability of answering the item correctly might differ if individuals vary in knowledge and skill levels. In other words, the differences in performances of individuals with different skill levels cannot be taken into account as a sign of item bias (Schumacher, 2005). This study is conducted to determine if the items of Science and Technology, and Mathematics subtests used in 6 th, 7 th, and 8 th grades in the LDE exam demonstrated item bias. For this purpose, answers were sought for the following questions; 1. Do the items in the Science and Technology subtests of 6 th, 7 th, and 8 th grades in the LDE function differently by gender? 2. Do the items in the Mathematics subtests of 6 th, 7 th, and 8 th grades in the LDE function differently by gender? 3. Do the items that have differential item functioning exhibit bias by gender according to the expert opinions? Method The aim of this study is to determine if the items in Science and Technology, and Mathematics subtests of 6 th, 7 th, and 8 th grades in the 2009 LDE exhibited item bias with regard to the variation of gender. Since the research was intended for determining an existing situation, it is a descriptive study. The research population was the students who lived in Ankara in 2009 and took the LDE exam. The randomly selected students among the students lived in Ankara province were the samples of the research. Class and gender of the students who were research samples and their numbers according to subtests are provided in Table 1. As it is seen in Table 1, the answers of Science and Technology and Mathematics subtests in the LDE of students ( th graders, th graders and th graders) were used in this study. In this study, the data belonged to the Science and Technology and Mathematics subtests of 6th, 7th, and 8th grades of the LDE, which was performed for selection and placement of the students in 2009, were used. There were 16, 18, and 20 questions for 6 th, 7 th, and 8 th grades in the Science and Technology and Mathematics subtests, respectively. The data used in this study were obtained from MNE. Considering the techniques to determine the differential item functioning, it can be seen that classical test theory is categorized as a technique based on item response theory. Between the Mantel- Haenszel (MH) and logistic regression (LR) methods, which are the techniques based on the classical test theory, the MH is the most preferred method for determination of DIF because it has easy application and statistical interpretation, gives effective results for small groups, and is most efficient to determine uniform DIF (Guilera, Gomez-Benito & Hidalgo, 2009). Therefore, the MH was preferred at determination phase of DIF in this study. The EZ- DIF program (Waller, 1998) was used for the MH analysis at the stage of analyzing the data. Results In this section, in order to determine whether items in Science and Technology and Mathematics subtests of 6 th, 7 th, and 8 th grades in the 2009 LDE exhibited item bias, the differential item functioning with regard to variation of gender was investigated. Findings obtained from the analyses were tabulated and interpreted below. After determination of the items with DIF, it was examined if the regarded items demonstrated item bias by obtaining opinions from field experts and measurement and evaluation experts. Table 1. Number of Students by Subtests, Grade and Gender Class Level Science and Technology Subtests Mathematic Subtests Male Female Total Male Female Total 6 th th th

11 KARAKAYA / An Investigation of Item Bias in Science & Tecnology Subtests and Mathematic Subtests... Do the Items in the Science and Technology Subtests of 6 th, 7 th, and 8 th Grades in the LDE Function Differently by Gender? The results belonging to the MH method related to the items giving DIF in regard to the variation of gender of the items in the 6 th grade Science and Technology subtests are provided in Table 2. Table 2. MH Analysis Results of the 6 th Grade Science and Technology Subtest Items Items α * χ 2 p ** -MH DIF Level *** A A A B A A A A A A A B Focus group: Male (n=3614) Referance group: Female (n=3299) * Odds ratio represents the performance diffefrrence between focus and reference groups (Gök et al., 2010) ** In MH analysis, a significant Chi-Square means there is A, B, or C DIF. *** If [ -MH] <1 DIF is ignorable (A); if 1< [ -MH] <1.5 DIF is moderate (B), if 1.5<[ -MH] DIF is at an impotrtant level (C) (Zieky, 1993). It was found that 10 items at the level of A and 2 items at the level of B with a total of 12 out of the 16 questions in the 6th grade Science and Technology subtest included DIF. Only the DIFs in 10 items at the level of A can be tolarated. Among the items included DIF at the level of B, 6 th item was seen to work in favor of boys, whereas 16 th item worked in favor of girls. The results of the MH analysis related to the materials giving DIF in regard to the variation of gender in the 7 th grade Science and Technology subtests are provided in Table 3. According to the results of the MH analysis regarding to the variation of gender in the 7 th grade Science and Technology subtest, DIF was found in only 12 items out of the 18 questions at the level A. There was not observed DIF at the level of B or level of C in the items in the test. Not having any question with DIF at the level of B or level of C in the 7 th grade Science and Technology subtests can be interpreted as not having any material that shows item bias. Table 3. MH Analysis Results of the 7 th Grade Science and Technology Subtest İtems Items α χ 2 p -MH DIF Level A A A A A A A A A A A A Focus group: Male (n=3277) Referance group: Female (n=3066) The results belonging to the MH method relating to the materials giving DIF in regard to the variation of gender in the 8 th grade Science and Technology subtests are provided in Table 4. Table 4. MH Analysis Results of the 8 th Grade Science and Technology Subtest İtems Items α χ 2 p -MH DIF Level A A A A A A A A A B B A B A A Focus group: Male (n=3277) Referance group: Female (n=3066) Out of 20 questions in the 8 th grade Science and Technology subtest, 13 items were found to have DIF at the level of A and 3 items were found to have DIF at the level of B, whereas there was not any item included DIF at the level of C. It can be said that while 14 th item was seen to work in favor of boys, 15 th and 17 th items were seen to work in 225

12 EDUCATIONAL SCIENCES: THEORY & PRACTICE favor of girls among the all questions included DIF at the level of B. Do the Items in the Mathematics Subtests of 6 th, 7 th, and 8 th Grades in the LDE Function Differently by Gender? The MH analysis results, which showed whether the items belonged to the Mathematics subtests had DIF regarding to the variation of gender, are given below. Table 5. MH Analysis Results of the 6 th Grade Mathematics Subtests Items Items α χ 2 P -MH DIF Level B A A A A A A A Focus group: Female (n= 3274) Referance grup: Male (n=3592) In the MH analysis results, DIF was found in 8 items out of 16 questions in the 6 th grade Mathematics subtest. Considering DIFs in the items, 7 of them were found as at the level of A and 1 of them was at the level of B. It can be said that the item at the level of B worked in favor of boys. MH results relating to the materials giving DIF in regard to the variation of gender in the 7 th grade Mathematics subtests are provided in Table 6. Table 6. MH Analysis Results of the 7 th Grade Mathematics Subtests Items Items α χ 2 p -MH DIF Level A B A A A A A A A A A A Focus group: Female (n=3052) Referance group: Male (n=3061) According to the variation of gender of items in the 7 th grade Mathematics subtest, as 11 items at the level of A and 1 item at the level of B, a total of 12 items included DIF. Since DIFs in 11 items at the level of A were negligible, only 1 item included DIF. When the Table 6 is examined, it is seen that this one question was in favor of boys. The results of the analyses related to the materials giving DIF in regard to the variation of gender in the 8 th grade Mathematics subtests are provided in Table 7. Table 7. MH Analysis Results of the 8 th Grade Mathematics Subtests Items Items α χ 2 p -MH DIF Level A B A A A B A A A A A A A A A A A A Focus group: Female (n= 5084) Referance grup: Male (n= 4290) In regard to the variation of gender of materials in the 8 th grade Mathematics subtest, as 16 items at the level of A and 2 items at the level of B, a total of 18 items included DIF. Presence of DIF at the level of A in 18 items out of 20 questions was notable. Because DIFs in 16 items were negligible, only 2 items included DIF. When the Table 7 is examined, it can be said that one of the items at the level of B worked in favor of boys, and the other one for girls. Since the 6 th and 16 th items in the 6 th grade Science and Technology subtest, 14 th, 15 th and 17 th items in the 8 th grade Science and Technology subtest, 3 rd item in both 6 th and 7 th grade Mathematics subtests, and 2 nd and 6 th items in the 8 th grade Mathematic subtest included gender DIF at the level of B, these items were presented to the experts opinion. 226