2012 YILI SEVİYE BELİRLEME SINAVI MATEMATİK ALT TESTİNİN MADDE YANLILIĞI AÇISINDAN İNCELENMESİ HALİME YILDIRIM YÜKSEK LİSANS TEZİ

Transkript

1 2012 YILI SEVİYE BELİRLEME SINAVI MATEMATİK ALT TESTİNİN MADDE YANLILIĞI AÇISINDAN İNCELENMESİ HALİME YILDIRIM YÜKSEK LİSANS TEZİ EĞİTİMDE ÖLÇME VE DEĞERLENDİRME ANABİLİM DALI GAZİ ÜNİVERSİTESİ EĞİTİM BİLİMLERİ ENSTİTÜSÜ ŞUBAT, 2015

2

3 TELİF HAKKI ve TEZ FOTOKOPİ İZİN FORMU Bu tezin tüm hakları saklıdır. Kaynak göstermek koşuluyla tezin teslim tarihinden itibaren (6) ay sonra tezden fotokopi çekilebilir. YAZARIN Adı : Halime Soyadı : YILDIRIM Bölümü : Eğitimde Ölçme ve Değerlendirme İmza : Teslim tarihi : TEZİN Türkçe Adı: 2012 yılı Seviye Belirleme Sınavı Matematik Alt Testinin Madde Yanlılığı Açısından İncelenmesi İngilizce Adı: An Investigation of Item Bias of Mathematics Subtest in 2012 year Level Determination Exam. i

4 ETİK İLKELERE UYGUNLUK BEYANI Tez yazma sürecinde bilimsel ve etik ilkelere uyduğumu, yararlandığım tüm kaynakları kaynak gösterme ilkelerine uygun olarak kaynakçada belirttiğimi ve bu bölümler dışındaki tüm ifadelerin şahsıma ait olduğunu beyan ederim. Yazar Adı Soyadı: Halime YILDIRIM İmza: ii

5 Jüri onay sayfası Halime YILDIRIM tarafından hazırlanan 2012 Yılı Seviye Belirleme Sınavı Matematik Alt Testinin Madde Yanlılığı Açısından İncelenmesi adlı tez çalışması aşağıdaki jüri tarafından oy birliği ile Gazi Üniversitesi Eğitimde Ölçme ve Değerlendirme Anabilim Dalı nda Yüksek Lisans tezi olarak kabul edilmiştir. Danışman: Prof. Dr. Şener BÜYÜKÖZTÜRK (Eğitimde Ölçme ve Değerlendirme, Hasan Kalyoncu Üniversitesi) Başkan: Prof. Dr. Hülya KELECİOĞLU (Eğitimde Ölçme ve Değerlendirme, Hacettepe Üniversitesi) Üye: Doç. Dr. Şeref TAN (Eğitimde Ölçme ve Değerlendirme, Gazi Üniversitesi) Tez Savunma Tarihi: 12/02/2015 Bu tezin Eğitimde Ölçme ve Değerlendirme Anabilim Dalı nda Yüksek Lisans Tezi olması için şartları yerine getirdiğini onaylıyorum. Prof. Dr. Servet KARABAĞ Eğitim Bilimleri Enstitüsü Müdürü iii

6 TEŞEKKÜR Tez çalışmam süresince tüm özverisi ile bilgisini, desteğini ve güvenini esirgemeyen tüm yoğunluğuna rağmen değerli vaktini bana ayıran sevgili tez danışmanım Prof. Dr. Şener Büyüköztürk e Bu süreçte bilgileri, deneyimleri ve güzel sohbetleri ile desteklerini esirgemeyen kıymetli hocalarım Prof. Dr. Mehtap Çakan a, Doç. Dr. Şeref Tan a, Doç. Dr. İsmail Karakaya ya Süreç boyunca sorduğum soruları özenle ve ilgiyle cevaplayan British Columbia Üniversitesi Ölçme, Değerlendirme ve Araştırma Metodolojisi Bölümünden Prof. Dr. Bruno D. Zumbo ya ve Hacettepe Üniversitesinden Prof. Dr. Hülya Kelecioğlu na Her türlü sıkıntımda ve sevincimde yanımda olan desteğini, ilgisini ve dostluğunu esirgemeyen başta Menekşe Uysal ve Sinem Şenferah olmak üzere Gazi Üniversitesi Eğitimde Ölçme ve Değerlendirme Anabilim dalı araştırma görevlilerine, Her zaman yanımda olan güvenlerini ve sevgilerini tüm kalbimle hissettiğim canım aileme, Ve maddi desteklerinden dolayı TÜBİTAK a çok teşekkür ederim. iv

7 2012 YILI SEVİYE BELİRLEME SINAVI MATEMATİK ALT TESTİNİN MADDE YANLILIĞI AÇISINDAN İNCELENMESİ (Yüksek Lisans Tezi) HALİME YILDIRIM GAZİ ÜNİVERSİTESİ EĞİTİM BİLİMLERİ ENSTİTÜSÜ Şubat 2015 ÖZ Bu çalışmanın amacı, Milli Eğitim Bakanlığı nın 2012 yılında sekizinci sınıflar için yapmış olduğu Seviye Belirleme Sınav ında yer alan matematik alt testi maddelerinin cinsiyet ve okul türü değişkenlerine göre değişen madde fonksiyonu (DMF) gösterip göstermediğini belirlemek, DMF gösteren maddelerin yanlılık durumlarını incelemektir. Çalışmada DMF analizleri için Mantel Haenszel (MH) ve Lojistik Regresyon (LR) yöntemleri kullanılmıştır. Cinsiyete göre MH ve LR yöntemleriyle yapılan DMF analizi sonuçlarına göre testte önemli düzeyde DMF gösteren 2 madde tespit edilmiştir. Okul türü analiz sonuçlarında LR yöntemi ile önemli düzeyde DMF gösteren madde bulunmazken, MH yöntemi ile 4 tane B düzeyinde ve bir tane C düzeyinde olmak üzere toplam 5 maddenin özel okul öğrencileri lehine çalıştığı belirlenmiştir. Cinsiyete göre her iki yöntemle yapılan DMF analiz sonuçlarına göre yöntemlerin DMF belirlemede düzeyleri de dikkate alarak yüksek bir uyum gösterdiği belirlenmiştir. Okul türüne göre yapılan DMF analiz sonuçlarına göre ise yöntemlerin A düzeyinde DMF gösteren maddelerin belirlenmesinde yüksek düzeyde uyum gösterdiği, B ve C düzeyinde maddelerin belirlenmesinde ise uyum göstermediği belirlenmiştir. Yöntemlerce belirlenen DMF büyüklük sıralamaları arasında bir ilişki olup olmadığı Spearman Brown sıra farkları korelasyon katsayıları ile incelenmiştir. Cinsiyete göre yapılan DMF analizleri için DMF büyüklüklerinin sıralamaları arasında yöntemlerin yüksek düzeyde uyum (ilişki) gösterdiği, okul türüne göre yapılan DMF analiz sonuçları için ise yöntemler arasında DMF büyüklüğü sıralamaları açısından uyum olmadığı belirlenmiştir. v

8 Madde yanlılığının araştırılması sürecinde önemli düzeyde DMF gösterdiği belirlenen maddelerin DMF gösterme nedenleri Delphi tekniğiyle belirlenmiştir. Delphi panelleri sonucunda cinsiyete göre DMF gösteren maddeler için 7, okul türüne göre DMF gösteren maddeler için ise 15 olmak üzere toplam 22 DMF kaynağında uzlaşma sağlanmıştır. Son olarak DMF kaynaklarının madde yanlılığı gerekçesi olup olmadığı madde yanlılığı uzman paneli yapılarak incelenmiştir. Madde yanlılığı uzman paneli analiz sonuçlarına göre cinsiyete göre bir maddenin, okul türüne göre ise iki maddenin yanlılık gösterdiği tespit edilmiştir. Bilim kodu:6.015 Anahtar Kelimeler: Seviye Belirleme Sınavı, Madde Yanlılığı, Değişen Madde Fonksiyonu, Delphi Tekniği, Madde yanlılığı uzman paneli. Sayfa Adedi: xvi+144 Danışman: Prof. Dr. Şener Büyüköztürk vi

9 AN INVESTIGATION OF ITEM BIAS OF MATHEMATICS SUBTEST IN 2012 YEAR LEVEL DETERMINATION EXAM (M.S Thesis) HALİME YILDIRIM GAZI UNİVERSITY GRADUATE SCHOOL OF EDUCATIONAL SCIENCES February 2015 ABSTRACT The purpose of this study is to determine whether items of mathematics subtest in 2012 year 8 th Grade Level Determination Exam (LDE) administered by the ministry of education indicate differential item functioning (DIF) in terms of the gender and school types, and to examine biasness case of the items that indicating DIF. In this study Mantel Haenszel (MH) and Logistic Regression (LR) methods were used for analysis of DIF. According to results of DIF analyzed with MH and LR methods in terms of the gender variable, two items indicating significant level DIF were detected. In terms of school types analysis, while it was found that no items had DIF at B and C level with LR method, a total of 5 items including four of them were at B level and one of them was C level in favor of private school have been found with MH method. According to the results of DIF analysis in terms of gender, it was determined that both of the methods adjusted highly about DIF level and detected total item numbers having DIF. According to the results of DIF analysis in terms of school type, it was seen that both of methods adjusted highly when determining of items having DIF at A level, and did not adjust in determination of items having DIF at B and C level. Spearman Brown s rank correlation coefficients were used for determination whether MH and LR methods correlated in terms of DIF size rank. While there was a high correlation between DIF size rank of methods according to the results of DIF analysis in terms of gender, there was no correlation between DIF size rank of methods according to results of analysis in terms of school types. In the process of item bias, Delphi technique was used for determination why the items having significant level DIF showed DIF. The results of Delphi panels showed that they agreed on totally 22 DIF source including 7 items having DIF in vii

10 terms of gender and 15 ones in terms of school type. Finally whether the sources of DIF were a reason for item bias was examined with item bias expert panel. According to results of the analysis of item bias expert panel, it was seen that one item is bias in terms of gender and two items are bias in terms of school types Science Code : Key Words : Level Determination Exam, Item Bias, Differential Item Functioning, Delphi Tecnique, Item Bias Expert Panel. Page Number: xvi+144 Supervisor: Prof. Dr. Şener Büyüköztürk viii

11 İÇİNDEKİLER ÖZ... v ABSTRACT... vii TABLOLAR LİSTESİ... xii ŞEKİLLER LİSTESİ... xiv SİMGELER VE KISALTMALAR LİSTESİ... xv BÖLÜM I... 1 GİRİŞ Problem Durumu Kuramsal Çerçeve Değişen Madde Fonksiyonu Değişen Madde Fonksiyonu Belirlemede Kullanılan Teknikler Mantel Haenszel Tekniği Lojistik Regresyon Tekniği DMF Kaynakları Madde Yanlılığı ve Yanlı Madde Örnekleri Problem İfadesi Alt Problemler Amaç Önem Sayıltılar Sınırlılıklar İlgili Araştırmalar BÖLÜM II YÖNTEM Araştırmanın Modeli Evren Veri Toplama Araçları ix

12 2.3.1 DMF Analizleri Veri Toplama Süreci Madde Yanlılığı Veri toplama Süreci Delphi Tekniği ve Uygulanması Odak Grup Görüşmesi ve Uygulanması: Madde Yanlılığı Uzman Paneli Verilerin Analizi Tek Boyutluluk Betimsel Test İstatistikleri ve Puan Dağılımları Madde İstatistikleri Cinsiyet Gruplarına göre Madde İstatistikleri Okul Türü Gruplarına göre Madde İstatistikleri Değişen Madde Fonksiyonlarının Analizi MH Yöntemi Analizleri LR Yöntemi Analizleri İki Yöntemin Sonuçları Arasındaki Uyumun Analizi DMF Gösteren Maddelerin Yanlılık Durumlarının Analizi Delphi Tekniği Analizleri Odak Grup Görüşmesi Analizleri BÖLÜM III BULGULAR VE YORUMLAR Birinci Alt Probleme İlişkin Bulgular ve Yorumlar Alt Problem 1.a ya İlişkin Bulgular ve Yorumlar Alt Problem 1.b ye İlişkin Bulgular ve Yorumlar İkinci Alt Probleme İlişkin Bulgular ve Yorumlar Alt Problem 2.a ya İlişkin Bulgular ve Yorumlar Alt Problem 2.b ye İlişkin Bulgular ve Yorumlar Üçüncü Alt Probleme İlişkin Bulgular ve Yorumlar Dördüncü Alt Probleme İlişkin Bulgular ve Yorumlar Birinci Delphi Paneli Bulguları İkinci Delphi Paneli Bulguları Üçüncü Delphi Paneli Bulguları Beşinci Alt Probleme İlişkin Bulgular ve Yorumlar BÖLÜM IV SONUÇ VE ÖNERİLER x

13 4.1 Sonuçlar Cinsiyete göre LR ve MH Yöntemleri DMF Analiz Sonuçları Okul Türüne göre LR ve MH Yöntemleri DMF Analiz Sonuçları MH ve LR Yöntemlerinin Karşılaştırılmasına Yönelik Analiz Sonuçları Delphi Tekniği Analiz Sonuçları Odak Grup Görüşmesi: Madde Yanlılığı Uzman Paneli Analiz Sonuçları Öneriler Araştırma Sonuçlarından Çıkan Öneriler Araştırmacılara Yönelik Öneriler KAYNAKLAR EKLER xi

14 TABLOLAR LİSTESİ Tablo 1. DMF Belirleme Yöntemlerinin Farklı Sınıflandırmaları 11 Tablo 2 İki Kategorili Puanlanan Maddelerde DMF Belirleme Teknikleri 12 Tablo 3. Cinsiyet ve Okul Türü Değişkenlerine göre Betimsel İstatistikler 30 Tablo Yılı Sekizinci Sınıf SBS Test İstatistikleri ve Soru Dağılımları 32 Tablo 5. Delphi Panellerine Katılan Uzmanların Eğitim Bilgileri ve Sayıları 36 Tablo 6. Uzman Panelistlerin Delphi Panellerine Katılma Sayıları ve Yüzdeleri 36 Tablo 7. Odak Grup Görüşmesine Katılan Uzmanların Dağılımı 41 Tablo 8. Doğrulayıcı Faktör Analizi Model Veri Uyumu İstatistikleri 44 Tablo 9. Matematik Alt Testi Betimsel İstatistikleri 45 Tablo 10. Matematik Alt Testi Cinsiyet ve Okul Türüne göre Betimsel İstatistikleri 46 Tablo 11. Matematik Alt Testi Madde İstatistikleri 48 Tablo 12. Cinsiyete Gruplarına göre Matematik Alt Testi Madde İstatistikleri 49 Tablo 13. Okul türüne göre Matematik Alt Testi Madde İstatistikleri 51 Tablo 14. Tek Bir Yetenek Düzeyi (i. toplam puan) için Oluşturulmuş Kikare Tablosu 53 Tablo 15. Mantel Haenszel DMF İstatistiğinin Yorumlanması 54 2 Tablo 16. R Değerlerinin Yorumlanması için Kullanılabilecek Sınıflamalar 57 Tablo 17. Matematik Alt Testi Cinsiyete göre MH Analiz Sonuçları 63 xii

15 Tablo 18. Matematik Alt Testi Cinsiyete göre LR Analiz Sonuçları 65 Tablo 19. Matematik Alt Testi Okul Türüne göre MH Analiz Sonuçları 67 Tablo 20. Matematik Alt Testi Okul Türüne göre LR Analiz Sonuçları 70 Tablo 21. MH ve LR Analiziyle Cinsiyete ve Okul Türüne göre DMF Gösteren Maddeler 71 Tablo 22. Birinci Delphi Anketiyle Belirlenen DMF Kaynaklarına Örnekler 74 Tablo 23. En Yüksek ve En Düşük Düzeyde Önem Gösterdiği Belirlenen DMF kaynakları Tablo 24. İkinci Delphi Analizlerinde Cinsiyete göre En Yüksek Uzlaşı Sağlanan DMF Kaynakları Tablo 25. İkinci Delphi Analizlerinde Okul Türüne göre En Yüksek Uzlaşı Sağlanan DMF Kaynakları Tablo 26. Delphi Uygulamalarına İlişkin DMF Kaynaklarının Sayıları 80 Tablo 27. Cinsiyete Göre Uzlaşma Sağlanan DMF Kaynakları ve Uzlaşma Kriterleri Tablo 28. Okul Türüne Göre Uzlaşma Sağlanan DMF Kaynakları ve Uzlaşma Kriterleri Tablo 29. Cinsiyete ve Okul Türüne göre Yanlılığa neden olan DMF Kaynakları xiii

16 ŞEKİLLER LİSTESİ Şekil 1. Tek biçimli DMF (TB DMF) ve Tek Biçimli Olmayan DMF (TBO DMF) 10 Şekil 2. Anket formunda yer alan madde örneği 37 Şekil 3. Matematik alt testi puan dağılım grafiği 45 Şekil 4. Cinsiyete ve okul türüne göre matematik alt testi puan dağılım grafikleri 47 Şekil 5. Matematik alt testi madde istatistikleri saçılım grafiği 48 Şekil 6. Şekil 7. Cinsiyet gruplarına göre matematik alt testi madde istatistikleri saçılım grafikleri Okul türüne göre matematik alt testi madde istatistikleri saçılım grafikleri Şekil 8. Sırasıyla kız ve erkek öğrenciler için DMF gösteren maddeler 63 Şekil 9. Özel okul lehine DMF gösteren günlük yaşam problemi olarak tasarlanmış maddeler 67 Şekil 10. Özel okul lehine DMF gösteren maddeler 68 xiv

17 SİMGELER VE KISALTMALAR LİSTESİ ACT AERA AEKK APA DFA DMF DMGF ETS KTK LR MEB MH MTK NCME The American College Testing American Educational Research Association Ağırlıklandırılmış En Küçük Kareler American Psychological Association Doğrulayıcı Faktör Analizi Değişen Madde Fonksiyonu Değişen Madde Grubu Fonksiyonu Eğitimde Test Servisi Klasik Test Kuramı Lojistik Regresyon Milli Eğitim Bakanlığı Mantel Haenszel Madde Tepki Kuramı National Council on Measurement in Education OECD Organization for Economic Cooperation and Development OKS ÖSS PISA RAND Ortaöğretim Kurumları Sınavı Öğrenci Seçme Sınavı Programme for International Student Assessment Research and Development xv

18 SAT SBS SweSAT TEOG TB DMF TBO DMF YEĞİTEK Scholastic Aptitude Test Seviye Belirleme Sınavı The Swedish Scholastic Aptitude Test Temel Eğitimden Ortaöğretime Geçiş Tek Biçimli Değişen Madde Fonksiyonu Tek Biçimli Olmayan Değişen Madde Fonksiyonu Yenilik ve Eğitim Teknolojileri xvi

19 BÖLÜM I GİRİŞ Bu bölümde araştırmanın problem durumuna, kuramsal çerçevesine, problem cümlesine, alt problemlerine, amacına, önemine, sayıltılarına, sınırlılıklarına ilişkin bilgiler verilmiştir. Son olarak ilgili araştırmalara değinilmiştir. 1.1 Problem Durumu Eğitim ve öğretim uygulamaları çerçevesinde başta öğrenciler olmak üzere, öğretmenler, yöneticiler, veliler ve öğretim programları ile ilgili pek çok kararlar alınmaktadır. Alınan kararların yerindeliği ve isabetliliği, bu kararların alınmasına dayanak oluşturan bilgilerin yeterliliği ve sağlamlılığı ile yakından ilgilidir (Baykul, 2010). Ölçme ve değerlendirme çalışmaları, geçerli ve güvenilir bilgilerin üretilmesini ve bu bilgilerden hareketle doğru ve isabetli kararların alınmasını sağlaması bakımından çok önemli bir role sahiptir (Atılgan, 2014). Eğitimsel ölçmelerde ölçmeye konu olan özellikler; öğrencilere kazandırılması planlanan bilişsel, duyuşsal ve psikomotor davranışlardır (Tan, 2014). Eğitimsel ölçmelerde ölçülen değişkenin yapısından kaynaklanan durumlar, ölçme işini zorlaştırdığından ölçmelerde, kolaylık sağladığı ve ölçmelerin duyarlığını artırdığı için genellikle ölçme araçları kullanılmaktadır (Atılgan, 2014). Ölçülen nitelik hakkında doğru ölçme sonuçları vermeyen, amaca hizmet etmeyen ölçme araçlarından elde edilen sonuçlara bakılarak alınan kararların yerinde ve isabetli olma olasılığı oldukça düşüktür (Baykul, 2010). Özel olarak öğrencilerin belirli bir ders veya konu alanı için belirlenen bilgi ve becerilere sahip olma derecelerini belirlemek amacıyla kullanılan ölçme araçlarına test denilmektedir (Airasian, 1997). Bazı testler, bireylere kazandırıldığı düşünülen bilgi ve becerilerin ne kadar kazanıldığını belirlemek; bazıları, bireylerin şimdiki durumlarından gelecekteki durumlarını yordamak; 1

20 bazıları ise bireylerin psikolojik yapıları hakkında bilgi toplamak amacıyla geliştirilir (Erkuş, 2003). Psikolojik testler arasında en yaygın olarak kullanılan testlerden biri olan başarı testleri ise, kişinin eğitim süreci içinde veya belirli çevre koşulları altında ne kadar öğrendiğini ölçmek amacıyla düzenlenir (Tan, 2014). Başarı testlerinin tarihi M.Ö lü yıllara dayanmakta olup ilk olarak Çinliler tarafından uygulandığı bilinmektedir (Erkuş, 2003). Yeni yüzyıla girilmesiyle öğretim sonuçlarını ölçen ilk standart testler de kullanılmaya başlanmıştır. Thorndike ın öncülüğünde el yazısı ve okuma heceleme, aritmetik hesaplama ve aritmetik ilişkiler ile ilgili ilk örnekler, 1923 yılında Standford başarı testinde yerini almıştır (Anastasi, 1982). Binet Simon zeka testinin 20 inci yüzyılın başlarında Türkçe ye çevrilmesiyle Türkiye de sistemli bir şekilde ölçme ve değerlendirme çalışmalarının başladığı görülmektedir. Genel olarak standart testler; uygulama koşulları, puanlama esasları ve elde edilen puanların yorumlanmasında izlenecek yöntemleri ayrıntılı bir biçimde açıklayan test el kitabına sahip olup, belirli amaçlarla, uzman kişiler tarafından, uygulamalı çalışmaların ürünü olarak geliştirilen ölçme araçlarıdır (Koç, 1984). Standart başarı testleri ise, değerlendirmenin temel ilkeleri ve uygun test programları çerçevesinde; yerinde, zamanında ve uzman kişiler tarafından kullanıldıkları takdirde, eğitim uygulamalarında verilen birçok kararın geçerliğini ve güvenirliğini artırmak üzere, destekli bilgiler sağlayan önemli araçlar olarak tanımlanmaktadır (Grounlond dan aktaran Koç, 1984). Amerika Eğitim Araştırma Birliği (AERA), Amerikan Psikoloji Derneği (APA) ve Eğitimdeki Ölçmeler Ulusal konseyi (NCME) (2011) tarafından yapılan eğitimde ve psikolojide ölçme standartlarının 1999 yılı versiyonunda, eğitimsel amaçlarla geliştirilen testlerin kullanım alanları; bir öğrencinin genel başarısını ve bir içerik alanındaki büyümesini değerlendirmek, öğrencilerin konu alanındaki güçlü ve zayıf yönlerini belirlemek, eğitimsel müdahaleleri planlamak ve bireyselleştirilmiş eğitimsel planları tasarlamak, öğrencileri uygun eğitim programlarına yerleştirmek, sınırlı sayıda katılımcı seçecek programlara öğrencilerin seçilmesi, bireysel başarı ve nitelikleri belgelendirme olarak belirtilmiştir. Ölçme araçlarının doğru ve amaca hizmet edebilecek ölçme sonuçları verebilmesi için bu araçların sahip olması gereken bir takım yapısal özellikler bulunmaktadır. Bu özelliklerin en önemlilerinden biri geçerliktir (Baykul, 2010). Cronbach (1990), bir ölçme aracının ölçmek istediği şeyi ölçüp ölçmediği hakkında karar verebilmek için birçok kanıta ihtiyaç duyulduğunu belirterek geçerliği; testi kullanan kişinin, test puanlarından çıkarılabilecek yordamaları desteklemek için topladığı kanıtlar olarak tanımlar. Eğitimde ve psikolojide 2

21 ölçme standartlarının 1999 versiyonuna ilişkin çalışmada ise geçerlik, testlerin önerilen kullanımlarını gerektiren test puanlarının yorumlarını destekleyen teori ve kanıtların derecesi bağlamında ele alınmıştır (American Educational Research Association [AERA], American Psychological Association [APA] ve National Council on Measurement in Education [NCME], 2011). Buna göre geçerlik, testlerin önerilen kullanımları tarafından elde edilen puanların yorumlanabilirliğini destekleyen teori ve kanıtların derecesi olarak da tanımlanmaktadır (Baykul, 2010; Crocker ve Algina, 1986; Fraenkel ve Wallen, 2006). Bu anlamda geçerlik tek bir tanımdan ziyade, testin kullanış amacına hizmet ettiğini gösteren kanıtların toplanması olarak düşünülebilir. Bu kanıtların toplanması, testin neyi ölçtüğüne ilişkin anlayış geliştirmek ve bireyler ya da nesnelere ilişkin alınacak kararların doğruluğuna destek sağlayacak bilgi elde etmek adına önemli görülmektedir (Atılgan, 2014). Gerek eğitimsel ölçmelerde gerekse psikolojik ölçmelerde test geliştirenlerin, testin el kitaplarını, normlarını ve gerektiğinde uygun yorumlarını sağlama kadar, ölçme amacına ilişkin geçerlik bilgilerini de sağlama sorumluluğu bulunmaktadır. Bu durum eğitimde ve psikolojide ölçme standartlarında şu şekilde belirtilmiştir: Test geliştirenlerin, test puanlarının nasıl yorumlanması ve kullanılması gerektiğine ilişkin amaçları açıkça ortaya koyması gerekmektedir. Ayrıca test için uygun olan örneklemin sınırlandırılmasının ve testin ölçmeyi amaçladığı yapının tanımlanmasının da test geliştirenlerin sorumluluğunda olduğu standart 1.2 de ifade edilmiştir (AERA, APA ve NCME, 2011). Ölçme yaparken ölçülen özelliğin miktarı hakkında doğru bilgi edinebilmek ve bu ölçme sonuçlarına dayanarak doğru kararlar verebilmek için, mümkün olduğunca hatasız ölçme elde etmek istenir. Ancak eğitim ve psikoloji gibi sosyal bilimlerde ölçme sonuçlarına hatanın karışması kaçınılmazdır (Yurdugül, 2003). Ölçmede gözlenen bir özelliğin gerçek değeri bulunmak istenir ancak ölçmeye karışan çeşitli hatalar nedeniyle gerçek değer doğrudan elde edilemez. Gerçek değer, gözlenen değer yardımıyla kestirilmeye çalışılır. Ölçülen özelliğin gerçek değeri, Klasik Test Kuramı (KTK) na göre ölçülen özelliğe ilişkin sonsuz sayıda ölçmelerden elde edilen puanların ortalaması yani gerçek puan şeklinde tanımlamaktadır (Crocker ve Algina, 1986). Gözlenen bir özelliğin gerçek değerine ölçmeye karışan hatalar nedeniyle ulaşılamadığından özelliğin gerçek puanı, gözlenen puanlara dayalı olarak tahmin edilmeye çalışılır. KTK ya göre evrenden yansız olarak seçilen bir birey için gözlenen puan, gerçek puan ve hata puanının toplamından oluşmaktadır (Crocker ve Algina, 1986). Burada belirtilen hata tesadüfi hata olup, bir bireyin ölçülmek istenilen özelliğine ilişkin gözlenen değeri ile gerçek değeri arasındaki fark olarak da tanımlanabilir. 3

22 Sistematik hatalar ise ölçülen yapı ya da yeterlikle ilişkili olmayan gruplar arasındaki tutarlı farklılıklar olarak tanımlanmaktadır (Osterlind ve Everson, 2009). Ölçme sonuçlarına karışan hatalar; ölçmeyi yapan kişi, ölçme aracı ve ölçmenin yapıldığı ortam gibi birçok kaynaktan gelebilmektedir. Ölçülen büyüklüğe, ölçmeyi yapan kişiye veya ölçme koşullarına ve belli durumlara göre miktarı değişen hatalar sistematik hatalar olup, ölçme sonuçlarına karışan bu hatanın yönü ve kaynağı belli olduğundan ölçme sonuçlarına karışmasının engellenmesi ya da düzeltilmesi gerekmektedir (Turgut, 1995). Eğitimsel ölçmelerde ölçme sonuçlarına dayanarak bir karara varılması amaçlanır. Kararların isabetlilik derecesi yapılan ölçmenin doğruluğuna bağlı olduğundan ölçümlere karışan bu hataların tanımlanması ve hata kaynaklarının belirlenerek giderilmesi gerekmektedir. Eğitim alanında yapılan ölçme ve değerlendirme çalışmalarında ölçmelere karışan sistematik hatalara genel olarak yanlılık (bias) denilmektedir (Yurdugül, 2003). Ayrıca eğitimde ve psikolojide ölçme standartlarında, testlerdeki yanlılık terimi, yapıyla ilişkisiz faktörlerin tanımlanan katılımcı grubu açısından sistematik olarak daha yüksek ya da daha düşük puanlarla sonuçlanmasını ifade eder (AERA, APA ve NCME, 2011). Yanlılık farklı alt gruplardaki bireylerin test puanlarının bulundukları gruba bağlı olarak sistematik hata içermesi olarak da tanımlanmaktadır (Camilli ve Shepard, 1994; Osterlind, 1983; Zumbo, 1999). Yanlılıkta önemli olan nokta söz konusu hata kaynaklarının alt gruplardan birine (erkekler ya da kadınlar) haksız bir yarar sağlaması durumudur (Crocker ve Algina, 1986; Holland ve Wainer, 1993). Yanlılık, iç ve dış olmak üzere iki başlık altında incelenmektedir. Osterlind (1983) e göre dış yanlılık, iki ya da daha fazla grubun test puanlarının, test dışındaki değişkenler ile farklı düzeyde korelâsyonlara sahip olması durumunda gerçekleşmektedir. Dış yanlılık, test yanlılığı başlığı altında test maddelerinden ziyade bir testin yordama geçerliğine odaklanmaktadır. Tersine iç yanlılık ise, test puanlarıyla madde puanları arasındaki ilişki anlamına gelen yapı geçerliğini ilgi odağı yaparak test maddelerinin psikometrik özelliklerine öncelik vermektedir (Osterlind, 1983). İç yanlılık madde yanlılığı olarak da tanımlanmaktadır (Atılgan, 2014). Clauser ve Mazor (1998) e göre geçerliğe yönelik en önemli tehditlerden birisi madde ve test yanlılığıdır. Test yanlılığı, belli bir grubun üyeleri için test ölçümlerinin geçersiz ya da sistematik hata içermesi olarak tarif edilmektedir (Zumbo, 1999). Diğer bir deyişle, ilgilenilen bir özelliği kestirmede kullanılan testin, gruba bağlı olarak sistematik bir biçimde ortalamanın altında veya üstünde kestirimde bulunması olarak tarif edilebilir. Test yanlılığı, istenmeyen ikincil değişkenlerden dolayı test puanlarını etkilemekte ve ölçülmek istenen özelliğin tam ve doğru olarak 4

23 ölçülmesini engellemektedir (Kan, 2007). Eğer bir test, belli bir yetenek düzeyine sahip bir grup için aynı yetenek düzeyindeki başka bir gruba göre daha avantajlı ve bu avantaj test ile ölçülmek istenmeyen kaynakların etkisiyle gerçekleşiyorsa test yanlıdır. Bu gruplar genellikle etnik farklılık, cinsiyet, anadil farklılığı, sosyoekonomik düzey veya bir engele sahip olma özellikleri ile birbirinden ayrılmaktadır. Test puanlarının geçerliğinin düşmesinin veya test yanlılığının yükselmesinin nedeni, uygulamaların çoğunda bir test maddesine bir grubun diğerinden daha fazla doğru yanıt vermesi anlamında, grubun biri lehine adaletsizce işleyen yanlı maddeler olarak tanımlanmaktadır (Holland ve Wainer, 1993). Testteki yanlı maddelerin sayısı fazla olabileceği gibi birkaç madde de olabilmektedir. Eğer bu maddeler belirlenebilirse, testten çıkarılarak test yansız hale getirilebilmektedir. Bu nedenle yanlılık çalışmalarının büyük çoğunluğu test maddelerinin yanlılığı üzerine odaklanmıştır (Atılgan, 2014). Madde yanlılığı ise, aynı yetenek düzeyinde bulunan iki grup için, test maddelerinin özellikleri ya da testin amacına uygun olmayan test koşullarından dolayı maddeyi doğru yanıtlama olasılığının farklılaşmasıdır (Zumbo, 1999). Madde yanlılık analizleri ilk olarak her bir test maddesinin aynı evrenden elde edilen farklı alt gruplara benzer şekilde davranıp davranmadığına odaklanmaktadır. Madde yanlılığı tartışmalarının merkezinde iki konu vardır; ilki katılımcıların madde üzerindeki performansının ilgilenilen yapıdaki gerçek farklılıktan ziyade istenmeyen diğer değişim kaynaklarından etkilenip etkilenmediğidir. İkincisi ise performansı etkileyen istenmeyen değişim kaynaklarının katılımcıların bazı alt gruplarında sistematik farklılıklara yol açıp açmadığıdır (Osterlind ve Everson, 2009). Bu nedenle yanlılık çalışmaları bu konuları odağına alarak iki amaç doğrultusunda yapılmaktadır. Birincisi, çeşitli alt grupların testin farklı varyans kaynaklarından sistematik olarak etkilenip etkilenmediklerinin belirlenmesidir. İkincisi, eğer test puanları bütün alt gruplar için varyansın aynı kaynaklarından etkileniyorsa, bu ilişkisiz kaynakların alt gruplardan bazılarına adil olmayan bir avantaj sağlayıp sağlamadığının araştırılmasıdır. Yanlı bir madde, aynı yetenek düzeyinde fakat cinsiyet, sosyoekonomik düzey gibi değişkenler açısından birbirinden farklı alt gruplarda yer alan bireylerin, bir maddeyi doğru yanıtlama olasılıklarının farklılaşması durumunu ortaya çıkarmaktadır (Camilli ve Shepard, 1994; Holland ve Wainer, 1993; Zumbo, 1999). Madde yanlılığının belirlenmesinin ilk aşamasında değişen madde fonksiyonu (DMF) analizi yapılır. DMF analizi madde yanlılığı için bir tür kanıt toplama sürecidir ve madde yanlılığı için gerekli ancak yeterli olmayan bir şarttır. Farklılığın var olması, yanlılığın olduğu anlamına gelmez; çünkü var olan farklılık 5

24 gerçek yetenek farkı olabilir ki bu durum madde etkisi olarak tanımlanır. Başka bir deyişle DMF nin ortaya çıkmasının iki nedeni bulunmaktadır; madde yanlılığı ve alt gruplar arasındaki gerçek farklılık yani madde etkisidir (Camilli ve Shepard, 1994). Madde etkisinin bulunduğu durumlarda, maddenin ölçtüğü özelliğe göre alt gruplar arasında gerçekten farklılık bulunmaktadır ve buna bağlı olarak, alt gruplardaki adayların maddeyi doğru cevaplandırma olasılıkları değişiklik göstermektedir (Camilli ve Shepard, 1994; Zumbo, 1999). Madde yanlılığının belirlenmesinde, DMF analizlerinin yapılması Eğitimde Test Servisi (ETS) nce 1986 da geliştirilen psikometrik yanlılık analizlerinin bir standardını oluşturmaktadır (Haladayna, 2004). Türkiye de merkezi olarak ulusal düzeyde yapılan sınavlardan biri, Seviye Belirleme Sınavı (SBS) dır. Sonuçların bireylerin gelecekteki durumlarını etkileyebilecek olan seçme ve yerleştirme gibi özel amaçları olan SBS gibi geniş ölçekli sınavların geçerliğini sağlamak çok önemlidir. Test maddelerinin, testi alan grupların ölçülen özellikle ilgisi olmayan niteliklerinden dolayı, alt gruplardan herhangi birine avantaj sağlamaması test puanlarının ve onun sonucunda alınan kararların isabetliliği açısından son derece önemlidir. Bu sebeple bu tür testlerin maddelerinin bireylerin çeşitli özelliklerine göre DMF gösterip göstermediğinin incelenmesi ve yanlılık taşıyan maddelerin testten çıkarılması gerekmektedir (Kan, 2007). Madde yanlılığı araştırılması süreci hem istatiksel analizlerin yapılmasını (DMF analizleri) hem de DMF gösterdiği belirlenen maddelerin olası DMF kaynaklarının tespit edilerek ölçülen yetenekteki gerçek farklılıktan mı yoksa istenmeyen varyans kaynaklarından mı geldiğinin belirlenmesi aşamalarını içermektedir. DMF gösteren bir maddenin yanlı olup olmadığına yapı ve kapsam geçerliği bağlamında incelenmesinin ardından karar verilmektedir (Holland ve Wainer, 1993). DMF analizlerinde KTK ya dayalı olan Mantel Haenszel (Holland ve Thayer, 1988) ve Lojistik Regresyon (Swaminathan ve Rogers, 1990) teknikleri iki kategorili maddelerde DMF nin belirlenmesinde öne çıkan oldukça güçlü yaklaşımlardır (Holland ve Thayer, 1993). DMF belirlemede Mantel-Haenszel (MH) ve Lojistik Regresyon (LR) yöntemlerini kullanan birçok çalışma yapılmıştır (Allalouf, Hambleton ve Sireci, 1996; Bekçi, 2007; Kalaycıoğlu ve Kelecioğlu, 2011). Bu çalışmada 2012 yılı 8.sınıf SBS matematik alt test maddelerinin cinsiyet ve okul türü değişkenleri temelinde MH ve LR yöntemleri kullanılarak DMF gösterip göstermediği incelenmiştir. Öğretmen (2006) ya göre yetenek ölçümlerine dayalı ve bireyleri bir sonraki öğrenim göreceği okullara yerleştirme amacı ile yapılan 6

25 testlerin cinsiyet gruplarına göre analizlerinin yapılmasının önemli bir ihtiyaçtır. Ayrıca Abedalaziz (2010) cinsiyet değişkeninin, matematik başarı testlerinde yapılacak olan yanlılık analizlerinde önemli olduğunu belirtmiştir. Alanyazında cinsiyet değişkeninin kullanıldığı birçok madde yanlılığı çalışmasında kız ve erkek öğrencilerin madde performanslarının sistematik olarak farklılaştığı belirlenmiştir (Abedalaziz, 2010; Berberoğlu, 1995; Çepni, 2011;Kalaycıoğlu, 2008; Karakaya ve Kutlu,2009). Berberoğlu ve Kalender (2005) çalışmalarında, okul türleri arasında öğrenme çıktıları açısından büyük farklar bulunduğunu özellikle bu farkların tüm OECD ülkeleri içinde en çok Türkiye de gözlendiğini ifade etmiştir. Kelecioğlu, Karabay ve Karabay (2014), yaptıkları çalışmada SBS de DMF gösteren maddelerin %69 unun özel okullarda öğrenim gören öğrenciler lehine DMF gösterdiğini belirlemişlerdir. Gerek okul türü gerekse cinsiyet değişkenine yönelik yapılan bazı çalışmalarda gruplar arasındaki farklılıkların test dışı bir kaynağın etkisiyle oluştuğu belirlenmişken bazı çalışmalarda ise farklılıkların testin ölçmek istediği kapsamdan kaynaklandığı belirtilmiştir (Bekçi, 2007; Kalaycıoğlu, 2008; Yurdugül, 2003). Öte yandan bu tür testlerdeki öğrenci performanslarının okul türüne ve cinsiyete göre farklılık gösterdiğine ilişkin sonuçların, gerçek performans farklılıklarından kaynaklanıp kaynaklanmadığı da cevaplanması gereken bir soru olarak gündemde bulunmaktadır. Bu nedenle cinsiyete ve okul türüne göre DMF gösteren maddelerin yanlılık analizlerinin yapılmasının testlerin geçerliği açısından önemli olacağı düşünülmektedir. Yanlılığın belirlenmesinde DMF analizlerinin yanı sıra, test içeriğinin farklı açılardan eleştirilmesi, belli bir gruba veya eğitimsel, mesleki ve ırksal rollerin betimlemesi olup olmadığının incelenmesi de gerekmektedir. İkinci aşamada, DMF gösterdiği belirlenen maddelerdeki grup farklılığının gerçekten yetenekten mi yoksa ölçme işleminden mi kaynaklandığını tespit etmek amaçlanmıştır. DMF gösteren maddelerin yanlılık gösterip göstermediğinin belirlenmesi amacıyla, farklılığın kaynağı araştırılır. Bir maddedeki DMF nin gerçek kaynağının ölçülen yapının bir parçası olup olmadığı ile ilgili karar tamamen subjektiftir (Karami, 2012). DMF gösteren maddelerin yanlı olup olmadığını belirlemek amacıyla sıklıkla kullanılan bir yöntem bu tür maddeler için anket yoluyla alan uzmanlarından görüş almaktır (Ateşok Deveci, 2008; Çepni, 2011; Kalaycıoğlu, 2008; Karakaya ve Kutlu, 2012). Anket yoluyla uzmanlardan alınan görüşler analiz edilerek maddelerin yanlılığı hakkında yorumlar yapılabilmektedir. Uzmanlardan tek bir zamanda uygulanan araçla elde edilen görüşler, pratik olmakla birlikte özellikle maddelerin yanlılığı konusunda bir kez daha düşünme fırsatı verilmemesi bir sınırlılık olarak görülebilir. Bu 7

26 çalışmada ise DMF gösteren maddelerin DMF kaynakları Delphi tekniği kullanılarak belirlenmiştir. Delphi tekniği, uzmanlar arasında iş birliği arayarak uzmanların fikirlerini belirlemek, bilgi edinmek (gerçeği ortaya çıkarmak),ayrıştırmak (biçimlendirmek) için kullanılan bir araştırma tekniğidir. Çalışmaya katılan uzman panelistlerin fikirlerine dayalı kararlar alarak tahminler yapılmaktadır. Bu araştırma tekniği bir bireyin sınırlı görüşünden ziyade uzman panelistlerin görüş birliğine dayanır (John, 2011). Bu çalışmada Delphi tekniğinin kullanılması belli bir sıralamada uzman görüşlerinin alınmış olması, sorunun kaynağına ilişkin başlangıçta olabilecek görüş farklılıklarının ortadan kalkmasına ya da uzmanların görüşlerinde bir yakınlaşmaya, uzlaşmaya yol açması açısından önemli görülmektedir. DMF kaynaklarının Delphi tekniğiyle belirlenmesinin ardından belirlenen kaynakların madde yanlılığına yol açıp açmadığı Odak grup görüşmesi ile incelenmiştir. Odak grup görüşmesinin kullanıldığı aşamada DMF gösteren maddeler yapı ve kapsam açısından incelenerek Delphi ile belirlenen kaynakların yanlılık nedeni olup olmadığı tespit edilmiştir. Bu nedenle bireysel görüşlere göre daha derin ve zengin bilgilere ulaşılmasını sağlayan odak grup görüşmesi tekniği tercih edilmiştir. 1.2 Kuramsal Çerçeve Değişen Madde Fonksiyonu DMF, test ve madde seviyesinde bir evrendeki alt grupların performansındaki sistematik farklılıkları ortaya çıkaran istatiksel tekniklerin büyüyen ve gelişen bir koleksiyonu olarak tanımlanır (Osterlind, 1983). DMF nin belirlenmesinde tek bir yöntem ya da teknik olmayıp, DMF uygulamaya ve istatiksel tekniklere dayalı kümeyi tarif eden psikometrik bir adlandırma olarak ifade edilir (Osterlind, 1983; Osterlind ve Everson, 2009). DMF algılanan farklılıkların ne yönünü ne de nedenselliğini göstermektedir (Holland ve Wainer, 1993). DMF, ilgilenilen yapı ya da psikolojik özellikler açısından farklı demografik alt gruplardaki bireyler eşleştirildikten sonra, bu bireyler için bir maddedeki başarı olasılıklarının farklılaşması olarak tanımlanır (Camilli ve Shepard, 1994). DMF analizlerinde öncelikle ölçülmek istenilen özellik açısından bireyler gruplara ayrılır. Daha sonra bu gruplar ölçülen yetenek düzeyinde eşleştirilir, yani aynı yetenek düzeyine getirilir. Bu eşleştirmenin yapıldığı gruplar odak (focal) ve referans olarak tanımlanmaktadır. Odak grup; risk altında olan dezavantajlı azınlık grup olarak tanımlanırken, referans grup avantajlı olan grup olarak 8

27 tanımlanır (Holland ve Wainer, 1993; Osterlind, 1983). Penfield ve Camilli (2007) tarafından aynı yetenek düzeyinde farklı alt gruplardan gelen bireylerin madde performanslarının değişmemesi, yani DMF nin yokluğu matematiksel olarak aşağıdaki gibi belirtmiştir: f (Y,G R) f (Y,G F) :Örtük değişken ya da ilgilenilen yapı (yetenek düzeyi), Y : nın gözlenen göstergeleri (madde yanıtı), G :Grup değişkeni, R :Referans grup (avantajlı grup), F :Odak grup (dezavantajlı grup) Yukarıda belirtilen matematiksel gösterim DMF nin yokluğunu, yani şartlı Y olasılık dağılımının grup üyeliğinden bağımsız olma durumunu gösterir (Osterlind ve Everson, 2009). DMF nin varlığı ise, P(Y,G g) p(y) olarak belirtilmiştir (Osterlind ve Everson, 2009). Aynı yetenek düzeyinde bulunan fakat farklı alt gruplarda yer alan katılımcıların Y deki olasılık dağılımlarının farklılaşması sonucu ortaya çıkar. Bu durum yetenek düzeyinde, madde performansı ile grup üyelikleri arasındaki ilişkinin varlığı olarak tanımlanır (Holland ve Wainer, 1993). İkili puanlanan bir madde için bu şartlı ilişki, aynı yetenek düzeyindeki referans ve odak grup üyeleri için bir maddeyi doğru yanıtlama olasılıklarının farklılaşmasıdır. Aynı yetenek düzeyine sahip fakat farklı alt gruplarda yer alan bireylerin ilgili maddeyi doğru yanıtlama olasılıklarındaki farklılık olarak ortaya çıkan DMF; Tek Biçimli Değişen Madde Fonksiyonu (TB DMF) ve Tek Biçimli Olmayan Değişen Madde Fonksiyonu (TBO DMF) olmak üzere iki şekilde ortaya çıkar (Osterlind ve Everson, 2009). Gruplar arasında ilgilenilen maddeyi doğru yanıtlama olasılığındaki farklılığın, bütün yetenek düzeylerinde tutarlılık göstermesi TB DMF iken, maddeyi doğru yanıtlama olasılıkları arasındaki farklılığın bütün yetenek düzeylerinde tutarlı ya da sabit olmaması TBO DMF olarak tanımlanır (Camilli ve Shepard, 1994; Zumbo, 1999). Başka bir deyişle, TB DMF tüm yetenek düzeyleri boyunca bir grubun daha avantajlı olması anlamına gelirken, TBO DMF 9

28 de avantaj tüm yetenek düzeylerinde tek bir grubun lehine değildir ve bir gruptan diğerine geçiş yapmaktadır. Şekil 1. Tek biçimli DMF (TB DMF) ve tek biçimli olmayan DMF (TBO DMF) Şekil 1 de referans ve odak grupları için ilgilenilen maddeyi doğru yanıtlama olasılıklarının gösterildiği Madde Karakteristik Eğri (MKE) leri verilmiştir. Matematiksel fonksiyonların doğası gereği verilen bir değişkenin ( yetenek düzeyi) bir fonksiyonda yalnız bir görüntüsü olabilir. Fakat Şekil 1 incelendiğinde her iki durum için de değerleri için fonksiyonun iki farklı eğrisi yani görüntüsü oluşmuştur. Farklı bir deyişle, aynı yetenek düzeyinde olmalarına rağmen farklı alt gruplardan gelen bireylerin maddeyi doğru yanıtlama olasılıklarının P( ) farklılaştığı görülmektedir. İlk durumda TB DMF örneği verilmiş olup, verilen grafik incelendiğinde, tüm düzeyleri boyunca referans gruptaki bireylerin maddeyi doğru yanıtlama olasılıkları, odak gruptaki bireylere göre daha yüksek çıkmaktadır. İkinci durumda ise TBO DMF örneği verilmiş olup, değişkeni üzerinde farklı noktalarda eğrilerin yönü ve büyüklüğünün değiştiği görülmektedir. TB DMF de referans ve odak gruplara ait her iki MKE si de aynı a parametrelerine (ayırıcılık parametresi) sahiptir (Osterlind, 1983; Camilli ve Shepard,1994). TB DMF de gruplara ait MKE eğrileri kesişmez iken, TBO DMF de MKE leri kesişmekte ve yetenek düzeyi ve grup üyelikleri arasında bir etkileşim olduğu ortaya çıkmaktadır (Holland ve Wainer, 1993; Osterlind ve Everson, 2009). İki MKE arasındaki alan DMF nin büyüklük ölçüsünü, derecesini gösterir (Osterlind ve Everson, 2009). 10

29 1.2.2 Değişen Madde Fonksiyonu Belirlemede Kullanılan Teknikler Alanyazında DMF belirleme tekniklerinin sınıflandırmasına ilişkin farklı görüşler bulunmaktadır (Camilli ve Shepard, 1994; Osterlind ve Everson, 2009). DMF teknikleri, verilere (parametrik olup olmaması), eşleme değişkenine (gözlenen ya da örtük), madde puanlarına (iki kategorili ya da çok kategorili ) DMF yi test etmesi ve etki büyüklüğü ölçümü vermesi ve TB/TBO DMF yi tespit edebilme özelliklerine bağlı olarak sınıflandırılabilmektedir (Holland ve Wainer, 1993; Wiberg, 2007). DMF belirleme yöntemlerinin belirtilen özelliklere sahip olup olmama durumlarına ilişkin Wiberg (2007) tarafından önerilen sınıflandırılma Tablo 1 de verilmiştir. Yöntemler Tablo 1. DMF Belirleme Yöntemlerinin Farklı Sınıflandırmaları Sınıflandırma Kriterleri Parametrik/ Parametrik değil Eşleme değişkeni (KTK/MTK) Madde Puanı Test/ Ölçme TB/TBO DMF Mantel Haenszel Para. Değil KTK İ/Ç T/M TB Standartlaştırma Para. Değil KTK İ M TB Kikare yöntemleri Para. Değil KTK İ T TB SIBTEST Para. Değil MTK İ/Ç T/M TB/TBO Lojistik Regresyon Parametrik KTK İ/Ç T/M TB/TBO Olabilirlik Oran Testi Parametrik KTK/ MTK İ/Ç T/M TB/TBO Olasılık farkları indeksi Parametrik MTK İ M TB/TBO b parametre indeksi Parametrik MTK İ M TB/TBO Genel MTK-LR Parametrik MTK İ/Ç T/M TB/TBO MTK-LR Parametrik MTK İ/Ç T TB/TBO MTK modelleri Parametrik MTK İ/Ç T/M TB/TBO Lord un kikare testi Parametrik MTK İ T TB/TBO Log doğrusal modeller Parametrik KTK İ/Ç T TB/TBO Karışık Etki modelleri Parametrik MTK İ/Ç T TB/TBO Not: Eşleme değişkeni örtük: MTK, gözlenen: KTK, Madde puanı İ: İki kategorili ve Ç: Çok kategorili DMF yi test etmesi:t, DMF büyüklüğü ölçümü vermesi: M DMF belirleme yöntemlerinde bireylerin yeteneklerine göre eşlendiği iki farklı grup (odak ve referans) oluşturulur. Eşlenmiş gruplar için maddeleri doğru cevaplandırma olasılıkları temelinde DMF istatistikleri hesaplanarak istatiksel anlamlılık testleri yapılır. Bazı yöntemler bu istatiksel anlamlılık testlerinin yanı sıra etki büyüklüğü ölçümleri de vermektedir. Eğitimsel ölçmelerde kullanılan başarı testlerinin birçoğu iki kategorili olarak puanlanan çoktan seçmeli test formunda oluşturulur. Potenza ve Dorans (1995) tarafından iki kategorili puanlamanın yapıldığı test maddeleri için DMF belirleme teknikleri, bireylerin eşleştirilmesinde kullanılan puan (gözlenen ya da örtük değişken) ve tekniğin parametrik olup olmamasına bağlı olarak Tablo 2 deki gibi sınıflandırılmıştır. 11

30 Tablo 2. İki Kategorili Puanlanan Maddelerde DMF Belirleme Teknikleri Gözlenen Puan (KTK) Eşleme Değişkeni Örtük Değişken (MTK) Parametrik Parametrik Olmayan Log-Doğrusal Modeller Lojistik Regresyon Ki-Kare Yöntemi Standartlaştırma Mantel-Haenszel MTK-Olabilirlik Oranı Sınırlandırılmış-Bilgi MTK-LR Lord un Kikare Testi Raju Alan Testi b parametresi indeksi SIBTEST KTK ya dayalı DMF belirleme yöntemlerinden MH ve LR yöntemleri iki kategorili maddelerde özellikle TB DMF yi belirlemede güçlü yaklaşımlardır (Erdem Keklik, 2012). Ayrıca DMF içeren maddelerin belirlenmesinde istatiksel testlerin yanı sıra, DMF büyüklüğünün bir ölçüsünü vermeleri açısından bu yöntemler önemli görülmektedir. Bu araştırmada 2012 yılı 8.sınıf SBS matematik alt testi maddelerinin DMF analizleri MH ve LR yöntemleri kullanılarak yapılmıştır. Veri analizinde DMF analizleri alt başlığı altında ayrıntılı olarak bu yöntemler hakkında bilgilere yer verilmiştir Mantel Haenszel Tekniği 1950 li yıllarda sağlık alanında çalışan iki araştırmacı olan biyoistatistik uzmanı Nathan Mantel ve epidemiyolojist William Haenszel, kikare testinin doğasında var olan zorlukların farkına vararak, sınıflara ayrılmış örneklemlere uygun olan kikare yöntemini geliştirmişlerdir (Osterlind ve Everson, 2009 ). Holland (1985) ve Holland ve Thayer (1988) düzeltilmiş kikare istatistiğini geliştirerek pratik bir DMF belirleme yöntemi önermişler ve bu yöntemi Mantel-Haenszel olarak adlandırmışlardır. MH yönteminde bireyler yeterliklerine göre (toplam test puanı gibi), referans ve odak (yerel) gruplar olmak üzere iki gruba ayrılır. Bu yöntemde eşleştirme kriteri olarak toplam test puanı alınır. Odak grup; öncelikli ilgilenilen grup iken, referans grup ise karşılaştırmada temel alınan grup olarak tanımlanır (Holland ve Wainer, 1993; Osterlind ve Everson, 2009). Belirlenen olabilirlik oranı üzerinden odak ve referans gruptaki performans farklılığı ve derecesi ölçülmektedir. Mantel-Haenszel yöntemi ile DMF istatistiklerinin hesaplanmasında farklı bilgisayar programları ve yazılımlar (SAS, Stata, Systat ve EZDIF) kullanılmaktadır (Ayala, 2009). 12

31 Lojistik Regresyon Tekniği Swaminathan ve Rogers (1990) tarafından DMF belirlemek amacıyla önerilen LR yöntemi, grup üyeliğine bağlı olarak bir maddenin doğru yanıtlanma olasılığının istatistiksel modellenmesine dayanır (Osterlind ve Everson, 2009). Bu modelde bağımsız değişken grup üyeliği (referans ve odak grup) ve toplam test puanı, bağımlı değişken ise madde puanı (1,0) olarak alınır. LR analizleri Zumbo (1999) tarafından verilen SPSS Betik (script) ile yapılabilir. Sürekli kriter değişkenini kategorize etmeye ihtiyaç duymaması ve hem TB hem de TBO DMF yi modelleyebilmesi LR yönteminin üstün yönleri olarak belirtilir(zumbo, 1999) DMF Kaynakları DMF, testle ölçülen özellik bakımından aynı yetenek düzeyinde olan ancak cinsiyet, sosyoekonomik düzey ve okul türü gibi değişkenler açısından birbirinden farklı alt gruplarda yer alan bireylerin, bir maddeyi doğru cevaplandırma olasılıklarının farklılaşması olarak tanımlanır (Camilli ve Shepard, 1994; Osterlind ve Everson,2009; Zumbo, 1999). DMF, maddenin ölçmeye çalıştığı yetenek düzeyinde var olan gerçek farklılıktan kaynaklanabileceği gibi istenmeyen faktörlerden de kaynaklanabilir. Bu nedenle madde yanlılığı sürecinin bir parçası olarak DMF kaynaklarının belirlenmesi ölçme araçlarının geçerliğine kanıt oluşturması açısından oldukça önemli görülmektedir. Alanyazın incelendiğinde DMF analizlerinin yapılarak olası DMF kaynaklarının belirlendiği çok sayıda çalışma bulunmaktadır (Doolittle ve Clearly, 1987; Berberoğlu, 1995; Li, Cohen ve Ibarra, 2004; Kalaycıoğlu ve Berberoğlu, 2010; Kelecioğlu vd., 2014; Yıldırım ve Berberoğlu, 2009). Bu çalışmalar ışığında belirlenen DMF nin olası kaynakları şunlardır: Sosyo-ekonomik farklılıklar Bilgiye ulaşma imkânları (internet, bilgisayar, dershane vb.) Müfredat kapsamındaki farklılıklar Kullanılan öğretim metotları Öğrencilerin kavramlara olan aşinalık düzeyi Öğrencilerin ilgi alanları (Örneğin; Bireyler aynı yetenek düzeyinde olmalarına rağmen bir matematik sorusunun konusu basketbol, futbol, araba yarışları veya avcılık gibi daha çok erkeklerin ilgisini çeken konulardan seçildiğinde, maddeleri erkeklerin doğru cevaplama olasılığı artmaktadır. Benzer şekilde, kız öğrencilerin 13

32 daha aşina olduğu konuların yer aldığı maddelerde ise kız öğrencilerin maddeleri doğru cevaplama olasılığı artmaktadır.) Soru çözümünde kullanılan stratejiler Bilişsel düşünme biçimleri Madde içeriği ve formatı; Maddenin okul dışı bilgi ve deneyim gerektirmesi, günlük yaşam problemlerine dayalı olması; algoritmik işlemlere ve hesaplamaya dayanması; aritmetik ve cebirsel ifadelerin kullanılması; soyut içeriklere sahip olması; tablo, şekil, grafik içermesi, hız, uzunluk, zaman, para, yüzde ve alan içerikli olması; görsellik içermesi; görsel ve uzamsal zeka gerektirmesi vb. Zenisky, Hambleton ve Robin (2003), test geliştirme çalışmalarında kullanılmak üzere DMF nin olası kaynakları olarak belirledikleri ve minimum düzeye indirilmesi gereken noktaları şu şekilde ifade etmişlerdir. Madde içeriği; madde performansının cinsiyet gruplarına göre en yüksek oranda farklılaştığı durumlar için, günlük yaşam durumlarının verildiği madde içerikleri olarak belirtilmiştir. Özellikle dünya, uzay bilimleri ve teknoloji içerikli maddelerde bu durumun oldukça sık görüldüğü, bu içeriğe yer veren maddelerin en az %50 sinin DMF gösterdiği açıklanmıştır. Görsel/uzamsal beceri gerektiren çoktan seçmeli maddelerde şekil, diyagram cevap seçeneğinde verildiğinde erkek öğrenciler kız öğrencilere göre daha başarılı iken, açık uçlu maddelerde bireylere cevabın (şeklin) kendileri tarafından çizilmesi istendiğinde cinsiyet grupları arasındaki bu farklılığın ortadan kalktığı belirtilmiştir. Madde içeriğine de bağlı olarak açık uçlu soruların kız öğrenciler lehine, çoktan seçmeli test maddelerinin ise erkek öğrenciler lehine işlediği ifade edilmiştir Madde Yanlılığı ve Yanlı Madde Örnekleri Madde yanlılığı belirleme çalışmalarının tarafsızlık ya da adillik (fairness) adı verilen, bir testteki konuyla ilgili benzer bilgilere sahip öğrencilerin bir sınav maddesinde cinsiyete, kültürlerine ve etnik kökenlerine bakılmaksızın benzer performans göstermesi gerektiğini vurgulayan sosyal bir boyutu bulunmaktadır (Zumbo, 1999). Eğitimde ve psikolojide ölçme standartlarında (1999), tarafsızlık dört içerik içinde tanımlanır: (a) yanlılıktan yoksun olarak tarafsızlık, (b) test süresince adil uygulama olarak tarafsızlık, (c) öğrenme fırsatı olarak tarafsızlık, (d) test çıktılarındaki eşitlik olarak tarafsızlık (AERA, APA ve NCME, 2011). 14

33 Eğitimsel ve psikolojik testler için tarafsızlık ilkesinin tanımının, aynı kurumlar tarafından (AERA, APA ve NCME) 2011 yılında yapılan taslak çalışmada biraz farklı tanımlandığı görülmektedir. Bu tanımda, tarafsızlığın daha önce açıklanan ilk üç boyutu yer almakta iken son boyut çıkarılmış, bunun yerine yeni bir boyut eklenmiştir. Eklenen yeni boyut, ölçülen yapı(lara) erişimdeki tarafsızlık, ölçülen yapıya erişmenin yoksunluğu, test yanlılığı ya da tarafsızlığın yoksunluğu olarak açıklanır (AERA, APA ve NCME den aktaran Huggins, 2012). Standartların bu dört boyutu da doğrudan önemli bir sonuçla ilişkilidir; bu dört standarttan herhangi birine ulaşmadaki başarısızlık testi alan bireyler veya gruplar için test puanlarının aynı anlamı ifade etmemesi veya aynı yapıyı yansıtmaması ile sonuçlanabilir ve bu durum tarafsızlığın ihlali, yanlılık olarak karşımıza çıkabilir (Huggins, 2012). Özellikle katılan bireyler için önemli sonuçları olan sınavların sınava giren kitle içindeki hiçbir alt gruba avantaj sağlamaması, tarafsız olması önemli bir konudur. Tarafsız bir test, testlerin amaçlarıyla ilgili ve bireylerin elde ettiği bilgi ve becerileri göstermede tüm katılımcılara eşit fırsat vermeli ve bütün gruplar için kıyaslanabilir geçerliğe sahip olmalıdır (Perrone, 2006). Eğitimde ve psikolojide ölçme standartlarında (1999) testlerin tarafsızlığı bölümü Standart 7.3 te testlerin yanlılığı ve DMF açıkça şu şekilde belirtilmiştir: Güvenilir araştırma raporları, test tarafından ölçülen içerik alanındaki test alıcılar evreninde yaş, cinsiyet, ırk, etnik köken, kültürel yapı ve dil grupları arasında DMF nin varlığını rapor ediyorsa, test geliştirenlerin uygun çalışmaları yapması gerekir. Bu tür çalışmaların belirli gruplar için test puanlarında yanlılığa yol açabilecek test tasarımı, kapsamı ve biçim özelliklerinin belirlenmesi ve ortadan kaldırılması için yapılması gerekmektedir (AERA, APA ve NCME, 2011). Test kullanımının cevaplayıcılar açısından önemli sonuçlarının olduğu, özellikle çok sayıda bireyin bundan etkilendiği durumlarda bu standardın öneminin arttığı varsayılır. Camilli ve Shepard (1994) a göre sonuçları öğrencilerin geleceğiyle ilgili belirleyici olan veya katılanlar için önemli sonuçları olan bir testin tarafsızlığı özellikle, çok düşük seçme oranına sahip seçme amaçları için kullanılacaksa test geliştiricilerin başlıca ilgisi olmalıdır. Bu nedenle madde yanlılığı belirleme çalışmalarının istatiksel analizlerin yanı sıra DMF kaynaklarının belirlenmesi ve bu kaynakların madde yanlılığı nedeni olup olmadığının incelenmesi testleri alan bireyler için tarafsızlık ilkesini sağlaması açısından oldukça önemli olduğu düşünülmektedir. Aşağıda Yanlılık gösterdiği belirlenen madde örneklerine ve yanlılık gösterme nedenlerine ilişkin bilgilere yer verilmiştir. 15

34 Örnek 1. (Popham, 2012) Annemin alanı mahkeme katipliği yapmaktır. Yukarıdaki cümlede alan kelimesinin cümleye kattığı anlam aşağıdaki cümlelerin hangisindekiyle aynıdır. A) İlk kaleci pozisyonunu alana göre nasıl alacağını biliyordu. B) Çiftçi Jones bu alana gübre ekti. C) Okuldan sonra hangi alana gideceksin? D) Doktor görme alanımı kontrol etti. Popham (2012) maddenin farklı sosyo-ekonomik düzeylerden gelen bireyler için yanlılık oluşturduğunu belirtmiştir. Farklı sosyoekonomik düzeyden 200 öğrencinin katıldığı hayali bir sınav için öğrencilerin 100 ü düşük gelirli aileden 100 ü ise yüksek gelirli aileden geldiği ifade edilmiştir. Sosyoekonomik düzeyi yüksek aileden gelen öğrencilerin maddeyi doğru yanıtlama olasılığının aynı yetenek düzeyindeki diğer öğrencilere göre oldukça yüksek olacağı belirtilmiştir. Çünkü yüksek gelirli aileden gelen çocukların bir veya daha fazla aile üyesi (doktorlar, mühendisler, öğretmenler,bilgisayar programcıları vb. meslek grubundaki aile üyeleri gibi) vazifesini ya da işini alan (field) olarak tarif ederken; düşük gelirli ailedeki birçok aile üyesi işleri için alan ifadesini kullanmadığı düşünülmektedir. Küçük bir markette kasiyer olarak çalışan bir annenin veya araba tamircisinde çalışan bir babanın çocuğuna yani düşük gelirli bir aileden gelen çocuğa göre madde kökünde yer alan alan kelimesi oldukça yabancı bir kelimedir. Özel olarak yüksek gelirli aileden gelen çocukların bu kelimeye günlük hayatlarında daha sık karşılaşmış olabileceği düşünülmektedir. Bu maddede genel olarak kelimenin cümleye kattığı anlam ölçülmek istenirken özel olarak field (alan) kelimesinin bu cümle içerisindeki anlamının ve kelimeye olan aşinalığın ölçüldüğü ifade edilmiştir. 16

35 Örnek 2: (Camilli ve Shepard, 1994) Aşağıdaki sözcük çiftlerinden hangisinde Düdük* - Ördek sözcükleri arasındakine benzer bir ilişki vardır? A) Ağ: Kelebek B) Örümcek Ağı: Örümcek C) Tuzak Yemi: Balık D) Patika: Kısa yol *Düdük: Ördek yakalamak için kullanılmaktadır. Bu soru, erkek öğrenciler lehine DMF göstermiş bir sorudur. Ölçülmek istenen yapı ilişki kurma olmasına rağmen kullanılan literatür avcılık/balık avcılığı ile ilgili olduğu için bu madde uzmanlarca yanlı kabul edilmiştir (Camilli ve Shepard, 1994). Avcılık gibi konulara erkek öğrencilerin (aynı yetenek düzeyinde olsalar bile) kız öğrencilere göre daha aşina olmaları, bu sorunun doğru yanıtlanma olasılığının kız ve erkek öğrenciler arasında sistematik olarak farklılaşmasına neden olmaktadır. Soruda kullanılan literatürün balık avcılığı ile ilgili olması, sorunun içeriğinden kaynaklı olan bu faktörün testin amacına uygun olmamasından dolayı maddedeki yanlılığın nedeni olarak görülmüştür. 1.3 Problem İfadesi Çalışmada, 2012 yılı SBS matematik alt testinde yer alan maddeler cinsiyete ve okul türü değişkenlerine göre DMF göstermekte midir? DMF gösterdiği belirlenen maddelerde yanlılık var mıdır? sorularına cevap aranmaktadır Alt Problemler SBS matematik alt testinde cinsiyete göre a. Mantel Haenszel (MH) yöntemi ile yapılan analizlerde DMF gösteren maddeler var mıdır? b. Lojistik Regresyon (LR) yöntemi ile yapılan analizlerde DMF gösteren maddeler var mıdır? 17

36 SBS matematik alt testinde okul türüne göre; a. MH yöntemi ile yapılan analizlerde DMF gösteren maddeler var mıdır? b. LR yöntemi ile yapılan analizlerde DMF gösteren maddeler var mıdır? 3. DMF gösteren maddelerin belirlenmesinde LR ve MH yöntemleri arasında uyum var mıdır? 4. Delphi panelistlerine göre maddelerin cinsiyete ve okul türüne göre DMF göstermesinin nedenleri nelerdir? 5. Odak grup uzman görüşlerine göre belirlenen DMF kaynakları madde yanlılığına neden olmakta mıdır? 1.4 Amaç Bu çalışmanın amacı, 2012 yılı 8.sınıf SBS de yer alan matematik alt testi maddelerinin cinsiyet ve okul türü değişkenlerine göre DMF gösterip göstermediğini belirlemek; DMF gösteren maddelerin DMF kaynaklarını Delphi tekniğiyle, bu kaynakların madde yanlılığına yol açıp açmadığını ise odak grup görüşmesi ile incelemektir. 1.5 Önem Bireyler hakkında önemli kararların alındığı seçme ve yerleştirme amacıyla yapılan geniş ölçekli sınavlardan elde edilen test puanlarının geçerliği eğitimde çok önemlidir. Ayrıca test maddelerinin test ile ölçülen yapıyla ilgili olmayan niteliklerinden dolayı, alt gruplardan herhangi birine avantaj sağlamaması, test puanları sonucunda alınan kararların doğruluğu açısından son derece önemli bir konudur. Bu sebeple bu tür test maddelerinin bireylerin çeşitli özelliklerine göre DMF gösterip göstermediğinin incelenmesi ve DMF gösteren maddelerin yanlılık içerip içermediğine ilişkin kanıtların sunulması gerekir. Bu çalışma, 2012 yılı 8.sınıf SBS matematik alt testinin geçerliliğine yönelik kanıt sağlaması açısından önem taşımaktadır. Yanlılık araştırmaları göz önüne alındığında, DMF gösterdiği belirlenen maddelerin yanlılık durumlarının incelenmesine yönelik standart bir yol önerilmediği, birçok araştırmada bir metodolojiye bağlı olmaksızın uzman kanılarına başvurularak yanlılık araştırmasının yapıldığı görülmektedir. Bu çalışma, madde yanlılığı belirleme sürecinde; DMF kaynaklarının belirlenmesini Delphi tekniğiyle ve bu kaynakların madde yanlılığına yol açıp 18

37 açmadığını odak grup görüşmesiyle gerçekleştirmiş olması yönüyle alandaki metodolojilere bir seçenek sunacağı düşünülmektedir. Alanyazında madde yanlılığı çalışmalarında farklı bir yöntem olarak Delphi tekniği ve odak grup görüşmesinin kullanıldığı hiçbir araştırmaya rastlanılmamıştır. Bu açıdan çalışma bir ilk niteliğindedir. Tek bir zamanda uygulanan araçlarla uzmanlardan görüş elde edilmesi pratik olmakla birlikte, bu tür uygulamaların maddelerin yanlılığının belirlenmesinde birincil uzlaşılması gereken nokta olan DMF kaynakları konusunda uzmanlara bir kez daha düşünme fırsatı vermemesi bir sınırlılık olarak görülebilir. Bu çalışmada uzman görüşlerinin Delphi tekniği kullanılarak alınacak olması bu sınırlılığı ortadan kaldırdığı gibi uzmanların görüşlerinde olası yakınlaşmalara yol açmaması yönüyle de sonuçların güvenirliği açısından önemli görülmektedir. Ortaöğretim kurumlarına öğrenci seçme ve yerleştirme amacıyla uygulanan SBS gibi sınavların önceden bir başka grupta uygulanması ve uygulamaya göre testler içerisindeki maddelere ilişkin düzeltmelerin yapılması mümkün olmamaktadır. Bu çalışmanın test hazırlayıcılarını gerek DMF nin ne olduğu ve olası kaynaklarının neler olduğu konusunda bilgilendirerek konunun önemine dikkat çekmesi, gerekse DMF nin ne tür kaynaklarının madde yanlılığına neden olacağıyla ilgili konularda uzmanları aydınlatarak gelecekte daha geçerli testler oluşturmalarına yönelik önemli bilgiler sağlayacağı düşünülmektedir. Madde yanlılığına neden olan faktörlerin, bu bilgiler ışığında testlerin geliştirilme aşamasında madde yazım sürecinde dikkate alınması, testlerin puanlanmasında ve değerlendirilmesinde öğrenciler hakkında daha doğru kararların verilmesine katkı sağlayacaktır. Bu araştırmanın, öğretim programlarında yer alan kazanımları öğrencilerin elde etme seviyesinin ölçülmesi amacıyla eğitim-öğretim yılında SBS yerine uygulamaya konulan TEOG (Temel Eğitimden Ortaöğretime Geçiş) sınavlarında kullanılan testlerden biri olan matematik testinin yapı geçerliğinin belirlenmesine yönelik yapılacak olan çalışmalara katkı sağlayacağı düşünülmektedir. TEOG sınavlarında yer alan matematik testinin gerek iki uygulamada gerçekleştirilecek olması gerekse ortaöğretime yerleştirmeye esas puan hesaplamasında önemli bir yer tutması nedeniyle bu testlerin geçerlik kanıtlarını sağlayacak farklı çalışmaların yapılmasının alınan kararların doğruluğu açısından önemli görülmektedir. 19

38 1.6 Sayıltılar 1. Delphi panel üyeleri, Delphi panelleri boyunca; odak grup görüşmesi uzmanları görüşme süresince gerçek düşüncelerini belirtmişlerdir. Uygulamalarda şeffaf bir süreç izlenmiş, yönergeler anlaşılırlık yönünden kontrol edilmiş ve böylece panelistlerin cevaplama motivasyonları artırılmaya çalışılmıştır. 2. Öğrencilerin matematik alt test maddelerine verdikleri cevaplar gerçek bilgilerini yansıtmaktadır. 1.7 Sınırlılıklar Delphi paneli uygulamaları üç oturum halinde yapılmıştır. Oturumların herhangi birinde mazeretleri nedeniyle süreçten ayrılan katılımcılar araştırma kapsamı dışında bırakılmıştır. 1.8 İlgili Araştırmalar Bu bölümde alanyazında MH ve LR yöntemlerinin kullanıldığı cinsiyete ve okul türüne yönelik yapılan madde yanlılığı çalışmalarına yer verilmiştir. Çalışmalar özetlenirken özellikle olası DMF kaynaklarına ve madde yanlılığı sürecine yönelik detaylara değinilmiştir. Harris ve Carlton (1983), Amerika Birleşik Devletleri nde üniversiteye girişte kullanılan Akademik Yeterlik Sınavının (SAT) matematik testine yönelik MH yöntemiyle gerçekleştirdikleri çalışmada, bazı maddelerin cinsiyete göre DMF gösterdiğini bulmuşlardır. Cebirsel ifadelerin ve soyut gösterimlerin yer aldığı rutin maddelerde kız öğrenciler erkek öğrencilerden daha yüksek performans sergilerken, erkek öğrencilerin ise günlük yaşam problemlerinde, yüksek bilişsel karmaşıklık düzeyine sahip rutin yolarla çözülemeyen maddelerde ve tablo, grafik, şekil içeren maddelerde daha başarılı oldukları belirlenmiştir. Doolittle ve Cleary (1987), Amerika Birleşik Devletleri nde üniversiteye girişte için kullanılan American College Testing (ACT) sınavının matematik alt test maddelerinin cinsiyete göre DMF gösterip göstermediğini belirlemede MH yöntemi kullanmışlardır. Çalışmada algoritmik işlemlerle çözülebilen maddelerin kız öğrenciler lehine; geometri ve akıl yürütme becerisi gerektiren kelime problemleri maddelerinin ise erkek öğrenciler lehine işlediğini belirlemişlerdir. 20

39 Berberoğlu (1995) çalışmasında, 1992 yılı Öğrenci Seçme Sınav ında (ÖSS) matematik alt testi için cinsiyet ve sosyoekonomik statü (SES) ye göre DMF analizleri yapmıştır. Cinsiyete yönelik DMF analizi sonuçlarına göre, işlemsel beceri gerektiren maddeler erkekler lehine işlerken, geometri maddeleri ve kelime problemleri neredeyse tüm karşılaştırmalarda kızlar lehine işlemiştir. Erkek öğrenciler işlem maddelerinde önemli bir avantaja sahip iken, kız öğrencilerin geometri maddelerindeki üstünlüğü ise düşük düzeyde olduğu gözlenmiştir. SES grupları için DMF analizleri sonuçlarına göre, maddelerin birçoğu üst SES deki bireylere çalıştığı, özellikle kelime problemlerinin üst SES deki öğrencilerin lehine yüksek düzeyde DMF gösterdiği belirlenmiştir. Berberoğlu (1996), bir diğer çalışmasında ise ÖSS de yer alan maddelerin cinsiyete göre DMF içerip içermediğini MKE lerini inceleyerek belirlemiştir. Bu araştırmanın sonuçlarına göre, Türkçe alt testini oluşturan maddelerin % 58 inin ve Sosyal Bilimler testindeki maddelerin % 68 inin erkek öğrenciler lehine çalıştığı ortaya çıkmıştır. Matematik ve fen bilimleri alt testlerine ait maddelerin ise % 47 sinin kız öğrencilerin lehine çalıştığı belirlenmiştir. Stage (1997), İsveç te yükseköğretime öğrenci seçmede kullanılan SweSAT (The Swedish Scholastic Aptitude Test) adlı test üzerinde gerçekleştirdiği çalışmada DMF larını MKE arasındaki farklılıklar ve MH yöntemi ile incelemiştir. Çalışmada matematiksel düşünme ve şekil, tablo, grafik okuma yeteneğini ölçmeye yönelik maddelerde erkek öğrenciler daha başarılı bulunmuştur. Kelime bilgisini ölçmeye ve okuduğunu anlamaya yönelik maddelerde ise kız öğrencilerin daha başarılı olduğu sonucuna ulaşılmıştır. Zenisky, Hambleton ve Robin (2003), fen ve teknoloji testindeki cinsiyete göre DMF kaynaklarının belirlenmesini konu aldıkları çalışmada çoktan seçmeli ve açık uçlu maddelerden oluşan test formlarını kullanmışlardır. Çalışmada DMF nin potansiyel kaynakları belirlenerek, araştırmacılar tarafından belirlenen bilişsel boyutlar, maddenin içerik boyutu, madde tipi, madde metni ve görsel/uzamsal referans bileşenleri kapsamında test geliştirme uzmanlarının yararlanabileceği rehber niteliğinde bir form hazırlanmıştır. Li, Cohen ve Ibarra (2004), çalışmalarında üniversite yerleştirmede kullanılan matematik alt testinin cinsiyete göre DMF analizlerini yapmışlar ve DMF gösterdiği belirlenen maddelerin iki farklı kod sistemi madde yanlılığını incelemişlerdir. Madde yanlılığı sürecinde kullanılan kod sistemleri; Çoklubağlam Teorisi (Multicontext Theory) (Ibarra,2001) ve Gallagher (1998) in bilişsel yapı analizleridir. Gallegher (1998) in modeli, daha çok bilişsel 21

40 stratejilerle ilişkili iken Ibarra (2001) in modeli sosyal ve kültürel faktörlerle ilişkilidir. Çalışma sonuçlarına göre, Gallagher in kod sistemiyle kızların avantajlı olduğu maddeler belirlenmiştir: sözel beceriler gerektiren, formülün hatırlanarak kullanımını gerektiren, test kitaplarındaki alışılagelmiş sorulara benzer, sistematik bir yaklaşım, cebirsel işlemlerin ve hesaplamaların saf kullanımı, iki değerin birbirine eşit olduğu durumlar için iki matematiksel değerin kıyaslanmasını gerektiren maddelerdir. Erkek öğrencilerin avantajlı olduğu maddeler için ise üç boyutlu düşünme becerisi, bir çözüm yolundan daha fazlasını kullanmayı, iki değerin birbirine eşit olmadığı durumlar için iki matematiksel değerin kıyaslanmasını gerektiren maddeler olarak belirlenmiştir. Yurdugül ve Aşkar (2004), 2001 yılı OKS de yer alan Türkçe, matematik, sosyal bilgiler ve fen bilimleri alt testlerini madde yanlılığı açısından incelemişlerdir. DMF analizlerinin MH yöntemiyle yürütüldüğü çalışmada, Türkçe alt testini oluşturan maddelerden 12 sinin kız öğrenciler, 13 ünün ise erkek öğrenciler lehine çalışmış olmasına rağmen ihmal edilebilir düzeyde DMF içerdiği belirlenmiştir. Sosyal bilgiler testinde yer alan tüm maddeler A düzeyinde DMF gösterirken, Fen Bilgisi testinde fizik kapsamında yer alan ilk 9 soru erkekler, biyoloji kapsamında yer alan son 7 soru ise kızlar lehine A düzeyinde DMF göstermiştir. Fen Bilgisi alt testindeki 1. maddede B düzeyinde ve 3. maddede ise C düzeyinde DMF belirlenirken, uzmanlar her iki madde için DMF nin gerçek farklılıktan kaynaklandığı belirtmişlerdir. Matematik alt testine yönelik olarak, 11 madde kızlar,13 madde erkekler lehine çalışmıştır. İlk 6 soru; simgesel işlemler, sembollere dayalı gösterimler, basit denklemlerden oluşmakta olup kızlar lehine, sonraki maddeler ise sözel problem cümlelerinden oluşmakta olup, erkek öğrenciler lehine işlemektedir. Son olarak zihinsel becerilerin yanı sıra görsel/uzamsal zeka ile ilişkili olan maddeler erkekler lehine işlemiştir. Kurnaz (2006), Peabody resim kelime testinde yer alan maddelerin sosyoekonomik düzey ve cinsiyete göre DMF larını incelediği çalışmada, 592 çocuğun Peabody resim kelime testine verdikleri yanıtlar kullanılarak analizler yapmıştır. DMF analizleri MH ve LR yöntemleriyle yapılmış olup, DMF gösterdiği belirlenen maddeler çeldirici cevap analizi ile incelenmiştir. Araştırmada cinsiyet değişkenine göre yapılan analizlerde MH yöntemi ile 16, LR yöntemi ile ise 14 maddede, sosyoekonomik düzeye göre ise MH yöntemi ile 33, LR yöntemi ile ise 20 maddede DMF bulunmuştur. DMF bulunan maddelerin resimlerinin ve yanıtlarının incelenmesi sonucunda DMF nin madde kökünden, çeldiriciden, gruptan ya da yöntemden kaynaklanıp kaynaklanmadığı hakkında bilgi toplanmıştır. 22

41 Bakan Kalaycıoğlu (2008), 2005 yılı ÖSS nin madde yanlılığını incelediği çalışmasında, cinsiyete ve okul türüne göre DMF analizlerini MH ve LR yöntemleri ile yapmış, maddelerin yanlılık durumlarının belirlenmesinde ise uzman görüşlerinden faydalanmıştır. Çalışmada, cinsiyete göre yapılan DMF analizlerinde, türkçe alt testini oluşturan maddelerin DMF göstermediği, sosyal bilimler alt testinde 7 maddenin (1 tarih ve 6 felsefe), matematik ve fen bilimleri alt testlerinde de 3 er maddenin DMF gösterdiği belirlenmiştir. Yalnızca fen bilimleri testindeki bir madde cinsiyete göre yanlılık göstermiş olup, yanlılık gösterdiği belirlenen fizik maddesine ilişkin uzmanlar, madde içeriğinin otomobil ve hız konusunda oluşturulmasından dolayı bu konularla daha ilgili olan erkek öğrenciler için yanlı kabul edilebileceği konusunda ortak görüş bildirmişlerdir. Doğan ve Öğretmen (2008), DMF yi belirleme tekniklerinden MH, LR ve Kikare tekniklerinin karşılaştırılmasını konu aldıkları çalışmada, tekniklerin benzerliklerini ve farklılıklarını belirlemişlerdir. Çalışmayı 2003 yılı OKÖSYS fen bilgisi alt testine verilen yanıtlar üzerinde yürütmüşlerdir. Araştırma sonuçlarına göre MH, LR ve Kikare tekniklerinin DMF veren maddeler ve madde sayısı bakımından farklı sonuçlar ürettiği, kikare değerleri büyüklük sıralamaları arasındaki ilişkiye bakıldığında ise tekniklerin benzer sonuçlar ürettiği belirlenmiştir. DMF li madde sayısı en fazla MH tekniğinde elde edilmiştir. Yıldırım ve Berberoğlu (2009), PISA-2003 matematik okuryazarlığı maddelerinde yaptıkları yargısal ve istatiksel DMF analizlerinde, DMF gösteren maddeleri sınırlandırılmış faktör analizi, MH ve MTK-Olabilirlik oranı analiz yöntemleri ve içerik değerlendirmesiyle incelemişlerdir. Çalışmada DMF ye neden olan önemli hata kaynakları olarak madde tarafından ölçülen bilişsel beceriler, çeviri hataları, sayısal kelimelerin kullanımı olarak belirlenmiştir. Uzmanların DMF hakkındaki görüşleri ile DMF analiz sonuçları arasında yakın bir uzlaşma bulunmuştur Abedalaziz (2010), LR ve MH yöntemlerinin cinsiyetle ilişkili DMF yi belirlemede ne kadar uyumlu sonuçlar verdiğini belirlemek amacıyla yaptığı çalışmayı Ürdün deki 800 ortaokul öğrencisiyle yürütmüşlerdir. Çoktan seçmeli 30 maddeden oluşan matematik başarı testinin kullanıldığı çalışmada, LR ve MH yöntemlerinin %80 düzeyde uyum gösterdiği belirlenmiştir. DMF analizleri soncunda, erkek öğrencilerin uzamsal ve çıkarımsal beceri gerektiren maddelerde, kız öğrencilerin ise sayısal beceri gerektiren maddelerde daha avantajlı olduğu belirlenmiştir. Bu çalışma ile matematik test maddelerindeki cinsiyete dayalı farklılıkların içeriğe bağlı olarak değiştiği sonucuna varılmıştır. Cinsiyete göre bulunan bu farklar hem becerilere hem de içeriğe bağlı olup, bilimsel ve matematiksel 23

42 görevlerde erkekler daha avantajlı iken, sözel beceri gerektiren görevlerde kızların daha avantajlı olduğu belirtilmiştir. Ayrıca sınıf-tabanlı içerik veya sözel beceri yerine çoklu çözüm yolu ve uzamsal beceri gerektiren problemlerde kız ve erkek öğrenciler arasındaki farklılıkların daha büyük oranlarda olduğu ifade edilmiştir. Gök, Kelecioğlu ve Doğan (2010), 2005 yılı OKS sayısal alt testlerinin cinsiyete ve okul türüne göre DMF analizlerini yaptıkları çalışmalarında, MH ve LR tekniklerinden elde edilen sonuçların benzerlik ve farklılıkları ortaya çıkarmış ve teknikler arasındaki uyumu belirlemişlerdir. Araştırma sonuçlarına ilişkin yalnızca matematik alt testi analizine ilişkin sonuçlar şu şekildedir: Matematik alt testi cinsiyete yönelik DMF analizlerinde, önemli düzeyde DMF içeren madde bulunmazken, MH yöntemiyle 9, LR yöntemiyle ise 3 maddenin A düzeyinde DMF içerdiği belirlenmiştir. Sonuçlar karşılaştırıldığında, LR ve MH teknikleri DMF düzeyi bakımından uyum gösterirken, DMF gösteren madde sayısı bakımından çok düşük uyum gösterdiği belirlenmiştir. Okul türüne göre yapılan analizler incelendiğinde, MH tekniği ile 19 maddede, LR tekniği ile ise 17 maddede aynı düzeyde DMF bulunmuştur. Bu maddelerin 16 sının hem MH hem de LR teknikleri ile DMF gösterdiği belirlenmiştir. Maddelerin DMF düzeyleri dikkate alındığında MH ile LR teknikleri arasında düşük düzeyde bir uyum gözlenirken, yöntemlerin DMF veren madde sayısı bakımından yüksek bir uyum gösterdiği belirlenmiştir. Kalaycıoğlu ve Berberoğlu (2010) çalışmalarında, 2007 yılı ÖSS matematik ve fen bilgisi alt testlerinin cinsiyete yönelik DMF ve DMF kaynaklarına ilişkin madde içeriği analizlerini yaparak ÖSS sayısal bölümü test puanlarının kriter ilişkili geçerliğinde DMF li maddelerin etkisini belirlemişlerdir. Çalışmanın analizleri 3 bölümden oluşmuş olup; ilk olarak cinsiyete yönelik DMF analizleri yapılmıştır. İkinci kısımda, DMF gösterdiği belirlenen maddelerin olası DMF kaynakları 3 genel başlık altında incelenmiştir; konu alanı ile ilişkili faktörler, madde ile ölçülen bilişsel beceri ve madde formatıdır. Madde formatı ise; sözel içerikle ilişkili, grafik ve tabloların kullanıldığı, sayısal ve sembolik temsil içeren, resimsel veya şekilsel temsillerin yer aldığı maddelerdir. Son olarak test puanların kriter-ilişkili geçerliğinde DMF li maddelerin etkisi incelenmiştir. Çalışma bulgularına ilişkin matematik alt testi cinsiyete göre DMF analizlerinde DMF gösterdiği belirlenen maddeler; 5, 6, 16, 19 ve 21 inci maddelerdir. Kız öğrenciler lehine çalıştığı belirlenen maddeler; 5. ve 6. maddeler olup algoritmik işlemler gerektiren hesaplar içerdiği, erkek öğrenciler lehine DMF gösteren maddeler ise 16, 19 ve 21 inci maddeler olup soru yazarı ve uzmanların değerlendirmesiyle maddelerin genelleme, tahmin, yorum ve karşılaştırma becerileri gerektiren kelime 24

43 problemleri olduğudur. Çalışmada madde içerik özellikleri bakımından matematik ve fen bilgisi alt testleri çelişkili sonuçlar üretmiştir. Matematikte sözel maddeler özellikle kelime problemleri erkek öğrenciler lehine çalışırken, Fen bilgisi alt testinde kadınlar lehine çalışmıştır. Maddeler tarafından ölçülen bilişsel becerilerin farklılığının bu duruma neden olabileceği belirtilmiştir. Son olarak DMF li maddelerin test geçerliği üzerindeki etkisi doğrusal yapısal model yoluyla incelenmiştir. Her alt test için modeller oluşturulmuştur. DMF li maddelerin yer aldığı model ile DMF li maddelerin çıkarıldığı modeller (kriter değişkeni) test edilmiştir. Modellerin kesin sonuç üretmemekle birlikte, DMF içermeyen modelin yol katsayılarını ve hata varyansını daha küçük kestirdiğini belirlemişlerdir. Fakat test puanlarının geçerlik kanıtı açısından kesin sonuçlar üretemediği sonucuna varılmıştır. Ayan (2011), Uluslararası Öğrenci Değerlendirme Programı (PISA) 2009 uygulaması Fen okuryazarlığı alt testinin cinsiyete göre DMF analizlerinin yapıldığı çalışmada MH ve LR yöntemlerini kullanmıştır. Çalışmada cinsiyet değişkenine göre yürütülen DMF analizleri sonucunda LR tekniğinde 1 adet orta düzeyde TBO DMF belirlenirken, MH tekniğinde 4 adet orta düzeyde DMF gösteren madde belirlenmiştir. DMF analizlerinde kullanılan MH ve LR tekniklerinden elde edilen sonuçlara göre bu iki tekniğin DMF büyüklükleri sıralaması bakımından yakın sonuçlar ürettiği belirlenmiştir. Ayrıca MH ve LR yöntemleriyle tespit edilen DMF sayıları eşit iken, belirledikleri maddeler bakımından ise tamamen farklı sonuçlar ürettikleri tespit edilmiştir. Çepni (2011), ALES Sonbahar dönemi sayısal yetenek testi maddelerinin cinsiyet ve adayların mezun oldukları bölüme göre DMF ve değişen madde grubu fonksiyonu (DMGF) içerip içermediğini incelediği çalışmada, analizleri MH, LR, MTK-OO ve SIBTEST yöntemleriyle yürütmüştür. Araştırmacı, cinsiyete göre DMF analizlerinde Sayısal 1 testinde üç maddenin erkek öğrenciler, dört maddenin ise kız öğrenciler lehine işlediğini, Sayısal 2 testinde ise bir maddenin erkek öğrenciler lehine işlerken, üç maddenin de kız öğrenciler lehine işlediğini belirtmiştir. Bölüme göre DMF analizlerinde 5 madde sayısal bölüm öğrencileri lehine işlerken, dört madde sözel bölüm öğrencileri lehine işlemiştir. DMF gösteren maddelerin gruplarda farklı işlemesinin nedenleri uzman kanılarıyla incelenmiş olup, rutin algoritmik işlemlerle çözülen, cebirsel ifadelerle soyut olarak verilen maddelerin kız öğrenciler lehine işlediği belirlenmiştir. Günlük yaşam durumlarının verildiği kelime problemlerinin ise erkek öğrenciler lehine işlediği belirlenmiştir. DMGF analizlerine göre, işlem gerektiren madde grubu kız öğrenciler lehine işlerken, kelime problemleri madde grubu ise erkek öğrenciler lehine işlemiştir. 25

44 Karakaya (2012), 2009 yılı SBS de 6, 7 ve 8 inci sınıflar için uygulanan fen ve teknoloji ile matematik alt testlerindeki maddelerin yanlılık durumlarının incelediği çalışmasında cinsiyete göre DMF analizleri gerçekleştirmiştir. Fen ve Teknoloji alt testi DMF analizleri sonucunda, 6.sınıf SBS de 2 maddenin, 8.sınıf SBS de ise 3 maddenin B düzeyinde DMF içerdiği belirlenmiştir. DMF gösteren 4 maddeden 3 ü erkekler, 1 i kızlar lehine çalışmaktadır. Özel olarak matematik alt testinde erkekler lehine DMF gösteren maddelerden birinde içerik olarak doğa ve çevre konusunun işlenmiştir. Sekizinci sınıf SBS de erkekler lehine DMF gösterdiği belirlenen maddenin algoritmik hesaplamalar gerektirdiği, kızlar lehine DMF gösteren maddenin ise uzamsal beceri gerektirdiği görülmüştür. Son olarak DMF içeren maddelerin tamamının, yanlılık oluşturabilecek bir niteliğe sahip olmadığı yönünde uzmanlar görüş bildirmişlerdir. Karakaya ve Kutlu (2012), SBS deki Türkçe alt testlerinin madde yanlılığının belirlenmesini konu aldıkları çalışmada, cinsiyet ve okul türü değişkenlerine göre MH ve LR yöntemleriyle DMF analizleri yapmışlardır. DMF gösteren maddelerin yanlılık durumlarına ilişkin uzman görüşlerine göre, 6. ve 7.sınıflarda DMF gösterdiği belirlenen tüm maddelerin madde etkisi gösterdiği, 8.sınıf Türkçe testinde DMF gösteren bir maddenin ise erkek öğrenciler lehine yanlı olduğu belirlenmiştir. Kelecioğlu vd. (2014), 2009 yılı SBS nin madde yanlılığının incelenmesini konu aldıkları çalışmada DMF analizleri için MH, LR ve SIBTEST yöntemlerini kullanmışlardır. Yöntemlerden en az ikisine göre DMF gösteren maddelerin yanlı olup olmadıklarının incelenmesi amacıyla uzman görüşlerine başvurulmuştur. Analizler matematik, türkçe, fen ve teknoloji ve sosyal bilgiler alt testlerinde yapılmıştır. Analizler sonucunda okul türüne göre 28 maddenin DMF içerdiği, cinsiyete göre ise 5 maddenin DMF içerdiği belirlenmiştir. Uzman görüşleri doğrultusunda okul türüne göre DMF içeren 28 maddenin 24 ü; cinsiyete göre DMF içeren 5 maddenin ise tamamının uzmanlarca yanlı olduğu belirlenmiştir. Yurt içinde ve yurt dışında yapılan çalışmalar göz önüne alındığında, çalışmaların birçoğunda DMF belirlemeye yönelik analizlerin yapıldığı fakat DMF analizleri sonrasında madde yanlılığını belirlemede sınırlı uzman kanısı almak dışında farklı bir yol kullanılmadığı görülmektedir. Ayrıca DMF kaynaklarını belirlemeye yönelik Delphi tekniğinin ve madde yanlılığı uzman paneli uygulaması için odak grup görüşmesi gibi metodolojik veri toplama tekniklerinin kullanıldığı herhangi bir çalışmaya rastlanmamıştır. Benzer şekilde çalışmaların birçoğu madde yanlılığı belirleme aşamasında genel olarak DMF nin olası kaynaklarına değinmekte, fakat DMF gösteren maddelerin yanlı olup 26

45 olmadığına ilişkin incelemeler üzerine ise çok fazla durulmamaktadır. Sınavların cinsiyete göre yanlılık gösterip göstermediğini belirlemeye yönelik çeşitli çalışmalar bulunmakla beraber sınavların okul türüne göre yanlılık gösterip göstermediğine yönelik az sayıda çalışmaya rastlanmıştır. DMF gösterdiği belirlenen maddeler cinsiyet özellikleri açısından incelendiğinde çalışmaların çoğunda, cebirsel ifade ve soyut gösterim içeren, algoritmik işlem gerektiren maddeler kız öğrencilerin lehine işlerken, akıl yürütme gerektiren, yüksek bilişsel karmaşıklık düzeyindeki kelime problemleri, tablo, grafik ve şekil içeren maddeler ile çoklu çözüm yolu gerektiren maddeler ise erkek öğrenciler lehine işlemiştir. Okul türüne göre yapılan DMF analiz çalışmalarında ise bilgi ve deneyim gerektiren, sözel içerikli maddelerin özel okul öğrencileri lehine işlediği, ders kitaplarında yer alan rutin işlemler gerektiren maddelerin ise devlet okulundaki öğrenciler lehine işlediği ifade edilmiştir. 27

46 28

47 BÖLÜM II YÖNTEM Bu bölümde, araştırmanın modeline, evreni ve veri toplama araçlarına ilişkin bilgiler verilmiştir. Veri toplama araçları, DMF analizleri ve madde yanlılığı veri toplama süreçleri olmak üzere iki ayrı başlık altında detaylandırılmıştır. Ayrıca bu bölüm verilerin analizi başlığı altında; tek boyutluluk sayıltısını, test ve madde istatistiklerini, DMF analizlerini, yöntemler arasındaki uyumun analizini ve madde yanlılığı analizlerini içermektedir. 2.1 Araştırmanın Modeli Bu çalışma, 2012 yılında sekizinci sınıflar için uygulanan SBS matematik alt testi maddelerinin cinsiyet ve okul türü değişkenlerine göre DMF analizini ve DMF gösterdiği belirlenen maddelerin yanlılık durumlarını belirlemeyi amaçlamaktadır. Araştırma madde yanlılık çalışmalarının doğası gereği iki temel aşamadan oluşmaktadır. Araştırmanın birinci aşamasında, cinsiyet ve okul türü değişkenlerine göre 2012 yılı 8.sınıf SBS matematik alt testi maddelerine yönelik DMF analizi yapılmış; ikinci aşamada ise DMF nedenlerinin belirlenerek madde yanlılığına neden olup olmadığına yönelik veriler ilk olarak Delphi tekniği ve daha sonra odak grup görüşmesi kullanılarak elde edilmiştir. Araştırmada nicel ve nitel araştırma desenleri bir arada kullanılmıştır. Araştırma sürecinde DMF analizlerinin yapılması ve Delphi tekniği kullanılarak DMF nin olası kaynaklarının belirlenmesi açısından araştırmanın ilk bölümü, verilen bir durumu olabildiğince tam ve dikkatli bir şekilde tanımlayan betimsel düzeyde, tarama türünde bir araştırmadır. Tarama araştırmaları, geniş kitlelerin özelliklerinin (ilgi, beceri, yetenek vb.) ya da görüşlerinin betimlendiği diğer araştırmalara göre daha büyük örneklemler üzerinde yapılan araştırmalardır (Fraenkel ve Wallen, 2006). Tarama araştırmalarının amacı genellikle araştırma konusu ile ilgili var olan bir durumun fotoğrafını çekerek bir betimleme yapmaktır 29

48 (Büyüköztürk, Çakmak, Akgün, Karadeniz ve Demirel, 2014). Odak grup görüşmesi yoluyla veri toplanan madde yanlılığının belirlenmesi süreci ise nitel bir araştırma modeli olan durum çalışmasıdır. Durum çalışmaları, bir olayı meydana getiren ayrıntıları tanımlamak, bir olaya ilişkin olası açıklamaları geliştirmek ve bir olayı değerlendirmek için kullanılmaktadır (Gall, Borg ve Gall,1996). Çalışma, önce nicel araştırma, daha sonra nitel araştırmanın yapılmasını ve sonuçların birleştirilerek yorumlanmasını gerektirdiği için açıklayıcı bir karma desen olarak tanımlanabilir (Büyüköztürk vd., 2014). 2.2 Evren Araştırmanın evrenini, Milli Eğitim Bakanlığı Yenilik ve Eğitim Teknolojileri Genel Müdürlüğü (MEB YEĞİTEK) tarafından düzenlenen 2012 yılı SBS ye katılan ve en az bir doğru cevap veren adaylar oluşturmaktadır. 9 Haziran 2012 tarihinde gerçekleştirilen sekizinci sınıflar için uygulanan SBS ye öğrenci katılmıştır. Veriler elektronik ortamda saklanmış haliyle elde edildiğinden veri setinde okul türü ve cinsiyeti yer almayan veriler çıkarıldıktan sonra elde edilen toplam öğrenci sayısı dir. Veri setinden çıkarılan adaylar veri setinin yaklaşık %1 ini oluşturmaktadır. Çalışmanın analizleri örneklem seçiminin oluşturacağı hatanın önlenmesi amacıyla evren üzerinde yürütülmüştür. DMF analizleri cinsiyet ve okul türü değişkenlerine göre yapılmıştır yılı SBS ye katılan sekizinci sınıf öğrencileri, cinsiyete göre yapılan DMF analizlerinde kız ve erkek olarak, okul türüne göre yapılan analizlerde ise özel okul ve devlet okulu olarak ikişer veri kümesine ayrılarak analizlere dahil edilmiştir. Analizde kullanılan veri setinin cinsiyet ve okul türü değişkenlerine göre dağılımları Tablo 3 te verilmiştir. Tablo 3. Cinsiyet ve Okul Türü Değişkenlerine göre dağılım Gruplar Veri Seti N % Cinsiyet Kız ,7 Erkek ,3 Okul Türü Özel ,5 Devlet ,5 Toplam

49 Cinsiyete göre DMF analizi yapılırken, 2012 yılı SBS ye giren sekizinci sınıf öğrencileri cinsiyetlerine göre ayrılarak iki veri kümesi elde edilmiştir. Kız öğrenciler SBS ye giren öğrencilerin %50,7 sini, erkek öğrenciler ise %49,3 ünü oluşturmaktadır. Okul türüne göre DMF analizi yapılırken ise 2012 yılı SBS ye giren sekizinci sınıf öğrencileri okul türüne göre ayrılarak iki veri kümesi elde edilmiştir. Özel okulda okuyan sekizinci sınıf öğrencileri SBS ye giren öğrencilerin %3,5 ini, devlet okulunda okuyan sekizinci sınıf öğrencileri ise %96,5 ini oluşturmaktadır. 2.3 Veri Toplama Araçları Çalışmanın kapsamına bağlı olarak veri toplama süreci iki aşamadan oluşmaktadır: DMF gösteren maddelerin belirlenmesi ile maddelerin DMF gösterme nedenlerine ve bunların madde yanlılığı bakımından incelenmesine ilişkin analizler. Birinci aşamada DMF analizlerinin yapılması için gerekli olan veriler 2012 yılında gerçekleştirilen sekizinci sınıf SBS matematik alt testine ait öğrenci verileridir. İkinci aşamada kullanılan veriler ise DMF analizleri sonucunda DMF gösterdiği belirlenen maddelerin yanlılık durumlarına ilişkin uzman görüşleridir. İkinci aşama genel olarak madde yanlılığının belirlenmesi süreci olup, kendi içinde Delphi tekniği ve odak grup görüşmesi veri toplama süreçleri olarak iki ayrı başlık altında detaylandırılmıştır. Her iki aşama için gerekli olan verilerin elde edilmesi süreçlerine detaylı olarak aşağıda yer verilmiştir DMF Analizleri Veri Toplama Süreci DMF analizleri için kullanılan veriler Ortaöğretime Geçiş Sistemi 2012 yılı 8.sınıf SBS matematik alt testi verileridir. DMF gösteren maddelerin belirlenmesinde kullanılacak ham veriler Milli Eğitim Bakanlığı Yenilik ve Eğitim Teknolojileri Genel Müdürlüğü Ölçme Değerlendirme ve Yerleştirme Grup Başkanlığı tarafından sağlanmıştır. MEB tarafından yayınlanan 2008/77 numaralı ve tarihli genelge ile 6,7 ve 8 inci sınıflarda yapılan, sadece o yılın konularının yer aldığı ve öğretim programlarındaki kazanımların ölçülmesi SBS nin amacı olarak belirtilmiştir. Test konularının, ilköğretim 8.sınıfında her ders için o öğretim yılının programlarına bağlı kalarak hazırlanacağı da 31

50 belirtilmiştir. Ayrıca, sınav sonuçlarının, öğrencilerin ve okulların başarılarının artırılması ve gelişimlerinin sürdürülmesi yönünde değerlendirilmesinin esas alındığı ifade edilmiştir. Ortaöğretim kurumlarına geçiş sistemi (OKS)-Seviye belirleme sınavı e-başvuru kılavuzu (2012) na göre, İlköğretim kurumlarının 8.sınıfında öğrenim gören öğrencilere, SBS de test uygulanacak alanlar, soru sayıları ve testlere ilişkin betimsel istatistikler Tablo 4 te verilmiştir. Test Tablo Yılı Sekizinci Sınıf SBS Test İstatistikleri ve Soru Dağılımları numarası Test Adı Soru Sayısı Test Ortalamaları Test Standart Sapmaları 1 Türkçe 23 11,27 6,80 2 Matematik 20 4,39 5,77 3 Fen Bilimleri 20 6,22 5,94 4 Sosyal Bilimler -Atatürk İlkeleri ve İnkilap Tarihi Dersi -Demokrasi ve İnsan Hakları Dersi -Din Kültürü ve Ahlak Bilgisi Dersi 20 9,67 5,79 5 Yabancı Dil 17 4,51 5,03 Toplam yılı 8.sınıf SBS de Türkçe, matematik, fen bilimleri, sosyal bilimler ve yabancı dil olmak üzere beş alandan toplam 100 soru yer almaktadır. Özel olarak matematik alt testi 20 adet çoktan seçmeli sorudan oluşmaktadır. Matematik soruları 8.sınıf matematik öğretim programında yer alan kazanımların ölçülmesi amacıyla hazırlanmıştır Madde Yanlılığı Veri toplama Süreci DMF analizleri sonucunda orta (B) ve yüksek (C) düzeyde DMF gösterdiği belirlenen maddelerin DMF gösterme nedenleri ve bu nedenlerin madde yanlılığına yol açıp açmadığına ilişkin uzman görüşleri araştırmanın ikinci aşaması için gerekli olan verileri oluşturmaktadır. Madde yanlılığı veri toplama sürecinde, ilk olarak DMF kaynaklarının neler olduğu Delphi tekniğiyle belirlenmiş ardından bu kaynakların madde yanlılığına neden olup olmadığı madde yanlılığı uzman paneli olarak adlandırılan çalışma odak grup görüşmesi yapılarak incelenmiştir. 32

51 Delphi tekniği, araştırılan alanda uzman olan kişilerin problem durumuna ilişkin yaklaşımlarını, herhangi bir etki altında kalmaksızın bağımsız düşünce altında incelemeye ve bir uzlaşma sağlamaya yönelik bir dizi aşamadan oluşmaktadır (Turoff ve Hiltz, 2001). Delphi tekniği, karmaşık bir problem ile ilgili uzman görüşlerinin bir araya getirilmesi ile gerçekleşmektedir. Bu süreçte ardışık uygulamalar sonrasında elde edilen istatistiklerle bir ortak eğilim belirleme esası benimsenmektedir (Arık, 2013). Bu çalışmada Delphi panellerinin uygulaması, DMF gösteren maddelerin DMF gösterme nedenlerinin belirlenerek uzlaşmanın sağlanması yaklaşık olarak 2 aylık bir sürede tamamlanmıştır. Araştırmada Delphi tekniğiyle elde edilen veriler elektronik posta yoluyla toplanmıştır. Madde yanlılığı sürecinin son aşamasında ise Delphi tekniğiyle belirlenen DMF kaynaklarının madde yanlılığına neden olup olmadığı odak grup görüşmesi yoluyla incelenmiştir. Odak grup görüşmesi, belli bir konuda veri üretmek üzere katılımcılar arası etkileşime odaklanan bir tekniktir (Balcı, 2013). Araştırmada madde yanlılığı sürecinde veri toplama aracı olarak kullanılan Delphi tekniği ve odak grup görüşmesi ve uygulamalarına yönelik detaylı ve aşamalı bilgiye aşağıda yer verilmiştir Delphi Tekniği ve Uygulanması Delphi tekniği, adını geleceğe ilişkin kehanetlerde bulunan Yunanlı bir kâhinin yaşadığı yer olan Delphi den almakta olup, II. Dünya Savaş ından sonra RAND (Research and Development) şirketi tarafından acil savunma ve askeri konularda konu ile ilgili uzmanların yüz yüze gelmeden ortak görüşlerinin alınması amacıyla gerçekleştirilmiştir (Dalkey ve Helmer, 1962). Delphi tekniği, benzer durumlara ilişkin görüş farklılıklarında ve kararların güçlü gruplar tarafından etkilenme olasılığı olduğu durumlarda uzlaşma sağlama aracı olarak kullanılmaktadır (Helmer, 1968; Şahin, 2001). Linstone ve Turoff (1975) a göre Delphi, grup iletişim sürecini bir bütün olarak ele alan ve karmaşık bir sorunun üstesinden gelmek için grubun bireyden daha etkili olduğu görüşüne dayanan bir teknik olarak nitelendirilmektedir. Yapılandırılmış iletişimin yer aldığı süreç, karmaşık bir problem ile ilgili grup uzman görüşlerinin toplanması ile gerçekleşmektedir. Görüşlerin toplanmasında istatistiklerle ortak bir eğilim belirleme amaçlanmakta, görüş birliğine ulaşılması ise ardışık anketlerin uygulanmasıyla gerçekleştirilmektedir (Şahin, 2001). Delphi Tekniği, iki ya da üç, bazı durumlarda daha fazla sayıda uygulama ile 33

52 gerçekleştirilirken, her bir uygulamadan sonra uygulama sonuçları katılımcılara iletilerek, uzlaşma sağlanıncaya kadar süreç devam etmektedir (Dalkey, 1972; Şahin, 2000). Delphi tekniğinin üç temel özelliği bulunmaktadır: katılımda gizlilik, grup tepkisinin istatiksel analizi ve kontrollü geri beslemedir (Dalkey, 1972; Delbecq, Van de Ven ve Gustafson, 1975; Şahin, 2001). Katılımda gizlilik, Delphi tekniğinin başarısındaki en önemli nokta olarak görülmektedir. Araştırma süresince öne sürülen düşüncelerin kime ait olduğu gizli tutulduğundan, Prima donna etkisi yani, grup içinde çok iyi tanınan, saygı duyulan kişilerin görüşlerine koşulsuz onay bu şekilde engellenmektedir (Demirel, 2012). Hiçbir çekince olmadan farklı ve yeni fikirlerin herkesten gelmesi, katılımda gizlilik özelliği ile sağlanmaktadır (Dalkey, 1972). Grup tepkisinin istatiksel analizinde ise, ardışık olarak uygulanan Delphi anketlerinin her biri istatiksel olarak analiz edilmektedir. Ayrıca analizlerde kullanılan tekniklerin uzmanlar tarafından iyi bilinmesi gerekmektedir (Şahin, 2001). Kontrollü geri besleme, Delphi tekniğinde ardışık olarak uygulanan Delphi anketleri ile yürütülmektedir. Her bir anketin analizi tamamlandıktan sonra analiz sonuçları ve anketi yanıtlayanların genel eğilimi bir sonraki anketle beraber katılımcılara iletilmektedir. Böylece katılımcılar kendi görüş ve düşüncelerini başka görüş ve yaklaşımlarla karşılaştırarak yeniden gözden geçirmektedirler (Dalkey, 1972). Delphi tekniği çok sayıda katılımcıdan veri sağlama durumunda; katılımcıların zaman, mekân, uzaklık ve maliyet gibi faktörler nedeniyle sıklıkla toplanma olasılığının olmadığı durumlarda; güç mücadelesi ve anlaşmazlıkların aşılamadığı durumlarda da önemli avantajlar sağlamaktadır (Demirel, 2012; Şahin, 2001; Linstone, Turoff ve Helmer, 2002). Ayrıca Delphi tekniği, farklı bilgi, beceri ve deneyimler yardımıyla bireylerin farklı bakış açılarıyla sorunların ilgili parçalarına katkıda bulunmalarına fırsat tanımaktadır (Şahin, 2001; Turoff ve Hiltz, 2001). Delphi tekniğine ilişkin bazı sınırlılıklar da bulunmaktadır. Delphi tekniği ardışık anketler yoluyla işlemektedir. Bu nedenle katılımcıların süreçte tutulması çok önemli olup, başlangıçta araştırmaya katılıp sonradan ayrılmaları önemli problemler yaratmaktadır (Arık, 2013; Şahin, 2001). Şahin (2009) a göre Delphi araştırmalarının başarısı büyük oranda ilgilenilen alandaki uzmanların seçimine bağlı olup, uygun uzmanların seçimi Delphi çalışmalarının güvenirliğini artıran en önemli etken olarak görülmektedir. Adler ve Ziglio (1996) ya göre uzmanların seçimi için dört unsur dikkate alınmalıdır; ilgilenilen konuyla ilgili bilgi ve deneyim, Delphi panellerine katılmada isteklilik, Delphi panellerine katılmada yeterli zaman ve etkin iletişim becerisidir. Delbecq vd. (1975), Delphi araştırmalarının, ilgilenilen problem 34

53 üzerinde büyük ölçüde farklı bakış açıları ve kabul edilebilir çözümler üretilebilmesi için homojen gruplar yerine heterojen gruplarla çalışılmasını önermektedirler. Araştırmada DMF nin olası kaynaklarının belirlenmesinde kullanılan Delphi tekniği; problemin belirlenmesi, uzman panelistlerin seçimi, Delphi panellerinde kullanılan anket formlarının hazırlanması ve uygulanması olmak üzere art arda ve etkileşimli olarak ilerleyen aşamalardan oluşmaktadır. Aşağıda bu aşamalara ilişkin detaylar ve gerekli bilgiler verilmiştir. 1. Problemin Belirlenmesi Araştırmada DMF nin olası kaynaklarının belirlenmesi amacıyla yapılan Delphi panellerine ve bu panellerde nasıl bir süreç izleneceği ile ilgili gerekli bilgilere davet mektubunda yer verilmiştir. Araştırma problemi tüm Delphi panelistleri tarafından aynı şekilde anlaşılacak biçimde ifade edilmiştir. Delphi paneli davet mektubuna Ek 1 de yer verilmiştir. 2. Uzman Panelistlerin Seçimi Delphi araştırmalarının başarısı büyük ölçüde ilgili alandaki uzman kişilerin seçimine bağlı olup uygun uzmanların seçimi Delphi çalışmalarının geçerliğini artıran en önemli özellik olarak görülmektedir (Delbecq, Van de Ven ve Gustafson, 1986; Okoli ve Pawlowski, 2004). Ayrıca Delphi panelistlerinin sayısı ve çeşitliği analiz edilecek verinin miktarını ve niteliğini etkilemesi açısından oldukça önemli görülmektedir (Hasson, Keeney ve Mckena, 2000). Bu nedenle deneyim ve nitelikleri doğrultusunda araştırma konusu hakkında önemli görüşlere sahip, çalışmaya katkı sağlayacağı düşünülen uzmanlar tercih edilmiştir. Son yıllarda eğitim alanında yapılan Delphi çalışmalarında katılımcı sayılarının 5-26 arasında değiştiği görülmektedir (Butori, 2012; Melsom, 2010; Shelton, 2010). Okoli ve Pawlowski (2004) e göre, iyi yapılandırılmış bir Delphi paneli kişilik bir uzman grubuyla yürütülebilmektedir. Bu nedenle panel üyeleri uzmanlık alanları gözetilerek seçilen 19 kişiden oluşmaktadır. Delphi panelistlerine ait eğitim bilgileri ve Delphi panelistlerinin sayıları Tablo 5 te verilmiştir. 35

54 Tablo 5. Delphi Panellerine Katılan Uzmanların Eğitim Bilgileri ve Sayıları Eğitim Bilgileri Toplam Toplam Sayı (%) MEB Öğretmen Ölçme yüksek lisans öğrencisi 4 22 Soru yazarı 1 5 Diğer 5 26 Dershane Öğretmen 3 16 Soru yazarı 2 11 Diğer 1 5 Araştırma Görevlisi 6 31 İlk. Mat. Doktora öğrencisi 4 21 İlk. Mat. Doktora ve ölçme yüksek 1 5 lisans öğrencisi İlk Mat. Yüksek lisans mezunu ve 1 5 Ölçme doktora öğrencisi Toplam Tablo 5 incelendiğinde DMF nin olası kaynaklarına ilişkin farklı görüşlerin sağlanması amacıyla MEB de matematik öğretmeni, dershanede çalışan öğretmenler ve araştırma görevlileri olmak üzere üç farklı uzman katılımcı grubuyla çalışıldığı görülmektedir. Ayrıca Delphi panelistleri belirlenirken tüm uzmanların matematik öğretmenliği bölümü mezunu olması tercih edilmiştir. Veri toplama aracı olarak anketlerin kullanıldığı çalışmalarda sağlıklı yorum yapabilmek için anketlerin geri dönüş oranının %70-80 in üzerinde olması gerekmektedir (Büyüköztürk, 2005). Delphi panelistlerinin tüm Delphi panellerine katılma durumlarına ilişkin bilgilere aşağıda Tablo 6 da yer verilmiştir. Tablo 6. Uzman Panelistlerin Delphi Panellerine Katılma Sayıları ve Yüzdeleri Katılımcı Grup Panel Toplam Birinci Delphi Paneli İkinci Delphi Paneli Üçüncü Delphi Paneli Gönderilen Anket Tamamlanan Anket MEB öğretmen Dershane öğretmen Araştırma Görevlisi Cevaplanma Oranı %100 %100 %100 %95 36

55 Delphi panelistleri 3 farklı çalışma grubundan gelen 19 kişiden oluşmakta olup, Birinci ve İkinci Delphi panelleri %100 lük bir katılımla gerçekleştirilirken Üçüncü Delphi paneli ise %95 lik bir katılımla tamamlanmıştır. 3. Delphi Panellerinin Uygulanması Birinci Delphi Paneli: Birinci Delphi paneli çalışmanın problemine ilişkin açık uçlu sorulardan oluşan birinci Delphi anketiyle yürütülmüştür. Bu aşamada açık uçlu sorularla nitel veriler toplanmıştır. Birinci Delphi anketinin hazırlanmasında ölçme ve değerlendirme alan uzmanlarının görüşü alınmış olup, uzmanlardan anketi dil ve anlatım yönünden değerlendirmeleri istenmiştir. Uzman görüşleri doğrultusunda anket yenilenerek son şeklini almıştır. Birinci Delphi anketinin amacı, DMF nin olası kaynaklarına ilişkin uzman görüşlerinin alınmasıdır. Birinci Delphi anketinde DMF ve madde yanlılığı ile ilgili gerekli açıklamalara ve DMF gösterdiği belirlenen her bir maddeye ilişkin açık uçlu sorulara yer verilmiştir. Ankette, Bu maddenin cinsiyete/okul türüne göre DMF göstermesinin nedenleri sizce ne olabilir? sorusu sorularak maddelerin olası DMF kaynakları belirlenmiştir. Birinci Delphi anketinde yer alan örnek madde Şekil 2 de verilmiştir. Şekil 2. Anket formunda yer alan madde örneği Birinci Delphi paneli, tüm Delphi panelistlerinin ankete ilişkin görüşlerinin toplanmasıyla tamamlanmıştır. Katılımcıların birinci Delphi paneline e-posta yoluyla gönderilen anket ya da web ortamında hazırlanan form ile katılmaları sağlanmıştır. Birinci Delphi anketi Ek 2 de ve web ortamında hazırlanan form ise Ek 3 te yer almaktadır. 37

56 İkinci Delphi Paneli: Birinci Delphi panelinde toplanan verilerde birbirine yakın anlam taşıyan görüşler bir araya getirilerek hazırlanan ikinci Delphi anketiyle yürütülmüştür. İkinci Delphi anketi; birinci Delphi anketinden elde edilen DMF gösterme nedenlerine ilişkin uzman görüşlerinin tamamını uzmanlara sunarak, bu görüşlere ne düzeyde katıldıklarını ve görüşlere ait önem sıralamalarını öğrenmek amacıyla uzmanlara gönderilmiştir. Uzmanlar İkinci ankette yer alan her bir maddenin DMF gösterme nedenine ilişkin görüşe katılma düzeylerini 4 lü Likert tipi derecelemeği ölçeği üzerinde (1: Kesinlikle Katılmıyorum ve 4: Kesinlikle Katılıyorum ) belirtmişlerdir. Önem sıralamalarını ise en önemli (1: En önemli olmak üzere) olduğunu düşündükleri görüşten en az önemli gördükleri görüşe doğru sıralama yaparak belirtmişlerdir. İkinci Delphi paneli nin tamamlanmasının ardından tüm panel üyelerinin her bir madde için belirttiği katılma düzeylerine ilişkin istatistikler; ortanca, çeyrekler arası genişlik ve yüzdelik değerleri hesaplanmıştır. Tüm Delphi panelistlerinin ankete ilişkin görüşlerinin toplanmasıyla tamamlanmıştır. İkinci Delphi anketi Ek 4 de verilmiştir. Üçüncü Delphi Paneli: Panel üçüncü Delphi anketiyle yürütülmüştür. Üçüncü Delphi anketinin amacı, ikinci anketin istatistiksel sonuçları (grubun genel eğilimi) hakkında uzmanları bilgilendirmek ve ikinci turda belirtmiş oldukları katılma düzeylerini yeniden gözden geçirmelerini sağlamaktır. Anketin içeriği; ikinci delphi anketiyle aynıdır. Üçüncü Delphi anketi her bir uzman için özel olarak hazırlanmış olup ek olarak her bir madde için uzmanların ikinci turda belirttiği katılma düzeyleri, tüm panel üyelerinin her bir maddedeki katılma düzeylerine ilişkin istatistikler (yüzdelik, ortanca ve çeyrekler arası genişlik) yer almaktadır. Ayrıca anketin açıklamalar bölümünde, kullanılan istatistiklere ve güçlü/kısmi uzlaşma ölçütlerine ilişkin gerekli bilgilere yer verilmiştir. Üçüncü Delphi paneli sonunda üzerinde güçlü ve kısmi uzlaşmanın sağlandığı DMF gösterme nedenleri belirlenmiş olup, uzlaşma ölçütleri dışında kalan maddeler ise DMF gösterme nedenleri arasında yer almamıştır. Üçüncü Delphi paneli, tüm Delphi panelistlerinin ankete ilişkin görüşlerinin toplanmasıyla tamamlanmıştır. Üçüncü Delphi anketi Ek 5 te verilmiştir. 38

57 Odak Grup Görüşmesi ve Uygulanması: Madde Yanlılığı Uzman Paneli Delphi tekniğiyle belirlenen maddelerin DMF gösterme nedenlerinin madde yanlılığı olarak tanımlanıp tanımlanamayacağı madde yanlılığı uzman paneliyle incelenmiştir. Burada uzmanlardan oluşan odak grup görüşmesi gerçekleştirilmiştir. Odak grup görüşmeleri, katılımcıların diğer katılımcıların görüşlerini duyabildiği ve buna göre kendi görüşleri üzerinde düşünebildiği sosyal bir ortamda, insanların bir konu hakkında gerçekten ne düşündüklerine ilişkin detaylı ve çok boyutlu nitel bilgi edinmek amacıyla yapılmaktadır (Büyüköztürk vd., 2014; Patton, 2002). Nitel veri toplama teknikleri içerisinde, bireysel görüşmelere göre bazı farklılıklar içeren odak grup görüşmeleri nitel veri toplamada önemli bir yere sahiptir (Patton, 2002). Yıldırım ve Şimşek (2011) e göre grup dinamikleri sorulara verilen yanıtların kapsamını ve derinliğini etkileyen önemli bir etken olup, odak grup görüşmelerinin bu özelliği, aynı zamanda bu tür görüşmelerin zengin bir veri seti oluşturmaya yardımcı olması açısından da önem taşımaktadır. Yıldırım ve Şimşek (2011), odak grup çalışmalarının genellikle amacın belirlenmesi, araştırma ve odak görüşme sorularının geliştirilmesi, yer ve teknoloji planlaması, bütün sürecin pilot denemesinin yapılması, katılımcıların belirlenmesi ve davet edilmesi, çalışmanın gerçekleştirilmesi, verinin düzenlenmesi ve analizi aşamalarından oluştuğunu belirtmiştir. Çokluk, Yılmaz ve Oğuz (2011) ise, odak grup görüşmelerinin genel olarak dört aşamada gerçekleştiğini belirtmişlerdir. İlk olarak araştırmacı araştıracağı konuyu belirlemekte ve konuyu ayrıntılı bir biçimde inceleyerek sınırlarını çizmektedir. İkinci aşamada, araştırmaya katılacak kişiler, bu kişilerin özellikleri, görüşmede kullanılacak ana başlıklar ve sorulacak sorular belirlenmektedir. Üçüncü aşamada, odak grup görüşmesinin yeri, zamanı, moderatör, varsa diğer görevliler belirlenmekte ve görüşme yapılmaktadır. Son olarak ise görüşme özetlenmekte, raporlar ve kısa notlar incelenerek görüşmeler analiz edilmekte ve raporlaştırılmaktadır. Veri toplama yöntemi olarak odak grup görüşmelerinin bireysel görüşmelere oranla birçok olumlu yanı bulunmaktadır. Öncelikle kısa bir süre içinde onlarca katılımcıya ulaşmak mümkün olduğundan araştırmacılara daha geniş örneklemlerde çalışma olanağı tanımaktadır. Yanı sıra dinamizmi ve yaratıcılığı nedeniyle odak grup görüşmeleri yoluyla araştırmanın problemleri hakkında daha derin ve zengin bilgiye ulaşmak mümkün 39

58 olmaktadır (Çokluk, Yılmaz ve Oğuz, 2011; Yıldırım ve Şimşek, 2011). Olumlu yönlerine rağmen bazı zayıf yanları da bulunmaktadır. Odak grup görüşmelerinde katılımcılardan birinin kullandığı bir kelime veya ifade, grubun diğer üyeleri ile çatışma yaşamasına neden olabilmektedir. Katılımcılar arasındaki statü ve güç farkı olması durumunda konu ve sorular hakkında herkes aynı ölçüde katkıda bulunamayabilir (Çokluk, Yılmaz ve Oğuz, 2011; Yıldırım ve Şimşek, 2011). Fakat odak grup görüşmesi öncesinde alınacak bir takım tedbirler olumlu yönlerinin ön plana çıkarılması sağlayarak olumsuz yönlerinin azaltılmasını sağlayacaktır. Bu tedbirlerden bazıları, sınırlı sayıda konu tartışılmalı, küçük ve homojen gruplar oluşturularak katılımcıların özellikleri konuyla doğrudan ilişkili olmalı, moderatör konumundaki kişi, objektif olmaya çalışmalı görüşülen kişilerin düşüncelerini etkilememeli ve sürenin kontrolünü iyi yapmalıdır (Çokluk, Yılmaz ve Oğuz, 2011; Edmunds, 2000). Bu çalışmada, Delphi tekniğiyle belirlenen uzlaşmanın sağlandığı DMF kaynaklarına ilişkin yanlılık incelemesi yani madde yanlılığı uzman paneli Odak grup görüşmesiyle yapılmıştır. Odak grup görüşmesi çalışmaları, amaçlı örnekleme dayalı olup araştırmacı katılımcılar, araştırmanın amacına bağlı olarak seçilmiştir. Odak grubun kaç kişiden oluşması gerektiği konusunda farklı görüşler bulunmaktadır (Balcı, 2013; Ekiz, 2009; Yıldırım ve Şimşek, 2011). İdeal bir odak grup için 6-10 kişi yeterli görülmektedir (Eliot dan aktaran Yıldırım ve Şimşek, 2011). Madde yanlılığı belirleme sürecinin hem matematik eğitimine hakim olmayı hem de madde yanlılığını tespit etmeyi gerektirmesi nedeniyle uzmanların tamamının matematik öğretmenliği mezunu olan ölçme ve değerlendirme yüksek lisans öğrencilerinden olması tercih edilmiştir. Araştırma kriterlerine uygun katılımcılar belirlendikten sonra bu kişilerle Gazi Üniversitesinde yüz yüze görüşmeler gerçekleştirilmiş ve yapılacak olan odak grup görüşmesi hakkında bilgi verilmiştir. Odak grup görüşmesi oturumu, 5 uzman ve bir yöneticinin katılımıyla gerçekleşmiştir. Odak grup görüşmesine katılan uzmanlara ait detaylı eğitim bilgileri Tablo 7 de verilmiştir. 40

59 Tablo 7. Odak Grup Görüşmesine Katılan Uzmanların Dağılımı Eğitim Bilgileri Toplam Sayı MEB Öğretmen 1 Toplam (%) Ölçme yüksek lisans öğrencisi 1 17 Araştırma Görevlisi 5 İlk. Mat. doktora ve ölçme yüksek lisans öğrencisi 1 17 İlk Mat. yüksek lisans mezunu ve Ölçme doktora öğrencisi 1 17 Ölçme yüksek lisans öğrencisi 2 34 Ölçme yüksek lisans öğrencisi (Yönetici) 1 17 Toplam İyi yapılandırılmış bir odak grup görüşmesi kabul edilebilir, rahat bir ortam oluşturarak katılımcıların kendi sözcükleri ile belli bir konuda yanıt vermelerini sağlamaktadır (Balcı, 2013; Çokluk, Yılmaz ve Oğuz, 2011; Yıldırım ve Şimşek, 2011). Bu nedenle görüşmenin yapıldığı ortam, katılımcı uzmanların rahatlıkla sığabileceği, yeteri kadar ışık alan ve olası gürültü kaynaklarından uzak olması gözetilerek Gazi Üniversitesi Eğitim Fakültesi araştırma görevlileri odası tercih edilmiştir. Görüşmenin bölünmemesi ve katılımcıların rahat bir şekilde görüşmeyi sürdürebilmesi için ortamın düzenlenmesi araştırmacı tarafından yapılmıştır. Katılımcıların birbirlerini rahatça görebilmelerini sağlamak amacıyla yuvarlak masa düzeninde bir oturma planı ayarlanmıştır. Odak grup görüşmesi oturumu öncesinde oturumun amacı hakkında bilgi verilmiş, tartışma sürecine ilişkin dikkat edilmesi gereken kurallar açıklanmıştır. Oturum süresince kullanabilecekleri, uzlaşma sağlanan DMF kaynaklarının ve yanlı madde örneklerinin yer aldığı formlar katılımcılara dağıtılmıştır. Odak grup görüşmesi, DMF kaynaklarının her biri için Cinsiyete/okul türüne göre DMF gösterdiği belirlenen madde için uzlaşma sağlanan DMF kaynağı madde yanlılığına yol açmakta mıdır? sorusu sorularak oturum başlatılmış, verilen cevaplar doğrultusunda farklı sorular sorularak oturum yürütülmüştür. Odak grup görüşmesi oturumu, maddeler ve DMF kaynakları ile ilgili iki konuya odaklanılarak ilerlemiştir; birincisi her bir maddenin ölçmek istediği amaca/kazanıma, ikincisi ise maddeye ilişkin DMF kaynağının bu amacın dışında bir beceriyi yansıtıp yansıtmadığınadır. Oturum süresince ses kaydı alınmış olup kaydedilen sözel veri yazı haline dönüştürülmüştür. DMF kaynaklarının madde yanlılığına neden olup 41

60 olmadığıyla ilgili gerekçeli görüşler ve yanlılık kararlarının alınmasıyla oturum yaklaşık 75 dakikalık bir sürede tamamlanmıştır. 2.4 Verilerin Analizi Araştırmanın analiz süreci DMF tespiti ve DMF gösteren maddelerin yanlılık durumlarının incelenmesi olmak üzere iki aşamadan oluşmaktadır. Her iki aşamada ulaşılan veriler için uygulanacak analitik süreç için aşağıdaki adımlar izlenmiştir. 1. SBS de A ve B kitapçıkları olmak üzere iki kitapçık uygulanmaktadır. Araştırmada B kitapçığı A kitapçığına göre düzenlenmiştir. Veriler doğru yanıtlara 1, yanlış ve boş yanıtlara 0 puan verilerek kodlanmıştır. MEB YEĞİTEK ten sağlanan ham veriler veri kontrolü ile araştırmada kullanılabilir hale getirilmiştir. 2. DMF analizleri öncesinde, matematik alt testi verilerinin tek boyutluluğunun sınanması amacıyla PRELİS 8.8 ve LISREL 8.8 programları ile SIMPLIS yazılım dili kullanılarak asimptotik kovaryans matrisleri üzerinden tek boyutlu doğrulayıcı faktör analizi yapılmıştır. 3. Testin geneli ile cinsiyet ve okul türü alt gruplarına göre puan dağılımları, test istatistikleri ve ayrı ayrı madde analizleri; madde güçlük (p) ve ayırt edicilik indeksleri (çift serili korelasyon katsayısı) hesaplanmıştır. Madde analizleri için ITEMAN 3.5 paket programı kullanılmıştır. 4. Cinsiyet ve okul türü değişkenlerine göre DMF analizleri yapılırken MH ve LR yöntemleri kullanılmıştır. MH analizi EZDIF programında (Waller, 2005) ve LR analizi ise (Zumbo,1999) un SPSS Betik (script) yazılımı kullanılarak IBM SPSS Statistics (ver.21) de gerçekleştirilmiştir. Ayrıca LR yöntemindeki DMF nin varlığının belirlenmesinde kullanılan hesaplanmasında Microsoft Excell 2013 programı kullanılmıştır değerlerinin manidarlığın 5. MH ve LR yöntemlerinin gösterdiği uyum derecesini belirleyebilmek için her iki yöntemde de DMF gösteren maddeler, tespit edilen DMF düzeyleri ve toplam DMF gösteren madde sayıları kıyaslanmıştır. Yöntemlerin maddelerdeki DMF büyüklük sıralamaları bazında uyum gösterip göstermediklerini incelemek için Spearman Brown sıralama farkı korelasyon katsayısı (Spearman rho) değerlerine bakılmıştır. Korelasyon değerlerini elde etmek için de IBM SPSS (ver.21) paket programı kullanılmıştır.

61 6. DMF gösteren maddelerin olası DMF kaynaklarının belirlenmesi için Delphi tekniği kullanılmıştır. Delphi tekniği üç aşamada tamamlanmış olup her aşama için birer anket formu uzmanlara gönderilmiştir. Birinci Delphi anketinde önemli temaların belirlenmesi amacıyla içerik analizi yapılmıştır. İkinci ve Üçüncü Delphi anketleri uzmanlara istatiksel olarak dönüt vermek ve uzmanlar arasında uzlaşmanın sağlanması amacıyla yapılmıştır. İkinci Delphi anketinde, uzmanların belirtilen görüşlerdeki önem sıralamaları belirlenmiş ve görüşlere katılma düzeylerine ait yüzdelik, ortanca ve çeyrekler arası genişlik değerleri hesaplanmıştır. Üçüncü Delphi anketinde güçlü ve kısmi uzlaşma ölçütleri belirlenmiş ve bu ölçütleri sağlayan görüşler DMF kaynakları olarak alınmıştır. İstatistiklerin hesaplanması amacıyla IBM SPSS (ver.21) paket programı kullanılmıştır. 7. Son olarak Delphi tekniğinde belirlenen DMF kaynaklarının madde yanlılığına neden olup olmadığının belirlenmesi için Odak grup görüşmesi yapılmıştır. Odak grup görüşmesi verileri içerik analizi yapılarak sonuçlandırılmıştır. Aşağıda yukarıda sözü edilen analizlere ilişkin bilgi verilmiştir Tek Boyutluluk DMF analizleri öncesinde eşleme değişkeninin (toplam test puanı) geçerliğine yönelik kanıtların sağlanması gerekmektedir (Dorans ve Holland, 1993). Bu nedenle DMF analizlerinin temel gereksinimi olarak tek boyutluluk sayıltısı kontrol edilmiştir. Araştırmada, verilerin tek boyutluluk sayıltısını karşılayıp karşılamadığını incelemek için, LISREL 8.8 ile, tek faktörlü doğrulayıcı faktör analizi (DFA) yapılmıştır. Kline (2005) e göre, veri (1-0) şeklinde yani kategorik ise Asimptotik Kovaryans Matrisi ile Ağırlıklı En Küçük Kareler (AEKK) metodunun kullanılması gerekmektedir (Çelik ve Yılmaz, 2013). Bu nedenle DFA çözümlemesinde, veriler 1-0 şeklinde puanlanan süreksiz veri olduğu için Asimptotik kovaryans matrisi ile ağırlıklı en küçük kareler metodundan yararlanılmıştır. Bu çalışmada, evrenin tamamına ilişkin veriler üzerinde faktör analizi yapılmak istenmesine rağmen, veri sayısının çok büyük olması analizde güçlükler yaratmaktadır. Bu nedenle basit seçkisiz örnekleme yöntemiyle 5000 kişilik bir örneklem seçilerek DFA yapılmıştır. AEKK metodunun kullanıldığı analizlerde en küçük örneklem büyüklüğünün en azından 1000 ve bazı durumlarda 4000 gözleme ihtiyaç duyulduğunu belirtmektedir (Schermelleh-Engel ve 43

62 Moosbrugger, 2003). Matematik alt testi doğrulayıcı faktör analizi sonuçları Tablo 8 de verilmiştir. Tablo 8. Doğrulayıcı Faktör Analizi Model Veri Uyumu İstatistikleri Uyum Ölçüleri İyi Uyum Kabul edilebilir Uyum Matematik Alt Testi İstatistikleri 2 sd 2 3 sd 2 5 sd RMSEA 0 RMSEA 0, 05 0,05 RMSEA 0, CFI 0,97 CFI 1 0,95 CFI 0, GFI 0,95 GFI 1 0,90 GFI 0,95 0,99 AGFI 0,90 AGFI 1 0,85 AGFI 0,90 0,98 Not: Uyum indeks kriter değerleri (Yılmaz ve Çelik, 2013) Matematik alt testinin tek boyutluluğuna ilişkin model veri uyumu incelenirken RMSEA, CFI, GFI ve AGFI gibi hata ve uyum indeks değerlerine bakılmıştır. Tablo 8 incelendiğinde, matematik alt testinin yeterli düzeyde model veri uyumu sağladığı, başka bir ifadeyle testin tek boyutlu olduğu görülmektedir. Matematik alt testi için kullanılan ölçme modelinin grafiği Ek 6 da verilmiştir. 44

63 2.4.2 Betimsel Test İstatistikleri ve Puan Dağılımları Matematik alt testinin betimsel istatistikleri Tablo 9 da, puan dağılım grafiği ise Şekil 3 te verilmiştir. Tablo 9. Matematik Alt Testi Betimsel İstatistikleri İstatistikler Matematik Alt Testi Madde Sayısı 20 Öğrenci Sayısı En düşük puan 0 En yüksek puan 20 Ortalama 7,17 Varyans 22,6 Standart Sapma 4,75 Çarpıklık 0,935 Basıklık 0,066 Güvenirlik (Cronbach ) 0,858 Ölçmenin Standart Hatası 1,793 Ortalama Güçlük ( p ) 0,359 Ortalama Ayırıcılık ( r pb ) 0,513 Şekil 3. Matematik alt testi puan dağılım grafiği 45

64 Tablo 9 incelendiğinde test için hesaplanan güvenirlik katsayısının (KR-20) nin 0,85 olduğu görülmektedir. Bulunan iç tutarlık anlamındaki güvenirlik katsayısının 0,70 değerinden yüksek olması gerekçesiyle testin kabul edilebilir düzeyde iç tutarlığa yani güvenirliğe sahip olduğu söylenebilir. Ayrıca testi alan öğrenciler testteki 20 maddenin ortalama 7,17 sine doğru cevap verdiğinden ortalama güçlük değeri ( p ) 0,359 olarak hesaplanmıştır. Tablo 9 dan, basıklık ve çarpıklık katsayılarının pozitif değer alması testten alınan puan dağılımının normal dağılıma göre sivri ve sağa çarpık olduğunu göstermektedir. Şekil 3 ten de görüldüğü gibi yığılma düşük puanlardadır. Araştırmada gruplama değişkeni olarak cinsiyet ve okul türü kullanıldığı için verinin kız ve erkek öğrenci alt gruplarına ve özel ve devlet okul öğrenci alt gruplarına göre ayrı ayrı betimsel istatistik değerleri hesaplanmıştır. Testin cinsiyet ve okul türüne göre betimsel istatistikleri Tablo 10 da, iki alt gruba ait puan dağılım grafikleri ise Şekil 4 te verilmiştir. Tablo 10. Matematik Alt Testi Cinsiyet ve Okul Türüne göre Betimsel İstatistikleri İstatistikler Cinsiyet Okul Türü Erkek Kız Özel Devlet Madde Sayısı Öğrenci Sayısı Ortalama 7,12 7,23 14,09 6,92 Varyans 22,742 22,46 26,826 20,63 Standart Sapma 4,769 4,739 5,179 4,54 Çarpıklık 0,963 0,907-0,758 0,973 Basıklık 0,137-0,006-0,543 0,253 Güvenirlik (Cronbach ) 0,859 0,858 0,91 0,843 Ölçme Hatası 1,794 1,788 1,55 1,8 Ortalama Güçlük ( p ) 0,356 0,361 0,704 0,346 Ortalama Ayırıcılık ( r pb ) 0,516 0,511 0,607 0,494 46

65 Şekil 4. Cinsiyete ve okul türüne göre matematik alt testi puan dağılım grafikleri Tablo 10 da verilen istatistiklerinin ve Şekil 4 deki puan dağılım grafiklerinin erkek ve kız öğrenciler için benzer sonuçlar verdiği görülmektedir. Alt gruplardan birinde diğerine yönelik belirgin bir farklılık ortaya çıkmamıştır. Okul türü gruplarına göre ise özel ve devlet okulundaki öğrencilerin puan dağılımlarının birbirinden oldukça farklı olduğu görülmektedir. Cinsiyet gruplarına göre kız öğrencilerin ortalamasının ( X kız 7, 23 ) erkek öğrencilerden ( X erkek 7,12 ) az bir farkla yüksek olduğu, puan dağılımlarının heterojenliğinin ise birbirine yakın olduğu görülmektedir. Okul türü gruplarına göre ise özel okul öğrencilerinin ( X özelokul 14, 09 ) devlet okulu öğrencilerinden ( X devletokul 6,92 ) daha yüksek ortalamaya sahip olduğu belirlenmiştir. Cinsiyet gruplarına göre testin ortalama ayırıcılıklarının ( r 0, 516, r 0, 511) birbirine oldukça yakın ve yüksek değerler aldığı görülmektedir. Ayrıca testin erkek ve kız öğrenci gruplarına göre benzer zorlukta ( perkek = 0,356, p kız = 0,361) olduğu söylenebilir. Okul türü gruplarına göre ise özel okul grubunda ortalama ayırıcılığın ( rözelokul 0, 607) devlet okulundakine göre ( rdevletokulu 0, 494) daha yüksek olduğu görülmektedir. Ayrıca testin devlet okulundaki öğrencilere oldukça zor, özel okuldaki öğrencilere ise kolay geldiği söylenebilir. 47 erkek kız

66 2.4.3 Madde İstatistikleri Testin KTK ya göre elde edilen madde istatistikleri Tablo 11 de, madde istatistiklerine ait saçılım grafiği ise Şekil 5 te verilmiştir. Tablo 11. Matematik Alt Testi Madde İstatistikleri Madde No Matematik Alt Testi p r pb Madde No Matematik Alt Testi p r pb 1 0,29 0, ,29 0,62 2 0,44 0, ,34 0,59 3 0,47 0, ,25 0,57 4 0,64 0, ,18 0,43 5 0,19 0, ,57 0,51 6 0,29 0, ,59 0,54 7 0,44 0, ,39 0,59 8 0,39 0, ,24 0,65 9 0,35 0, ,50 0, ,15 0, ,15 0,28 Şekil 5. Matematik alt testi madde istatistikleri saçılım grafiği Tablo 11 incelendiğinde, testteki madde ayırıcılık ( r pb ) ve güçlük ( p ) indekslerinin, sırasıyla 0,23-0,65 ve 0,15-0,64 arasında değerler aldığı görülmektedir. Şekil 5 te verilen 48

67 madde istatistiklerine ait saçılım grafiğine bakıldığında, madde güçlüklerine göre zor maddelerin ( p j 0, 5) çoğunlukta olduğu görülmektedir. Madde ayırıcılıkları göz önüne alındığında ise maddelerin genel olarak yüksek ayırıcılık değerine ( r 0, 40 ) sahip olduğu söylenebilir. Özel olarak 10. ve 20. maddelerin sırasıyla güçlük ( p10 0,15, p20 0,15 ) ve ayırıcılık ( r pb(10) 0, 23 ve rpb(20) 0, 28 ) değerleri incelendiğinde oldukça zor ve ayırıcılıklarının da düşük olduğu söylenebilir Cinsiyet Gruplarına göre Madde İstatistikleri Matematik alt testinin cinsiyet gruplarına göre güçlük ve ayırıcılık indeksleri Tablo 12 de, madde istatistikleri saçılım grafikleri ise Şekil 6 da verilmiştir. Tablo 12. Cinsiyete Gruplarına göre Matematik Alt Testi Madde İstatistikleri Madde No p Kız Erkek 1 0,30 0,43 0,29 0,47 2 0,48 0,61 0,41 0,63 3 0,47 0,61 0,46 0,61 4 0,70 0,39 0,59 0,45 5 0,19 0,42 0,20 0,40 6 0,28 0,60 0,29 0,57 7 0,44 0,36 0,45 0,36 8 0,39 0,61 0,40 0,60 9 0,36 0,62 0,35 0, ,13 0,19 0,16 0, ,28 0,63 0,29 0, ,36 0,59 0,33 0, ,26 0,58 0,25 0, ,18 0,44 0,19 0, ,57 0,50 0,57 0, ,59 0,54 0,60 0, ,40 0,58 0,38 0, ,24 0,65 0,23 0, ,46 0,60 0,54 0, ,15 0,28 0,15 0,29 r pb p r pb 49

68 Şekil 6. Cinsiyet gruplarına göre matematik alt testi madde istatistikleri saçılım grafikleri Tablo 12 incelendiğinde, matematik alt testi madde güçlüklerinin cinsiyet grupları arasındaki farkın en çok p j 0,08 (19.madde), madde ayırıcılıkları arasındaki farkın ise en çok rpb 0,06 (4.madde) olduğu görülmektedir. Testteki güçlük ( p ) ve madde ayırıcılık ( r pb ) indekslerinin kızlar için sırasıyla 0,13 0, 70 ve 0,19 0,65 arasında değerler aldığı görülmektedir. Erkekler için ise güçlük ( p ) ve madde ayırıcılık ( r pb ) indekslerinin sırasıyla 0,15 0, 60 ve 0,27 0,66 arasında değerler aldığı görülmektedir. Benzer şekilde, cinsiyet gruplarına göre Şekil 6 da verilen madde istatistikleri saçılım grafikleri incelendiğinde, testte kolay maddeler nispeten az olsa da güçlük değerlerinin kolaydan zora geniş bir aralıkta değiştikleri gözlenmektedir. Madde ayırıcılıkları incelendiğinde ise testte yer alan maddelerin genel olarak yüksek ayırıcılık gücüne sahip olduğu söylenebilir. 50

69 Okul Türü Gruplarına göre Madde İstatistikleri Matematik alt testinin okul türü gruplarına göre güçlük ve ayırıcılık indeksleri Tablo 13 te, madde istatistikleri saçılım grafikleri ise Şekil 7 de verilmiştir. Tablo 13. Okul Türüne göre Matematik Alt Testi Madde İstatistikleri Madde No p Özel Okul Devlet Okul r p pb r pb 1 0,61 0,64 0,28 0,43 2 0,85 0,63 0,43 0,61 3 0,86 0,61 0,45 0,60 4 0,88 0,46 0,64 0,42 5 0,50 0,63 0,18 0,37 6 0,68 0,71 0,27 0,56 7 0,73 0,56 0,43 0,34 8 0,78 0,58 0,38 0,60 9* 0,79 0,60 0,34 0, ,34 0,48 0,14 0, ,71 0,74 0,27 0, ,73 0,74 0,33 0, ,64 0,75 0,24 0, ,50 0,69 0,17 0, ,86 0,50 0,56 0, ,93 0,46 0,58 0, ,81 0,63 0,38 0,58 18* 0,67 0,72 0,22 0, ,86 0,55 0,49 0, ,36 0,46 0,15 0,25 Şekil 7. Okul türüne göre matematik alt testi madde istatistikleri saçılım grafikleri 51

70 Tablo 13 incelendiğinde, matematik alt testi madde güçlüklerinin okul türü grupları arasındaki farkın en çok p 0, 45 (9. ve 18. maddeler), madde ayırıcılıkları arasındaki farkın ise en çok rçs 0,29 (10. ve 14. maddeler) olduğu görülmektedir. Testteki güçlük ve madde ayırıcılık indekslerinin özel okul için sırasıyla 0,36 0,93 ve 0,46 0,75 arasında değerler aldığı görülmektedir. Devlet okulu için ise güçlük ve madde ayırıcılık indekslerinin sırasıyla 0,14 0,64 ve arasında değerler aldığı görülmektedir. Okul türü gruplarına göre Şekil 7 de verilen madde istatistikleri saçılım grafikleri incelendiğinde, özel okul grubu için testteki maddelerin genel olarak kolay olduğu yalnızca 10. ve 20. maddelerin zor olduğu görülmektedir. Madde ayırıcılıkları incelendiğinde ise testte yer alan maddelerin genel olarak yüksek ayırıcılık gücüne sahip olduğu söylenebilir. Devlet okulu madde istatistikleri saçılım grafiği incelendiğinde ise birkaç madde dışında testteki maddelerin öğrencilere genel olarak zor geldiği görülmektedir. Madde ayırıcılıkları incelendiğinde ise testte yer alan maddelerin birkaç madde dışında yüksek ayırıcılık gücüne sahip olduğu söylenebilir Değişen Madde Fonksiyonlarının Analizi Test maddelerinin DMF gösterip göstermediği, KTK bağlamında MH ve LR yöntemleri kullanılarak incelenmiştir MH Yöntemi Analizleri MH yöntemi, uygulamasının ve istatistiksel olarak yorumlanmasının kolay olması, TB DMF gösteren maddelerin belirlenmesinde güçlü yöntem olması ve istatistiksel anlamda manidarlığın ve etki büyüklüğünün hesaplanmasına olanak tanıması nedeniyle tercih edilmiştir (Guilera, Gomez-Benito ve Hidalgo, 2009). MH, çok kategorili puanlanan maddelerde de yaygın kullanıma sahip olmasına rağmen, bu araştırmanın amaçları gereğince sadece iki-kategorili veriler çerçevesinde DMF belirleme kapsamına yer verilmiştir. MH yöntemi kikare istatistiğine dayanmakta olup, bireylere ait her bir yetenek düzeyi için 2x2 lik bir kikare olasılık tablosu oluşturulmaktadır(osterlind ve Everson, 2009). Tablo 14 te belli bir yetenek düzeyindeki her grup için doğru ve yanlış yanıtların sayısı verilmiştir. 52

71 Tablo 14. Tek Bir Yetenek Düzeyi (i. toplam puan) için Oluşturulmuş Kikare Tablosu Grup Referans (R) Odak (O) Doğru (1) a c i i Madde Yanıtları Yanlış (0) b d i i Toplam N a b R i i i N a b O i i i Toplam N a c R i i i N b d O i i i N a b c d T i i i i i Tablo 14 te verilen 2x2 lik kikare tablosu, toplam puan bütününde bir parça veya bir kategoriyi temsil eder. K maddeli bir testten alınabilecek maksimum puan=k ve minimum puan ise 0 olduğundan bu testte muhtemel K+1 tane olası puan vardır. Bu şekilde üç boyutlu sınıflandırmayı tamamlamak için her bir gözlenen puan (j indeksi) için 2x2 lik K+1 tane olasılık tablosunun oluşturulması gerekir. Fakat tüm katılımcıların maddelerin tamamını yanlış olarak yanıtladıkları durum için ( j 0 ve X 0 ) ve katılımcıların tamamının bütün maddeleri doğru olarak yanıtladıkları durumda ( j j K ve X j K ), referans ve odak grup katılımcıları iki sınıflandırma tablosu (j=0, K) için DMF göstermeyeceklerdir. Bu nedenle bu iki tablo analiz dışı bırakılır(holland ve Wainer, 1993). j [1, K 1] ve S K 1 (2x2 lik sınıflandırma tablosu sayısı) olarak tanımlanmak üzere yetenek grubu sayısı S ve 2x2xS büyüklüğünde üç boyutlu bir matris temelinde analizler yapılır (Holland ve Wainer, 1993; Osterlind ve Everson, 2009). MH yöntemi kikare istatistiğine dayanmakta olup 2 MH istatistiği ile madde performansı ile grup üyelikleri arasında bir ilişki olup olmadığı belirlenebilir. Fakat yapılan kikare testi DMF nin büyüklüğü yani ilişkinin gücü hakkında bilgi vermez. Bunun için 2x2 lik çapraz tablodan ortak odds oranı (common odds ratio) tahmin edilir. MH odds oranı MH olmak üzere tablodaki satır ve sütun değişkenleri arasındaki lineer ilişkiyi gösterir (Osterlind ve Everson, 2009). DMF büyüklüğünün bir ölçüsünü veren MH odds oranı için öncelikle her bir maddeye ilişkin odds oran değerleri ( i ) hesaplanır. Referans grup için; p r i :i. maddeyi doğru yanıtlayan bireylerin oranı, q :i. maddeyi yanlış yanıtlayan bireylerin oranı ( r i q ri 1 pr ) olmak üzere (Odak grup için de p i f ve i q f ), i. maddeye ait odds oran değeri; i 53

72 p ai (a i b) r i i qr b (a ). i i i bi ai bi ai di i pf c (c d ). i i i i ci di bi ci q d (c d ) fi i i i şeklinde hesaplanır. Referans ve odak gruplar aynı yetenek düzeyinde olmak üzere, eğer gruplar arasında fark yoksa o zaman i 1 olur, yani referans ve odak gruplar arasında fark yoktur (DMF nin yokluğu). i 1 olması odak gruptaki bireylerin maddeyi referans gruptaki bireylere göre daha iyi yanıtladığını ve i 1 olması ise referans gruptaki bireylerin maddeyi odak gruptaki bireylerden daha iyi yanıtladığını gösterir (Holland ve Wainer, 1993). Odds oran değeri i, ortak odds oran değerinin evren kestirimi ˆMH için kullanılır. ˆMH değerini yorumlamasının zor olması nedeniyle bu değer, yorumlamaların daha kolay ve pratik olduğu logaritmik ölçeğine dönüştürülür (Wiberg, 2007). Dönüşüm sonrasında MH algoritmasının nihai çıktısı olan indeks; oranının doğal logaritması olarak MH D DMF olarak gösterilmekte ve bu değer odds MH 2,35.ln( MH ) D DMF şeklinde ifade edilir (Holland ve Thayer, 1993). MH D DMF 0 olması DMF nin yokluğunu yani gruplar arasında maddeyi yanıtlama olasılıkları için bir fark olmamasını, MH D DMF 0 olması maddenin odak grup lehine DMF gösterdiğini ve MH D DMF 0 olması ise maddenin referans grup lehine DMF gösterdiğini belirtir (Holland ve Wainer, 1993). Ayrıca bir etki büyüklüğü istatistiği olarak MH D DMF istatistiği, Eğitimde Test Servisi (ETS) tarafından DMF miktarının ne derece büyük olduğunu yorumlanmasında da kullanılır (Wiberg, 2007). MH DMF büyüklüğü istatistiklerinin Zieky (1993) tarafından önerilen sınıflandırması Tablo 15 te verilmiştir. Tablo 15. Mantel Haeszel DMF İstatistiğinin Yorumlanması Düzey Değer DMF miktarı A MH D DMF 1 Yoktur veya ihmal edilebilir B 1 MH D DMF 1,5 Orta düzeyde C MH D DMF 1,5 Yüksek düzeyde 54

73 MH yönteminde DMF nin miktarının belirlenmesinde Zieky (1993) tarafından belirlenen sınıflandırma kullanılmıştır. MH yöntemi ile DMF belirlenirken orta düzeyde (B) ve yüksek düzeyde (C) DMF gösteren maddeler yanlılık durumları incelenmek üzere belirlenmiştir. Analizler sonucunda cinsiyete ve okul türüne göre maddelerin hangi alt grup lehine çalıştığı EZDIF programının yaptığı kategorilendirme: 1 MH 1,5 ve MH 1,5 değerleri sırasıyla B ve C düzeyleri olarak sınıflandırılmıştır LR Yöntemi Analizleri LR yöntemi hem TB hem de TBO DMF yi tespit etmedeki gücü, manidarlık testlerinin yapılabilmesi ve MH yönteminde olduğu gibi etki büyüklüğü istatistiğini sağlayan bir yöntem olması sebebiyle tercih edilmiştir (Clauser ve Mazor, 1998). Maksimum olabilirlik kestiriminin kullanılarak grup, toplam puan ve kesişim parametreleri kestirilir (Swaminathan ve Rogers, 2005). Olabilirlik oranının doğal logaritması olarak bağımlı değişken, exp( i ) P(uij 1 ) 1 exp( ) yetenek düzeyindeki j. gruptaki i. bireyin maddeyi doğru yanıtlama olasılığını göstermektedir (Osterlind ve Everson, 2009). DMF, eşlenmiş yetenek düzeyindeki katılımcıların maddeyi yanıtlamada farklı bir başarı oranı göstermesi durumunda ortaya çıkar. Bir başka deyişle LR eğrileri her iki grupta (referans ve odak gruplarda) aynı olduğunda DMF yoktur (Osterlind ve Everson, 2009). ; olabilirlik oranının doğal logaritması olmak üzere, LR modeli; ψ = δ + τ 1.TopPuan + τ 2.Grup + τ 3.(TopPuan *Grup) şeklinde verilmektedir. Yukarıda verilen LR modelindeki katsayılar maksimum olabilirlik yöntemiyle kestirilmekte ve modellerin birbirlerine göre anlamlı fark oluşturup oluşturmadığı olabilirlik oran testiyle incelenmektedir (Osterlind ve Everson, 2009). LR tekniğinde DMF analizleri yapılırken değişkenler modele hiyerarşik olarak alınır. Modellemedeki hiyerarşi aşağıdaki adımlarla yapılır. DMF analizleri hipotez testini temel alan 3 modelin karşılaştırılması ile yapılır. Bir maddedeki i. katılımcı için beklenen i 55

74 olabilirlik oranı ; X : i. katılımcının toplam puanı; G :Katılımcı grup (referans ve odak), i i i i G *X : Bireyin grup üyeliği ile toplam puanı arasındaki etkileşim olmak üzere; Kriter değişken (Toplam Puan) Model I.X i 1 Grup değişkeni (Referans ve odak) Model II.X. G i 1 i 2 i Etkileşim terimi (Toplam Puan*Grup) Model III X.. G.( G *X ) i 1 i 2 i 3 i i i i Model katsayılarına ilişkin açıklamalar aşağıda verilmiştir: 1 : Maddeyi doğru yanıtlama eğilimindeki katılımcılar arasındaki yetenek farklılıklarını modellemektedir. İstatiksel olarak anlamlı olması beklenir, çünkü daha yüksek toplam puana sahip katılımcıların maddeyi doğru yanıtlama olasılığının daha iyi olması beklenir. 2 : Sıfırdan önemli derecede farklılaştığında, bir maddeyi doğru yanıtlama olasılığı iki grup için farklıdır. 3 : Etkileşim terimini modellemektedir. Bu terim anlamlılık gösterdiğinde TBO DMF nin varlığını gösterir. Lojistik regresyonu DMF analizlerine uygulamak için kullanılan tam (full) model (Model III); i 1. Gi 2.X i 3.( Gi *X i ) olup, Model III ten elde edilen 2 (3) değeri ile Model I deki 2 (2) 2 (1) değerinin karşılaştırılmasıyla DMF nin varlığı tespit edilir. Elde edilen değerinin anlamlı olması DMF nin varlığına işaret ederken, Model I ( R ) ve Model 2 1 III ( R 2 3 ) ten elde edilen R R R değeri ile var olan DMF nin büyüklüğü belirlenir Model III ten elde edilen 2 R 3 ile Model II den elde edilen 2 R 2 farkı R R TBO DMF nin

75 varlığını gösterirken, Model II den elde edilen 2 R 2 ile Model I den elde edilen 2 R 1 farkı R R TB DMF nin varlığına işaret eder. LR tekniğinde DMF büyüklüğünü ölçen ve sıklıkla kullanılan indekslerden biri Nagelkerke (Zumbo, 1999). Model III ve Model I arasındaki 2 R (Thomas ve Zumbo, 1998) indeksidir 2 R değerleri farkı olan 2 R (Nagelkerke R 2 değer farkları) değerinin yorumlanmasında kullanılan farklı sınıflandırmalar Tablo 16 da verilmiştir. Tablo R Değerlerinin Yorumlanması için Kullanılabilecek Sınıflamalar Düzey A 2 Zumbo ve Thomas (1998) R 0,13 B 2 C 2 0,13 R 0, 26 R 0,26 Jodoin ve Gierl (2001) DMF miktarı 2 R 0,035 A (Yok veya ihmal edilebilir 2 0,035 R 0,070 düzeyde) B (Orta düzeyde) 2 R 0,070 C (Yüksek düzeyde) Tablo 16 da belirtilen 2 R değerlerinin sınıflandırmaları dışında DMF miktarının belirlenmesinde ilk kesme noktası olarak 0,010 ve ikinci kesme noktası olarak ise 0,020 yi kullanan çeşitli çalışmalar bulunmaktadır (Bakan Kalaycıoğlu ve Kelecioğlu, 2011; Çepni, 2011; Kelecioğlu vd., 2014). Ayrıca Kelecioğlu vd. (2014), DMF içerdiği halde belirlenen ölçütün altında kaldığı için gözden kaçırılabilecek maddelerin incelenmesi amacıyla belirtilen kesme noktalarının kullanılabileceğini belirtmiştir. LR yönteminde MH den farklı olarak hem TB DMF hem de TBO DMF incelenmiştir. Analizler sonucunda model 1, model 2 ve model 3 için elde edilen Nagelkerke 2 R değerleri tablolaştırılmıştır. LR yönteminde DMF miktarının belirlenmesinde Bakan Kalaycıoğlu ve Kelecioğlu (2011) ile Çepni (2011) tarafından kullanılan sınıflandırma kullanılmıştır. Sınıflandırmada LR yönteminde ise, 2 0,010 R 0,020 ve 2 0, 020 R sırasıyla orta düzeyde (B) ve yüksek düzeyde (C) DMF gösteren maddeler yanlılık durumları incelenmek üzere belirlenmiştir. 57

76 2.4.5 İki Yöntemin Sonuçları Arasındaki Uyumun Analizi Araştırmanın üçüncü sorusunda, DMF gösteren maddelerin belirlenmesinde LR ve MH yöntemleri arasındaki uyum, hem cinsiyet hem de okul türü değişkenlerine göre yapılan DMF analiz sonuçları açısından belirlenmiştir. LR ve MH yöntemleri ile cinsiyet ve okul türü alt gruplarına göre DMF gösteren maddelerin düzeyleri (A, B ve C) ve DMF gösteren maddelerin ortak olup olmama durumuna göre iki yöntemin uyum analizi yapılmıştır. Yöntemlerin maddelerdeki DMF miktarlarının büyüklük sıralaması bakımından benzerliklerinin belirlenebilmesi için ise her iki yöntem için cinsiyete ve okul türüne göre elde edilen DMF büyüklüğü istatistikleri arasında Spearman Brown sıralama farkı korelasyon katsayıları incelenmiştir DMF Gösteren Maddelerin Yanlılık Durumlarının Analizi DMF gösterdiği belirlenen maddelerin yanlılık durumlarının analizi iki aşamada tamamlanmıştır. Birinci aşamada DMF kaynaklarının belirlenmesi amacıyla Delphi tekniği kullanılırken, ikinci aşamada ise DMF kaynaklarının madde yanlılığına yol açıp açmadığı madde yanlılığı uzman paneli olarak tanımlanan odak grup görüşmesi yapılarak belirlenmiştir Delphi Tekniği Analizleri Araştırmanın dördüncü sorusunda orta ve yüksek düzeyde DMF gösteren maddelere ilişkin DMF kaynaklarının belirlenmesi amacıyla Delphi tekniğinden yararlanılmıştır. Uzmanların yani Delphi panelistlerinin istedikleri zaman istedikleri yerde panellere katılabilme imkânına sahip olmaları, farklı uzmanların görüşlerinin daha sistematik bir biçimde toplanması ve kendi görüşleri ile diğer uzmanların görüşlerini inceleme imkânı bularak değerlendirmelerinden dolayı Delphi tekniği tercih edilmiştir. Delphi tekniğinde sistematik olarak veri toplama ve analiz etme söz konusudur (Franklin ve Hart, 2007). Delphi tekniğin panellerinde üç farklı anket kullanılarak veri toplanmış, toplanan verilerin analizleri de her anket için ayrı olarak yapılmıştır. Birinci Delphi anketinde açık uçlu sorulara verilen yanıtlardan önemli temaları ortaya çıkarmak için içerik analizi yapılmıştır. İkinci ve Üçüncü Delphi anketleri uzlaşma düzeyinin belirlenmesi amacıyla yapılmaktadır. İkinci Delphi anketinde, uzmanların her bir madde için belirtilen 58

77 olası DMF kaynaklarına katılma düzeyleri ve önem sıralamaları belirlenerek katılma düzeylerine ait yüzdelik, ortanca ve çeyrekler arası genişlik değerleri hesaplanmıştır. Üçüncü Delphi anketinde ise aynı istatistikler hesaplanmış, güçlü ve kısmi uzlaşma ölçütleri kullanılarak DMF kaynakları belirlenmiştir. Birinci, İkinci ve Üçüncü Delphi anketlerinde kullanılan istatistiklere ve yapılan analizlere ilişkin detaylı bilgiye aşağıda yer verilmiştir. Birinci Delphi Anketi Analizleri Birinci Delphi anketinde DMF nin olası kaynaklarının belirlenmesine yönelik kullanılan açık uçlu sorulardan önemli temaları çıkarmak için içerik analizi yapılmıştır. İçerik analizinde temel amaç, toplanan verileri açıklayabilecek kavramlara ve ilişkilere ulaşabilmek olup birbirine benzeyen verileri belirli kavramlar ve temalar çerçevesinde bir araya getirerek düzenlemektir (Yıldırım ve Şimşek, 2013). İçerik analizi sonucunda, her bir DMF kaynağının anlaşılırlığı ve başka DMF kaynakları ile birleştirilip birleştirilemeyeceği Eğitimde Ölçme ve Değerlendirme alanında yüksek lisans yapan üç uzman tarafından değerlendirilmiştir. İkinci Delphi Anketi Analizleri İkinci Delphi anketinden elde edilen veriler için katılma düzeylerine ait istatistikler ve önem sıralamaları için ortanca değerleri hesaplanmıştır. Hasson vd. (2000), Delphi çalışmalarında kullanılan uzlaşma ölçütlerinin ve düzeyinin katılımcı grubunun genişliğine, araştırmanın amacına ve kaynaklara bağlı olduğundan evrensel olarak benimsenen bir uzlaşma ölçütlerinin olmadığını belirtmektedir. Uzlaşma, önceden belirlenen bir katılımcı yüzdesinin araştırılan konu üzerinde anlaşmaya varmasıyla oluşmaktadır (Nwoie, 2011). Uzlaşma düzeyinin belirlenmesi, maddelere verilen yanıtların belirli bir yüzdesinin belirlenen aralıklar içerisinde kalmasını ifade etmektedir (Scheibe, Skutsch ve Schofer, 2002). Alanyazında Delphi çalışmalarında uzlaşma sağlanan maddeleri belirlemek için katılım yüzdesi, çeyrekler arası genişlik, ortalama, ortanca ve standart sapma gibi farklı kriterlerin kullanıldığı görülmektedir (Dajani, Sincoff ve Talley, 1979; Rayans ve Hahn, 2000; Scheibe vd., 2002; Şahin, 2004). Bazı Delphi çalışmalarında ise katılma düzeylerine ilişkin yalnızca medyan ve çeyrekler arası genişlik değerlerinin kullanıldığı görülmektedir (Redmond, Rooney ve Bishop, 2006; Rowe ve Wright, 1999). Bu çalışmada ise uzlaşma sağlanan maddeleri belirlemek amacıyla katılma yüzdesi, ortanca ve çeyrekler arası genişlik değerleri kullanılmıştır. Aritmetik ortalama değerinin dağılımın uç 59

78 noktalarında yer alan verilere çok duyarlı olması; ortancanın ise uç noktalarda yer alan verilerden etkilenmemesi nedeniyle tercih edilmiştir. İkinci Delphi anketinde yer alan istatistiklere ilişkin gerekli bilgiler aşağıda verilmiştir. Ortanca (Medyan): Verilen yanıtların (katılma düzeyi (1-4)) küçükten büyüğe doğru sıralanması sonucu tam ortada kalan değerdir. Cevapların %50 'sini soluna, %50 'sini de sağına alan noktadır. Çeyrekler Arası Genişlik (IQR (Q3-Q1)): Birinci çeyrek (Q1), yanıtların %25 'ini soluna, %75 'ini de sağına alan noktadır. Üçüncü çeyrek (Q3), yanıtların %25 'ini sağına, %75 'ini de soluna alan noktadır. Çeyrekler arası genişlik, birinci çeyrek ve üçüncü çeyrek değerleri arasındaki farktır. Birinci ve üçüncü çeyrek arasında çıkan farkın az olması görüş birliğini, farkın fazla olması ise görüş birliği olmadığını ifade etmektedir (Şahin, 2004). Katılma Yüzdesi (%) ise 3: Katılıyorum ya da 4: Kesinlikle Katılıyorum cevabını veren uzmanların grup içindeki yüzdesini ifade etmektedir. İkinci Delphi anketinde yer alan tüm panel üyelerinin her bir maddedeki katılma düzeylerine ilişkin istatistikler (katılma yüzdesi, ortanca ve çeyrekler arası genişlik) Statistics SPSS (ver.21) programı kullanılarak hesaplanmıştır. Üçüncü Delphi Anketi Analizleri Üçüncü Delphi panelinde kullanılmak üzere hazırlanan üçüncü Delphi anketi her bir uzman için özel olarak düzenlenmiş olup anketlerde uzmanların kendi katılma düzeylerine ve tüm panel üyelerinin her bir maddedeki katılma düzeylerine ilişkin istatistiklere (genel eğilim) yer verilmiştir. Delphi çalışmalarında kullanılan uzlaşma ölçütleri için her bir araştırmada farklı standartlar kullanılmakta; ölçütlerin düzeyleri araştırmanın amacına ve kullanılan ölçeğin derecesine göre değişebilmektedir (Hatcher ve Colton, 2007; Şahin, 2010). Hatcher ve Colton (2007), 4 lü Likert tipi ölçekte ortalamanın 3 veya daha düşük ve genişlik değerinin 2 veya daha yüksek olduğu durumları zayıf uzlaşma olarak belirlemişlerdir. Balaraman ve Venkatakrishnan (1980) e göre, eğitimsel karar verme konularında yapılan Delphi çalışmalarının uzlaşma düzeyinin %50 ile %79 uzman katılımı arasında olması kabul edilebilirdir. 60

79 Bu çalışmada ise güçlü ve kısmi olmak üzere iki farklı uzlaşma ölçüt grubu belirlenmiştir. Güçlü uzlaşma ölçüt grubu; katılma düzeyi en az %80, ortanca en az 3 ve çeyrekler arası genişlik en çok 1 olarak belirlenmiştir. Üç kriterin karşılanması durumunda DMF gösterme nedeni üzerinde güçlü uzlaşma sağlanmaktadır. Kısmi uzlaşma ölçüt grubu ise katılma düzeyi en az %80 olup diğer kriterlerden (Ortanca 3 ya da IQR 1) birinin karşılanması durumunda DMF gösterme nedeni üzerinde kısmi uzlaşma sağlanmaktadır. Üçüncü anket verilerinin analiz edilmesiyle güçlü ve kısmi uzlaşmanın sağlandığı görüşler DMF kaynakları olarak belirlenmiştir Odak Grup Görüşmesi Analizleri Araştırmanın beşinci sorusunda, Delphi tekniğinde uzlaşma sağlanan DMF kaynaklarının madde yanlılığına neden olup olmadığının belirlenmesi amacıyla madde yanlılığı uzman paneli gerçekleştirilmiştir. Panel, odak grup görüşmesi olarak yürütülmüştür. Odak grup görüşmesi oturumunda Delphi tekniğiyle uzlaşma sağlanan DMF kaynaklarının her biri için Cinsiyete/okul türüne göre DMF gösterdiği belirlenen madde için uzlaşma sağlanan DMF kaynağı madde yanlılığına yol açmakta mıdır? sorusu sorularak DMF kaynağının yanlılık oluşturup oluşturmadığına ilişkin uzman görüşleri alınmıştır. Oturum yaklaşık olarak 75 dakika sürmüş olup, bu süre boyunca ses kaydı alınmıştır. Odak grup görüşmesi kayıtlarının analizinde sözel veri yazıya dönüştürülmüş ve ardından yazı haline dönüştürülen veriye içerik analizi yapılmıştır. Analiz sonuçlarına göre Delphi tekniğinde uzlaşmanın sağlandığı DMF kaynaklarının madde yanlılığına neden olup olmadığı belirlenmiştir. 61

80 62

81 BÖLÜM III BULGULAR VE YORUMLAR Bu bölümde her bir alt probleme ilişkin bulgulara ve ilgili araştırmalarla benzerlik ve farklılıklarına ilişkin yorumlara yer verilmiştir. 3.1 Birinci Alt Probleme İlişkin Bulgular ve Yorumlar Alt Problem 1.a ya İlişkin Bulgular ve Yorumlar Matematik alt testinde cinsiyete göre MH yöntemi ile yapılan analizlerde DMF gösteren maddeler var mıdır? Matematik alt testinde yer alan maddelerin cinsiyete göre MH analizi sonuçları Tablo 17 de, EZDIF programı cinsiyete göre MH analiz sonuçlarına ilişkin tüm istatistikler ise Ek 7 de verilmiştir. Tablo 17. Matematik Alt Testi Cinsiyete göre MH Analiz Sonuçları MH MH Madde Avantajlı* Madde Avantajlı* No MH Düzey** Grup No MH Düzey** Grup 1-0,054 A Erkek 11-0,240 A Erkek 2 0,836 A Kız 12 0,457 A Kız 3 0,018 DMF Yok 13 0,168 A Kız 4 1,398 B Kız 14-0,187 A Erkek 5-0,211 A Erkek 15-0,014 DMF Yok 6-0,101 A Erkek 16-0,266 A Erkek 7-0,092 A Erkek 17 0,137 A Kız 8-0,380 A Erkek 18-0,052 A Erkek 9-0,024 A Erkek 19-1,373 B Erkek 10-0,587 A Erkek 20-0,039 A Erkek * MH 0 ise madde kız ve MH 0 ise erkek öğrenciler lehine işlemektedir. ** MH 1 ise A, 1 MH 1,5 ise B ve MH 1,5 ise C düzeyinde DMF göstermektedir 63

82 Tablo 17 de verilen MH analiz sonuçlarına göre matematik alt testindeki 20 maddeden 18 i cinsiyete göre DMF göstermektedir. 18 maddeden 5 tanesi kız öğrenciler lehine, 13 madde ise erkek öğrenciler lehine DMF göstermiştir. DMF gösterdiği belirlenen maddelerden sadece 4. ve 19. madde önemli düzeyde DMF gösterirken diğer maddeler önemli düzeyde DMF göstermemiştir. 4. madde kız öğrenciler lehine, 19. madde ise erkek öğrenciler lehine B düzeyinde DMF göstermiştir. Kız ve erkek öğrenciler lehine önemli düzeyde DMF gösterdiği belirlenen maddeler Şekil 8 de verilmiştir. Erkek öğrenciler lehine DMF Kız öğrenciler lehine DMF Şekil 8. Sırasıyla kız ve erkek öğrenciler için DMF gösteren maddeler Matematik alt testinde yer alan kız öğrenciler lehine işleyen 4 numaralı madde dik dairesel koninin yüzey açılımının oluşturulmasını gerektiren bir maddedir. Ayrıca koninin yüzey açılımından faydalanarak taban kenarı ve tabana ilişkin uzunluklarının belirlenmesini gerektirmektedir. Matematik alt testinde erkek öğrenciler lehine işleyen 19 numaralı madde ise doğrusal denklem sistemlerinin cebirsel yöntemlerle çözülmesini gerektirmektedir. Günlük yaşam problemi şeklinde modellenmiş olan maddede, soruda öncelikle denklem kurması ardından yerine koyma veya yok etme yöntemlerini kullanarak sonuca ulaşması beklenmektedir. 64

83 3.1.2 Alt Problem 1.b ye İlişkin Bulgular ve Yorumlar Matematik alt testinde cinsiyete göre LR yöntemi ile yapılan analizlerde DMF gösteren maddeler var mıdır? Matematik alt testinde yer alan maddelerin cinsiyete göre LR analiz sonuçları Tablo 18 de verilmiştir. Tablo 18. Matematik Alt Testi Cinsiyete göre LR Analiz Sonuçları 2 R Madde Değerleri DMF DMF DMF DMF NO 2 Model Model Model R Büyüklüğü Yönü p 1 0,263 0,263 0, ,24 0, ,513 0,517 0, ,5 0,00 0, ,503 0,503 0,503 22,871 0, ,276 0,293 0, ,00 0,017 B TB DMF 5 0,230 0,231 0, ,14 0,00 0,001 TB DMF 6 0,43 0,431 0, ,13 0,00 0,001 TB DMF 7 0,171 0,171 0, ,34 0, ,471 0,472 0, ,4 0,00 0,001 TB DMF 9 0,468 0,468 0, ,80 0, ,083 0,086 0, ,7 0,00 0,005 TB DMF 11 0,479 0,479 0,48 838,49 0,00 0,001 TBO 12 0,44 0,441 0, ,2 0,00 0,001 TB DMF 13 0,409 0,409 0, ,06 0, ,258 0,258 0, ,93 0,00 0,001 TBO 15 0,381 0,381 0, ,25 0, ,438 0,438 0, ,62 0,00 0,001 TBO 17 0,448 0,448 0, ,96 0,00 0,001 TBO 18 0,536 0,536 0,536 0,396 0, ,465 0,477 0, ,00 0,012 B TB DMF 20 0,121 0,121 0,121 17,272 0, Not: R 0,010 ise A, 0,010 R 0,020 ise B ve R 0,020 ise C düzeyinde DMF içermektedir. Tablo 18 e göre 20 maddenin tamamının 2 2 değerleri p=.05 düzeyinde anlamlıdır. Bu maddeler için Model 3 R 2 -Model 1 R 2 farkı ( 2 R ) incelendiğinde 4. ve 19. maddelerin B düzeyinde DMF diğer tüm maddelerin ise A düzeyinde DMF içerdiği görülmektedir. Dört numaralı madde incelendiğinde Model3 R 2 -Model2 R 2 farkının 0,293-0,293=0 ve Model2 R 2 -Model1 R 2 farkının ise 0,293-0,276=0,017 olduğu 2 R farkının TB DMF den kaynaklandığı görülmektedir. Benzer şekilde 19 numaralı maddeye ilişkin Model3 R 2 - Model2 R 2 ve Model2 R 2 -Model1 R 2 farkları incelendiğinde maddenin TB DMF gösterdiği görülmektedir. 65

84 Alanyazında matematik alt testi verilerinde cinsiyete göre LR ve MH yöntemleriyle yapılan DMF belirleme çalışmaları incelendiğinde, bu çalışmadan elde edilen bulgulara benzer bulgularla karşılaşılmıştır (Çepni, 2011; Harris ve Carlton, 1983; Li, Cohen ve Ibarra, 2004; Yurdugül, 2003). Bu çalışmaya benzer olarak Yurdugül (2003) ün çalışmasında da OÖK-ÖSYS de yer alan matematik alt testini oluşturan maddelerin geneli cinsiyete göre önemsiz düzeyde DMF göstermiş olup maddelerin çoğu erkek öğrenciler lehine işlemiştir. Bu çalışmada özel olarak geometri maddesinin kız öğrenciler lehine DMF gösterdiği belirlenmiş olup, Berberoğlu (1995) in çalışmasında da benzer şekilde geometri maddelerinin kız öğrenciler lehine DMF gösterdiği belirlenmiştir. Kız öğrenciler lehine DMF gösterdiği belirlenen 4.maddenin üst düzey düşünme becerisi gerektirmeyen, formülün hatırlanarak kullanımını gerektiren bir geometri maddesi olmasından dolayı kız öğrenciler lehine çalıştığı düşünülmektedir. Ancak yapılan diğer çalışmalar incelendiğinde geometri maddelerinin genellikle erkek öğrenciler lehine işlediği görülmüştür (Doolittle ve Clearly, 1987; Kalaycıoğlu, 2008; Li, Cohen ve Ibarra, 2004). Günlük yaşam problemi olarak verilen 19.maddenin erkek öğrenciler lehine çalışması, yurt içinde ve yurt dışında yapılmış çalışmalarda elde edilen bulgularla benzerlik göstermektedir (Çepni, 2011; Harris ve Carlton, 1983; Kalaycıoğlu ve Berberoğlu, 2010; Li, Cohen ve Ibarra, 2004; Mendes-Barnet ve Ercikan, 2006; Yurdugül ve Aşkar, 2004). 3.2 İkinci Alt Probleme İlişkin Bulgular ve Yorumlar Alt Problem 2.a ya İlişkin Bulgular ve Yorumlar Matematik alt testinde okul türüne MH yöntemi ile yapılan analizlerde göre DMF gösteren maddeler var mıdır? Matematik alt testinde yer alan maddelerin okul türüne göre MH analiz sonuçları Tablo 19 da, EZDIF programı okul türüne göre MH analiz sonuçlarına ilişkin tüm istatistikler ise Ek 8 de verilmiştir. 66

85 Madde No Tablo 19. Matematik Alt Testi Okul Türüne göre MH Analiz Sonuçları MH MH Düzey** Avantajlı Grup* Madde No * MH 0 ise madde özel okul öğrencileri, MH 0 ise devlet okulu öğrencileri lehine işlemektedir. ** MH 1 ise A, 1 MH 1,5 ise B ve MH 1,5 ise C düzeyinde DMF göstermektedir. MH MH Düzey** Avantajlı Grup* 1 0,371 A Özel Okul 11 0,501 A Özel Okul 2 0,936 A Özel Okul 12-0,051 A Devlet okul 3 0,910 A Özel Okul 13 0,474 A Özel Okul 4 0,340 A Özel Okul 14 0,895 A Özel Okul 5 1,036 B Özel Okul 15 0,444 A Özel Okul 6 0,431 A Özel Okul 16 1,897 C Özel Okul 7 0,728 A Özel Okul 17 1,097 B Özel Okul 8 0,498 A Özel Okul 18 0,665 A Özel Okul 9 1,102 B Özel Okul 19 0,689 A Özel Okul 10 1,223 B Özel Okul 20 0,977 A Özel Okul Tablo 19 da verilen analiz sonuçlarına göre matematik alt testindeki 20 maddenin tümü okul türüne göre DMF göstermektedir. Yalnızca 12 numaralı madde devlet okulu öğrencilerinin lehine DMF gösterirken, diğer maddelerin tamamının özel okul öğrencilerinin lehine DMF gösterdiği belirlenmiştir. DMF gösterdiği belirlenen maddelerden 5, 9, 10, 16 ve 17 numaralı maddeler önemli düzeyde DMF gösterirken diğer maddeler önemli düzeyde DMF göstermemiştir. On altı numaralı madde özel okul öğrencileri lehine C düzeyinde DMF gösterirken, önemli düzeyde DMF gösterdiği belirlenen diğer maddeler ise özel okul lehine B düzeyinde DMF göstermiştir. Özel okulda okuyan öğrenciler lehine önemli düzeyde DMF gösterdiği belirlenen maddelerden günlük yaşam problemi olarak tasarlanan maddeler Şekil 9 da verilmiştir. 67

86 Şekil 9. Özel okul lehine DMF gösteren günlük yaşam problemi olarak tasarlanmış maddeler Matematik alt testinde özel okul lehine DMF gösterdiği belirlenen 5, 16 ve 17 numaralı maddeler günlük yaşam problemi şeklinde kurgulanmış maddelerdir. Bu maddelerin çözümleri işlem becerilerinin ötesinde, verileri organize etme, sınıflandırma, ilişkileri görme gibi becerilere sahip olmayı ve bir takım aktiviteleri arka arkaya yapmayı gerektirmektedir. Beş numaralı soru, meslek bağlamında günlük yaşam problemi olarak kurgulanmış olup verilen durumu matematiksel olarak formüle etmeyi gerektirmektedir. Süreç içerisinde karesel bölgelerin alan hesabıyla ilgili bilgi ve becerileri verilen problem durumu içerisinde uygulamayı gerektirmektedir. On yedi numaralı soru, fabl şeklinde kurgulanmış olup, bir olayın olma olasılığı ile ilgili problemi çözmeyi gerektirmektedir. On altı numaralı soru ise günlük yaşam durumu şeklinde verilmiş olup, tablo üzerinden bilgilerin okunmasını gerektirmektedir. Özel okulda okuyan öğrenciler lehine önemli düzeyde DMF gösterdiği belirlenen 9. ve 10. maddeler Şekil 10 da verilmiştir. 68

87 Şekil 10. Özel okul lehine DMF gösteren maddeler Şekil 10 da verilen 9 numaralı madde bir şeklin ötelemeli yansımasını belirlemeyi gerektiren dönüşüm geometrisi sorusudur. 10 numaralı madde ise devirli ondalık açılımlara karşılık gelen rasyonel sayıları bulmayı gerektirmektedir. Ayrıca soru, soyut bir biçimde sadece sayısal ifadelerle verilmiş işlem sorusudur. 69

88 3.2.2 Alt Problem 2.b ye İlişkin Bulgular ve Yorumlar Matematik alt testinde okul türüne göre LR yöntemi ile yapılan analizlerde DMF gösteren maddeler var mıdır? Matematik alt testinde yer alan maddelerin okul türüne göre LR analiz sonuçları Tablo 20 de verilmiştir. Madde NO Tablo 20. Matematik Alt Testi Okul Türüne göre LR Analiz Sonuçlar 2 R Değerleri DMF DMF 2 p R DMF Büyüklüğü DMF yönü 2 Model 1 Model 2 Model ,263 0,263 0, ,33 0,00 0,002 A TBO DMF 2 0,513 0,513 0, ,12 0,00 0 A 3 0,503 0,503 0, ,473 0,00 0 A 4 0,276 0,276 0,276 69,415 0,00 0 A 5 0,23 0,231 0, ,86 0,00 0,005 A TBO DMF 6 0,43 0,43 0, ,206 0,00 0,001 A TBO DMF 7 0,171 0,171 0, ,48 0,00 0,002 A TBO DMF 8 0,471 0,471 0, ,201 0,00 0,001 A TBO DMF 9 0,468 0,469 0, ,506 0,00 0,001 A TB DMF 10 0,083 0,085 0, ,24 0,00 0,008 A TBO DMF 11 0,479 0,479 0,48 949,478 0,00 0,001 A TBO DMF 12 0,44 0,44 0, ,82 0,00 0,001 A TBO DMF 13 0,409 0,409 0, ,22 0,00 0,002 A TBO DMF 14 0,258 0,259 0, ,00 0,00 0,008 A TBO DMF 15 0,381 0,381 0, ,778 0,00 0 A 16 0,438 0,439 0, ,383 0,00 0,001 A TB DMF 17 0,448 0,448 0, ,875 0,00 0 A 18 0,536 0,536 0, ,133 0,00 0,001 A TBO DMF 19 0,465 0,465 0, ,947 0,00 0 A 20 0,121 0,122 0, ,14 0,00 0,003 A TBO DMF Not: R 0,010 ise A, 0,010 R 0,020 ise B ve R 0,020 ise C düzeyinde DMF içermektedir. Tablo 20 incelendiğinde, testte yer alan 20 maddenin tamamının 2 2 değerleri p=0,05 düzeyinde anlamlı bulunmuştur. Bu maddeler için üçüncü modelden elde edilen ile birinci modelden elde edilen 2 R değeri farkı ( 2 R 2 R değeri ) incelendiğinde tüm maddelerin A düzeyinde DMF içerdiği belirlenmiştir. DMF yönlerinin ise TB ve TBO DMF olarak farklılaştığı görülmektedir. Okul türüne göre LR ve MH yöntemleriyle yapılan DMF belirleme çalışmaları incelendiğinde, özel okul ve devlet okulu karşılaştırmalarının yapıldığı az sayıda çalışmaya rastlanmıştır (Bekçi, 2007; Bakan Kalaycıoğlu, 2008; Özdemir, 2003; Karakaya, 2012; Kelecioğlu vd., 2014). Bu çalışmadan elde edilen bulgularla karşılaştırma grupları olarak özel ve devlet okulunun kullanıldığı çalışmalardan elde edilen bulguların benzer olduğu 70

89 söylenebilir. Belirtilen çalışmalarda da DMF gösterdiği belirlenen maddelerin birçoğu özel okulda okuyan öğrenciler lehine çalışmıştır. Bu çalışmaya benzer olarak Bekçi (2007), DMF gösteren madde sayısı ve düzeyi bakımından oldukça benzer sonuçlar bulurken, özel ve devlet okulu lehine işleyen madde sayıları ise farklılaşmıştır. Bakan Kalaycıoğlu (2008), çalışmasında okul türüne göre DMF analizlerini MH ve LR yöntemleri ile yapmış genel olarak problem maddelerinin özel lise öğrencilerinin lehine çalıştığı bulgusuna ulaşmıştır. Kelecioğlu vd. (2014) ün çalışmalarında ise, matematik alt testi için devlet okulu-özel okul için yapılan analizlerde DMF bulunan dört maddenin ikisi özel okul öğrencileri, ikisi devlet okulu öğrencileri lehine işlediği bulgusuna ulaşılmıştır. 3.3 Üçüncü Alt Probleme İlişkin Bulgular ve Yorumlar DMF gösteren maddelerin belirlenmesinde LR ve MH yöntemleri arasında uyum var mıdır? DMF gösteren maddelerin belirlenmesinde LR ve MH yöntemleri arasındaki uyum cinsiyet ve okul türü değişkenlerine göre hesaplanmıştır. Cinsiyete ve okul türüne göre DMF gösteren maddelerin belirlenmesinde LR ve MH yöntemleriyle yapılan analizler sonucunda belirlenen maddeler Tablo 21 de verilmiştir. Tablo 21. MH ve LR Analiziyle Cinsiyete ve Okul Türüne göre DMF Gösteren Maddeler Yöntemler Gruplar MH LR A B C A B C *Cinsiyet 1,2,5,6,7,8,9 10,11,12,13 14,16,17,18,20 4,19 1,2,3,5,6,7,8,9 10,11,12,13,14, 15,16,17,18,20 4,19 **Okul türü 1,2,3,4,6,7,8 11,12,13,14 15,18,19,20 5,9 10, Tablo 21 incelendiğinde, cinsiyete göre yapılan DMF analiz (*) sonuçları için MH yöntemiyle 18 maddenin, LR yöntemiyle ise 20 maddenin DMF gösterdiği görülmektedir. Her iki yöntemde de DMF gösteren 18 madde ortak olup aynı düzeyde DMF göstermişlerdir. Aynı düzeyde DMF gösteren maddelerden 4 ve 19 numaralı maddelerin MH ve LR 71

90 analizlerinin her ikisinde de B düzeyinde, diğer 16 maddenin ise A düzeyinde DMF gösterdiği görülmektedir. MH yönteminde DMF göstermediği belirlenen 3 ve 15 numaralı maddeler ise LR yönteminde A düzeyinde DMF gösteriyor olarak belirlenmiştir. Cinsiyete göre MH ve LR yöntemleri ile yapılan DMF analiz sonuçları incelendiğinde yöntemlerin DMF belirlemede düzeyleri de dikkate alınarak yüksek bir uyum (%90 görülmektedir ) gösterdiği Okul türüne göre yapılan DMF analiz sonuçlarına (**) göre hem MH hem de LR yöntemiyle 20 maddenin DMF gösterdiği görülmektedir. LR yöntemiyle yapılan analizlerde tüm maddelerin A düzeyinde DMF gösterdiği belirlenmiştir. MH yöntemiyle yapılan analizlerde ise 5, 9, 10 ve 17 numaralı maddelerin B düzeyinde DMF gösterdiği, 16 numaralı maddenin ise C düzeyinde DMF gösterdiği görülmektedir. Bu durumda MH ve LR yöntemiyle uyum gösteren 15 maddenin A düzeyinde DMF gösterdiği belirlenmiştir. Okul türüne göre MH ve LR yöntemleri ile yapılan DMF analiz sonuçları incelendiğinde yöntemlerin A düzeyinde DMF gösteren maddelerin belirlenmesinde yüksek düzeyde (% ) uyumlu oldukları, B ve C düzeyinde DMF gösteren maddelerin belirlenmesinde ise uyumlu olmadıkları görülmüştür. LR ve MH yöntemlerinin maddelerdeki DMF lerin büyüklük sıralaması yönüyle benzerliklerinin belirlenebilmesi amacıyla cinsiyete ve okul türüne göre ayrı ayrı yapılan analizlerden elde edilen DMF büyüklükleri arasında Spearman Brown sıralama farkı korelasyon katsayıları hesaplanmıştır. Cinsiyete göre yapılan analizlerden elde edilen DMF büyüklüğü istatistikleri için Spearman rho ( r s ) korelasyon katsayısı 0,878 olup, p=0,01 düzeyinde manidar bir ilişki bulunmuştur. Bu bulgudan hareketle cinsiyete göre yapılan analizlerde maddelerdeki DMF miktarlarının büyüklük sıralamalarının her iki yöntemde benzer sonuçlar verdiği, iki yöntemin yüksek düzeyde uyum gösterdiği söylenebilir. Okul türüne göre yapılan analizlerde ise LR ve MH yöntemleriyle belirlenen DMF miktarlarının büyüklük sıralamasına ilişkin Spearman rho ( r s ) korelasyon katsayısı 0,087 olup, p=0,01 düzeyinde manidar bir ilişki bulunmadığı ortaya çıkmıştır. Bu sonuca göre iki yöntemin DMF büyüklüğü sıralamasına göre uyum göstermediği belirlenmiştir. MH ve LR yöntemlerinin karşılaştırıldığı çalışmalar cinsiyet ve okul türü alt gruplarında elde edilen sonuçlar ve yöntemlerin DMF büyüklük sıralaması yönüyle gösterdiği uyum bağlamında incelenmiştir

91 Cinsiyete göre DMF belirlemede MH ve LR yöntemlerinin karşılaştırıldığı çalışmalar incelendiğinde, DMF düzeylerinin ve DMF li madde sayısının belirlenmesinde farklı bulgulara ulaşıldığı görülmektedir (Ayan, 2011; Bekçi, 2007; Gierl, Khaliq ve Baughton, 1999; Gök, Kelecioğlu ve Doğan, 2010). Bu çalışmada cinsiyete göre DMF belirlemede MH ve LR yöntemlerinin madde sayısı ve düzeyleri bakımından yüksek bir uyum gösterdiği belirlenmiş olup, yurt içinde ve yurt dışında benzer sonuçların elde edildiği çalışmalar olduğu görülmüştür (Bekçi, 2007; Bertrand ve Basteu, 2003; Yurdugül, 2003). Elde edilen bu bulgu DMF düzeylerinde uyum görülmesi açısından Gök, Kelecioğlu ve Doğan (2010) ile Doğan ve Öğretmen (2008) in çalışmalarıyla benzerlik gösterirken, belirledikleri DMF li madde sayısı bakımından bu çalışmalarla çelişkili sonuçlar üretmiştir. Okul türüne göre DMF analiz sonuçlarına göre MH ve LR yöntemleri A düzeyinde DMF yi belirlemede uyum gösterirken, B ve C düzeyinde DMF gösteren maddelerin belirlenmesinde uyum göstermediği belirlenmiştir. Elde edilen bu bulgu MH ve LR yöntemlerinin karşılaştırıldığı bazı çalışmalarla benzerlik göstermektedir (Gök, Kelecioğlu ve Doğan, 2010; Gierl, Khaliq ve Baughton, 1999). Gök, Kelecioğlu ve Doğan (2010), matematik alt testi okul türü değişkenine göre yaptıkları analizlerde hem MH hem de LR yöntemleriyle 25 maddenin 16 sında A düzeyinde DMF olduğunu belirlemiş olup, B ve C düzeyinde DMF li madde belirlemede ise uyum göstermediğini bulmuşlardır. Başusta (2013), LR ve MH yöntemlerinin benzer bileşenlere sahip olmasına rağmen, her iki yöntemde düzey belirlemede farklı kriterlerin kullanılmasının bu duruma neden olabileceğini belirtmiştir. Wiberg (2009), Bertrand ve Bauteaus (2003) un çalışmalarından elde edilen sonuçların ise bu çalışmanın bulgularıyla çeliştiği görülmüştür. DMF miktarlarının büyüklük sıralamalarının incelendiği bu çalışmada cinsiyete ve okul türüne göre farklı sonuçlara ulaşılmış olup yapılan çalışmalar incelendiğinde de farklı bulgulara ulaşıldığı görülmüştür (Ayan, 2011; Gök, Kelecioğlu ve Doğan, 2010; Wiberg, 2009; Doğan ve Öğretmen, 2008). Cinsiyete göre yapılan DMF analiz sonuçlarında iki yöntemin DMF büyüklüğü sıralaması bakımından yüksek düzeyde (0,878) uyum gösterdiği belirlenmiş olup bu bulgunun Ayan (2011), Doğan ve Öğretmen (2008) ve Wiberg (2009) un çalışmalarıyla oldukça benzer sonuçlar ürettiği görülmüştür. Okul türüne göre yapılan DMF analiz sonuçlarına göre iki yöntemin uyum düzeyi karşılaştırıldığında ise Gök, Kelecioğlu ve Doğan (2010) un çalışmasına benzer olarak iki yöntemin DMF büyüklüğü sıralaması bakımından uyum göstermediği sonucuna ulaşılmıştır. 73

92 3.4 Dördüncü Alt Probleme İlişkin Bulgular ve Yorumlar Delphi panelistlerine göre DMF gösteren maddelerin DMF gösterme nedenleri nelerdir? Cinsiyete ve okul türüne DMF gösterdiği belirlenen maddelerin DMF kaynaklarının belirlenmesi amacıyla ardışık olarak ilerleyen 3 Delphi paneli yapılmıştır. Birinci ve ikinci Delphi panelleri 19 uzman, üçüncü Delphi paneli ise 18 uzmanın katılımıyla tamamlanmıştır. Tüm Delphi panellerine ilişkin bulgular ayrı başlıklar altında verilerek yorumlanmıştır Birinci Delphi Paneli Bulguları Birinci Delphi paneli sonucunda orta ve yüksek düzeyde DMF gösterdiği belirlenen matematik alt testinde yer alan 7 maddenin her biri için Bu maddenin cinsiyete/okul türüne göre DMF göstermesinin nedenleri sizce ne olabilir? sorusu sorularak DMF kaynaklarına ilişkin uzman görüşleri alınmıştır. Birinci Delphi paneli analizleri ile her bir madde için belirlenen birer DMF kaynağı örneği Tablo 22 de verilmiştir. DMF li maddeler Tablo 22. Birinci Delphi Anketiyle Belirlenen DMF Kaynaklarına Örnekler DMF kaynağı örnekleri Cinsiyete göre 12 4.madde Kız öğrencilerin ayrıntıları görmede ve detaylı düşünmede erkek 5 öğrencilere göre daha iyi olması 19.madde Erkek öğrencilerin oynadıkları oyunların dört işlem becerileri gibi 7 hesaplama becerilerini geliştirmiş olması(bilye,52 kart vb.) Okul türüne göre 42 5.madde Özel okulda okuyan öğrencilerin daha aşina olduğu mimar ve 11 arsa kavramlarının madde kökünde yer alması 9.madde Özel okullarda öteleme, yansıma ve döndürme konularında daha 6 fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması 10.madde İngilizce karşılığı repeating number tekrar eden anlamına gelen 7 devirli kelimesine ağırlıklı olarak İngilizce eğitim veren özel okuldaki öğrencilerin daha aşina olması 16.madde Özel okullarda çalışan öğretmenlerin niteliği, alan hâkimiyeti, 7 daha çeşitli öğretim materyali kullanma ve etkinlik yapma yönündeki deneyimleri ve donanımları 17.madde Madde içeriğinde Üç yol ağzı ve yol ayrımı kavramlarının 11 kullanılması Toplam 54 Sayı 74

93 Tablo 22 incelendiğinde, DMF analizleri sonucunda DMF gösterdiği belirlenen 7 maddeden 4. ve 19. maddeler cinsiyete göre DMF göstermiş olup, yapılan içerik analizleri sonucunda 4. madde için beş ve 19.madde için ise yedi DMF kaynağı tespit edilmiştir. Okul türüne göre DMF gösterdiği belirlenen maddelerin içerik analizleri sonucunda ise 5. ve 17. madde için on birer, 10. ve 16. maddeler için yedişer, 9.madde için ise altı DMF kaynağı belirlenmiştir. Cinsiyete göre DMF gösterdiği belirlenen 4. ve 19. maddeler için Tablo 22 de verilen DMF kaynağı örneklerine bakıldığında, 4. madde için verilen DMF kaynağı bilişsel becerileriyle ilgili farklılıkları içerirken 19.madde için verilen DMF kaynağı ise erkek öğrencilerin yaşantısal farklılık ve ilgililerine yönelik beceri geliştirme durumlarını yansıtmaktadır. Okul türüne göre DMF gösterdiği belirlenen 5, 10 ve 17. maddeler için örnek olarak verilen DMF kaynakları, madde kökünde yer alan kavramların (mimar, repeating number ve üç yol ağzı) öğrenciler üzerindeki aşinalık durumlarıyla ilgili olduğu görülmektedir. Dokuzuncu madde için verilen DMF kaynağının, konu alanına ilişkin özel okullarda yapılan uygulamalarının fazlalığıyla ilgili olduğu görülmektedir. Son olarak 16. madde için verilen DMF kaynağı özel okullarda çalışan öğretmenlerin alan hakimiyeti, etkinlik ve materyal kullanımlarına ilişkin deneyim ve becerileriyle ilgilidir Birinci Delphi paneli analizleri sonucunda belirlenen DMF kaynakları listelenerek İkinci Delphi panelinde uzmanların katılma düzeylerine ait istatistikleri ve önem sıralamalarını öğrenmek için İkinci Delphi anketine eklenmiştir. DMF kaynaklarının belirlenmesinde kullanılan Birinci Delphi anketi Ek 2 de, Birinci Delphi anketi analizlerinden elde edilen DMF kaynaklarının tamamı ise İkinci Delphi anketinde Ek 4 te verilmiştir İkinci Delphi Paneli Bulguları İkinci Delphi panelinin sonucunda uzmanların DMF kaynaklarına ilişkin önem sıralamaları ve katılma düzeylerine ait istatistikleri (katılma yüzdesi, ortanca ve çeyrekler arası genişlik) belirlenmiştir. İkinci Delphi anketi analizlerinde her bir madde için en yüksek ve en düşük öneme sahip olduğu belirlenen DMF kaynakları Tablo 23 te verilmiştir. 75

94 Tablo 23. En Yüksek ve En Düşük Düzeyde Önem Gösterdiği Belirlenen DMF kaynakları Maddeler Sırasıyla en yüksek ve en düşük öneme sahip DMF kaynakları Ort. Cinsiyete göre 4.Madde 19.Madde Kız öğrencilerin erkek öğrencilerden daha önce soyut döneme geçmesi 1,5 Maddenin kız öğrencilerin daha ilgili olduğu sayısına bağlı çemberin çevresi formülünü kullanmayı gerektirmesi Maddede yer alan +3 puan ile futbol maçlarındaki puan hesabının benzer olması(erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi ) Maddenin dört işlem becerisi gerektirmesi Madde Özel okullarda görsel materyallerin (simetri aynası vb), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur Madde Özel okullarda öğrencilerin tangram materyalini derslerinde kullanmış olmaları (devlet okullarındaki öğrencilerin ise bu materyali tanımamaları/bilmemeler) Maddede ötelemeli yansıma sözcük grubunun kullanılması 6 1 Okul türüne göre 10.Madde Devlet okullarında kullanılan ana kaynak kitapta bu tür sorulara yer verilmemesi özel okullarda kullanılan yardımcı kaynaklarda ise bu tür soruların fazlasıyla yer alması Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur Madde Maddenin günlük yaşam problemi olarak ifade edilmesi ve Özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur Madde Maddenin günlük yaşam problemi olarak ifade edilmesi ve özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur Not:1:En önemli olmak üzere, Ort.: Ortanca değeri Uzmanlardan DMF gösterdiği belirlenen 7 maddeye ait DMF kaynaklarının her biri için 4 lü Likert ölçeğinde (1:Kesinlikle katılmıyorum, 4:Kesinlikle katılıyorum) görüşlerini belirtmeleri istenmiştir. İkinci Delphi anketine verilen uzman görüşlerinin analizleri 76

95 sonucunda DMF kaynaklarına ait istatistikler (katılma yüzdesi, ortanca ve çeyrekler arası genişlik) hesaplanmıştır. Tablo 24 te cinsiyete göre DMF gösterdiği belirlenen 4. ve 19. maddelere ait en yüksek uzlaşı değerlerine sahip DMF kaynakları ve bu kaynaklara ilişkin istatistikler verilmiştir. Maddeler Tablo 24. İkinci Delphi Analizlerinde Cinsiyete göre En Yüksek Uzlaşı Sağlanan DMF Kaynakları İkinci Delphi Anketinde En Yüksek Uzlaşının Sağlandığı DMF Kaynakları Uzlaşma Kriterleri % Ort IQR 4.Madde 19.Madde Kız öğrencilerin erkek öğrencilerden daha önce soyut döneme geçmesi Kız öğrencilerin kullandıkları ev eşyaları ve oynadıkları oyunların maddede kullanılan koni şeklinin algılanmasını kolaylaştırması Erkek öğrencilerin futbol, basketbol gibi puan hesaplarının yapıldığı sporlara ve oyunlara kız öğrencilere göre daha meraklı olmaları ve günlük hayatta bunları kullanmaları Maddede yer alan +3 puan ile futbol maçlarındaki puan hesabının benzer olması (erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi ) 93, , ,8 4 1 Not:%: Katılma Yüzdesi, Ort.:Ortanca ve IQR:Çeyrekler arası genişlik Tablo 24 te verilen kız öğrenciler lehine DMF gösterdiği belirlenen 4.madde ve erkek öğrenciler lehine DMF gösterdiği belirlenen 19.madde için en yüksek uzlaşı değerlerine sahip DMF kaynaklarına ait istatistikler incelendiğinde, katılma yüzdelerinin % 80 in üzerinde olduğu, ortanca değerlerinin 3 ün üzerinde ve çeyrekler arası genişlik değerlerinin ise 1 olduğu görülmektedir. En yüksek uzlaşı değerlerine sahip tüm DMF kaynaklarının güçlü uzlaşı kriterini (katılma düzeyi en az %80, ortanca en az 3 ve çeyrekler arası genişlik en çok 1) sağladığı görülmektedir. Benzer şekilde Tablo 23 te 4. ve 19. maddeler için en yüksek öneme sahip DMF kaynaklarının Tablo 24 te belirtildiği gibi yüksek uzlaşı değerleri gösterdiği belirlenmiştir. Ayrıca Tablo 24 te 4. ve 19. maddeler için verilen DMF kaynaklarının içerikleri incelendiğinde, genel olarak öğrencilerin gelişim özellikleriyle ve yaşantısal farklılık ve ilgililerine bağlı olarak madde içeriğinde verilen şekle ve benzer hesap işlemlerine aşinalıklarıyla ilgili olduğu söylenebilir. 77

96 Tablo 25 te okul türüne göre DMF gösterdiği belirlenen 5, 9, 10, 16 ve 17 inci maddelere ait en yüksek uzlaşı değerlerine sahip DMF kaynakları ve bu kaynaklara ilişkin istatistikler verilmiştir. Tablo 25. İkinci Delphi Analizlerinde Okul Türüne göre En Yüksek Uzlaşı Sağlanan DMF Maddeler Kaynakları İkinci Delphi Anketinde En Yüksek Uzlaşının Sağlandığı DMF Kaynakları Uzlaşma Kriterleri % Ort IQR 17.Madde 16.Madde 10.Madde 9.Madde 5.Madde Özel okullarda okuduğunu anlamaya yönelik uygulamalara daha fazla yer verilmesi Özel okullarda görsel materyallerin (simetri aynası vb), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması Özel okullarda görsel materyallerin (simetri aynası vb), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması Özel okullarda öğrencilerin tangram materyalini derslerinde kullanmış olmaları (devlet okullarındaki öğrencilerin ise bu materyali tanımamaları/bilmemeler) Devlet okullarında kullanılan ana kaynak kitapta bu tür sorulara yer verilmemesi özel okullarda kullanılan yardımcı kaynaklarda ise bu tür soruların fazlasıyla yer alması Özel ve devlet okullarında görev yapan öğretmenlerin kullandıkları öğretim yöntem ve tekniklerinin farklılaşması Özel okullarda günlük hayat problemlerinin kullanıldığı proje tabanlı çalışmalara devlet okullarından daha fazla yer verilmesi Maddenin günlük yaşam problemi olarak ifade edilmesi ve Özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması Maddenin günlük yaşam problemi olarak ifade edilmesi ve özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması Özel okullarda olasılık konusunun görsel materyal, bilgisayar, internet ve video desteği ile hayal gücünü geliştirmeye yönelik etkinliklerin daha fazla yapılması , , ,75 93,8 3 0,75 93,8 3,5 1 93,8 3,5 1 93,8 3,5 1 Not:%: Katılma Yüzdesi, Ort.:Ortanca ve IQR:Çeyrekler arası genişlik Tablo 25 te verilen özel okulda okuyan öğrenciler lehine DMF gösterdiği belirlenen 5, 9, 16 ve 17 inci maddeler için en yüksek uzlaşı değerlerine sahip DMF kaynakları incelendiğinde katılma yüzdelerinin %90 ın üzerinde olduğu, ortanca değerlerinin 3 ün üzerinde ve çeyrekler arası genişlik değerlerinin ise görülmektedir. Özel olarak 10.maddeye ait iki DMF kaynağı istatistikleri incelendiğinde katılma yüzdesinin %80 in altında (%75), ortanca 78

97 değerlerinin 3 ve çeyrekler arası genişlik değerlerinin ise birden küçük veya eşit olduğu görülmektedir. En yüksek uzlaşı değerlerine sahip 5, 9, 16 ve 17 inci maddelere ait DMF kaynakları güçlü uzlaşı kriterini (katılma düzeyi en az %80, ortanca en az 3 ve çeyrekler arası genişlik en çok 1) sağlarken, 10.maddeye ait en yüksek uzlaşı değerlerine sahip DMF kaynaklarının ise güçlü ya da kısmi uzlaşı kriterlerini (katılma düzeyi en az %80 ve Ortanca 3 ya da IQR 1) sağlamadığı görülmektedir. Ayrıca Tablo 23 te 5, 9, 10, 16 ve 17. maddeler için en yüksek öneme sahip DMF kaynaklarının Tablo25 te belirtildiği gibi yüksek uzlaşı değerleri gösterdiği belirlenmiştir. Tablo 25 te 5, 9, 10, 16 ve 17 inci maddeler için verilen en yüksek uzlaşı kriter değerlerine sahip DMF kaynaklarının içerikleri incelendiğinde genel olarak okullarda yapılan uygulama farklılıkları görsel materyallerin, teknolojik araçların ve dinamik geometri programlarının sık ve etkili kullanımı; benzer içerik ve yapıdaki sorulara olan aşinalık; görev yapan öğretmenlerin öğretim yöntem ve tekniklerinin farklılaşması; madde içerik farklılıklarıyla (tangram materyaline aşinalık ve günlük yaşam problemi olarak kurgulanması) ilgili olduğu söylenebilir. Cinsiyete göre DMF gösterdiği belirlenen 4. ve 19.maddelere ilişkin 12 olası DMF kaynağı ve bu kaynaklara ait uzlaşı kriter (katılma yüzdesi, ortanca ve çeyrekler arası genişlik) değerlerinin tamamının yer aldığı analiz sonuçları Ek 9 da, okul türüne göre DMF gösterdiği belirlenen 5, 9, 10, 16 ve 17 inci maddelere ilişkin 42 olası DMF kaynağı ve bu kaynaklara ait uzlaşı kriter değerleri Ek 10 da verilmiştir. İkinci Delphi anketi analizleri sonucunda DMF kaynakları için katılma düzeylerine ait istatistikler hesaplanmış ve uzmanlara geri bildirim vermek ve uzlaşmanın sağlanması amacıyla Üçüncü Delphi anketine eklenmiştir. Her bir uzman için özel olarak hazırlanan Üçüncü Delphi anketi Ek 5 te verilmiştir Üçüncü Delphi Paneli Bulguları Üçüncü Delphi anketine gelen uzman görüşlerinin analiz edilmesiyle kısmi ve güçlü uzlaşının sağlandığı DMF kaynakları belirlenmiştir. Cinsiyete ve okul türüne göre DMF gösterdiği belirlenen maddelere ilişkin uzlaşı sağlanan DMF kaynakları verilmeden önce Tablo 26 da birinci Delphi paneliyle elde edilen ve son durumda üçüncü Delphi paneliyle uzlaşma sağlanan DMF kaynaklarının sayıları verilmiştir. 79

98 Tablo 26. Delphi Uygulamalarına İlişkin DMF Kaynaklarının Sayıları DMF gösteren maddeler Birinci Delphi Paneli Üçüncü Delphi Paneli Cinsiyete göre 4.Madde Madde 7 4 Okul türüne göre 5.Madde Madde Madde Madde Madde 11 4 Toplam Tablo 26 ya bakıldığında birinci Delphi paneli sonucunda elde edilen 54 DMF kaynağının 22 sinde ikinci ve üçüncü Delphi paneli uygulamalarıyla uzlaşma sağlanmıştır. Güçlü ve kısmi uzlaşmanın sağlanamadığı 32 DMF kaynağı ise elenmiştir. Üçüncü Delphi anketi analizleri sonucunda, cinsiyete göre DMF gösterdiği belirlenen 4. ve 19. maddeler için uzlaşma sağlanan DMF kaynakları ve uzlaşma kriterleri Tablo 27 de verilmiştir. Tablo 27. Cinsiyete Göre Uzlaşma Sağlanan DMF Kaynakları ve Uzlaşma Kriterleri Maddeler 4.Madde 19.Madde Cinsiyete göre Uzlaşma Sağlanan DMF Kaynakları Uzlaşma Kriterleri % Ort IQR Kız öğrencilerin erkek öğrencilerden daha önce soyut döneme geçmesi Kız öğrencilerin kullandıkları ev eşyaları ve oynadıkları 87,6 3 1 oyunların maddede kullanılan koni şeklinin algılanmasını kolaylaştırması Kız öğrencilerin ayrıntıları görmede ve detaylı düşünmede erkek öğrencilere göre daha iyi olması 86,7 3 1 Maddede yer alan +3 puan ile futbol maçlarındaki puan 93,3 4 0 hesabının benzer olması (erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi ) Erkek öğrencilerin oynadıkları oyunların dört işlem becerileri 86,6 3 1 gibi hesaplama becerilerini geliştirmiş olması(bilye,52 kart vb.) Erkek öğrencilerin yarışma programlarına daha ilgili olmaları Erkek öğrencilerin futbol, basketbol gibi puan hesaplarının yapıldığı sporlara ve oyunlara kız öğrencilere göre daha meraklı olmaları ve günlük hayatta bunları kullanmaları Not: Güçlü Uzlaşı: Katılma Düzeyi %80,Ortanca 3 ve IQR 1, Kısmi Uzlaşı: Katılma Düzeyi %80 ve Ortanca 3 ya da IQR 1 80

99 Üçüncü Delphi anketi verilerinin analizi sonucunda uzlaşı sağlanarak DMF kaynağı olarak belirlenen görüşlerin tamamında güçlü uzlaşma sağlanmıştır. Matematik alt testinde yer alan kızlar lehine DMF gösterdiği belirlenen 4.maddeye ait uzlaşmanın sağlandığı üç farklı DMF kaynağı belirlenmiştir. Diğer iki DMF kaynağında ise güçlü ve kısmi uzlaşma sağlanamamıştır. Dördüncü maddede en yüksek uzlaşının sağlandığı DMF kaynağı, Kız öğrencilerin erkek öğrencilerden daha önce soyut döneme geçmesi olup katılma düzeylerine ait istatistikler; katılma yüzdesi=100, Ortanca=3 ve IQR=1 şeklindedir. İkinci Delphi anketi cinsiyete yönelik analiz sonuçlarının verildiği Tablo 24 ve üçüncü Delphi Anketi cinsiyete yönelik analiz sonuçlarının verildiği Tablo 27 incelendiğinde 4. maddeye ilişkin en yüksek uzlaşının sağlandığı DMF kaynağında, katılma yüzdesinin (93,8 den 100 e) 6,2 lik bir artışla görüş birliğine yönelik bir ilerlemenin olduğu görülmektedir. Dördüncü maddede en düşük uzlaşının sağlandığı DMF kaynağı ise, Kız öğrencilerin ayrıntıları görmede ve detaylı düşünmede erkek öğrencilere göre daha iyi olması olup katılma düzeylerine ait istatistikler; Katılma yüzdesi=86,7,ortanca=3 ve IQR=1 şeklindedir. Erkekler lehine DMF gösterdiği belirlenen 19. maddede ise uzlaşma sağlanan dört farklı DMF kaynağı belirlenmiştir. Diğer üç DMF kaynağında ise güçlü ve kısmi uzlaşma sağlanamamıştır. On dokuzuncu maddede en yüksek uzlaşının sağlandığı DMF kaynağı Maddede yer alan +3 puan ile futbol maçlarındaki puan hesabının benzer olması (erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi olup katılma düzeylerine ait istatistikler; Katılma yüzdesi=93,3,ortanca=4 ve IQR=0 şeklindedir. Tablo 24 ve Tablo 27 incelendiğinde aynı DMF kaynağının İkinci Delphi paneli sonuçlarına göre, katılma yüzdesindeki (93,8 den 93,3 e) 0,5 lik azalmaya rağmen, çeyrekler arası genişlik değerinde (4 ten 3 e) 1 lik bir azalmanın olduğu yani uzlaşma yönünde bir hareketlilik olduğu görülmektedir. On dokuzuncu maddede en düşük uzlaşının sağlandığı DMF kaynağı ise, Erkek öğrencilerin yarışma programlarına daha ilgili olmaları olup katılma düzeylerine ait istatistikler; Katılma yüzdesi=93,3; Ortanca=4 ve IQR=0 şeklindedir. Üçüncü Delphi anketi analiz sonuçlarında, okul türüne göre DMF gösterdiği belirlenen 5, 9, 10, 16 ve 17 inci maddeler için uzlaşma sağlanan DMF kaynakları ve uzlaşma kriterleri Tablo 28 de verilmiştir. 81

100 Tablo 28. Okul Türüne Göre Uzlaşma Sağlanan DMF Kaynakları ve Uzlaşma Kriterleri 10.Madde 9.Madde 5.Madde Maddeler Okul Türüne göre Uzlaşma Sağlanan DMF Kaynakları Özel okullarda görsel materyallerin (simetri aynası vb), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması Özel okullarda okuduğunu anlamaya yönelik uygulamalara daha fazla yer verilmesi Özel okullarda benzer konularda daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması Maddenin günlük yaşam problemi olarak ifade edilmesi ve Özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması Özel okullarda görsel materyallerin (simetri aynası vb), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması Özel okullarda öğrencilerin tangram materyalini derslerinde kullanmış olmaları (devlet okullarındaki öğrencilerin ise bu materyali tanımamaları/bilmemeler) Özel okullarda öteleme, yansıma ve döndürme konularında daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması Devlet okullarında kullanılan ana kaynak kitapta bu tür sorulara yer verilmemesi özel okullarda kullanılan yardımcı kaynaklarda ise bu tür soruların fazlasıyla yer alması Uzlaşma Kriterleri % Ort IQR 93, , , , , Madde 17.Madde Maddenin günlük yaşam problemi olarak ifade edilmesi ve Özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması Özel okullarda kitap okuma saatlerinin olması, özel okuldaki öğrencilerin kitap okuma alışkanlıklarının devlet okulu öğrencilerinden daha iyi olması Özel okullarda günlük hayat problemlerinin kullanıldığı proje tabanlı çalışmalara devlet okullarından daha fazla yer verilmesi Özel okul öğrencilerinin bilgisayar ve cep telefonu oyunlarına aşinalığı, maddenin oyun tarzında kurgulanmasından dolayı maddenin içeriğinin algılanmasını kolaylaştırması Maddenin günlük yaşam problemi olarak ifade edilmesi ve özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması Özel okullarda olasılık konusunun görsel materyal, bilgisayar, internet ve video desteği ile hayal gücünü geliştirmeye yönelik etkinliklerin daha fazla yapılması Özel okullarda ders içi ve ders dışı etkinlikler kapsamında fabl veya öykünce olarak hikayeleştirilen farklı soru türlerine yönelik daha çok uygulama yapılması Not:%:Katılma Yüzdesi, Ort.:Ortanca ve IQR:Çeyrekler arası genişlik , , , ,

101 Tablo 28 incelendiğinde okul türüne göre DMF gösterdiği belirlenen ve uzlaşma sağlanan DMF kaynaklarının tamamında güçlü uzlaşma sağlanmıştır. DMF gösterdiği belirlenen maddelerin tamamı özel okulda okuyan öğrenciler lehine olup, 5. maddeye ilişkin uzlaşmanın sağlandığı dört farklı DMF kaynağı belirlenmiştir. Diğer yedi DMF kaynağında ise güçlü ve kısmi uzlaşma sağlanamamıştır. Beşinci maddede en yüksek uzlaşının sağlandığı DMF kaynağı, Özel okullarda görsel materyallerin (simetri aynası vb.), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması olup, katılma düzeylerine ait istatistikler; Katılma yüzdesi=93,3,ortanca=4 ve IQR=0 şeklindedir. Tablo 25 ve Tablo 28 de 5.madde için en yüksek uzlaşının sağlandığı DMF kaynağı incelendiğinde, İkinci Delphi anketi analiz sonuçlarına göre, katılma yüzdesindeki (93,8 den 93,3 e) 0,5 lik azalmaya rağmen, güçlü uzlaşma sağlanmıştır. Beşinci maddede en düşük uzlaşının sağlandığı DMF kaynağı ise, Özel okullarda benzer konularda daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması olup, katılma düzeylerine ait istatistikler; Katılma yüzdesi=93,3,ortanca=4 ve IQR=0 şeklindedir. Dokuzuncu maddeye ilişkin uzlaşmanın sağlandığı üç farklı DMF kaynağı belirlenmiş olup, en yüksek uzlaşının sağlandığı DMF kaynakları, Özel okullarda görsel materyallerin (simetri aynası vb.),teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması ve Özel okullarda öğrencilerin tangram materyalini derslerinde kullanmış olmaları (devlet okullarındaki öğrencilerin ise bu materyali tanımamaları/bilmemeler) dır. Diğer üç DMF kaynağında ise güçlü ve kısmi uzlaşma sağlanamamıştır. Bu iki DMF kaynağı da 9.madde için üzerinde en yüksek uzlaşının sağlandığı kaynakları olup katılma düzeylerine ait istatistikler; Katılma yüzdesi=100, Ortanca=4 ve IQR=0 şeklindedir. Tablo 25 ve Tablo 28 incelendiğinde uzlaşma değerlerinin üçüncü Delphi anketinde korunduğu görülmektedir. Dokuzuncu maddeye ilişkin en düşük uzlaşının sağlandığı DMF kaynağı ise, Özel okullarda öteleme, yansıma ve döndürme konularında daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması olup, katılma düzeylerine ait istatistikler; Katılma yüzdesi=93,3,ortanca=4 ve IQR=0 şeklindedir. Onuncu maddeye ilişkin uzlaşının sağlandığı tekbir DMF kaynağı belirlenmiş olup bu kaynak, Devlet okullarında kullanılan ana kaynak kitapta bu tür sorulara yer verilmemesi özel okullarda kullanılan yardımcı kaynaklarda ise bu tür soruların fazlasıyla yer alması 83

102 dır. Katılma düzeylerine ait istatistikler Katılma yüzdesi=86,6,ortanca=3 ve IQR=1 şeklindedir. Diğer altı DMF kaynağında ise güçlü ve kısmi uzlaşma sağlanamamıştır. Tablo 25 ve Tablo 28 incelendiğinde aynı DMF kaynağının İkinci Delphi paneli sonuçlarına göre, katılma yüzdesindeki (75,1 den 86,6 e) 11,5 lik artışla uzlaşma yönünde hareketlilik sağlanmıştır. On altıncı maddeye ilişkin uzlaşma sağlanan üç farklı DMF kaynağı belirlenmiştir. Diğer dört DMF kaynağında ise güçlü ve kısmi uzlaşma sağlanamamıştır. Bu maddeye ait en yüksek uzlaşının sağlandığı DMF kaynağı ise Maddenin günlük yaşam problemi olarak ifade edilmesi ve özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması dır. Katılma düzeylerine ait istatistikler; Katılma yüzdesi=93,3,ortanca=4 ve IQR=0 şeklindedir. Tablo 25 ve Tablo 28 göre aynı DMF kaynağının ikinci Delphi anketi analizi sonuçlarına göre, katılma yüzdesindeki (93,8 den 93,3 e) 0,5 lik düşüşe rağmen, ortanca değerinde (3,5 ten 4 e) 0,5 lik bir artış ve IQR değerinde ise (1 den 0 a) 1 lik azalma ile uzlaşma yönünde hareketlilik sağlanmıştır. On altıncı maddeye ait en düşük uzlaşının sağlandığı DMF kaynağı ise Özel okullarda kitap okuma saatlerinin olması, özel okuldaki öğrencilerin kitap okuma alışkanlıklarının devlet okulu öğrencilerinden daha iyi olması dır. DMF kaynağının katılma düzeylerine ait istatistikler; Katılma yüzdesi=93,3,ortanca=4 ve IQR=0 şeklindedir. Son olarak on yedinci maddeye ilişkin dört farklı DMF kaynağı belirlenmiştir. Diğer yedi DMF kaynağında ise güçlü ve kısmi uzlaşma sağlanamamıştır. En yüksek uzlaşının sağlandığı DMF kaynağı ise Maddenin günlük yaşam problemi olarak ifade edilmesi ve özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması olup, katılma düzeylerine ait istatistikler; Katılma yüzdesi=100,ortanca=3 ve IQR=1 şeklindedir. Tablo 25 ve Tablo 28 incelendiğinde göre aynı DMF kaynağının ikinci Delphi anketi analiz sonuçlarına göre, ortanca değerinde (3,5 ten 3 e) 0,5 lik azalmaya rağmen, katılma yüzdesindeki (93,8 den 100 e) 6,2 lik artış ile uzlaşma yönünde hareketlilik sağlanmıştır. En düşük uzlaşının sağlandığı DMF kaynağı ise Özel okul öğrencilerinin bilgisayar ve cep telefonu oyunlarına aşinalığı, maddenin oyun tarzında kurgulanmasından dolayı maddenin içeriğinin algılanmasını kolaylaştırması olup, katılma düzeylerine ait istatistikler; Katılma yüzdesi=100, Ortanca=3 ve IQR=1 şeklindedir. İlgili alanyazın incelendiğinde DMF ve olası kaynaklarının incelendiği çeşitli çalışmalarla karşılaşılmıştır (Berberoğlu, 1995; Stage, 1997; Yurdugül, 2003; Zenisky, Hambleton ve 84

103 Robin, 2003; Li, Cohen ve Ibarra, 2004; Kurnaz, 2006; Kalaycıoğlu, 2008; Karakaya ve Kutlu, 2012). Cinsiyete göre DMF gösterdiği belirlenen 4. ve 19. maddeler için uzlaşma sağlanan DMF kaynaklarının genel olarak, cinsiyet grupları arasındaki bilişsel beceri ve gelişimsel farklılıklar, yaşantısal farklılıklar ve ilgiler, madde içeriğine ve madde içeriğinde yer alan kavramlara olan aşinalık başlıkları altında toplandığı görülmektedir. Bu çalışmada elde edilen bulgulara benzer olarak Kalaycıoğlu (2008), Li, Cohen ve Ibarra (2004) çalışmalarında üç boyutlu düşünme becerisi gerektiren konularda erkek öğrencilerin daha iyi olduklarını belirterek DMF kaynağı olarak belirlemişlerdir. Kurnaz (2006) çalışmasında, madde içeriğinde yer alan örümcek adam kelime grubunun o dönemde popüler örümcek adam filmine giden grubun yaşantısal farklılarının bir sonucu olarak madde içeriğinin algılanması kolaylaştırdığını ifade ederek bir DMF kaynağı olarak belirlemiştir. Bu çalışmaya benzer olarak cinsiyete ilişkin DMF kaynaklarının belirlendiği çok sayıda çalışmada madde içeriğinin ve madde içeriğinde yer alan kavramların cinsiyet grupları arasında madde performansında etkili olduğuna ilişkin bulgulara ulaşılmıştır(zenisky, Hambleton ve Robin, 2003; Yurdugül, 2003; Kalaycıoğlu, 2008; Karakaya, 2012). Kalaycıoğlu (2008), çalışmasında madde içeriğinde yer alan binici kavramının kullanılmasını DMF kaynağı olarak belirlemiş olup, aynı çalışmada madde içeriğinde hız konusuna yer verilmesi bu konuyla daha ilgili olan erkek öğrenciler lehine işlemesine neden olması gerekçesiyle DMF kaynağı olarak belirtmiştir. Yurdugül (2003), 2001 yılı OÖK- ÖSYS de yer alan matematik maddesinin cinsiyete göre DMF göstermesinin nedeni olarak madde kökünde nesne olarak futbol topu teriminin kullanılmasının etkili olduğunu belirlemiştir. Ayrıca Karakaya ve Kutlu (2012), Türkçe alt testinin madde yanlılığının incelenmesini konu aldıkları çalışmada, madde içeriğinde akvaryumda balık yetiştirme ile ilgili bir içerikte verilmesine erkek öğrencilerin daha aşina olması sebebiyle DMF kaynağı olarak belirtilmiştir. Okul türüne göre DMF gösterdiği belirlenen maddelerde uzlaşı sağlanan DMF kaynaklarına bakıldığında; görsel materyallerin, teknolojik araçların ve dinamik geometri programlarının etkili ve sık kullanımı, madde içeriğine ve madde içeriğinde yer alan kavramlara olan aşinalık, madde içeriğinin günlük hayatla ilişkilendirilerek günlük yaşam problemi olarak kurgulanması, ilgili konulara ve benzer soru türlerine yönelik yapılan uygulamaların fazlalığı, okullarda okuduğunu anlamaya yönelik uygulama sürelerinin farklılığı olmak üzere beş genel başlık altında toplandığı görülmektedir. DMF nin olası kaynaklarının 85

104 araştırıldığı birçok çalışmada maddenin günlük yaşam problemi olarak kurgulanmasının aynı yetenek düzeyindeki bireylerin madde performansını etkilediği belirtilmiştir (Berberoğlu, 1995; Kalaycıoğlu ve Berberoğlu, 2010; Li, Cohen ve Ibarra, 2004; Çepni, 2011; Abedalaziz, 2010). Bekçi (2007), çalışmasında, özel okulda okuyan öğrencilerin derslerde benzer türden sorulara yönelik daha fazla uygulama yapmalarını matematik alt testinde DMF kaynağı olarak belirlemiştir. Aynı çalışmasında özel okul öğrencilerin farklı fırsatlara (dershane vb.) sahip olmalarının madde performansını etkilediği belirtilerek DMF kaynağı olarak ifade edilmiştir. Karakaya ve Kutlu (2012), madde yanlılığını inceledikleri çalışmada, okuduğunu anlamaya yönelik yapılan çalışmaların özel okullarda devlet okullarına göre daha fazla ağırlık verilmesinin DMF nin olası kaynağı olabileceği belirtilmiştir. 3.5 Beşinci Alt Probleme İlişkin Bulgular ve Yorumlar Odak grup görüşmesi uzman görüşlerine göre DMF kaynakları madde yanlılığına yol açmakta mıdır? Delphi tekniği uygulamaları sonucunda uzlaşma sağlanan DMF kaynaklarının madde yanlılığı gerekçesi olup olmadığı madde yanlılığı uzman paneliyle incelenmiştir. Bu bağlamda odak grup görüşmeleri gerçekleştirilmiştir. Cinsiyete ve okul türüne göre DMF gösteren maddelere ait madde yanlılığına neden olan DMF kaynakları Tablo 29 da verilmiştir. Tablo 29. Cinsiyete ve Okul Türüne göre Yanlılığa neden olan DMF Kaynakları Maddeler 19.Madde 9.Madde 17.Madde DMF Kaynakları Maddede yer alan +3 puan ile futbol maçlarındaki puan hesabının benzer olması (erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi ) Erkek öğrencilerin yarışma programlarına daha ilgili olmaları Özel okullarda öğrencilerin tangram materyalini derslerinde kullanmış olmaları (devlet okullarındaki öğrencilerin ise bu materyali tanımamaları/bilmemeler) Özel okul öğrencilerinin bilgisayar ve cep telefonu oyunlarına aşinalığı, maddenin oyun tarzında kurgulanmasından dolayı maddenin içeriğinin algılanmasını kolaylaştırması Özel okullarda ders içi ve ders dışı etkinlikler kapsamında fabl veya öykünce olarak hikayeleştirilen farklı soru türlerine yönelik daha çok uygulama yapılması 86 Avantajlı Grup Erkek Erkek Özel okul Özel okul Özel okul

105 Cinsiyete göre DMF gösterdiği belirlenen 4. ve 19. maddeler için belirlenen DMF kaynaklarında, 4. madde için uzlaşma sağlanan tüm DMF kaynakları madde etkisi olarak belirlenirken, Tablo 29 incelendiğinde 19 madde için belirtilen iki DMF kaynağının yanlılık oluşturduğu görülmektedir. Kız öğrenciler lehine DMF gösterdiği belirlenen 4.maddenin ölçmek istediği amaca ilişkin uzmanlar, koninin temel elemanlarını belirlemeyi, inşa etmeyi ve yüzey açınımı çizmeyi gerektiren bir madde olduğunu ifade etmişlerdir. Ayrıca madde ile ölçülen bilişsel düşünme becerileri açısından soyut ve üç boyutlu düşünme gerektirdiğini de belirtmişlerdir. Bu madde için verilen tüm DMF kaynaklarının sorunun amacına hizmet ettiği gerekçesiyle cinsiyete göre bir yanlılık oluşturmadığı uzmanlarca belirtilmiştir. Uzmanlardan bazıları maddenin geometri sorularında erkek öğrencilerin daha iyi olması nedeniyle maddenin erkek öğrenciler lehine işlemesini beklediklerini fakat bu sorunun cebirsel işlem becerisi gerektirmesinin kız öğrenciler lehine çalışmasına neden olabileceğini ifade etmişlerdir. Dördüncü madde için belirlenen DMF kaynaklarından biri; Kız öğrencilerin kullandıkları ev eşyaları ve oynadıkları oyunların maddede kullanılan koni şeklinin algılanmasını kolaylaştırması olup uzmanlar geçmiş yaşantı sonucunda elde edinilen deneyimin sorunun amacına hizmet ettiği; koninin açınımı bilmede kız öğrencilerin bu şekille daha ilgili olmalarının etkili olduğunu belirtmişlerdir. Erkek öğrenciler lehine DMF gösterdiği belirlenen 19.maddenin ölçmek istediği amaca ilişkin uzmanlar, doğrusal denklem sistemlerini cebirsel yöntemlerle çözmeyi gerektiren bir madde olduğunu belirtmişlerdir. Bu madde için uzlaşma sağlanan dört DMF kaynağı bulunmaktadır. Odak grup görüşmesinde uzmanlarca bu DMF kaynaklarından ikisi yanlılık nedeni olarak görülmüştür. Tablo 29 incelendiğinde, yanlılık nedeni olarak belirtilen DMF kaynaklarından ilki; Maddede yer alan +3 puan ile futbol maçlarındaki puan hesabının benzer olması (erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi) dir. DMF kaynağına ilişkin, denklem sistemini aritmetik işlem yaparak çözmeyi gerektiren bir soru olmasına rağmen, kapsamın özel olarak +3 puan ve -2 puan hesabı şeklinde verilmesinin futbol maçları puan hesabıyla benzerlik oluşturduğu, bunun yerine sorunun 3 adım ileri 2 adım geri şeklinde verilmesinin erkek ve kız öğrenciler için daha eşit şartlar oluşturabileceği yönünde görüş bildirmişlerdir. Bu nedenle belirtilen DMF kaynağının madde yanlılığı nedeni olduğu uzmanlarca ifade edilmiştir. 87

106 Tablo 29 a bakıldığında yanlılık nedeni olarak belirtilen diğer DMF kaynağı ise; Erkek öğrencilerin yarışma programlarına daha ilgili olmaları olduğu görülmektedir. DMF kaynağına ilişkin, soru içeriğinin günlük yaşam problemi olarak tasarlanması ve bu durum içerisinde özel olarak erkek öğrenciler için daha dikkat çekici olduğu düşünülen yarışma programı olarak kurgulanmasının erkek öğrenciler lehine yanlılık oluşturduğunu belirtmişlerdir. Ayrıca uzmanlar, sorunun kapsamı basit bir şekilde denklem sistemini aritmetik yollarla çözmeyi gerektirecek şekilde ya da her iki grup için aynı nitelikte bir senaryo ile verilseydi erkek ve kız öğrencilerin bu soruyu doğru yanıtlama olasılıklarının farklılaşmayacağı şeklinde görüş bildirmişlerdir. On dokuzuncu madde için verilen diğer DMF kaynaklarının tamamı için geçmiş yaşantı yoluyla elde edilen deneyimin sorunun amacına hizmet ettiği ve yanlılık oluşturmadığı uzmanlarca belirtmişlerdir. Okul türüne göre DMF gösterdiği belirlenen 5, 9, 10, 16 ve 17 inci maddelerden 5, 10 ve 16 ıncı maddeler için uzlaşma sağlanan tüm DMF kaynakları madde etkisi olarak belirlenirken, Tablo 29 incelendiğinde 9. madde için bir DMF kaynağının, 17.madde için ise iki DMF kaynağının yanlılık oluşturduğu görülmektedir. Uzmanlar, özel okulda okuyan öğrenciler lehine DMF gösterdiği belirlenen 5, 10 ve 16. maddeler için uzlaşma sağlanan tüm DMF kaynaklarının madde yanlılığına yol açmadığı konusunda fikir belirtmişlerdir. DMF kaynaklarına ilişkin genel yorumları ise geçmiş yaşantı yoluyla elde edilen deneyimlerin ya da özel okullara yasal olarak sağlanan fırsatların özel okulda okuyan öğrencilerde maddenin ölçmek istediği amaca yönelik olumlu bir etki yapmış olabileceği, soruyla ölçülmek istenen beceri açısından özel okul lehine gerçek bir farklılık olduğu dur. Özel okulda okuyan öğrenciler lehine DMF gösteren 9.madde için uzlaşma sağlanan üç DMF kaynağından biri için uzmanlar madde yanlılığı nedeni olarak görüş bildirmişlerdir. Tablo 29 a bakıldığında madde yanlılığına yol açtığı bildirilen DMF kaynağı, Özel okullarda öğrencilerin tangram materyalini derslerinde kullanmış olmaları (devlet okulundaki öğrencilerin ise bu materyali tanımamaları/bilmemeleri) olduğu görülmektedir. Dokuzuncu maddenin, verilen bir şeklin ötelemeli yansımasını belirlemeyi gerektiren bir soru olduğunu belirtmişlerdir. Fakat madde kökünde kullanılan tangram materyalinin özel okulda okuyan öğrencilerin daha aşina olduğu bir materyal olması sebebiyle yanlılık nedeni olarak görülmüştür. Madde kökünde verilen tangram materyali ve bu materyalle oluşturulabilecek şekillerden biri yerine her iki gruptaki öğrenciler için aynı aşinalık ve tanıdıklık düzeyinde olabilecek herhangi başka bir şeklin kullanılmasının bu 88

107 yanlılık durumunu ortadan kaldıracağını ifade etmişlerdir. Madde içeriğine yönelik olarak, tangram materyalinin madde kökünde kullanılmasının ve özel okulda okuyan öğrencilerin materyale aşinalığı, beceri geliştirmekten ziyade soru içeriğine aşinalığı yansıttığı konusunda görüş bildirmişlerdir. Ayrıca uzmanlarca, ders içi etkinliklerde kullanılan tangram materyalinin öğrencilerin dönüşüm geometrisi konularının işlendiği derslerde kullanılmasının sorunun amacına hizmet ettiği fakat soru kökünde bu materyale yer verilmesinin özel okulda okuyan öğrenciler lehine yanlılık oluşturduğu belirtilmiştir. Uzmanlar 9. madde için verilen diğer iki DMF kaynağı için görsel materyal ve teknolojik araçların kullanımlarının, ötelemeli yansıma konusunda benzer uygulamaların yapılmasının ve benzer soru türlerinin özel okullarda çözülmesinin maddede ölçülmek istenen beceri yönünde bir gelişmeye neden olduğu nu ifade ederek madde etkisi olduğu konusunda görüş bildirmişlerdir. Özel okulda okuyan öğrenciler lehine DMF gösterdiği belirlenen 10.madde için uzlaşma sağlanan Devlet okullarında kullanılan ana kaynak kitapta bu tür sorulara yer verilmemesi özel okullarda kullanılan yardımcı kitaplarda ise bu tür soruların fazlasıyla yer alması DMF kaynağının madde yanlılığına yol açmadığı konusunda uzmanlar görüş bildirmişlerdir. Maddeye ilişkin devirli ondalık açılımlara karşılık gelen rasyonel sayıları bulmak olduğunun ve özel okullarda bu amaca yönelik benzer soruların çözülmesinin sorunun amacına hizmet ettiğini belirtmişlerdir. Özel okulda okuyan öğrenciler lehine DMF gösterdiği belirlenen 17.maddenin ölçmek istediği amaca ilişkin uzmanlar, Bir olayın olma olasılığı ile ilgili problemleri çözmeyi gerektiren bir madde olduğunu belirtmişlerdir. Bu madde için uzlaşma sağlanan dört DMF kaynağı bulunmaktadır; DMF kaynaklarından ikisi hakkında madde yanlılığı gerekçesi olarak görüş bildirilirken diğer iki DMF kaynağının madde yanlılığına neden olmadığı belirtilmiştir. Tablo 29 incelendiğinde, on yedinci maddede uzlaşma sağlanan DMF kaynaklarından biri; Özel okul öğrencilerinin bilgisayar ve cep telefonu oyunlarına aşinalığı, maddenin oyun tarzında kurgulanmasından dolayı maddenin içeriğinin algılanmasını kolaylaştırması olup uzmanlarca madde içeriğinin sorunun çözümünde etkili olmasının madde yanlılığına yol açtığı yorumu yapılmıştır. Ayrıca soruya ilişkin madde formatı oyun tarzında değil de klasik olasılık sorusu biçiminde kurgulanması durumunda özel okulda ve devlet okulu öğrenciler için maddenin aynı özelliklere sahip olacağını belirtmişlerdir. 89

108 Yanlılık nedeni olabileceği konusunda görüş bildirilen diğer DMF kaynağı ise, Özel okullarda ders içi ve ders dışı etkinlikler kapsamında fabl veya öykünce olarak hikayeleştirilen farklı soru türlerine yönelik daha fazla uygulama yapılması dır. Uzmanlar belirtilen DMF kaynağının yanlılık durumuna ilişkin iki farklı yorum getirmişlerdir. Öncelikle sorunun amacına yönelik bu şekilde hikâyeleştirilerek oluşturulan madde içeriklerinin sorunun amacı içinde değerlendirilmesi gerektiği konusunda fikir belirtmişlerdir. Bu durumda belirtilen DMF kaynağının sorunun amacına hizmet ettiğini ve madde yanlılığına yol açmadığını söylemişlerdir. Diğer bir yorum ise madde içeriğinin bu şekilde hikâyeleştirilerek verilmesinin sorunun kapsamı dışında olduğunu ve aslında sorunun basit anlamda verilen bir problem durumu içinde olasılık becerisinin ölçülmesi olduğunu ve bundan dolayı DMF kaynağının madde yanlılığına yol açtığını belirtmişlerdir. Görüşme sonuçlarına göre 19.madde için uzlaşma sağlanan iki DMF kaynağının erkek öğrenciler lehine yanlılık nedeni olduğu uzmanlarca belirlenmiştir. 9.madde için uzlaşma sağlanan bir DMF kaynağının ve 17.madde için ise iki DMF kaynağının özel okul lehine yanlılık nedeni olduğu uzmanlarca belirtilmiştir. DMF analizlerinin yapıldığı çalışmalar incelendiğinde DMF kaynaklarının belirlenmesinin ötesinde bu kaynakların madde yanlılığı mı madde etkisi mi olduğunu belirlemeye yönelik çeşitli çalışmalar mevcuttur (Bekçi,2007; Ateşok Deveci, 2008; Kalaycıoğlu, 2008; Karakaya, 2012; Karakaya ve Kutlu, 2012; Kelecioğlu vd., 2014; Yurdugül,2003). Bu çalışmayla benzer nitelikte bulgular gösteren çalışmalar incelendiğinde; Kalaycıoğlu (2008) in çalışmasında, fizik alt testinde yer alan madde için içerikte kullanılan otomobillerin erkek öğrencilerin ilgi alanlarına daha yakın olması nedeniyle sorunun amacına uygun olmayan test dışı bir faktör olarak belirlenerek yanlılık sebebi olduğu bulgusuna ulaşılmıştır. Aynı çalışmada madde içeriğinde rider kelimesinden gelen binici kavramının kullanılmasının maddenin, yabancı dille eğitim verilen okullardaki öğrenciler tarafından daha kolay algılanmasına yol açtığı belirtilerek test dışı bir faktör olması gerekçesiyle binici kelimesinin kullanımı yanlılık sebebi olarak görülmüştür. Benzer şekilde Karakaya ve Kutlu (2012) in çalışmalarında; erkek öğrencilerin kızlara oranla günlük yaşamda daha çok ilgilendikleri ve aşina oldukları akvaryumda balık yetiştirme ile ilgili kavramların madde kökünde kullanılmasının madde yanlılığına neden olduğu belirtilmiştir. Yurdugül (2003), OÖK-ÖSYS nin madde yanlılığının incelenmesini 90

109 konu aldığı çalışmasında, madde kökünde futbol topu ve basketbol kavramlarının kullanılmasının madde yanlılığına yol açmadığı belirtilmiştir. Ayrıca ETS (2002) madde yazımında ve test geliştirmede dikkat edilmesi gereken ve özellikle minimum düzeye indirilmesi geren madde içerik konularını; ölçülen yapıyla ilişkisiz olarak askeri konular, spor bilgileri, gereksiz zorluktaki kelimeler, şiddet vb. lerinin kullanımı olarak belirlemiştir. Berberoğlu (2009), MEB SBS nin değerlendirilmesi isimli çalışmada SBS de karşılaşılan önemli bir geçerlik sorununun, madde içeriğinin günlük hayat kapsamında tasarlanması aşamasında ortaya çıktığını belirtmektedir. Bu aşamada madde tasarlanırken yalnızca yanıt için gerekli olan öğelerin ön plana çıkarılması gerektiğini, bunun dışında verilecek her türlü açıklamaların ve çizimlerin maddenin kapsam geçerliğini önemli ölçüde etkileyeceğini ifade etmiştir. 91

110 92

111 BÖLÜM IV SONUÇ VE ÖNERİLER Araştırmanın bu bölümünde, analizler sonucunda her bir alt problem için elde edilen sonuçlar verilmiş ve araştırma sonuçlarından çıkan ve diğer araştırmacılara yönelik önerilere yer verilmiştir. 4.1 Sonuçlar Cinsiyete göre LR ve MH Yöntemleri DMF Analiz Sonuçları Cinsiyete göre MH yöntemiyle yapılan DMF analizi sonuçlarına göre matematik alt testindeki 20 maddenin 18 i DMF göstermekte olup, 5 i kız öğrenciler lehine, 13 ü erkek öğrenciler lehine işlemiştir. Cinsiyete göre LR yöntemiyle yapılan analiz sonuçlarına göre ise 20 maddenin tamamı DMF göstermiştir. Önemli düzeyde DMF gösterdiği belirlenen maddeler her iki yöntemle de belirlenen 4. ve 19. maddelerdir. Ayrıca LR yöntemi analizlerine göre her iki madde de TB DMF göstermektedir. Kız öğrenciler lehine DMF gösteren 4 nolu madde dik dairesel koninin açılımını hesaplamayı gerektiren temel geometrisi sorusudur. Erkek öğrenciler lehine DMF gösteren 19 nolu madde ise doğrusal denklem sisteminin cebirsel yöntemlerle çözülmesini gerektiren günlük yaşam durumu şeklinde tasarlanmış bir madde olduğu belirlenmiştir Okul Türüne göre LR ve MH Yöntemleri DMF Analiz Sonuçları Okul türüne göre MH yöntemiyle yapılan analiz sonuçlarına göre 20 maddenin tamamının DMF gösterdiği belirlenmiştir. Yalnızca 12 nolu madde devlet okulunda okuyan öğrenciler lehine işlerken diğer tüm maddelerin özel okul öğrencilerin lehine işlediği görülmüştür. 93

112 Özel okul öğrencileri lehine önemli düzeyde DMF gösterdiği belirlenen 5, 9, 10, 16 ve 17 nolu maddeler için, yalnızca 16 nolu madde C düzeyinde DMF göstermiş olup diğer maddeler ise B düzeyinde DMF göstermiştir. Sonuç olarak MH yöntemiyle önemli düzeyde DMF gösterdiği belirlenen madde sayısı 5 olarak bulunmuştur. Özel okulda okuyan öğrenciler lehine DMF gösterdiği belirlenen 5, 16 ve 17 nolu maddeler günlük yaşam problemi şeklinde tasarlanmış maddelerdir. Beş nolu madde karesel bölgelerin alan hesabıyla ilgili verilen durumu matematiksel olarak formüle etmeyi gerektirmektedir. On yedi nolu madde, fabl şeklinde kurgulanmış bir olayın gerçekleşme olasılığı üzerine işlemler yapmayı gerektiren bir olasılık sorusudur. On altı nolu madde ise tabloda verilen bilgilerin okunmasını gerektiren bir maddedir. Dokuz nolu madde, dönüşüm geometrisi sorusu olup 3 boyutlu düşünme becerisi gerektirmektedir. On nolu madde ise devirli ondalık açılımlara karşılık gelen rasyonel sayıları hesaplamayı gerektiren sayısal ifadelerle verilmiş işlem sorusudur. Okul türüne göre LR yöntemiyle yapılan analiz sonuçlarına göre 20 maddenin tamamı DMF göstermiş olmasına rağmen önemli düzeyde DMF gösteren maddeye rastlanmamıştır MH ve LR Yöntemlerinin Karşılaştırılmasına Yönelik Analiz Sonuçları Cinsiyete göre yapılan analiz sonuçlarına göre MH yöntemiyle 18 maddenin, LR yöntemiyle ise 20 maddenin DMF gösterdiği belirlenmiştir. Her iki yöntemde de DMF gösterdiği belirlenen 18 madde ortak olup aynı düzeyde DMF göstermişlerdir. Aynı düzeyde DMF gösterdiği belirlenen iki maddenin her iki yöntemde de B düzeyinde, diğer 16 maddenin ise A düzeyinde DMF gösterdiği belirlenmiştir. Cinsiyete göre MH ve LR yöntemleri ile yapılan DMF analiz sonuçları incelendiğinde yöntemlerin DMF belirlemede düzeyleri de dikkate alarak yüksek bir uyum (%90) gösterdiği sonucuna ulaşılmıştır. Okul türüne göre yapılan DMF analizleri sonuçlarına göre hem MH hem de LR yöntemiyle 20 maddenin DMF gösterdiği görülmektedir. LR yöntemiyle yapılan analizlerde tüm maddelerin A düzeyinde DMF gösterdiği belirlenmiştir. MH yöntemiyle yapılan analizlerde ise 4 madde B düzeyinde, 1 madde ise C düzeyinde DMF göstermiştir. Bu durumda MH ve LR yöntemiyle uyum gösteren 15 maddenin A düzeyinde DMF gösterdiği belirlenmiştir. Okul türüne göre MH ve LR yöntemleri ile yapılan DMF analiz sonuçlarına göre yöntemlerin A düzeyinde DMF gösteren maddelerin belirlenmesinde yüksek düzeyde (%75) 94

113 uyum gösterirken, B ve C düzeyinde DMF gösteren maddelerin belirlenmesinde uyum göstermemiştir. MH ve LR yöntemlerinin maddelerde tespit edilen DMF büyüklüklerinin sıralamaları arasında bir ilişki olup olmadığını incelemek için Spearman Brown sıra farkları korelasyon katsayıları hesaplanmıştır. Cinsiyete göre yapılan DMF analizleriyle belirlenen DMF büyüklüklerinin sıralamaları arasında 0,878 büyüklüğünde p=0,05 düzeyinde manidar bir ilişki bulunmuş ve yüksek düzeyde uyum olduğu sonucuna ulaşılmıştır. Benzer şekilde okul türüne göre yapılan DMF analizlerinin DMF büyüklük sıralamaları arasında manidar bir ilişki bulunmadığı, yöntemler arasında okul türüne göre DMF büyüklüğü sıralamalarının uyum göstermediği belirlenmiştir Delphi Tekniği Analiz Sonuçları Delphi panelleri sonucunda, cinsiyete (4. ve 19. maddeler) ve okul türüne (5, 9, 10, 16 ve 17 inci maddeler) göre önemli düzeyde DMF gösterdiği belirlenen maddeler için toplam 22 DMF kaynağı belirlenmiştir. Cinsiyete göre DMF gösterdiği belirlenen maddeler için ise toplam yedi DMF kaynağında uzlaşma sağlanmıştır. Dördüncü ve on dokuzuncu maddelerde belirlenen DMF kaynaklarının öğrenciler arasındaki bilişsel beceri ve gelişimsel farklılıkların madde çözümündeki etkisi, yaşantısal farklılıklar ve ilgiler ve madde içeriğinin ve madde içeriğinde yer alan kavramlara olan aşinalık olmak üzere genel olarak üç başlık altında toplandığı görülmektedir. Özel olarak 4.madde için uzlaşı sağlanan DMF kaynakları, kız öğrencilerin erkek öğrencilerden daha önce soyut döneme geçmesi, kız öğrencilerin kullandıkları ev eşyaları ve oynadıkları oyunların maddede kullanılan koni şeklinin algılanmasını kolaylaştırması ve kız öğrencilerin ayrıntıları görmede ve detaylı düşünmede erkek öğrencilere göre daha iyi olması dır. On dokuzuncu madde için ise maddede yer alan +3 puan ile futbol maçlarındaki puan hesabının benzer olması (erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi ), Erkek öğrencilerin oynadıkları oyunların (bilye,52 kart vb.) dört işlem becerileri gibi hesaplama becerilerini geliştirmesi, Erkek öğrencilerin yarışma programlarına daha ilgili olmaları, Erkek öğrencilerin futbol, basketbol gibi puan hesaplarının yapıldığı sporlara ve oyunlara kız öğrencilere göre daha meraklı olmaları ve günlük hayatta bunları kullanmaları dır. 95

114 Okul türüne göre DMF gösterdiği belirlenen maddeler için toplam on beş DMF kaynağı belirlenmiştir. Maddelerde belirlenen DMF kaynaklarının Görsel materyallerin (simetri aynası vb.), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) etkili ve sık kullanımı, madde içeriğinin günlük hayatla ilişkilendirilerek günlük yaşam problemi olarak kurgulanması, madde içeriğine ve madde içeriğinde yer alan kavramlara olan aşinalık, madde içeriğinde yer alan konulara ve benzer soru türlerine yönelik yapılan uygulamaların fazlalığı, okullarda okuduğunu anlamaya yönelik uygulamalara verilen sürelerin farklılığı olmak üzere beş genel başlık altında toplandığı görülmektedir. Beşinci madde için uzlaşma sağlanan DMF kaynakları, Özel okullarda görsel materyallerin (simetri aynası vb), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması, Özel okullarda okuduğunu anlamaya yönelik uygulamalara daha fazla yer verilmesi, Özel okullarda benzer konularda daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması, Maddenin günlük yaşam problemi olarak ifade edilmesi ve Özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması olarak tespit edilmiştir. Dokuzuncu madde için uzlaşma sağlanan DMF kaynakları özel okullarda görsel materyallerin (simetri aynası vb), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması, özel okullarda öğrencilerin tangram materyalini derslerinde kullanmış olmaları (devlet okullarındaki öğrencilerin ise bu materyali tanımamaları/bilmemeler), özel okullarda öteleme, yansıma ve döndürme konularında daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması olarak belirlenmiştir. Onuncu madde için uzlaşma sağlanan DMF kaynağı devlet okullarında kullanılan ana kaynak kitapta bu tür sorulara yer verilmemesi özel okullarda kullanılan yardımcı kaynaklarda ise bu tür soruların fazlasıyla yer alması dır. On altıncı madde için uzlaşma sağlanan DMF kaynakları maddenin günlük yaşam problemi olarak ifade edilmesi ve özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması, özel okullarda kitap okuma saatlerinin olması, özel okuldaki öğrencilerin kitap okuma alışkanlıklarının devlet okulu öğrencilerinden daha iyi olması, 96

115 özel okullarda günlük hayat problemlerinin kullanıldığı proje tabanlı çalışmalara devlet okullarından daha fazla yer verilmesi olarak belirlenmiştir. On yedinci madde için uzlaşma sağlanan DMF kaynakları özel okul öğrencilerinin bilgisayar ve cep telefonu oyunlarına aşinalığı, maddenin oyun tarzında kurgulanmasından dolayı maddenin içeriğinin algılanmasını kolaylaştırması, maddenin günlük yaşam problemi olarak ifade edilmesi ve özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması, özel okullarda olasılık konusunun görsel materyal, bilgisayar, internet ve video desteği ile hayal gücünü geliştirmeye yönelik etkinliklerin daha fazla yapılması, özel okullarda ders içi ve ders dışı etkinlikler kapsamında fabl veya öykünce olarak hikayeleştirilen farklı soru türlerine yönelik daha çok uygulama yapılması olarak tespit edilmiştir Odak Grup Görüşmesi: Madde Yanlılığı Uzman Paneli Analiz Sonuçları Odak grup görüşmesi analiz sonuçlarına göre cinsiyete göre DMF gösterdiği belirlenen 19.madde için iki DMF kaynağının yanlılık nedeni olduğu, okul türüne göre DMF gösterdiği belirlenen 9. madde için bir,17. madde için ise iki DMF kaynağının yanlılık nedeni olduğu sonucuna ulaşılmıştır. On dokuzuncu madde için yanlılık nedeni olarak belirtilen DMF kaynaklarından ilki; Maddede yer alan +3 puan ile futbol maçlarındaki puan hesabının benzer olması (erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi) dir. DMF kaynağına ilişkin, madde içeriğinin özel olarak +3 puan ve -2 puan hesabı şeklinde verilmesinin futbol maçları puan hesabıyla benzerlik oluşturduğu gerekçesiyle yanlılık nedeni olduğu sonucuna varılmıştır. Yanlılık nedeni olarak belirtilen diğer DMF kaynağı ise; Erkek öğrencilerin yarışma programlarına daha ilgili olmaları dır. DMF kaynağına ilişkin, madde içeriğinin erkek öğrenciler için daha dikkat çekici olduğu düşünülen yarışma programı olarak kurgulanması gerekçesiyle yanlılık nedeni sonucuna ulaşılmıştır. Özel okulda okuyan öğrenciler lehine işleyen 9. madde için yanlılık nedeni olarak gösterilen DMF kaynağı, Özel okullarda öğrencilerin tangram materyalini derslerinde kullanmış olmaları(devlet okulundaki öğrencilerin ise bu materyali tanımamaları/bilmemeleri) dir. Tangram materyalinin madde içeriğinde kullanılmasının özel okul öğrencileri lehine soru içeriğine aşinalığı yansıttığı gerekçesiyle yanlılık nedeni olduğu sonucuna varılmıştır. 97

116 On yedinci maddede yanlılık nedeni olduğu sonucuna ulaşılan DMF kaynaklarından biri; Özel okul öğrencilerinin bilgisayar ve cep telefonu oyunlarına aşinalığı, maddenin oyun tarzında kurgulanmasından dolayı maddenin içeriğinin algılanmasını kolaylaştırması olup uzmanlarca madde içeriğinin sorunun çözümünde etkili olmasının madde yanlılığına yol açtığı yorumu yapılmıştır. Ayrıca soruya ilişkin madde formatı oyun tarzında değil de klasik olasılık sorusu biçiminde kurgulanması durumunda özel okulda ve devlet okulu öğrenciler için maddenin aynı özelliklere sahip olacağını belirtmişlerdir. Yanlılık nedeni olarak belirlenen diğer DMF kaynağı ise, Özel okullarda ders içi ve ders dışı etkinlikler kapsamında fabl veya öykünce olarak hikayeleştirilen farklı soru türlerine yönelik daha fazla uygulama yapılması dır. Uzmanlar belirtilen DMF kaynağının yanlılık durumuna ilişkin iki farklı yorum getirmişlerdir. Öncelikle sorunun amacına yönelik bu şekilde hikâyeleştirilerek oluşturulan madde içeriklerinin sorunun amacı içinde değerlendirilmesi gerekirse, belirtilen DMF kaynağının madde yanlılığına yol açmadığını belirlenmiştir. Diğer durumda ise madde içeriğinin hikâyeleştirilerek verilmesinin sorunun kapsamı dışında olduğunu bundan dolayı DMF kaynağının madde yanlılığına yol açtığını belirtmişlerdir. 4.2 Öneriler Bu çalışmada 2012 yılı 8.sınıf SBS matematik alt testinin cinsiyet ve okul türü değişkenlerine göre madde yanlılığı incelenmiştir. Bu çalışma sonucunda öneriler, araştırma sonuçlarından çıkan öneriler ve araştırmacılara yönelik öneriler olmak üzere iki başlık altında verilmiştir Araştırma Sonuçlarından Çıkan Öneriler 1. Çalışmada DMF analizleri matematik alt testi üzerinde yapılmıştır. DMF kaynakları belirlenerek madde yanlılığına neden olup olmadığı Delphi tekniği ve madde yanlılığı uzman paneli ise odak grup görüşmesi kullanılarak tamamlanmıştır. Yanlı olduğu belirlenen maddeler ve yanlılık nedenlerine göre madde içerik özellikleri, madde kökünde yer alan kavramlar (tangram gibi), maddenin günlük hayat problemi olarak (yarışma programı, oyun tarzında, öykünce) verilmesi gibi faktörlerin test dışı kaynakları barındırabileceği belirlendiğinden bu faktörlere test geliştirenler ve soru yazarlarınca dikkat edilmesi önerilmektedir. 98

117 2. Belirtilen kaynakların test üzerindeki etkisini minimum düzeye getirmek için testi planlama, madde yazma ve gözden geçirme, maddeleri deneme ve madde seçme, ölçek ve normların geliştirilmesi ile diğer tüm aşamalarda uzman kanısına başvurulması önerilmektedir. Ayrıca soru yazarları için DMF nin olası kaynakları ve özellikle madde yanlılığı kaynaklarına ilişkin eğitimlerin verilmesi önerilmektedir Araştırmacılara Yönelik Öneriler 1. DMF analizleri MH ve LR yöntemleri ile yürütülmüş olup, SIBTEST, işaretli ve işaretiz alan indeksleri yaklaşımı gibi farklı DMF belirleme teknikleri ile cinsiyet ve okul türü değişkenleri dışında sosyo ekonomik düzey gibi farklı değişkenlerle ile DMF analizleri yapılabilir. 2. Araştırmada madde yanlılığı belirleme sürecinde veri toplama aracı olarak Delphi tekniği ve odak grup görüşmesi kullanılmıştır. Bu sürece ilişkin farklı tekniklerin kullanılması madde yanlılığı belirleme çalışmalarının daha metodolojik bir yaklaşım kazanması adına önerilmektedir. 3. Madde yanlılığının belirlenmesinde uzman görüşleri çok önemli olup madde yanlılığı belirleme sürecinde farklı uzmanlık alanlarına sahip katılımcıları; soru yazarları, eğitimciler, alan uzmanları ve öğrencilerin yer aldığı uzman gruplarıyla çalışmaların yapılması önerilmektedir. 4. Karşılaştırma grupları arasındaki farklı örneklem büyüklüklerinin DMF analizlerine etkisi üzerine çalışmalar yapılabilir. 5. DMF belirleme test geliştirme süreçlerinin ve geçerlik çalışmalarının rutin bir uygulaması olarak yapılmasının yanı sıra madde yanlılığı belirleme sürecinin de düzenli olarak yapılması önerilmektedir. 6. DMF gösteren ve DMF göstermeyen maddelerin içeriği, formatı, madde kökünde yer alan negatif kelimeler, resimler, tablolar, madde ile ilişkili bilişsel boyutlar vb. özellikler incelenerek muhtemel DMF kaynaklarının ortaya çıkarılması adına çalışmalar yapılabilir. 99

118 KAYNAKLAR Abedalaziz, N. (2010). A Gender related differential item functioning of mathematics test items. The International Journal of Educational and Psychological Assessment, 5(1), Ackerman, T. A. (1992). A didactic explanation of item bias, item impact and item validity from a multidimensional perspective. Journal of Educational Measurement, 29(1), Airasian, P. W. (1997). Classroom assessment. New York: McGraw Hill. Allalouf, A., Hambleton, R., & Sireci, S. (1999). Identifying the causes of DIF in translated verbal items. Journal of Educational Measurement, 36(3), American Psychological Association. (2010). Publication manual of the American psychological association. Washington, DC: Automated Graphic Systems. American Educational Research Association (AERA), American Psychological Association (APA) ve National Council on Measurement in Education (NCME). (2011). Standards for educational and psychological testing. Washington, DC: American Educational Research Association Arık, R.S. (2013). Öğretmenlerin ölçme ve değerlendirme alanı yeterliklerinin yargıcı kararlarına dayalı ölçeklenmesi. Doktora tezi, Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara. Ateşok Deveci, N. (2008). Üniversitelerarası kurul yabancı dil sınavının madde yanlılığı bakımından incelenmesi. Doktora Tezi, Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara. Atılgan, H. (Ed.). (2014). Eğitimde ölçme ve değerlendirme. Ankara: Anı. 100

119 Ayan. C. (2010). PISA 2009 fen okuryazarlığı alt testinin değişen madde fonksiyonu açısından incelenmesi. Yüksek lisans tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara. Bakan Kalaycıoğlu, D. (2008). Öğrenci Seçme Sınavı nın madde yanlılığı açısından incelenmesi. Doktora tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara. Bakan Kalaycıoğlu, D. & Kelecioğlu, H. (2011). Öğrenci Seçme Sınavı nın madde yanlılığı açısından incelenmesi. Eğitim ve Bilim, 36, Balaraman, S. & Venkatakrishnan K. S. (1980). Identifying engineering education goals and priorities for the future: An experiment with the Delphi technique. Higher Education, 9(1), Balcı, A. (2013). Sosyal bilimlerde araştırma: Yöntem teknik ve ilkeler. Ankara: Pegem. Başusta, B. N. (2013). PISA 2006 fen başarı testinin madde yanlılığının kültür ve dil açısından incelenmesi. Doktora Tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara. Baykul, Y. (2010). Eğitimde ve psikolojide ölçme: Klâsik test teorisi ve uygulanması (İkinci baskı). Ankara: Pegem. Bekçi, B. (2007). Orta Öğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavının değişen madde fonksiyonlarının cinsiyete ve okul türüne göre incelenmesi. Yüksek Lisans Tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara. Berberoğlu, G. (1995). Differential item functioning analysis of computation, word problem and geometry questions across gender and SES groups. Studies in Educational Evaluation, 21, Berberoğlu, G. (1996). The University Entrance Examinations in Turkey. Studies in Educational Evaluation, 22, Berberoğlu, G.(2009). Milli Eğitim Bakanlığı Seviye Belirleme Sınavı (SBS) uygulamalarının değerlendirilmesi. Cito Eğitim: Kuram ve Uygulama, Mart-Nisan 2009, Bertrand, R. & Boiteau, N. (2003). Comparing the stability of IRT based and non IRT based DIF methods in different cultural context using TIMSS data. ERIC Report Research. 101

120 4 Eylül 2014 tarihinde sayfasından erişilmiştir. Büyüköztürk, Ş., Çakmak, K.E., Akgün, E.Ö., Karadeniz, Ş. ve Demirel, F. (2014). Bilimsel araştırma yöntemleri (Onyedinci Baskı). Ankara: Pegem. Camilli, G. & Shepard, A.L. (1994). Methods for identifying biased test items. London: Sage. Camilli, D. & Penfield, D.A. (1997). Variance estimation for differential test functioning based on mantel haenszel statistics. Journal of educational measurement, 34(2), Clauser, B. E. & Mazor, K. M. (1998). Using statistical procedures to identify differentially functioning test items. Educational Measurement: Issues and Practice, 17(1), Çepni, Z. (2011). Değişen madde fonksiyonlarının sibtest, mantel haenzsel, lojistik regresyon ve madde tepki kuramı yöntemleriyle incelenmesi. Doktora Tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara. Çokluk, Ö., Yılmaz, K., & Oğuz, E. (2011). Nitel bir görüşme yöntemi: Odak grup görüşmesi. Kuramsal Eğitim Bilim Dergisi,4(1), Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Orlando: Holt, Rinehart and Winston. Cronbach,J.L.(1990). Essentials of Psychological Testing. New York: Harper & Row. Dajani, J.S., Sincoff, M.Z. & Talley, W.K., (1979). Stability and agreement criteria for the termination of Delphi studies. Technological Forecasting and Social Change, 13(1), Dalkey, N. C. (1972). Studies in the quality of life: Delphi and decision making. MA: Lexington Books Dalkey, N. C. & Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management Science, 9(3), Aralık 2014 tarihinde vergence.pdf sayfasından erişilmiştir. Delbecq, A. L., Van de Ven, A. H., & Gustafson, D. H. (1975). Group Techniques for Program Planning: A Guide to Nominal Group and Delphi Processes. Illinois: Green 102

121 Briar. sayfasından erişilmiştir. Demirel, Ö. (2012). Eğitimde program geliştirme: Kuramdan uygulamaya (Ondokuzuncu Baskı). Ankara: Pegem. Doğan, N. & Öğretmen, T. (2008). Değişen madde fonksiyonunu belirlemede Mantel Haenszel, Ki-Kare ve Lojistik Regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 33(148), Doolittle, A. E. & Cleary, T. A. (1987). Gender-based differential item performance in mathematic achievement items. Journal of Educational Measurement, 24(2), Dorans, N. J. & Holland, P.W. (1993). DIF detection and description: Mantel-Haenszel and Standardization. Differantial item functioning. P.W. Holland & H.Wainer (Eds.), Differential item functioning içinde (s ). Hillsdale, NJ: Lawrence Erlbaum. Holland, P. W. & Wainer, H.(Eds.) (1983). Differential item functioning. Hillsdale, NJ: Lawrence Erlbaum. Educational Testing service.(2009). Guidelines for fairness review of assessments. Princeton: ETS Ekiz, D. (2009). Bilimsel araştırma yöntemleri: Yaklaşım, yöntem ve teknikler (Geliştirilmiş 2.Baskı). Ankara: Anı. Erkuş, A.(2003). Psikometri üzerine yazılar. Ankara: Türk Psikologlar Derneği. Fraenkel, J. R. & Wallen, N. E. (2012). How to design and evaluate research in education (Sekizinci Baskı). New York: McGraw-Hill. Gierl, M., Khaliq,S.N. & Boughton K. (1999) Gender differential item functioning in mathematics and science: Prevalence and policy implications. Paper presented at the symposium entitled improving large-scale assessment in education at the Annual Meeting of the Canadian Society for the Study of Education, Canada. erişilmiştir. Gök, B., Kelecioğlu, H., & Doğan, N. (2010). Değişen madde fonksiyonunu belirlemede Mantel Haenszel ve Lojistik Regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim Dergisi, 35(156),

122 Guilera, G., Gómez-Benito, J. & Hidalgo, M.D. (2009). Scientific production on the Mantel Hanszel procedure as a way of detecting DIF. Psicothema, 21(3), Haladyna, M.T. (2004). Developing and validating multiple-choice test items. London: Lawrence Erlbaum. Hambleton, R K., Swaminathan, H. & Rogers, H. J. (1991). Fundamentals of item response theory. London: Sage. Hasson, F., Keeney, S. & McKenna, H., Research guidelines for the delphi survey technique, Journal of Advanced Nursing, 32(4), Hatcher, T. & Colton, S. (2007). Using the internet to improve international HRD research: The case of the web-based delphi research technique to achieve content validity of an HRD-oriented measurement. Journal of European Industrial Training, 31(7), Helmer, O. (1967). Systematic use of expert opinions (Report No. P-3721). California: The RAND Corparation. sayfasından erişilmiştir. Harris, A. M. & Carlton, S.T. (1993). Patterns of gender differences on mathematics items on the scholastic aptitude test. Applied Measurement in Education, 6(2), Huggins, C. A. (2012). The effect of differential item functioning on population invariance of item response theory True Score Equating. Doctoral Dissertation, University of Miami, Educational and Psychological Studies (Education). dissertations sayfasından erişilmiştir. Jodion, M. G. & Gierl, M. J. (2001). Evaluating type I error and power rates using an effect size measure ith the logistic regression procedure for DIF detection. Applied Measurement in Education, 14(4), John, N.(2011). Using the Delphi technique in educational technology research. TechTrends: linking research and practice to improve learning, 55(5), Kalaycıoğlu, D.B.(2008). Öğrenci Seçme Sınavı nın madde yanlılığı açısından incelenmesi. Doktora Tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara. 104

123 Kalaycıoğlu, D. B. & Berberoğlu, G. (2010). Differential item functioning analysis of the science and mathematics items in the University Entrance Examinations in Turkey. Journal of Psychoeducational Assessment, 29(5), Kan, A. (2007). Test yansızlığı: H.Ü. yabancı dil muafiyet sınavının cinsiyete ve bölümlere göre DMF analizi. Eurasian Journal of Educational Research, 29, Karakaya, İ.(2012). Seviye Belirleme Sınavındaki fen ve teknoloji ile matematik alt testlerinin madde yanlılığı açısından incelenmesi. Kuram ve Uygulamada Eğitim Bilimleri, 12(1), Karakaya, İ. & Kutlu, Ö. (2012). Seviye Belirleme Sınavındaki Türkçe alt testlerinin madde yanlılığının incelenmesi. Eğitim ve Bilim Dergisi, 37(165). Karami, H. (2012). An introduction to differential item functioning. The International Journal of Educational and Psychological Assessment,11(2), Keeney, S., Hasson, F. & McKenna, H. (2001). A critical review of the Delphi technique as a research methodology for nursing. International Journal of Nursing Studies, 38(2), Kelecioğlu, H., Karabay, B., & Karabay, E. (2014). Seviye Belirleme Sınavı nın madde yanlılığı açısından incelenmesi. İlköğretim Online, 13(3), Koç, N. (1985). Standart Başarı Testlerinin, bir eğitim sisteminde verilen çeşitli kararlardaki yeri ve önemi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 17(1-2), Kurnaz, F. B. (2006). Peabody Resim Kelime Testinin madde yanlılığı açısından incelenmesi (Yüksek lisans tezi). Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara. Linstone, H. A. & Turoff, M. (2002). The Delphi method: techniques and applications. University of Southern California. sayfasından erişilmiştir. Li, Y., Cohen, A. S. & Ibarra, R. A. (2004). Characteristics of mathematics items associated with gender DIF. International Journal of Testing, 4(2), MEB. (2009). İlköğretim matematik dersi 6-8. sınıflar öğretim programı ve kılavuzu. Ankara. 28 Haziran 2014 tarihinde sayfasından erişilmiştir. 105

124 MEB. (2012). Ortaöğretim kurumlarına geçiş sistemi SBS e-başvuru kılavuzu. sayfasından erişilmiştir. MEB (2012). Seviye Belirleme Sınavı A Kitapçığı. sayfasından erişilmiştir. MEB.(2012) Seviye Belirleme Sınavı Sayısal Bilgileri. _sayisal_4.pdf sayfasından erişilmiştir. MEB (2008). SBS sonuçlarının değerlendirilmesi tarihli genelge. (Sayı: B.08.0.ETG /20242) 8/egitek/sbssonuc/e-okulsbsgenelge.pdf sayfasından erişilmiştir. Melsom, D. A. (2010). The learner centered instructional design model: A modified Delphi study. Doctoral dissertation, ProQuest Dissertations and Thesis. (Order No ) Mendes-Barnett, S. & Ercikan, K. (2006). Examining sources of gender DIF in mathematics assessments using a confirmatory multidimensional model approach. Applied Measurement in Education, 19(4), Okoli, C. & Pawlowski, S. D. (2004). The Delphi Method as a Research Tool: An Example, Design Considerations and Applications. Information & Management, 42(1), pdf sayfasından erişilmiştir. Osterlind, S.J. (1983). Test item bias. Beverly Hills and London: Sage. Osterlind, S.J. & Everson, H.T. (2009).Differenatial item functioning. Thousand Oaks, CA: Sage. Öğretmen, T.(2006).Uluslararası okuma becerilerinde gelişim projesi (PIRLS) 2001 testinin psikometrik özelliklerinin incelenmesi: Türkiye-Amerika Birleşik devletleri örneği. Doktora tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara. Özdemir, D. (2003). Çoktan seçmeli testlerde iki kategorili ve önsel ağırlıklı puanlamanın diferansiyel madde fonksiyonuna etkisi ile ilgili bir araştırma. Eğitim ve Bilim, 28(129),

125 Patton, Q. M. (2002). Qualitative research and evaluation methods. New Delhi London: Sage. Perrone, M. (2006). Differential item functioning and item bias: Critical considerations in test fairness.teachers College, Columbia University Working Papers in TESOL and Applied Linguistics,6, 1-3. Redmond, M., Rooney, R. & Bishop, B. (2006). Unipolar depression across cultures: A Delphi analysis of the methodological and conceptual issues confronting the crosscultural study of depression. Advances in Mental Health, 5(2), Rowe, G. & Wright, G. (1999). The delphi technique as a forecasting tool: Issues and analysis. International Journal of Forecasting, 15(4), Schermelleh-Engel, K., Moosbrugger, H., & Müller, H. (2003). Evaluating the fit of structural equation models: Tests of significance and descriptive goodness-of-fit measures. Methods of psychological research online, 8(2), Scheibe, M., Skutsch, M., & Schofer, J., (2002). Experiments in delphi methodology. (Ed. H. A. Linston & M. Turoff ). The Delphi Method, Techniques and Applications, ss: sayfasından erişilmiştir. Shelton, K. (2010). A quality scorecard for the administration of online education programs: A Delphi study. Doctoral dissertation, University of Nebraska, Lincoln, Nebraska. iss sayfasından erişilmiştir. Stage, C. (1997). Do males and females with identical test scores solve test items in the same way. Report: 23RD Annual Conference, Durban South Africa. Swaminathan, H. & Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational Measurement, 27, Şahin, A.E. (2000). İlköğretim okulu müdürlerinin yeterlikleri. Kuram ve Uygulamada Eğitim Yönetimi, 6(22), Şahin, A. E. (2001). Eğitim Araştırmalarında Delphi Tekniği ve Kullanımı. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20,

126 Şahin, A. E. (2009). Türkiye de ilköğretim okulu müdürlüğünün bir meslek olarak mevcut durumu: Bir delphi çalışması. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 26, Tan, Ş. (2013). Öğretimde ölçme ve değerlendirme: KPSS el kitabı (Sekizinci Baskı). Ankara: Pegem. Turgut, M.F. (1995). Eğitimde ölçme ve değerlendirme metotları (Onuncu Baskı). Ankara: Yargıcı. Wiberg, M. (2007). Measuring and detecting differential item functioning in criterionreferenced licensing test: A theoretic comparison of methods. Umea University. EM No 60. Yıldırım, H. & Berberoğlu, G. (2009). Judgmental and statistical DIF analyses of the PISA mathematics literacy items. International Journal of Testing, 9, Yıldırım, A. & Şimşek, H.(2011).Sosyal bilimlerde nitel araştırma yöntemleri (Sekizinci Baskı). Ankara: Seçkin. Çelik, H.E. & Yılmaz, V. (2013). LISREL 9.1 ile yapısal eşitlik modellemesi: Temel kavramlar ve uygulamalar (Yenilenmiş 2.Baskı). Ankara: Anı. Yurdugül, H. (2003). Ortaöğretim kurumları seçme ve yerleştirme sınavının madde yanlılığı açısından incelenmesi. Yayımlanmamış doktora tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara. Yurdugül, H. & Aşkar, P. (2004). Ortaöğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavı'nın cinsiyete göre madde yanlılığı açısından incelenmesi. Eğitim Bilimleri ve Uygulama Dergisi, 3(5), Zenisky, A.L., Hambleton, R.K., & Robin, F. (2003). DIF detection and interpretation in large-scale science asssessments: Informing item writing practices. Educational Assessment, 9(1-2), Zieky, M. (1993). Practical questions in the use of DIF statistics in test development. In P. Holland and H. Wainer (Eds.), Differential item functioning pp Hillsdale, NJ: Erlbaum. Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF): Logistic regression modeling as a unitary framework for binary and Likert- 108

127 type (ordinal) item scores. Ottawa ON: Directorate of Human Resources Research and Evaluation, Department of National Defense. sayfasından erişilmiştir. Zumbo, B. D. & Thomas, D. R. (1996). A measure of DIF effect size using logistic regression procedures. Paper presented at the National Board of Medical Examiners, Philadelphia. 109

128 EK 1: Davet Mektubu EKLER DELPHİ PANELİ KATILIM MEKTUBU Sayın Delphi Panel katılımcısı, Gazi Üniversitesi Eğitim Bilimleri Enstitüsü Eğitimde Ölçme ve Değerlendirme Bilim Dalı nda Prof. Dr. Şener BÜYÜKÖZTÜRK danışmanlığında 2012 Yılı Seviye Belirleme Sınavı Matematik Alt Testinin Madde Yanlılığı Açısından İncelenmesi isimli yüksek lisans tez çalışmamı yürütmekteyim. Çalışmamda bir uzlaşma aracı olarak Delphi tekniği kullanılacak ve Delphi Panel katılımcısı olarak sizin değerli görüşlerinize başvurulacaktır. Delphi Tekniği ; Belli bir konuda birçok görüş ve düşüncenin tek bir görüşten daha anlamlı olduğu ilkesine dayanmaktadır. Delphi tekniğinin uygulanması, uzmanların odak soruna ilişkin bakış açıklarını ortaya çıkarmaya ve uzlaşma sağlamaya yönelik bir dizi aşamadan oluşmaktadır. Ardışık uygulamalar yoluyla işleyen Delphi sürecinde uzmanların tüm turlara katılmaları hayati önem taşımaktadır. Çalışmada iletişim, elektronik posta yoluyla ya da web ortamında hazırlanan anket formuyla sağlanacaktır. Her bir Delphi uygulamasının üç gün için de tamamlanması planlanmıştır. Birinci Delphi Paneli; Çalışmanın problemine ilişkin açık uçlu sorulardan oluşan birinci delphi anketiyle yürütülecektir. Bu aşamada siz değerli katılımcılardan mümkün olduğu kadar çok sayıda fikir öne sürmeniz beklenmektedir. Birinci delphi anketinde toplanan verilerde birbirine yakın anlam taşıyan görüşler bir araya getirilerek ikinci delphi anketi likert soru formatında düzenlenecek ve uzman panelistlere gönderilecektir. İkinci Delphi Paneli; İkinci delphi anketinde, her bir madde için belirtilen görüşlere katılma derecelerinizi (ya da önem düzeyini) işaretlemeniz ve varsa yorumlarınızı yazmanız beklenmektedir. İkinci delphi anketinden gelen veriler üçüncü delphi anketinin oluşturulmasında kullanılacak ve ikinci delphi anketine ek olarak bazı madde istatistik değerleri hesaplanarak panelistlere gönderilecektir. Üçüncü Delphi Paneli; Üçüncü delphi anketi ikinci delphi anketinin aynısıdır. Bu ankette her bir madde için maddelerin tercih edilme düzeylerini gösteren istatistiklere yer verilecektir. Verilen istatistikler ışığında konuyu tekrar düşünmeniz ve görüşlere hangi düzeyde katıldığınızı belirtmeniz beklenmektedir. Üçüncü delphi panelinden gelen veriler analiz edilerek dördüncü delphi anketi oluşturulacaktır. Üçüncü delphi panelinde uzlaşma ve istikrarın sağlanması durumunda dördüncü panel yapılmayacaktır. Aksi takdirde dördüncü Delphi paneli yapılacaktır. Değerli Hocam, yürütülen araştırmada, bir geçerlik sorunu olan madde yanlılığının nedenlerinin belirlenmesi amaçlanmaktadır. Bu amaç doğrultusunda da sizlerin değerli görüşlerinize ihtiyaç duyulmaktadır. Çalışmaya göstereceğiniz ilgi, araştırmanın gerçekleşebilmesi açısından oldukça önemlidir. Delphi panellerine göstereceğiniz katılımlar ve değerli görüşleriniz için şimdiden çok teşekkür ederim. Arş. Gör. Halime YILDIRIM Gazi Üniversitesi Eğitimde Ölçme ve Değerlendirme Bilim Dalı İletişim: halime.yldrm@gmail.com 110

129 EK 2: Birinci Delphi Anketi I.DELPHİ PANELİ Sayın Delphi Paneli Üyesi; 2012 Seviye Belirleme Sınavı (SBS) ile ilgili yaptığım yüksek lisans tez çalışmamın amacı 2012 yılı SBS Matematik alt testinde yer alan maddelerin cinsiyete ve okul türü değişkenlerine göre Değişen Madde Fonksiyonu (DMF) gösterip göstermediğini belirlemek; DMF gösteren maddelerin yanlılık durumlarını incelemektir. Araştırmanın ilk aşamasında gerçekleştirilen DMF analizleri sonucunda orta ve yüksek düzeyde DMF gösterdiği belirlenen maddelerdeki DMF nin kaynaklarını belirlemek amacıyla I. Delphi anketi ile siz değerli uzmanların görüşü alınacaktır. Konuya ilişkin açıklamalar doğrultusunda görüşlerinizi belirtmeniz araştırmaya önemli katkılar sağlayacaktır. Aşağıda Birinci Delphi paneline ilişkin gerekli bilgilere yer verilmiştir. Değerli katkılarınız için çok teşekkür ederim. Saygılarımla, Arş. Gör. Halime YILDIRIM Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü Eğitimde Ölçme ve Değerlendirme Bilim Dalı İletişim: ******* Not: Birinci Delphi Anketine ait yanıtlarınızı 07/07/ /07/2014 tarihleri arasında göndermeniz önemle rica olunur. ******* 111

130 AÇIKLAMA Değişen madde fonksiyonu (DMF), testle ölçülen özellik bakımından aynı yetenek düzeyinde olan ancak cinsiyet, sosyo-ekonomik düzey ve okul türü gibi değişkenler açısından birbirinden farklı alt gruplarda yer alan bireylerin, bir maddeyi doğru cevaplandırma olasılıklarının farklılaşması olarak tanımlanmaktadır. DMF nin olası kaynakları aşağıda özetlenmiştir: Sosyo-ekonomik farklılıklar Bilgiye ulaşma imkânları (internet, bilgisayar, dershane vb.) Müfredat kapsamındaki farklılıklar Kullanılan öğretim metotları Öğrencilerin kavramlara olan aşinalık düzeyi Öğrencilerin ilgi alanları (Örneğin; Bireyler aynı yetenek düzeyinde olmalarına rağmen bir matematik sorusunun konusu basketbol, futbol, araba yarışları veya avcılık gibi daha çok erkeklerin ilgisini çeken konulardan seçildiğinde, maddeleri erkeklerin doğru cevaplama olasılığı artmaktadır. Benzer şekilde, kız öğrencilerin daha aşina olduğu konuların yer aldığı maddelerde ise kız öğrencilerin maddeleri doğru cevaplama olasılığı artmaktadır.) Soru çözümünde kullanılan stratejiler Bilişsel düşünme biçimleri Madde içeriği ve formatı; Maddenin okul dışı bilgi ve deneyim gerektirmesi, günlük yaşam problemlerine dayalı olması; algoritmik işlemlere ve hesaplamaya dayanması; aritmetik ve cebirsel ifadelerin kullanılması; soyut içeriklere sahip olması; tablo, şekil, grafik içermesi, hız, uzunluk, zaman, para, yüzde ve alan içerikli olması; görsellik içermesi; görsel ve uzamsal zeka gerektirmesi vb. Madde yanlılığı, testin amacına uygun olmayan test koşullarından ya da test maddelerinin özeliklerinden dolayı, bir tek test maddesine aynı yetenek düzeyinde olan fakat farklı gruplardan gelen bireylerin doğru cevap verme olasılığının farklılaşması durumudur. Bir testin tarafsızlığı ve geçerliği için en büyük tehdit yanlılıktır. Yanlı maddeler içerdiği belirlenen bir testin sonuçlarına dayanılarak yapılan seçme ve yerleştirme işlemi ise gerçek durumu yansıtmayacaktır. Yanlı bir madde örneği; Aşağıdaki sözcük çiftlerinden hangisinde Dekoy*: Ördek sözcükleri arasındakine benzer bir ilişki vardır? a) Ağ: Kelebek b) Örümcek Ağı: Örümcek c) Tuzak Yemi: Balık d) Patika: Kısa yol *Dekoy: Ördek yakalamak için kullanılan bir tür düdük. Bu soru, erkek öğrenciler lehine DMF göstermiş bir sorudur. Ölçülmek istenen yapı ilişki kurma olmasına rağmen kullanılan literatür avcılık/balık avcılığı ile ilgili olduğu için bu madde uzmanlarca yanlı kabul edilmiştir (Camilli ve Shepard, 1994). Avcılık gibi konulara erkek öğrencilerin (aynı yetenek düzeyinde olsalar bile) kız öğrencilere göre daha aşina olmaları, bu sorunun doğru yanıtlanma olasılığının kız ve erkek öğrenciler arasında sistematik olarak farklılaşmasına neden olmaktadır. Soruda kullanılan literatürün balık avcılığı ile ilgili olması, sorunun içeriğinden kaynaklı olan bu faktörün testin amacına uygun olmamasından dolayı maddedeki yanlılığın nedeni olarak görülmüştür. 112

131 Cinsiyete göre Yanlı Madde Örneği; Bakan Kalaycıoğlu (2008) Öğrenci Seçme Sınavının Madde Yanlılığı Açısından İncelenmesi isimli doktora tez çalışmasında; 2005 yılı ÖSS 49.fizik maddesinde kullanılan otomobillerin ve hız konusunun erkek öğrencilerin daha yakın olduğu konular olması sebebiyle erkek öğrenciler lehine çalışmasının beklendiği (DMF) belirlenmiştir. Uzmanlarca bu maddenin erkek öğrenciler lehine yanlı olduğu belirtilmiştir. Madde içeriğinin erkek öğrencilerin ilgi alanlarına daha yakın olması gibi testin amacına uygun olmayan test dışı bu faktörün yanlılık sebebi olabileceği düşünülmüştür. Okul türüne göre Yanlı Madde Örneği; Bakan Kalaycıoğlu (2008) Öğrenci Seçme Sınavının Madde Yanlılığı Açısından İncelenmesi isimli doktora tez çalışmasında; 2005 yılı ÖSS 46.fizik maddesinin özel okulda okuyan öğrenciler lehine yanlı olduğu belirtilmiştir. Madde kökünde yer alan binici kelimesinin İngilizce rider kelimesinden gelmesi maddenin, çoğunlukla yabancı dille eğitim veren özel okul öğrencileri tarafından daha kolay algılanabilmesine yol açmış olabileceği belirtilmiştir. Testin amacına uygun olmayan bu test dışı faktörün (madde kökünde kullanılan binici sözcüğü) yanlılık sebebi olabileceği belirtilmiştir. 113

132 2012 SBS 8.SINIF MATEMATİK ALT TESTİNDE DMF GÖSTEREN MADDELER Açıklama: Analizler sonucunda orta ve yüksek düzeyde DMF gösterdiği belirlenen maddeler aşağıda verilmiştir. Sizden, her bir madde için DMF nin olası kaynaklarını belirterek görüşlerinizi gerekçeleriyle açıklamanız beklenmektedir. 4. SORU Matematik alt testi için aynı yetenek düzeyinde bulunan öğrenciler göz önüne alındığında, Kız öğrencilerin yandaki maddeyi doğru cevaplama olasılıkları, erkek öğrencilere göre daha yüksek bulunmuştur. Bu maddenin cinsiyete göre DMF göstermesinin nedenleri sizce ne olabilir? Lütfen aşağıya yazınız. 5. SORU Matematik alt testi için aynı yetenek düzeyinde bulunan öğrenciler göz önüne alındığında, Özel okulda okuyan öğrencilerin yandaki maddeyi doğru cevaplama olasılıkları, devlet okulunda okuyan öğrencilere göre daha yüksek bulunmuştur. Bu maddenin okul türüne göre DMF göstermesinin nedenleri sizce ne olabilir? Lütfen aşağıya yazınız. 9. SORU Matematik alt testi için aynı yetenek düzeyinde bulunan öğrenciler göz önüne alındığında, Özel okulda okuyan öğrencilerin yandaki maddeyi doğru cevaplama olasılıkları, devlet okulunda okuyan öğrencilere göre daha yüksek bulunmuştur. Bu maddenin okul türüne göre DMF göstermesinin nedenleri sizce ne olabilir? Lütfen aşağıya yazınız. 114

133 10. SORU Matematik alt testi için aynı yetenek düzeyinde bulunan öğrenciler göz önüne alındığında, Özel okulda okuyan öğrencilerin yandaki maddeyi doğru cevaplama olasılıkları, devlet okulunda okuyan öğrencilere göre daha yüksek bulunmuştur. Bu maddenin okul türüne göre DMF göstermesinin nedenleri sizce ne olabilir? Lütfen aşağıya yazınız. 16.SORU Matematik alt testi için aynı yetenek düzeyinde bulunan öğrenciler göz önüne alındığında, Özel okulda okuyan öğrencilerin yandaki maddeyi doğru cevaplama olasılıkları, devlet okulunda okuyan öğrencilere göre daha yüksek bulunmuştur. Bu maddenin okul türüne göre DMF göstermesinin nedenleri sizce ne olabilir? Lütfen aşağıya yazınız. 115

134 17.SORU Matematik alt testi için aynı yetenek düzeyinde bulunan öğrenciler göz önüne alındığında, Özel okulda okuyan öğrencilerin yandaki maddeyi doğru cevaplama olasılıkları, devlet okulunda okuyan öğrencilere göre daha yüksek bulunmuştur. Bu maddenin okul türüne göre DMF göstermesinin nedenleri sizce ne olabilir? Lütfen aşağıya yazınız. 19.SORU Matematik alt testi için aynı yetenek düzeyinde bulunan öğrenciler göz önüne alındığında, Erkek öğrencilerin yandaki maddeyi doğru cevaplama olasılıkları, kız öğrencilere göre daha yüksek bulunmuştur. Bu maddenin cinsiyete göre DMF göstermesinin nedenleri sizce ne olabilir? Lütfen aşağıya yazınız. ***En kısa zamanda II. Delphi Anketi gönderilecektir. ***Vakit ayırdığınız için teşekkürler 116

135 EK 3: Birinci Delphi Anketi Web formu 117

136 EK 4: İkinci Delphi Anketi II. DELPHİ PANELİ Sayın Delphi Paneli Katılımcısı, 2012 Seviye Belirleme Sınavı Matematik Alt Testinin Madde Yanlılığı Açısından İncelenmesi isimli yüksek lisans tezime I. Delphi Anketine katılarak yaptınız katkılardan dolayı teşekkür ederim. I Delphi paneli nin tamamlanmasının ardından II. Delphi paneline geçilmiş olup bu kapsamda siz değerli uzmanlarımıza II. Delphi anketi gönderilecektir. II. Delphi anketinin amacı; orta ve yüksek düzeyde DMF gösterdiği belirlenen maddelerin I. Delphi anketinden elde edilen DMF gösterme nedenlerine ait uzman görüşlerinin tamamını size sunarak bu görüşlere ne düzeyde katıldığınızı belirlemek ve görüşlere ait önem sıralamanızı öğrenmektir. Konuya ilişkin açıklamalar doğrultusunda görüşlerinizi belirtmeniz araştırmaya önemli katkılar sağlayacaktır. Aşağıda İkinci Delphi anketine ilişkin gerekli bilgilere yer verilmiştir. Değerli katkılarınız için çok teşekkür ederim. Saygılarımla, Arş. Gör. Halime YILDIRIM Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü Eğitimde Ölçme ve Değerlendirme Bilim Dalı İletişim: halime.yldrm@gmail.com 118

137 II. DELPHİ ANKETİ Açıklama: II. Delphi anketinde; her bir maddenin DMF gösterme nedenlerine ilişkin uzmanlar tarafından belirtilen görüşler düzenlenerek verilmiştir. Sizden, maddelerin DMF gösterme nedenlerine ilişkin verilen görüşlere katılma düzeyinizi belirtmeniz ve görüşleri önem sırasına göre sıralamanız beklenmektedir. Dilerseniz katılma düzeyinize ve önem sıranıza ilişkin gerekçelerinizi Açıklamalarınız bölümüne yazabilirsiniz. Lütfen her bir maddenin DMF gösterme nedenine ilişkin görüşe katılma düzeyinizi, ölçek üzerindeki 1 den 4 e kadar sıralı rakamlardan birini seçerek belirtiniz. (1: Kesinlikle Katılmıyorum, 2: Katılmıyorum, 3: Katılıyorum, 4: Kesinlikle Katılıyorum) Her bir maddenin DMF gösterme nedenine ilişkin görüşleri en önemli gördüğünüzden en az önemli gördüğünüze doğru sıralayınız.(1: En önemli olmak üzere) Cinsiyete göre DMF gösteren maddeler ve DMF gösterme nedenlerine ilişkin görüşler 1. Kız öğrencilerin erkek öğrencilerden daha önce soyut döneme geçmesi KATILMA DÜZEYİ ÖNEM SIRASI 4. SORU Kız öğrenciler lehine DMF göstermektedir 2. Kız öğrencilerin ayrıntıları görmede ve detaylı düşünmede erkek öğrencilere göre daha iyi olması 3. Maddenin üç boyutlu düşünme becerisi (görsel uzamsal zeka) gerektirmesi (Maddenin koninin kapalı ve açık formlarını canlandırmayı gerektirmesi) 4. Kız öğrencilerin kullandıkları ev eşyaları ve oynadıkları oyunların maddede kullanılan koni şeklinin algılanmasını kolaylaştırması 5. Maddenin kız öğrencilerin daha ilgili olduğu sayısına bağlı çemberin çevresi formülünü kullanmayı gerektirmesi 119

138 Cinsiyete göre DMF gösteren maddeler ve DMF gösterme nedenlerine ilişkin görüşler 1. Maddenin mantıksal düşünme ve akıl yürütme becerisi gerektirmesi 2. Maddenin dört işlem becerisi gerektirmesi KATILMA DÜZEYİ ÖNEM SIRASI 19.SORU Erkek öğrenciler lehine DMF göstermektedir 3. Maddede yer alan +3 puan ile futbol maçlarındaki puan hesabının benzer olması (erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi ) 4. Erkek öğrencilerin oynadıkları oyunların dört işlem becerileri gibi hesaplama becerilerini geliştirmiş olması(bilye,52 kart vb.) 5. Erkek öğrencilerin yarışma programlarına daha ilgili olmaları 6. Erkek öğrencilerin sonuç odaklı düşünme yani cevap şıklarından hareketle soruyu çözme becerilerinin kız öğrencilerden daha gelişmiş olması 7. Erkek öğrencilerin futbol, basketbol gibi puan hesaplarının yapıldığı sporlara ve oyunlara kız öğrencilere göre daha meraklı olmaları ve günlük hayatta bunları kullanmaları 120

139 Okul türüne göre DMF gösteren maddeler ve DMF gösterme nedenlerine ilişkin görüşler 1. Özel okullarda görsel materyallerin (simetri aynası vb), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması KATILMA DÜZEYİ ÖNEM SIRASI 2. Özel okullarda okuduğunu anlamaya yönelik uygulamalara daha fazla yer verilmesi 5.SORU Özel okulda okuyan öğrenciler lehine DMF göstermektedir. 3. Özel okullarda benzer konularda daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması 4. Devlet okulunda konuya ayrılan ders saatinin yetersiz olması 5. Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur. 6. Madde içeriğinde harfli ifadelerin kullanılması 7. Maddenin günlük yaşam problemi olarak ifade edilmesi ve Özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması 8. Özel okulda okuyan öğrencilerin daha aşina olduğu mimar ve arsa kavramlarının madde kökünde yer alması 9. Maddenin model kurma becerisi gerektirmesi 10. Maddenin üst düzey bilişsel beceri gerektirmesi 11. Maddenin algoritmik işlemler gerektirmesi 121

140 Okul türüne göre DMF gösteren maddeler ve DMF gösterme nedenlerine ilişkin görüşler KATILMA DÜZEYİ ÖNEM SIRASI 9.SORU Özel okulda okuyan öğrenciler lehine DMF göstermektedir. 1. Özel okullarda görsel materyallerin (simetri aynası vb), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması 2. Özel okullardaki öğrencilerin tangram materyalini derslerinde kullanmış olmaları (devlet okullarındaki öğrencilerin ise bu materyali tanımamaları/bilmemeleri) 3. Devlet okullarında öteleme, yansıma ve döndürme konularına ayrılan ders saatinin yetersiz olması 4. Özel okullarda öteleme, yansıma ve döndürme konularında daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması 5. Maddenin üç boyutlu düşünme (görsel uzamsal zeka) gerektirmesi 6. Maddede ötelemeli yansıma sözcük grubunun kullanılması 122

141 Okul türüne göre DMF gösteren maddeler ve DMF gösterme nedenlerine ilişkin görüşler 1. Özel okullarda devirli ondalık sayılar konusunda daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması KATILMA DÜZEYİ ÖNEM SIRASI 10.SORU Özel okulda okuyan öğrenciler lehine DMF göstermektedir. 2. Özel ve devlet okullarında görev yapan öğretmenlerin kullandıkları öğretim yöntem ve tekniklerinin farklılaşması 3. İngilizce karşılığı repeating number tekrar eden anlamına gelen devirli kelimesine ağırlıklı olarak ingilizce eğitim veren özel okuldaki öğrencilerin daha aşina olması 4. Özel okulda okuyan öğrencilerin günlük hayatlarından devirli ondalık sayılara daha aşina olmaları 5. Devlet okullarında kullanılan ana kaynak kitapta bu tür sorulara yer verilmemesi özel okullarda kullanılan yardımcı kaynaklarda ise bu tür soruların fazlasıyla yer alması 6. Devlet okullarında sorunun çözümünü karşılayacak bir kazanımın olmayışı 7. Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur 123

142 Okul türüne göre DMF gösteren maddeler ve DMF gösterme nedenlerine ilişkin görüşler 1. Maddenin günlük yaşam problemi olarak ifade edilmesi ve Özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması KATILMA DÜZEYİ ÖNEM SIRASI 16.SORU Özel okulda okuyan öğrenciler lehine DMF göstermektedir. 2. Devlet okullarında kullanılan ana kaynak kitapta bu tür sorulara yer verilmemesi özel okullarda kullanılan yardımcı kaynaklarda ise bu tür soruların fazlasıyla yer alması 3. Özel okulda okuyan öğrencilerin tablo okuma ve verilen bilgileri analiz etme becerilerinin devlet okulunda okuyan öğrencilere göre daha iyi olması 4. Özel okullarda kitap okuma saatlerinin olması, özel okuldaki öğrencilerin kitap okuma alışkanlıklarının devlet okulu öğrencilerinden daha iyi olması 5. Özel okullarda günlük hayat problemlerinin kullanıldığı proje tabanlı çalışmalara devlet okullarından daha fazla yer verilmesi 6. Özel okullarda çalışan öğretmenlerin niteliği, alan hâkimiyeti, daha çeşitli öğretim materyali kullanma ve etkinlik yapma yönündeki deneyimleri ve donanımları 7. Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur 124

143 Okul türüne göre DMF gösteren maddeler ve DMF gösterme nedenlerine ilişkin görüşler 1. Özel okul öğrencilerinin bilgisayar ve cep telefonu oyunlarına aşinalığı, maddenin oyun tarzında kurgulanmasından dolayı maddenin içeriğinin algılanmasını kolaylaştırması KATILMA DÜZEYİ ÖNEM SIRASI 17.SORU Özel okulda okuyan öğrenciler lehine DMF göstermektedir. 2. Maddenin günlük yaşam problemi olarak ifade edilmesi ve özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması 3. Maddenin mantıksal düşünme ve akıl yürütme becerisi gerektirmesi 4. Özel okullarda olasılık konusunda daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması 5. Maddenin matematiksel modelle becerisi gerektirmesi 6. Özel okullarda olasılık konusunun görsel materyal, bilgisayar, internet ve video desteği ile hayal gücünü geliştirmeye yönelik etkinliklerin daha fazla yapılması 7. Maddenin Word problem olması nedeniyle kitap okuma alışkanlığı olan özel okul öğrencilerinin anlamasını kolaylaştırması 8. Madde içeriğinde Üç yol ağzı ve yol ayrımı kavramlarının kullanılması 9. Maddenin devlet okulundaki öğrenciler için soyut kalması 10. Özel okullarda ders içi ve ders dışı etkinlikler kapsamında fabl veya öykünce olarak hikayeleştirilen farklı soru türlerine yönelik daha çok uygulama yapılması ***En kısa zamanda III. Delphi Anketi gönderilecektir. ***Vakit ayırdığınız için teşekkürler 11. Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur. 125

144 EK 5: Üçüncü Delphi Anketi III. DELPHİ PANELİ Sayın Delphi Paneli Üyesi, 2012 Yılı Seviye Belirleme Sınavı Matematik Alt Testinin Madde Yanlılığı Açısından İncelenmesi adlı yüksek lisans tez çalışmam kapsamında gerçekleştirilen II. Delphi paneline katılarak yaptınız katkılardan dolayı teşekkür ederim. II. Delphi panelinin tamamlanmasının ardından III. Delphi paneline geçilmiş olup bu kapsamda III. Delphi anketini cevaplamanız beklenmektedir. III. Delphi anketinin içeriği; II. Delphi anketiyle aynıdır. Bu ankette, ek olarak; her bir madde için sizin ikinci turda belirttiğiniz katılma düzeyiniz ve tüm panel üyelerinin her bir maddedeki katılma düzeylerine ilişkin istatistikler (ortanca, çeyrekler arası genişlik ve yüzdelik) yer almaktadır. III. Delphi anketi nin amacı, ikinci anketin istatistiksel sonuçları (grubun genel eğilimi) hakkında sizi bilgilendirmek ve ikinci turda belirtmiş olduğunuz katılma düzeyinizi yeniden gözden geçirmenizi sağlamaktır. Konuya ilişkin açıklamalar doğrultusunda görüşlerinizi belirtmeniz araştırmaya önemli katkılar sağlayacaktır. Değerli katkılarınız için çok teşekkür ederim. Saygılarımla, Arş. Gör. Halime YILDIRIM Gazi Üniversitesi Eğitim Bilimleri Enstitüsü Eğitimde Ölçme ve Değerlendirme Bilim Dalı İletişim: 126

145 III. DELPHİ ANKETİ Açıklama: III. Delphi anketi; her bir madde için ikinci ankette belirttiğiniz katılma düzeylerinizi ve uzman grubunun katılma düzeylerine ilişkin üç farklı istatistiksel sonucu (yüzdelik, ortanca ve çeyrekler arası genişlik) içermektedir. Sizden, istatistiksel sonuçları dikkate alarak ikinci ankete verdiğiniz cevapları yeniden gözden geçirmeniz beklenmektedir. İkinci ankette her bir madde için belirtmiş olduğunuz katılma düzeyleri Eski sütununda yer almaktadır. İkinci ankette verdiğiniz cevabı değiştirmek isterseniz yeni cevabınızı varsa açıklamanızla birlikte Yeni sütununa yazabilirsiniz. Eğer vermiş olduğunuz cevabı değiştirmek istemezseniz Yeni sütununu doldurmanıza gerek yoktur. Katılma düzeyine ve istatistiklere ilişkin bilgiler aşağıda yer almaktadır. Her bir maddenin DMF gösterme nedenine ilişkin görüşe katılma düzeyinizi, ölçek üzerindeki 1 den 4 e kadar sıralı rakamlardan birini seçerek belirtiniz. (1: Kesinlikle Katılmıyorum, 2: Katılmıyorum, 3: Katılıyorum, 4: Kesinlikle Katılıyorum) Ortanca (Medyan): Verilen yanıtların (katılma düzeyi (1-4)) küçükten büyüğe doğru sıralanması sonucu tam ortada kalan değerdir. Cevapların %50'sini soluna, %50'sini de sağına alan noktadır. Çeyrekler Arası Genişlik (IQR (Q 3-Q 1)): Birinci çeyrek (Q 1), yanıtların %25'ini soluna, %75'ini de sağına alan noktadır. Üçüncü çeyrek (Q 3), yanıtların %25'ini sağına, %75'ini de soluna alan noktadır. Çeyrekler arası genişlik, birinci çeyrek ve üçüncü çeyrek değerleri arasındaki farktır. Birinci ve üçüncü çeyrek arasında çıkan farkın az olması görüş birliğini, farkın fazla olması ise görüş birliği olmadığını ifade eder. Katılma Yüzdesi (%): 3: Katılıyorum ya da 4: Kesinlikle Katılıyorum cevabını veren uzmanların grup içindeki yüzdesini ifade etmektedir. NOT: III. Delphi turunda üzerinde tam ve kısmi uzlaşmanın sağlandığı DMF gösterme nedenleri araştırılmaktadır. Belirlenen uzlaşma ölçütleri dışında kalan maddeler ise DMF gösterme nedenleri arasında yer almayacaktır. Güçlü Uzlaşma Ölçütü; Katılma düzeyi en az %80, ortanca en az 3 ve çeyrekler arası genişlik en çok 1 olarak belirlenmiştir. Üç kriterin karşılanması durumunda DMF gösterme nedeni üzerinde güçlü uzlaşma sağlanacaktır. Katılma düzeyi %80 ve Ortanca 3 ve IQR 1, Kısmi Uzlaşma Ölçütü; Katılma düzeyi en az %80 olup diğer kriterlerden (Ortanca 3 ya da IQR 1) birinin karşılanması durumunda DMF gösterme nedeni üzerinde kısmi uzlaşma sağlanacaktır. Katılma düzeyi %80 ve Ortanca 3 ya da IQR 1, 127

146 4. SORU Kız öğrenciler lehine DMF göstermektedir Cinsiyete göre DMF gösterme nedenlerine ilişkin görüşler Kız öğrencilerin erkek öğrencilerden daha önce soyut döneme geçmesi Katılma (%) Ortanca IQR (Q3-Q1) % EKD (1-4) YKD Kız öğrencilerin ayrıntıları görmede ve detaylı düşünmede erkek öğrencilere göre daha iyi olması % Maddenin üç boyutlu düşünme becerisi (görsel uzamsal zeka) gerektirmesi (Maddenin koninin kapalı ve açık formlarını canlandırmayı gerektirmesi) % Kız öğrencilerin kullandıkları ev eşyaları ve oynadıkları oyunların maddede kullanılan koni şeklinin algılanmasını kolaylaştırması % Maddenin kız öğrencilerin daha ilgili olduğu sayısına bağlı çemberin çevresi formülünü kullanmayı gerektirmesi % Cinsiyete göre DMF gösterme nedenlerine ilişkin görüşler Katılma (%) Ortanca IQR (Q3-Q1) EKD YKD 19.SORU Maddenin mantıksal düşünme ve akıl yürütme becerisi gerektirmesi % Erkek öğrenciler lehine DMF göstermektedir Maddenin dört işlem becerisi gerektirmesi % Maddede yer alan +3 puan ile futbol maçlarındaki puan hesabının benzer olması (erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi ) % Erkek öğrencilerin oynadıkları oyunların dört işlem becerileri gibi hesaplama becerilerini geliştirmiş olması(bilye,52 kart vb.) % Erkek öğrencilerin yarışma programlarına daha ilgili olmaları %

147 Erkek öğrencilerin sonuç odaklı düşünme yani cevap şıklarından hareketle soruyu çözme becerilerinin kız öğrencilerden daha gelişmiş olması % Erkek öğrencilerin futbol, basketbol gibi puan hesaplarının yapıldığı sporlara ve oyunlara kız öğrencilere göre daha meraklı olmaları ve günlük hayatta bunları kullanmaları % Okul türüne göre DMF gösterme nedenlerine ilişkin görüşler Katılma (%) Ortanca IQR (Q3-Q1) EKD YKD Özel okullarda görsel materyallerin (simetri aynası vb), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması % SORU Özel okulda okuyan öğrenciler lehine DMF göstermektedir. Özel okullarda okuduğunu anlamaya yönelik uygulamalara daha fazla yer verilmesi % Özel okullarda benzer konularda daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması % Devlet okulunda konuya ayrılan ders saatinin yetersiz olması % Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur. % Madde içeriğinde harfli ifadelerin kullanılması %31,3 2 2 Maddenin günlük yaşam problemi olarak ifade edilmesi ve Özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması % Özel okulda okuyan öğrencilerin daha aşina olduğu mimar ve %

148 arsa kavramlarının madde kökünde yer alması Maddenin model kurma becerisi gerektirmesi % Maddenin üst düzey bilişsel beceri gerektirmesi % Maddenin algoritmik işlemler gerektirmesi % Okul türüne göre DMF gösterme nedenlerine ilişkin görüşler Katılma (%) Ortanca IQR (Q3-Q1) EKD YKD 9.SORU Özel okulda okuyan öğrenciler lehine DMF göstermektedir. Özel okullarda görsel materyallerin (simetri aynası vb), teknolojik araçların (projeksiyon, akıllı tahta vb.) ve dinamik geometri programlarının (geogebra vb.) daha fazla ve etkili kullanılması % Özel okullarda öğrencilerin tangram materyalini derslerinde kullanmış olmaları (devlet okullarındaki öğrencilerin ise bu materyali tanımamaları/bilmemeler) % Devlet okullarında öteleme, yansıma ve döndürme konularına ayrılan ders saatinin yetersiz olması % Özel okullarda öteleme, yansıma ve döndürme konularında daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması % Maddenin üç boyutlu düşünme (görsel uzamsal zeka) gerektirmesi % Maddede ötelemeli yansıma sözcük grubunun kullanılması %

149 Okul türüne göre DMF gösterme nedenlerine ilişkin görüşler Katılma (%) Ortanca IQR (Q3-Q1) EKD YKD 10.SORU Özel okulda okuyan öğrenciler lehine DMF göstermektedir. Özel okullarda devirli ondalık sayılar konusunda daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması % Özel ve devlet okullarında görev yapan öğretmenlerin kullandıkları öğretim yöntem ve tekniklerinin farklılaşması % İngilizce karşılığı repeating number tekrar eden anlamına gelen devirli kelimesine ağırlıklı olarak ingilizce eğitim veren özel okuldaki öğrencilerin daha aşina olması % Özel okulda okuyan öğrencilerin günlük hayatlarından devirli ondalık sayılara daha aşina olmaları % Devlet okullarında kullanılan ana kaynak kitapta bu tür sorulara yer verilmemesi özel okullarda kullanılan yardımcı kaynaklarda ise bu tür soruların fazlasıyla yer alması % Devlet okullarında sorunun çözümünü karşılayacak bir kazanımın olmayışı % Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur %

150 Okul türüne göre DMF gösterme nedenlerine ilişkin görüşler Katılma (%) Ortanca IQR (Q3-Q1) EKD YKD 16.SORU Maddenin günlük yaşam problemi olarak ifade edilmesi ve Özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması % Özel okulda okuyan öğrenciler lehine DMF göstermektedir. Devlet okullarında kullanılan ana kaynak kitapta bu tür sorulara yer verilmemesi özel okullarda kullanılan yardımcı kaynaklarda ise bu tür soruların fazlasıyla yer alması % Özel okulda okuyan öğrencilerin tablo okuma ve verilen bilgileri analiz etme becerilerinin devlet okulunda okuyan öğrencilere göre daha iyi olması % Özel okullarda kitap okuma saatlerinin olması, özel okuldaki öğrencilerin kitap okuma alışkanlıklarının devlet okulu öğrencilerinden daha iyi olması % Özel okullarda günlük hayat problemlerinin kullanıldığı proje tabanlı çalışmalara devlet okullarından daha fazla yer verilmesi % Özel okullarda çalışan öğretmenlerin niteliği, alan hâkimiyeti, daha çeşitli öğretim materyali kullanma ve etkinlik yapma yönündeki deneyimleri ve donanımları % Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur %

151 17.SORU Okul türüne göre DMF gösterme nedenlerine ilişkin görüşler Katılma (%) Ortanca IQR (Q3-Q1) EKD YKD Özel okulda okuyan öğrenciler lehine DMF göstermektedir. Özel okul öğrencilerinin bilgisayar ve cep telefonu oyunlarına aşinalığı, maddenin oyun tarzında kurgulanmasından dolayı maddenin içeriğinin algılanmasını kolaylaştırması % Maddenin günlük yaşam problemi olarak ifade edilmesi ve özel okullarda problemlerin daha çok günlük yaşam ile ilişkilendirilerek sunulması % Maddenin mantıksal düşünme ve akıl yürütme becerisi gerektirmesi % Özel okullarda olasılık konusunda daha fazla uygulamanın yapılması, öğrencilerin bu soruya benzer sorularla daha çok karşılaşması % Maddenin matematiksel modelle becerisi gerektirmesi % Özel okullarda olasılık konusunun görsel materyal, bilgisayar, internet ve video desteği ile hayal gücünü geliştirmeye yönelik etkinliklerin daha fazla yapılması % Maddenin Word problem olması nedeniyle kitap okuma alışkanlığı olan özel okul öğrencilerinin anlamasını kolaylaştırması % Madde içeriğinde Üç yol ağzı ve yol ayrımı kavramlarının kullanılması % Maddenin devlet okulundaki öğrenciler için soyut kalması %

152 Özel okullarda ders içi ve ders dışı etkinlikler kapsamında fabl veya öykünce olarak hikayeleştirilen farklı soru türlerine yönelik daha çok uygulama yapılması % Maddenin doğru cevaplanma olasılığının okul türüne göre farklılık göstermesi için bir neden yoktur. EKD: Eski Katılma Düzeyiniz, YKD: Yeni Katılma Düzeyiniz % ***Vakit ayırdığınız için teşekkürler 134

153 EK 6:Ölçme Modeli 135