XIII. Ulusal Eğitim Bilimleri Kurultayı, 6-9 Temmuz 2004 İnönü Üniversitesi, Eğitim Fakültesi, Malatya 1998-2001 ORTAÖĞRETİM KURUMLARI ÖĞRENCİ SEÇME VE YERLEŞTİRME SINAVLARI NDA ÇIKAN BİYOLOJİ SORULARININ İÇERİK ANALİZİ Ela Ayşe Köksal Orta Öğretim Fen ve Matematik Alanları Eğitimi, Orta Doğu Teknik Üniversitesi ela@metu.edu.tr ÖZET Bu çalışmanın amacı 1998-2001 Orta Öğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavları nda çıkan biyoloji sorularının içeriklerini bilişsel süreçler bakımından analiz ederek ülkemizde ilköğretim fen programı alanındaki literatür yetersizliğinin oluşturduğu bilgi açığını kapatmak hedeflenmiştir. Çalışmanın kapsam geçerliliği çalışmalarına da ışık tutması beklenmektedir. Bu amaçla sorularla ölçülen bilişsel süreçler alan uzmanlarının görüşlerine dayanılarak tespit edilmiştir Bu işlem sırasında güvenilirlik analizlerinden merkezi eğilim, sınırlı değişkenlik, şiddet ve görüş birliği yüzdesi göz önüne alınarak sorular nihai kategorilerine yerleştirilmiştir. Bu veriler bilişsel süreç/yıl tablosunda frekans dağılımları şeklinde gösterilmiştir. Bulgulara göre testler tüm bilişsel süreçleri ölçmemektedir.bunun nedeni sınavın bir yetenek testi olmasıdır. Anahtar Sözcükler: biyoloji testi, içerik özellikleri, bilişsel süreçler, kapsam geçerliliği, uzmanlar arası güvenilirlik
The Content Specifications of the Biology Items in the 1998-2001 Secondary School Institutions Student Selection and Placement Tests Ela Ayşe Köksal Secondary Science and Mathematics Education, Middle East Technical University ela@metu.edu.tr SUMMARY This study aims at assessing the Secondary School Institutions Student Selection and Placement Tests biology items used between 1998 and 2001 with respect to cognitive processes measured. It also aims at closing the information gap caused by the scarcity of literature in elementary science curriculum in Turkey. Finally it is expected that this study will shed light on the studies regarding content validity. For this purpose, cognitive processes assessed by the items were evaluated with the aids of expertise in biology education Cognitive processes of the items were determined after the interrater reliability in terms of central tendency and restricted variability, severity, and percentage of exact agreement. These data were presented in the table of cognitive processes by test years as frequencies and conclusions were made. According to the results, the tests do not measure all cognitive processes. The reason is to be an ability test. Key Words: biology test, content specifications, cognitive processes content validity, interrater reliability AMAÇ Ortaöğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavı (OÖKÖSYS) öğrencileri Anadolu ve fen liseleri ve bazı mesleki okullara seçmekte ve yerleştirmektedir. Bu sınavda Türkçe, Matematik, Fen ve Sosyal Bilgiler alt testlerinden oluşan toplam 100 soru sorulmaktadır. OÖKÖSYS nin biyoloji testinin konu alanı analizi Çoban (2001) ve bilişsel süreç analizi ise Bloom taksonomisine göre Çepni ve ark. (2001) tarafından yapılmışsa de bu analizler soru bazında değildir. Bu çalışma ile 1998-2001 OÖKÖSYS lerde çıkan biyoloji sorularının içerik analizleriyle ilgili durum tespiti yapılarak ülkemizde ilköğretim fen programı alanındaki literatür yetersizliğinin oluşturduğu bilgi açığını kapatmak hedeflenmiştir. Çalışmanın ayrıca kapsam geçerliliği çalışmalarının nasıl olması gerektiğine de ışık tutması beklenmektedir.
YÖNTEM Soruların ölçtüğü bilişsel süreçlerle ilgili içerik analizi Milli Eğitim Bakanlığı nın (MEB) hazırladığı Eğitim Hedefleri Taksonomisi kullanılarak uzman görüşlerine dayanılarak yapılmıştır. Bunun için 1998-2001 yılları arasında sorulan toplam 34 soru eski ilköğretim fen programında (T.C. MEB İlköğretim Genel Müdürlüğü 1995, Vural 2000) yer alan 4-8 sınıf biyoloji konu alanlarına göre sınıflandırılarak ODTÜ Fen Eğitimi Bölümü ndeki dört biyoloji eğitimcisine verilmiş ve her bir sorunun eğitim hedeflerine göre kodlanması istenmiştir. Veriler SPSS ile analiz edilerek uzmanlar arasındaki tutarlılık yani güvenilirlik Harwell in (1999) belirttiği merkezi eğilim, sınırlı değişkenlik, şiddet ve görüş birliği yüzdesi tanımlarına göre incelenmiştir. Güvenilirlik için uzman kodlamaları arasındaki Spearman korelasyon değerleri de bulunmuştur. Sorular sonra aynı bölümde görev yapan ve MEB Test Merkezi nde çalışan ölçme ve değerlendirme uzmanına gösterilmiş ve gerekli düzeltmeler yapılmıştır. BULGULAR ODTÜ de görev yapan dört biyoloji eğitimcisi eğitim hedefleri taksonomisine göre biyoloji sorularının bilimsel süreçlerine karar verdikten sonra kodlamaları SPSS de güvenirlik (görüş birliği) analizi için veri olarak kullanılmıştır (Bkz. Ek 4). Güvenirlik katsayısı alfa için.6781, standardize madde alfa için.7604 bulunmuştur (Bkz. Tablo 1). Tablo 1 Güvenilirlik analizi sonuçları Item statistics Mean Minimum Maximum Range Max/Min Variance Item Means 2.7406 2.0671 3.4406 1.3735 1.6645.3184 Item Variances.8717.0005 1.5363 1.5358 3312.3090.4083 Inter-item covariances.3007.0066.8523.8456 128.8004.1167 Inter-item correlations.4425.3055.7097.4043 2.3233.0185 Not: Bu analiz için Metot 2 (kovaryans matrisi) kullanılmıştır. N=34. Güvenirlik katsayıları 4 maddedir. Tablo 2 de görüldüğü gibi dört uzmanın kodlamaları arasındaki korelasyon.235 ten.616 ya kadar değişmektedir.
Tablo 2 Uzman kodlamalarının korelasyon matrisi Uzmanlar 1 2 3 4 1 1.0000 2.246 1.0000 3.605 **.165 1.0000 4.616 **.354 *.291 1.0000 Not: Bu analizde Spearman ın rho korelasyon katsayısı kullanılmıştır. Korelasyonlar.01 ( ** ) ve.05 ( * ) düzeyinde (2 yönlü) anlamlıdır. Merkezi Eğilim ve Sınırlı Değişkenlik Aralarındaki korelasyon katsayısı en az olan 2. ve 3. uzmanın kodlamaları Tablo 3 de incelendiğinde maddeleri ilk uzmanın bilimsel süreç basamağındaymış gibi sonuncunun ise kavrama basamağındaymış gibi kodladığı bulunmuştur. Tablo 3 Uzman kodlamalarının betimsel istatistikleri Uzmanlar Ortalama Standart Sapma 1 2.6524.9688 2 3.4406 1.0057 3 2.0671.0215 4 2.8024 1.2395 Not: 34 durum vardır. Bu analiz için Metot 2 (kovaryans matrisi) kullanılmıştır. Şiddet (Severity, Önem, Sertlik) Bir uzmanın ortalama kodlama puanı ortalama puanlar arasındaki fark cinsinden diğerleriyle karşılaştırıldığında kodlamasının deseni belli olur. Tablo 4 dan görülebileceği gibi 2. uzmanın diğer uzmanlarla ve 3. uzmanın diğer uzmanlarla arasındaki ortalama puan farkı çok büyüktür. Tablo 4 Şiddet analizinin sonuçları Uzmanlar Ortalama Fark 1 (-0.7908)-(0,5853) 2 (0,6408)-(1,3761) 3 ( 0,5853)-(-1,3761) 4 (0,7353)-(-0,6408)
Görüş Birliği Yüzdesi Uzmanların her bir maddedeki kodlamaları karşılaştırıldığında ve aynı olan kodlamalar toplanıp madde sayısına bölündüğünde, görüş birliği yüzdesi bulunur. Uzmanlar arası güvenirlik analizinin bu sonuçları Tablo 5 de görülebilir. 1. uzmanın en fazla 3. ve 4. uzmanlarla görüş birliği vardır. 3. uzmanın diğer uzmanlarla bu kadar yüksek bir görüş birliği yoktur. 4. uzmanın 2. uzmanla 1. uzman kadar olmasa da yüksek bir görüş birliği yüzdesi vardır. Tablo 5 Görüş birliği yüzdesi endeksi Uzmanlar Görüş Birliği 1-2 26,47 1-3 32,35 1-4 32,35 2-3 8,82 2-4 23,52 3-4 2,94 Güvenilirlik analizi sonuçları dikkate alındığında 2. ve 3. uzmanın sonraki çalışmalardan çıkarılması uygun bulunmuştur. Kodlamaları birbiriyle yüksek korelasyona sahip olan 1. ve 4. uzman ise testin içerik geçerliliğini incelemek için seçilmişlerdir. Bu uzmanlar 9 sorudan 5 inin bilişsel düzeyini belirlemek için görüşmüşlerdir. Bu uzmanlar daha önce testte yer alan toplam 34 sorunun 4 ü hakkında görüş birliği içinde olmuşlardır. Aslında uzmanların bu 5 sorudan 2 si hakkında sorunları vardır, çünkü bu iki sorudan ilki bir uzmanca kavrama, diğerince bilgi düzeyine; ikincisi ise bir uzmanca kavrama, diğerince bilimsel süreç düzeyine yerleştirilmiştir. Bu 9 soru son defa incelendikten sonra 4 ü bilimsel süreç, 4 ü kavrama, 1 i ise bilgi düzeylerine yerleştirilmiştir. En son aşamada ise sorular ODTÜ de görev yapan ve ayrıca MEB Test Merkezi nde çalışan ölçme değerlendirme uzmanına gösterilmiş ve görüşleri doğrultusunda düzeltmeler yapılmıştır. Sonuçta bilgi ve bilimsel süreç düzeylerinde kodlanan iki sorunun kavrama düzeyinde olması gerektiğine karar verilmiştir. Uzman kodlamalarının ve önerilerinin sonuçları Ek I ve II de görülebilir.
Tablo 6 Biyoloji sorularının yıllara göre bilişsel süreçleri Yıllar Bilişsel süreçler 1998 1999 2000 2001 Bilgi 1.01 Olgular bilgisi 1.02 Terimleri ayırt etme 1.03 Kavramları tarif etme 1.04 Sınıflamalar 1.05 Sıralamalar 1.06 Teknik ve yöntemler bilgisi 1.07 Prensip ve kanunlar bilgisi 1.08 Teoriler bilgisi Kavrama 2.01 Bilgiyi yeni bir kapsam içinde tanıma ve ayırt etme 1 2.02 Açıklama 2 2.03 Özetleme 2.04 Örnek verme 2 2 2.05 Verilen bir bilgi bütünündeki öğeleri ayırt etme 2.06 İlişkileri kurma 1 3 1 2.07 Yorumlama 2 2 2 2.08 Farklı bir forma çevirme 1 1 1 2.09 Yordama/verilen bilgilere dayanarak ileriye dönük tahminde bulunma 2 Problem Çözme 3.01 Çözüm için gerekli prensibi bulma 3.02 Olgusal bilgi, kural, prensip vs. Birleştirme 1 3.03 Formül ve algoritmaları kullanma 3.04 Birimleri kullanma ve çevirme 3.05 Problemin sayısal sonucunu bulma Bilimsel Yöntem Süreci 4.01 Gözlem yapma/gözlemi şekille gösterme 4.02 Gözlem sonuçlarını açıklama 4.03 Gözlem sonuçlarını karşılaştırma 4.04 Gözlem sonuçlarını sınıflandırma 4.05 Uygun araç seçme ve ölçme yapma 4.06 Problemi belirleme 1 2 1 4.07 Problemin öğeleri arasında ilişki kurma 4.08 Problemin çözümü için hipotez önerme 3 4.09 Hipotezi test edecek yöntemi önerme 4.10 Deney düzenleme/kurma/tasarlama/şekille ifade etme 1 4.11 Veri toplama 4.12 Veriyi inceleme/uygun şekilde analiz etme/tartışma 4.13 Hipotezleri elde edilen sonuçlara göre tartışma/değerlendirme 4.14 Bulgulardan sonuca ulaşma 4.15 Genellemeye varma ve yeni araştırma soruları önerme 4.16 Gözlem/araştırma sonuçlarını günlük hayatta/yeni bir durumda kullanma Toplam 9 9 9 7 Not: Milli Eğitim Bakanlığı nın Eğitim Hedefleri Taksonomisi nden EARGED, 1995, 43 alınmıştır. Testlerde bilgi düzeyinde hiç soru sorulmazken, çoğunlukla kavrama (%73) ve sırasıyla bilimsel süreç (%24) ve problem çözme (%3) basamağında soru sorulmuştur.
SONUÇLAR Bilişsel süreçlerle ilgili içerik analizi testin öğrencilerin üst düzey düşünme becerilerini ölçtüğünü göstermiştir. Ölçülen bilişsel süreçlerin çeşitliliği Çepni ve ark. (2001) tarafından da desteklenmiştir. Bu durum içerik geçerliği bakımından bir olumsuzluk gibi görünse de testin öğrencilerin yeteneklerini ölçüyor olması bu olumsuzluğu gidermektedir. Yani OÖKÖSYS başarıdan ziyade yetenek testidir ve tüm konu alanlarını içermesi gerekli değildir. KAYNAKLAR Çepni, S., Ayvacı, H. Ş., & Keleş, E. (2001). Okullarda ve lise giriş sınavlarında sorulan fen bilgisi sorularının Bloom taksonomisine göre karşılaştırılması. Yeni Binyılın Başında Türkiye de Fen Bilgisi Eğitimi Sempozyumu Bildiriler. Maltepe Üniversitesi Eğitim Fakültesi, s. 28-33. Çoban, A. (2001) Fen bilgisi dersinin ilköğretim programları ve liselere giriş sınavları açısından değerlendirilmesi. Yeni Binyılın Başında Türkiye de Fen Bilgisi Eğitimi Sempozyumu Bildiriler. Maltepe Üniversitesi Eğitim Fakültesi, s. 144-150. EARGED. (1995). Eğitimi Araştırma ve Geliştirme Dairesinin Durum Tesbiti Faaliyetleri ve Fen Bilgisi Durum Tesbiti Sonuçları. Harwell, M. (1999). Evaluating the validity of educational rating data. Educational and Psychological Measurement, 59(1), 25-37. T.C. MEB İlköğretim Genel Müdürlüğü. (1995). İlköğretim Okulu Programı. MEB Yayınları 2846, Mevzuat Dizisi 297, Ankara, 293-325. Vural, M. (2000). İlköğretim Fen Dersi Programı. İlköğretim Okulu Programı. 5. Baskı. Yakutiye Yayıncılık, Erzurum, 151-186.
EK I Biyoloji Sorularının Uzman Kodlamaları Sonrası Bilişsel Süreçleri Yıllar Sorular Uzmanlar I II III IV 1998 17 2.02 2.06 2.02 2.01 18 2.05 4.14 2.07 2.08 19 2.07 4.12 2.09 2.09 20 2.04 4.05 2.04 1.04 21 2.09 4.14 2.09 1.07 22 2.04 2.09 2.07 2.05 23 2.07 1.03 2.09 2.07 24 4.06 4.06 2.07 4.06 25 2.02 3.02 2.07 2.01 1999 17 4.06 4.04 2.09 4.06 18 3.02 2.08 2.07 3.02 19 2.04 2.04 2.04 2.05 20 2.07 4.14 2.07 2.01 21 2.04 2.04 2.01 1.04 22 2.07 4.14 2.07 4.12 23 4.06 4.13 2.07 4.06 24 2.04 2.01 2.07 2.01 25 4.10 4.10 2.09 4.10 2000 1 1.04 4.14 2.01 1.04 2 2.06 4.14 2.07 2.01 3 4.10 4.08 2.09 4.10 4 2.04 2.04 2.04 2.05 5 4.09 4.10 2.07 4.09 6 2.09 4.03 2.09 1.07 7 4.12 4.12 2.07 4.15 8 4.06 4.06 2.09 4.06 9 2.08 4.12 2.07 4.12 2001 17 2.09 2.07 2.07 1.03 18 4.06 4.06 2.07 4.06 19 2.07 4.14 2.07 4.12 20 2.06 2.09 2.07 2.05 21 2.07 4.12 2.07 4.12 22 4.12 4.12 2.07 4.14 23 2.07 4.12 2.07 4.12
EK II Biyoloji Sorularının Uzmanların Görüş Birliği ve Önerileri Sonrası Bilişsel Süreçleri Yıllar Sorular Görüş Birliği Öneri 1998 17 2.02 18 2.08 19 2.07 20 2.04 21 2.06 22 2.04 23 2.07 24 4.06 25 2.02 1999 17 4.06 18 3.02 19 2.04 20 2.07 21 2.04 22 2.07 23 4.06 24 2.01 25 4.10 2000 1 1.04 2.07 2 2.07 3 4.10 4.08 4 2.05 2.06 5 4.09 4.08 6 2.07 2.06 7 4.12 2.06 8 4.06 4.08 9 2.07 2.08 2001 17 2.09 18 4.06 19 4.12 2.08 20 2.06 21 4.12 2.08 22 2.09 23 4.12 2.08