Kuram ve Uygulamada Eğitim Bilimleri Educational Sciences: Theory & Practice - 11(1) Kış/Winter 311-334 2011 Eğitim Danışmanlığı ve Araştırmaları İletişim Hizmetleri Tic. Ltd. Şti. Eğitim Bilimleri Doktora Tezlerinde Kullanılan Ölçme Araçları: Nitelik Düzeyleri ve Analitik Hata Tipleri Engin KARADAĞ a Eskişehir Osmangazi Üniversitesi Öz Bu araştırmada, Türkiye de eğitim bilimleri alanında yapılmış doktora tezlerinde kullanılan ölçme araçlarının [görüşme formu, başarı testi ve ölçek] nitelik düzeyleri ve ölçme araçlarında yapılan analitik hata tipleri belirlenmeye çalışılmıştır. Nitel araştırma yönteminin benimsendiği araştırmada, iç içe geçmiş durum çalışması deseni kullanılmıştır. Araştırmanın kuramsal evreni Türkiye de eğitim bilimleri alanında yapılmış doktora tezlerinden oluşmuştur. Araştırmada güncellik ve yöntembilim alanındaki gelişmeler de dikkate alınarak belirlenen çalışılabilir evren, Türkiye de eğitim bilimleri alanında 2003 2007 yapılan 324 doktora tezinden oluşturulmuştur. Araştırmada örnekleme yöntemine başvurulmamış ve çalışma evrenin tamamına ulaşılması hedeflenmiştir. Ancak bazı tezlerin kullanımı ve yayımlanmasının kısıtlılığı nedeniyle çalışma grubu kapsamında ele alınan tez sayısı 211 olarak gerçekleşmiştir. Araştırmada veri toplama aracı olarak, araştırmacı tarafından geliştirilen değerlendirme formu kullanılmıştır. Form elli madde ve yedi alt boyuttan oluşmaktadır. Araştırmada epistemolojik doküman analizi ile toplanan veriler frekans analizi, betimsel analiz ve tipolojik analiz kullanılarak çözümlenmiştir. Araştırmada iç ve dış geçerlik ve güvenirlik özelliklerine dikkat edilmiştir. Araştırma sonucunda elde edilen bulgulara göre eğitim bilimleri alanında yapılan doktora tezlerinde kullanılan ölçme araçlarının niteliklerinin yetersiz olduğu ve en sık rastlanan analitik hatanın ise geçerlik sonuçlarına yer verilmemesi olduğu saptanmıştır. Anahtar Kelimeler Eğitim Bilimleri, Ölçme Aracı, Hata Tipi. a Dr. Engin KARADAĞ Eğitim Yönetimi alanlında Doçenttir. Çalışma alanları arasında yöntembilim [nicel, nitel ve mixed paradigma], Eğitim araştırmalarında yapılan analitik hata tipleri ve metodolojik nitelikleri, SPSS ve LISREL uygulamalı ileri istatistik ve doğrulayıcı faktör analizi, liderlik [ruhsal liderlik, dönüştürücü liderlik...] ve sosyal yapılandırmacılık yer almaktadır. İletişim: Eskişehir Osmangazi Üniversitesi, Eğitim Fakültesi İlköğretim Bölümü, Meşelik Yerleşkesi, Odunpazarı 26480 Eskişehir. Elektronik posta: enginkaradag@ogu.edu.tr & engin.karadag@hotmail.com. Tel: +90 222 339 37 50 / 1644 Fax: +90 222 229 31 24 Bilimsel araştırmaların bir deneysel bir de kuramsal tipi vardır. Bu iki yönün ilişkisi ise ölçme ile kurulur. Deneysel çalışmalarda genellikle izlenen yöntem, ilgilenilen özellikleri uygun koşullarda gözleyip sayısallaştırarak elde edilen gözlem sonuçlarından ilke ve genellemelere ulaşmaktır. Kuramsal çalışmalarda ise, önce bazı kavramları tanımlamak ve bu kavramlar arasındaki bazı bağıntıların varlığını varsayımlarla kabul etmek ve bu kavramsal yapıdan yeni bağlantılar çıkarmaktır (Torgerson, 1958, s. 1-8 akt., Baykul, 2000). Bir kuramsal yapının kurulmasında ölçme gerekmez, ancak o kuramsal yapıdan çıkarılan ilişkilerin uygulamaya yönelik olup olmadığı test edilecek ise, gözlem ve ölçme gereklidir. Bilimlerde ölçme zorunluluğu, hem deneysel hem de kuramsal çalışmalarda gerçek durumlardaki gözlemlere dayanmak gereksiniminden doğar (Baykul, 2000; Turgut ve Baykul, 1992). Bu kapsamda ortaya çıkan ölçme kavramı çeşitli bilim dallarında farklı anlamlarda ele alınmıştır. Ölçmenin bilimsel olarak gelişimine paralel şekilde özellikle eğitim, psikoloji ve sosyoloji bilimlerindeki araştırmalarda standart ölçme araçları geliştirilerek kullanılmaya başlanmıştır. Bu kapsamda Hambleton ve De Jong (2003) da eğitimsel ve psikolojik testlerin her geçen gün arttığını belirtmekte ve eğitimde kullanılan ölçme araçlarına örnek olarak TIMSS ve TIMSS-R sınavları verilmektedir. Ayrıca bu durum pek çok başarı testi, kişilik ölçeği ve yaşam standardı gibi ölçeklerin geliştirilmesi ölçme araçlarının gelişimini hızlandırmışlarıdır. Burada- 311
K U R A M V E U Y G U L A M A D A E Ğ İ T İ M B İ L İ M L E R İ ki ölçme aracıyla kast edilen, geçerlik ve güvenirlik açısından yeterli sayılabilecek objektif ölçme araçlarıdır. Ölçme araçlarının kullanıldığı araştırmalarda hem yapılan yorumlar daha objektif verilere dayanmakta hem de daha güvenilir sonuçlar ortaya konulmaktadır (Deniz, 2007, s. 14). Bu kapsamda bilimsel araştırma sonuçları tüm bilim alanlarındaki, politika ve uygulamaları etkilemesi açısından büyük bir öneme sahiptir. Bu sonuçlar uygulamalar için görgül bir temel oluşturur ve mesleki faaliyetler için, uygulayıcılara rehber olarak da kullanılır. Eğitim alanındaki araştırma sonuçları ise, ders kitapları, ansiklopediler ve el kitapları şeklinde yayınlanan çalışmalar açısından önemli bir içerik kaynağını oluşturur ve herhangi bir öğretim alanında üretilmiş bilgi olarak da kendisini gösterebilir (Dunkin, 1996, s. 87). Uygulamalarını şekillendirmede önemli bir rolü bulunan eğitim araştırmalarının sayısında son on (10) yılda büyük bir artış olduğu gözlenmektedir. Yayınlanan bu çalışmalardan bazıları eğitim reformlarının temelini oluştururken, bir kısım da literatürü gözden geçirilme yoluyla önceki yapılan araştırma sonuçlarının güvenirliğini test etmektedir (Balcı ve Apaydın, 2009; Odom ve ark., 2005; Onwuegbuzie ve Daniel, 2003). Eğitim araştırmalarındaki artışa paralel olarak Amerika Birleşik Devletlerinde 1960 lı yıllarda başlayan eğitim alanında yapılan araştırmaların niteliklerinin sorgulanması çalışmalarında, özellikle 1990 lı yıllardan sonra tüm dünyadaki çalışmalarda azalmalar görülmekle beraber (Kieffer, Reese ve Thompson, 2001, s. 281) yapılan çalışmalar iki ayrı dala ayrılarak sürdürülmüştür. Bunlardan ilki, (i) eğitim araştırmalarında kullanılan istatistikî analizlerin, diğeri ise (ii) yapılan metodolojik hataların tespitidir. Onwuegbuzie ve Daniel (2003) tarafından yapılan bir çalışmada, nitel ve nicel araştırmalarda sürekli temel analitiksel ve yorumsal hatalar belirlenmiştir. Araştırma kapsamına elde edilen yaygın hatalar (i) istatistikî varsayımları kontrol eden kanıtların yokluğu; (ii) örneklem büyüklüğünü değerlendiren tartışmaların bulunmaması; (iii) çok değişkenli verilerin uygun olmayan şekilde kullanılması; (iv) önceki ve hâlihazırdaki örneklemler için güvenirliği gösteren raporlardaki hatalar; (v) hata oranının kontrol edilmemesi ve (vi) etki büyüklüğünün raporlaştırılamama hatalarıdır. Ayrıca örneklemde bulunan nitel araştırma çalışmaları açısından tespit edilen en yaygın hatalar, (i) güvenilirliği kontrol etme ve (ii) bulguların genelleştirilmesidir. Yine Onwuegbuzie (2002), British Journal of Education Pshychology [BJEP] dergisinin 1998 yılında yayınlanmış çalışmalarında yaygın olarak yapılan metodolojik, yorumsal ve analitik hataları üzerine yaptığı araştırmada, derginin 1998 yılında yayınlanan 36 adet eğitim makalesini incelenmiştir. Makalelerin %38.9 unda en yaygın olarak kullanılan analiz tekniğinin tek yönlü varyans analizi olduğunu saptanmıştır. Çoklu varyans analizi ise %22.2 ile en çok tercih edilen ikinci istatistikî analizdir. Bunu %19.4 lük bir oran ile faktör analizi izlemiştir. Ayrıca bu çalışmada istatistiksel analizler açısından yapılan hatalar yedi (7) boyutta toplanmıştır. Bunlar; (i) varsayımları kontrol eden istatistikî kanıtların yokluğu, (ii) örneklem büyüklüğünü değerlendiren tartışmanın yokluğu, (iii) varyans analizi (ANOVA) tarafından izlenen MANOVA, (iv) etki büyüklüğünün rapor edilmemesi, (v) bazı sonuç analizleri için etki büyüklüğünü ifade etmeme, (vi) önceki geçerlik ve güvenirlik göstergelerinin yokluğu, (vii) yeni araştırmadaki güvenirlik göstergelerinin olmaması olarak saptanmıştır. Yukarıdaki araştırma sonuçlarında da görüldüğü üzere eğitim alanındaki araştırmalarda analiz ve yorum hatalarının oldukça fazla olduğu saptanmıştır. Gerçekte, ileri düzeyde analiz teknikleri ve bilgisayar yazılımları olması, hipotezlerin dikkatlice kontrol edilmesi ve verilerden elde edilecek bulguların ortaya konması açısından yeterli değildir. Bu durumun en önemli nedenlerinden biri bilimsel araştırmalarda veri toplama amacıyla kullanılan ölçme araçlarının nitelik düzeylerinin düşüklüğüdür (Onwuegbuzie ve Daniel, 2003). Bu sorunun giderilmesi, hâlihazırda bulunan literatürün periyodik olarak güncellenmesi ve eğitim araştırmalarının gözden geçirilmesi gerekliliği anlaşılmaktadır. Teknoloji ve yöntembilimdeki gelişmeler analitik konular hakkında düşünmek için araştırmacıların paradigmaları ve yapılan analizlerdeki durumları etkilemektedir. Bu değişimin yöntembilim açısından gözden geçirilmesi, alandaki hareketleri ve oluşan eğilimleri aydınlatabilir ve bilinçsiz davranış kalıpların yıkılması için araştırmacılara yardımcı olabilir (Kieffer ve ark., 2001, s. 281). Sorunun geniş kapsamı içerisinde Türkiye de eğitim bilimleri alanında yapılmış doktora tezlerinde kullanılan ölçme araçlarının nitelik düzeylerinin ve analitik hataların belirlenmesi alanda yapılacak diğer çalışmalar açısından büyük öneme sahip gözükmektedir. Amaç Yapılan literatür incelemelerinde, eğitim bilimleri alanında yapılmış doktora tezlerinde kullanılan ölçme araçlarının [görüşme formu, başarı testi ve ölçek] niteliklerine ilişkin kapsamlı bir analiz çalışmasının bulunmadığı görülmektedir. Bu eksiklikten hareket eden bu araştırmada, eğitim bilimleri alanında yapılmış doktora tezlerinde kullanılan ölçme araçlarının nitelik düzeyleri ve analitik hata tipleri nedir? sorusuna cevap aranmıştır. 312
KARADAĞ / Eğitim Bilimleri Doktora Tezlerinde Kullanılan Ölçme Araçları: Nitelik Düzeyleri ve Analitik Hata Tipleri Alt Amaçlar Tezlerde kullanılan ölçme araçlarının türlerine göre dağılımları nasıldır? Ölçme araçlarının genel nitelikleri nasıldır ve yapılan analitik hata tipleri nelerdir? Görüşme formlarının nitelikleri nasıldır ve yapılan analitik hata tipleri nelerdir? Başarı testlerinin nitelikleri nasıldır ve yapılan analitik hata tipleri nelerdir? Türkiye de eğitim bilimleri alanına yapılmış doktora tezlerinde kullanılan ölçekler açısından; n Ölçeklerin geliştirme süreçlerinin nitelikleri nasıldır ve yapılan analitik hata tipleri nelerdir? n Ölçeklerin geçerlik özelliklerinin nitelikleri nasıldır, kullanılan geçerlik yöntemlerin dağılımları nedir ve yapılan analitik hata tipleri nelerdir? n Ölçeklerin güvenirlik özellikleri nitelikleri nasıldır, kullanılan güvenirlik yöntemlerin dağılımları nedir ve yapılan analitik hata tipleri nelerdir? n Ölçeklerin Türk kültürüne uyarlama nitelikleri nasıldır ve yapılan analitik hata tipleri nelerdir? Araştırmanın Deseni Yöntem Bu araştırma nitel araştırma yöntem ve teknikleri kullanılarak yapılandırılmıştır. Creswell (1998) nitel araştırmayı, sosyal yaşamı ve insanla ilgili problemleri kendine özgü metotlarla sorgulayarak, anlamlandırma süreci olarak ifade etmektedir (s. 9). Nitel araştırma sürecinde araştırmacı bütüncül bir araştırma tablosu ortaya koyarak; kelime analizleri, detaylı katılımcı görüşme raporları kullanır ve araştırmayı doğal ortamda düzenler. Nitel araştırmada genel olarak takip edilen araştırma süreci parçadan bütünedir [tümevarım]. Genel itibari ile nitel araştırmacı gözlem, görüşme ve dokümanlardan yola çıkarak kavramları, anlamları ve ilişkileri açıklayarak süreci sürdürür (Merriam, 1998, s. 41). Türkiye de 2003 2007 yılları arasında eğitim bilimleri alanında yapılmış doktora tezlerinde kullanılan ölçme araçlarının nitelik düzeylerinin ve yapılan analitik hata tiplerinin belirlenmesinin amaçlandığı bu araştırmada nitel araştırma modellerinden, iç içe geçmiş durum çalışması modeli kullanılmıştır. İç içe geçmiş durum çalışmasında, ele alınan veya araştırmaya dâhil edilen her bir durum, kendi içinde çeşitli alt birimlere ayrılarak çalışılır (Yıldırım ve Şimşek, 2005, s. 292). Çalışma Grubu Bu araştırmanın kuramsal evreni Türkiye de yapılmış eğitim bilimleri doktora tezleridir. Ancak çalışmada güncellik ve ölçme ve değerlendirme ala- Tablo 1. Çalışma Grubunda Yer Alan Tezlerin Bilim Dallarına Göre Dağılımı Bilim Dalları η % 1-Eğitim Bilimleri* 45 21.33 2-Eğitim Yönetimi ve Denetimi 22 10.43 3-Eğitim Programları ve Öğretim 16 7.58 4-Eğitimde Psikolojik Hizmetler 10 4.74 5-Rehberlik ve Psikolojik Danışma 8 3.79 6-Eğitim Psikolojisi 2 0.95 7-Eğitimde Ölçme ve Değerlendirme 1 0.47 8-İlköğretim* 31 14.69 9-Sınıf Öğretmenliği 32 15.17 10-Sosyal Bilgiler Eğitimi 10 4.74 11-Fen Eğitimi 10 4.74 12-İlköğretim Matematik Eğitimi 1 0.47 13-Okul Öncesi Eğitimi 1 0.47 14-Türkçe Eğitimi 13 6.16 15-Bilgisayar ve Öğretim Teknolojileri 9 4.27 TOPLAM 211 100.00 * Eğitim bilimleri ve ilköğretim bilim dallarını içeren tezlerde alt bilim dalı belirtilememiştir. 313
K U R A M V E U Y G U L A M A D A E Ğ İ T İ M B İ L İ M L E R İ Tablo 2. Lawshe Minimum İçerik Geçerliği Oranları Uzman Sayısı 5 10 15 20 30 40 nındaki gelişmeler göz önüne alınarak belirlenen çalışılabilir evren, 2003 2007 yılları arasında yapılan 324 (Yüksek Öğretim Kurumu [YÖK], 2008) eğitim bilimleri alanındaki doktora tezinden oluşmaktadır. Bu tezlerin yıllara göre dağılımı şu şekildedir: 2003 (η=43, %13.2), 2004 (η=50, %15.4), 2005 (η=50, %15.4), 2006 (η=84, %25.9) ve 2007 (η=97, %29.4). Araştırmada örneklem seçimine gidilmeyerek çalışılabilir evrenin tamamına ulaşılması hedeflenmiştir. Ancak bir kısım tez çalışmasının kullanımının ve yayımlanmasının kısıtlı olması nedeniyle 211 tez çalışmasına ulaşılabilmiştir. Bu tezlerin yıllara göre dağılımı şu şekildedir: 2003 (η=6, %2.8), 2004 (η=7, %3.3), 2005 (η=30, %14.2), 2006 (η=79, %37.4) ve 2007 (η=89, %42.1). Ayrıca tezlerin bilim dallarına göre dağılımı Tablo 1 de sunulmuştur. Veri Toplama Aracı Minimum Değer Ölçme Aracı Değerlendirme Formu: Araştırma kapsamında form eğitim araştırmalarının metodolojik niteliklerinin saptanması amacıyla geliştirilmiştir. Formun geliştirilmesi aşamasına (i) kavramsal yapının tanımlanması ile başlanmıştır. Çalışmadaki kavramsal yapının soyut bir nitelendirme olması nedeniyle, çok sayıda başka kavramsal yapılarla ilişki halindedir. Bu bakımdan çalışmanın kavramsal yapısının oluşturulmasında, söz konusu kavramsal yapıya ilişkin önceki araştırmalardan yararlanılmıştır. Diğer aşamada (ii) Formun kavramsal yapısına ait boyutların ortaya çıkarılması için kapsamlı bir literatür taraması yapılarak, çalışma konusu ile ilgili yapılmış araştırmaların temel boyutları saptanmıştır. Buna, eğitim bilimleri alanında faaliyet gösteren SSCI indeksinde yer alan eğitim araştırmaları dergilerinin makale değerlendirme formlarında yer alan temel ölçütler de eklenmiştir. Temel kavramsal boyutların oluşturulmasında çıkarsama yöntemi kullanılmıştır. (iii) Formun içerik geçerliğine sahip olması için, kapsadığı tüm kavramsal boyutları temsil edecek sayıda ve yeterlilikte olacak şekilde 50 madde oluşturulmuştur. Form maddelerinin oluşturulmasında maddelerin çok ve uzun olması yanıt verme yanlılığı sorunu çıkartabileceğinden bu noktaya özellikle dikkat edilmiştir. Formun temel boyutları ile ilgili, tüm ifadelerin yerine o temel boyutu temsil edebilecek sayıda maddeye yer verilmiştir. Hazırlanan taslak formun kavramsal yapısına ilişkin temel boyutlarını ortaya çıkarmak ve geliştirilen maddelerin belirli bir kavramsal yapıya uygun olup olmadığını belirlemeye yönelik uzman değerlendirilmesi yapılması ile İçerik [kapsam] Geçerliği sağlanmıştır. Uzman değerlendirilmesinde değişik yöntemler yer almasına karşın bu çalışmada Hambleton yöntemi (Martuza, 1977) kullanılmıştır. Bu aşamada öncelikle 1 i lisansüstü [doktora] eğitimini eğitimde ölçme ve değerlendirme bölümlerinde yapan, 4 ü doçentliğini yöntembilim, eğitim istatistiği ve eğitimde ölçme ve değerlendirme bölümlerinde almış olan, 3 ü eğitim bilimleri doktora programlarında yer alan araştırma yöntemleri ve istatistik derslerinin yürütüyor olan ve 2 si yurtiçi ve yurtdışı hakemli dergilerde yöntembilim üzerine yayınları bulunan olmak üzere toplam on (10) gönüllü yöntembilim uzmanı belirlenmiştir. İçerik geçerliği çalışmasında, içerik geçerliği kanıtı olarak yöntembilim uzmanlarından; her bir maddenin eğitim araştırmasını değerlendirme derecesini belirtmeleri istenmiştir. Bu derecelendirmede de madde, eğitim araştırmasını hiç değerlendirmiyorsa sıfır (0); mükemmel düzeyde değerlendiriyorsa on (10) aralığı kullanılmıştır. Ayrıca uzmanların gerektiğinde açıklama yapmalarına olanak vermek için her bir maddenin karşısına bir boşluk bırakılarak, gerektiğinde maddeler üzerinde düzeltme yapabilecekleri belirtilmiştir. Bunlara ek olarak uzmanlardan; formun genel olarak düzenleme biçimi, madde sayısının yeterliliği, derecelendirme skalası, ifadelerinin anlaşılırlığı hakkındaki görüşleri de istenmiştir. Daha sonra uzman görüşünün alındığı formlardan elde edilen veriler değerlendirilirken maddelerin ilgili boyutlarda olmasının uygun olup olmadığına karar vermek için her bir madde için yedi den (7) az puan verdiyse, o maddenin uygun bulunmadığı düşünülerek, her.99.62.49.42.33.29 314
KARADAĞ / Eğitim Bilimleri Doktora Tezlerinde Kullanılan Ölçme Araçları: Nitelik Düzeyleri ve Analitik Hata Tipleri bir madde için Lawshe İçerik Geçerlilik Oranları hesaplanmıştır. Lawshe içerik geçerliği oranında uzmanların her bir maddeyi nasıl değerlendirdikleri dikkate alınır. Lawshe katsayısının yüksekliği ve düşüklüğü, uzmanların her bir maddeye verdikleri uygunluğun katsayılarına göre hesaplanmaktadır. Araştırmada kullanılan Lawshe içerik geçerliği oranı formülü Formül 1 de görüldüğü gibidir (Vickery, 1998, s. 12). Lawshe içerik geçerliği oranı formülü sonucundan her bir madde için bir yüzde değeri elde edilir. Bu katsayı -1 ve +1 arasında değişmektedir. Lawshe (1975) tarafından verilen; farklı sayıdaki uzman sayıları büyüklükleri için p=.05 güven aralığında minimum Lawshe içerik geçerliği oranları Tablo 2 de sunulmuştur. Tablo 2 de görüldüğü üzere 10 uzmanın katıldığı bir çalışmanın maddelerinin Lawshe içerik geçerlik oranı değerinin.62 den küçük olması o maddenin veri toplama aracından çıkartılmasını gerektirmektedir (Lawshe, 1975). Eğitim araştırmaları değerlendirme ölçütleri formunun içerik geçerliği yöntembilim uzmanlarınca değerlendirilmiş ve değerlendirmeler 9.50 ile 10.00 aralığında değişiklik göstermiştir [X=9.94; Ortanca=10.00, SS=0.14]. İçerik geçerliği çalışmasına katılan uzmanlara ait derecelendirmede, uzman bir madde için 7 den az puan verdiyse, o maddenin uygun olmadığı düşünülerek, her madde için Lawshe İçerik Geçerlik Oranı [İGO] hesaplanmıştır. Elli maddelik formu İGO ları madde bazında 0.80 ile 1.00 arasında alt boyutlar bazında ise 0.93 ile 1.00 arasında değişmektedir ve form maddelerinin tamamı eğitim araştırmasını değerlendirme düzeylerini ölçmede içerik geçerliliğini sağlamıştır (bk. Tablo 3). Sonuç olarak araştırmada kullanılan veri toplama formu elli maddeden ve yedi alt boyuttan oluşmaktadır. Formda yer alan ifadeler; Tamamen (10) den Hiç (0) e doğru uzanan bir çizgide 11 aşamalı Likert tipi derecelendirme skalası yardımıyla değerlendirilmektedir. Formun alt boyut bazında alınan puanın yüksekliği, o alt boyutun ifade ettiği değişkenin yüksek niteliğe sahip olduğunu gösterir. Formda yer alan alt boyutlar, her bir alt boyutu oluşturan madde sayıları ve alt boyutlara ilişkin İçerik Geçerlik Oranları Tablo 3 te sunulmuştur. İşlem Bu araştırmada veri toplama yöntemi olarak epistemolojik doküman analizi kullanılmıştır. Doküman analizinin birinci aşamasını oluşturan (i) dokümanlara ulaşmada, çalışma grubunda yer alan doktora tezleri YÖK Dokümantasyon Dairesi Başkanlığı ndan temin edilmiştir. Belirlenen tezler, YÖK Dokümantasyon Dairesi Başkanlığı nın web sitesinden pdf formatında bilgisayar ortamına kodlanarak aktarılmıştır. Diğer aşamada ise (ii) bilgisayar ortamına aktarılan tezlerin çözümlemeleri Likert tipi olarak düzenlenen veri toplama formu aracılıyla yapılmıştır (Forster, 1995; Rowlinson, 2004). Araştırmanın veri toplama aşamasının takibinde ölçme araçlarının nitelik düzeylerine ilişkin alt amaçlara ilişkin verilerin çözümlenmesi için nitel veri analizi çeşitlerinden içerik analiz türlerinden frekans analizi, yapılan analitik hata tiplere ilişkin verilerin çözümlenmesine ise nitel veri analizi çeşitlerinden betimsel analiz ve tipolojik analiz kullanılmıştır. Frekans analizi en basit şekli ile kayıt birimlerinin nicel olarak görünme sıklığını ortaya koymaktır. Analizi yapılan materyalde mesaj öğelerinin hangi sıklıkla görüldüğünün sayılması amaçlanmışsa, sayılabilecek nitelikte birimler frekans türünde ifade edilir. Bu belirli bir öğenin yoğunluğunu ve önemini anlamayı sağlar. Frekans analizi sonucunda, öğeler önem sırasına konulabilmekte ve sıklığına dayalı olarak sınıflandırma yapılabilmektedir (Bilgin, 2006; Köhler ve Stemmler, 1997; Lienert ve Oeveste, 1985; Martinmäki ve Rusko, 2008). Araştırma- Tablo 3. Veri Toplama Formunda Yer Alan Alt Boyutlar, Madde Sayıları ve İçerik Geçerlik Oranları Alt Boyutlar Madde Sayısı İGO Oranları Ölçek 1-Ölçme araçlarının genel nitelikleri 12 1.00 2-Görüşme formu 4 1.00 3-Başarı testi 5 1.00 4-Ölçek geliştirme süreci 12 0.97 5-Ölçeğin geçerlik özellikleri 8 0.93 6-Ölçeğin güvenirlik özellikleri 5 0.96 7-Türk Kültürüne uyarlama süreci 4 1.00 TOPLAM 50 0.98 315
K U R A M V E U Y G U L A M A D A E Ğ İ T İ M B İ L İ M L E R İ da frekans analizinde elde edilen bulguların aritmetik ortalama (X) ve standart sapma (SS) değerlerine yer verilmiştir. Betimsel analiz; nitel çözümlemelerdeki verilerin özgün biçimlerine sadık kalınarak, kişilerin söylediklerinden, yazdıklarından ve dokümanların içeriklerinden doğrudan alıntılar yaparak, betimsel bir yaklaşımla verilerin sunumudur. Ayrıca betimsel analiz, nitel çözümlemelerde yer alan kelimelere, ifadelere, kullanılan dile, diyalogların yapısına ve özelliklerine, kullanılan sembolik anlatımlara ve benzetmelere dayanarak tanımlayıcı bir analiz yapılması olarak da tanımlanabilir (Kümbetoğlu, 2005, s. 154). Araştırmada kullanılan betimsel analiz dört aşamadan oluşmuştur. Bunlar Betimsel Analiz İçin Bir Çerçeve Oluşturulması: Bu aşamada araştırmanın kavramsal çerçevesi dâhilinde yer alan boyutlardan yola çıkılarak veri analizi için bir çerçeve oluşturulmuştur. Böylece verilerin hangi temaların altında sunulacağı belirlenmiştir. Verilerin İşlenmesi: Bu aşamada, bir önceki aşamada oluşturulan genel çerçeveye göre elde edilen veriler okunarak düzenlenmiştir. Bulguların Tanımlanması: Bu aşamada düzenlenen verilerin tanımlanması ve gerekli olan yerlere doğrudan alıntılar yapılmıştır. Bulguların Yorumlanması: Bu aşamada tanımlanan bulguların açıklanması ve ilişkilendirilmesi yapılmıştır. Elde edilen verilerin doğrudan alıntılarla yapılacak olan sunumunda, araştırma kapsamındaki doktora tezlerinin isimleri, tezi yapan kişi, tez danışmanı gibi künye bilgileri hiçbir şekilde açıklanmamıştır. Tezler sadece araştırmacının bildiği bir kod isim verilerek sınıflandırılmış ve bu şekilde doğrudan aktarım yapılmıştır. Ayrıca muhteva olarak saptanması muhtemel doktora tezlerinden doğrudan alıntılama yapıldığı durumlarda ise muhteva ile anlam bütünlüğü bozulmayacak şekilde değişiklik yapılmıştır. Araştırmanın bir diğer çözümleme yöntemi olan tipolojik analiz değişik kuramların kullandığı bir çözümleme yöntemidir. Tipolojik çözümlemenin ana düşüncesi, tiplemeler yolu ile materyalin görünebilir ve işlenebilir bir şekilde yansıtılabilmesi ve diğer nitel çözümleme yöntemlerine göre daha detaylı bir analiz yapılmasıdır. Tipler olguya uygun olarak belirlenmişse, böylece tekil-olay incelemelerinden konuya genellenebilecek açık ifadeler çıkarılabilmektedir. Tipolojik analiz, özellikle daha önce az incelenmiş alanlarla ilgili kavram ve teori geliştirmek üzere bazı temeller oluşturulmak isteniyorsa daha uygundur ve gerçekte denetimli bir işleyişin, materyali gösterici örneklerinin tipik olarak betimlenmesine dayanır. Her bir örnek, süreç için, soruna uygun tipleştirme boyutları ve tipleştirme ölçütlerinin oluşturmada karar verici niteliktedir. Analizde tipler özellikle onları yansıtıcı ve betimleyici bir dizi materyal tipinden çıkarılmaktadır (Mayring, 2000, s. 113-116). Araştırmada kullanılan tipolojik analiz üç temel analitik süreçte gerçekleştirilmiştir (Dey, 2007). Bu süreçler; (i) tiplerin sınıflandırılması, (ii) tipleri ilintileme ve (iii) tipler arasında bağlantılar kurma aşamasıdır. Tipleri Sınıflandırma: Oluşturulan tiplerin alttiplere ayrılması veya yeni alt tipler oluşturulması için, söz konusu tiplere göre elde edilene verilerin tasnif edilmesi gerekmektedir. Ancak bu durum her zaman olduğu kadar basit olmayabilmekte ve sorunlarla karşılaşabilmektedir. Çalışmada böyle bir sorunla karşılaşılmaması için öncelikle elde edilen verilerin benzer nitelikle olanları gruplandırılarak organize edilmesi sağlanmıştır. Bu şekilde birbirine benzeyen veya birbiri ile ilişkili olan verilerin aynı tiplerde gruplandırılması sağlanmıştır. Bunun için öncelikle verilerin belirlenmesine ve diğer verilerden ayrılmasını sağlayacak ölçütlerin oluşturulması sağlanmıştır. Bu ölçütler veri analizi sırasında verilerin ayrımlaştırılmasını sağladığı için mümkün olduğu kadar açık hale getirilmiş ve kullanılan bu kavramsal ölçütler çalışmanın tiplerini oluşturmuştur. Böylece bir dizi tiplerin oluşturulmasıyla, elde edilen verilerin çözümlenmesinde benzerlikle ve ilişkiler net olarak ortaya konulmaya çalışılarak verilerin organize edilmesi sağlanmıştır. Bu şekilde ileriki bölümlerde tiplere atadığımız verilerin karşılaştırılması yapılabilmiştir. Tipleri İlintileme: Tipler, yapının bloklarını temsil etmektedir. Sınıflandırma sürecinde verileri parçalarken, verilerin farklı parçaları arasındaki ilişkiler ve etkileşimler hakkındaki bilgi sahibi olunamaz. Bu sınırlılığı yok etmek üzere veriler arasında ilintiler oluşturulacaktır. Veriler arasında ilintiler oluşturulması, sadece biçimsel değil aynı zamanda özsel ilişkileri de içerecektir. Biçimsel ilişkiler benzerlik ve farklılık çerçevesinde nasıl ilişkili oldukları ile ilgili iken, özsel ilişkiler nasıl etkileştikleri ile ilgilidir. İlinti oluşturma mekanik olduğu kadar kavramsal bir yöne de sahiptir. İki veri parçasının arasındaki ilintiyi, bir biçimde kavramsal olarak bağlantılı olduklarını düşünmekteysek gerçekleştirilebiliriz. Bu yönü ile ilinti oluşturma, tip oluşturmaya benzemektedir. Çalışmada ilintilerde tiplerde olduğu gibi iki yoldan kurulmuştur. Başlangıçta soru ve amaçlarımızdan çıkarsayarak ve/veya verilerden çıkarsayarak. Tip kümemizde olduğu gibi ilinti listemizin uzunluğunu kararlaştırmamız ge- 316
KARADAĞ / Eğitim Bilimleri Doktora Tezlerinde Kullanılan Ölçme Araçları: Nitelik Düzeyleri ve Analitik Hata Tipleri rekir. Bu ise, verilerimizin hacim ve karmaşıklığına ve analizin kavramsal araçlarına bağlıdır. Tip kümesinin tersine ilinti listesi çok kısa olabilir. İlintileri oluştururken şunlara özen gösterilmiştir (Dey, 2007, s. 166): (a) verilerde ilinti kelimeleri arama, (b) sadece analize uygun ilintileri belirleme, (c) verilere mümkün olduğunca yakın durma, (d) ilintileri çıkarırken dikkatli olma, (e) ilinti kararlarında etkili olan kuralları belirleme. Tipler Arasında Bağlantılar Kurma: Nitel veri analiz etme yolu, verilerdeki tiplerin düzenli birliklerinden bağlantılar çıkarsamaktır. Bu aşama parçalanan verileri tekrar bir biçimde bir araya getirmesini kapsamasıdır. İlintileri, gündelik yaşantımızda deneyimleştirdiğimiz olaylar arasında mekanizmaları bağlantılandırmanın bir türü olarak görebilir. Olayları birleştirme, olayları birlikte oluşan olarak belirlemeyi içerir. İlinti/bağ kurma ise, bunlar arasında bir etkileşime işaret eder (Dey, 2007, s. 172). Araştırmada birleştirme ve bağ kurma, objeler arasında bağlantılar kurmaya temel oluşturmuştur. Olaylar arasındaki düzenli ilişkiler, bunlar arasında olası bağlantıları çıkarsamayı sağlamış; ancak bunlar arasındaki bağlantı mekanizmalarını ya da ilintileri oluşturma yoluyla kavramsal doğrulamaya tabidir. İlintilerin kavramsal belirlenimi, olaylar arasında bağlantılar belirlemeye temel oluşturmuştur. Fakat olaylar arasındaki düzenli ilişkiler aracılığıyla ampirik doğrulamaya tabidir. Tiplere atanan veri parçalarını karşılaştırılarak bunlar arasında olası bir bağlantı kanıtları aranmıştır. Bunu gerçekleştirebilmek üzere, tiplere atanan veri parçaları geri çağrılmıştır. Bu geri çağırmalar yolu ile üç durum gerçekleştirilmiştir: (a) kaç veri parçasının atanmış olduğunu görülmüş. (b) tiplere atanmış veri parçaları arasında bağlantıların olup olmadığına ilişkin kanıt aranmış. (c) tip hücreleri arasındaki veri parçaları karşılaştırılabilmiştir (Dey, 2007, s. 176). Çalışmanın Geçerlik ve Güvenirliği Çalışmanın iç geçerliğini sağlamak için: (i) çalışmada elde edilen veriler, bulgular bölümünde sunulurken söz konusu duruma ilişkin bilgiler ortaya konulduktan sonra yorumlama yoluna gidilmiştir. (ii) Bulguların tutarlılığının sağlanması için kategorileri oluşturan temaların kendi aralarındaki tutarlılığı içsel homojenlik ve dışsal heterojenlik ölçütleri dikkate alınarak değerlendirilmiştir. Çalışmanın dış geçerliğini sağlamak için: (i) Çalışmanın yöntem bölümünde, desen, örneklem, veri toplama aracı, verilerin çözümlenmesi süreçlerindeki işlemlere ayrıntılı olarak yer verilmiştir. (ii) Bilgisayar ortamına aktarılan tez kayıtları ve çözümlemeleri ileriki dönemde olası teyide yönelik olarak muhafaza edilecektir. Çalışmanın iç güvenirliğini sağlamak için: (i) Veri analizinde elde edilen çözümlemelerin sunumunda öncelikle yorum yapılmadan direk verilmiştir. Bu durum daha sonra yapılacak yorumlar ve açıklamalara temel oluşturmuştur ve aynı çözümlemeye ilişkin tüm bulgulara yer verilmiştir. (ii) Veri analizi için, kuramsal yapı temel alınarak kategorilerin belirlenmesi sağlanmıştır. (iii) Veri analizi sürecinde kodlamaları araştırmacı haricinde başka araştırmacılar tarafından da yapılarak karşılaştırılmıştır. Çalışmanın dış güvenirliğini sağlamak için: (i) Benzer çalışma yapacak araştırmacılara, çalışma desenlerini kurgularken yardımcı olabilmek amacıyla; çalışmada, üzerinde çalışılan durum ve kullanılan yöntemler, çalışmanın ilgili bölümlerinde detayları ile sunulmuştur. (ii) Veri toplama ve analizi yöntemleri ile ilgili ayrıntılı açıklamalara yer verilmiştir. Araştırmacının Rolü Nitel araştırmalarda geçerlik ve güvenirliğin en önemli değişkenlerinden birisi araştırmacıdır. Araştırmacının başarısı; konuya hâkim olmasına, terminolojiyi bilmesine, olaylara ve insanlara yansız tutum sergilemesine bağlıdır. Bu nedenle bu araştırmada araştırmacının, yöntembilim alanındaki hâkimiyetinin saptanması için 20 doktora tezi, 4 gönüllü yöntembilim uzmanı ve araştırmacı tarafından birbirlerinden habersiz olarak oluşturulan veri toplama formu yardımı ile irdelemeleri sağlanmıştır. Bu işlem sonucunda araştırmacının çözümlemelerinin [kodlamalarının], yöntembilim uzmanlarının çözümlemeleri [kodlamaları] ile olan tutarlılık düzeyi Cohen s Kappa analizi kullanılarak hesaplanmıştır. Elde edilen uyuşma katsayıları.66 ile.95 arasında ve istatistiksel olarak manidar bulunmuştur. Cohen s Kappa değerleri. 61 in üzerinde bir katsayı değeri saptandığı için, araştırmacının yöntembilim ile ilgili hâkimiyetinin ve çalışmanın kodlama iç-güvenirliğinin yeterli olduğu anlamına gelmektedir. Bulgular Ölçme Araçlarının Dağılımlarına İlişkin Bulgular Eğitim bilimleri alanında yapılmış doktora tezlerinde kullanılan ölçme araçlarının türleri ile bunun yüzde değerleri şunlardır: (1) ölçek (η=163, %63.1) ve (2) görüşme formu (η=54, %20.9), (3) başarı testi (η=32, %12.4) ve (4) gözlem formu (η=9, %12.4). Bununla birlikte, 68 doktora tezinde iki farklı veri 317