BİLİMSEL ARAŞTIRMALARDA YAPILAN BAZI İSTATİSTİKSEL VE YÖNTEMBİLİMSEL HATALAR III: GÜVENİRLİK KESTİRİMLERİNE YÖNELİK HATALAR * ÖZET Son yıllarda eğitim alanında yapılan araştırmalarda ölçek geliştirme veya uyarlama çalışmalarının sıklıkla yapıldığı gözlenmektedir. Bir diğer ifadeyle, her araştırma da uyarlanmış ya da geliştirilmiş bir veya daha fazla ölçme aracına rastlanmaktadır. Ölçek geliştirme konusunun başlı başına kapsamlı bir çalışma olduğu göz önüne alındığında, uyarlanan ya da geliştirilen bu ölçme araçlarının geliştirilmesinde kullanılan işlem basamaklarının neler olduğu ve ne şekilde kullanıldıkları sorusu akla gelmektedir. Bu çalışmada, ulusal hakemli dergilerde yayınlanan makalelerde kullanılmış olan ölçme araçlarının uyarlanması ve geliştirilmesi ile ilgili kısımlar incelenmiş ve yalnızca ölçüm güvenirliğine ilişkin hatalar üzerinde durulmuştur. Anahtar Kelimeler: Bilimsel araştırma, yöntembilimsel hatalar, güvenirlik SOME OF THE STATISTICAL AND METHODOLOGICAL MISTAKES MADE IN SCIENTIFIC RESEARCHES III: MISTAKES MADE IN RELIABILITY ESTIMATIONS ABSTRACT In recent years, it has been seen that there are a lot of scale development and adaptation studies made in educational field. In other words, one comes across a developed or adopted measurement instrument in each study. When it is thought that scale development is a professional study field, there emerges two questions; which steps are followed and how are they used? In this study, the developed and adopted measurement instruments used in articles which were published in journals with arbitrator have been examined and only the mistakes on score reliability have been taken into consideration. Key Word: Scientific research, methodological mistakes, reliability. * Yard. Doç. Dr., Zonguldak Karaelmas Üniversitesi, Ereğli Eğitim Fakültesi, Eğitim Bilimleri Bölümü, Eğitimde Psikolojik Hizmetler Anabilim Dalı, Zonguldak, saimesay@gmail.com Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi 53
Bilimsel Araştırmalarda Yapılan Bazı İstatistiksel 1. GİRİŞ Günümüzde yapılan bilimsel çalışmaların sayılarının arttığı ancak niteliklerinin düştüğü gözlemlenmektedir. Özellikle son on yıldır bilim etiği, bilimsel liyakat konularına dikkat çekilmekle (Oğuz, 1999; Kansu ve Ruacan, 2002; Ruacan, 2003; Arda, 2003; Töreci, 2004; Aydın, 2006; Ecevit, 2006; Uzbay, 2006) birlikte, bu konularda ciddi yaptırımlar söz konusu olmadığı için bir çok kişi tarafından etik dışı çalışmaların yapıldığı da gözlenmektedir. Bu çalışmalarda bazen ciddi mantık hataları, bazen de istatistiksel hatalar görülmektedir. Oysa bilimsel uğraş, eleştiriye açık, bulguları kanıtlarla destekleyen, bilginin sorumluluğunu taşıyan, özeleştiriyi kullanan; doğruluk, dürüstlük, nesnellik, yansızlık ve açıklığı bilimsel uğraşın temeli olarak gören; bilimsel merakı, kuşkuculuğu temel alan, toplumsal gereksinim ve amaçları ve bilimsel etkinliğin sonuçlarını, bilimsel yaratıcılığın ve toplumsal sorumluluğun kaynağı ve dürtüsü olarak ele alan bir anlayışa sahip olmalı ve bunun geliştirilip güçlendirilmesine yönelik çabalar temelinde sürdürülmelidir (Ecevit, 2006, S. 81). Teknolojinin hızla geliştiği çağımızda, araştırmacılarca, kuramın ve kuramsal bilginin zaman zaman göz ardı edildiğine, başlı başına bilimsel çalışmalar içinde uygulamanın, ölçümün abartıldığına tanık olunmaktadır. Bu olgu, tehlikeli bir eğilimi içinde taşımaktadır. Kuramsal bilgi, gerek sosyal bilimlerde, gerekse fen ve sağlık bilimlerinde yaşamsal bir öneme sahiptir (Ongun, 2006, S. 90). Son yıllarda, araştırmacıların yeterli düzeyde yöntem bilim ve istatistik bilgisi olmaması nedeniyle, trajikomik makalelerle karşılaşılmaktadır. Yine, özellikle son zamanlarda eğitim alanında çok miktarda ölçme aracı geliştirilmiş ve bu ölçme araçları ile de veri toplanılarak çalışmalar yapılmıştır. Bir araştırmada kullanılmak üzere ölçme aracı geliştirmek isteyen kişilerin uyması gereken bazı işlem basamakları bulunmaktadır. Bunun dışında araştırmada daha önce hazırlanmış olan bir ölçme aracı kullanılacak ise, ölçme aracının kullanılmasından önce çeşitli işlemlerin yapılması gerekmektedir. Aksi takdirde veri toplamada kullanılan ölçme araçları magazin basınında kullanılan, keyifli vakit geçirmek üzere hazırlanan birkaç sorudan ibaret anket ya da testlerden farklı bir özelliğe sahip olmayacaktır. Araştırma raporunda ölçme aracının geliştirilmesine yönelik olarak yapılan bu işlemlerin ayrıntılı bir şekilde verilmesi gerekmektedir. Çünkü, aynı araştırmayı tekrarlamak isteyen bir başka araştırmacının, araştırmada ortaya konulan verileri elde etmek için gerek duyabileceği her türlü bilginin yöntem bölümünde sunulması yöntem bölümünün yazılmasında gerekli olan bir ölçüttür (Oğuz, 1999, S. 155). Ancak, bir çok araştırmacının bu işlemleri yaptıklarına ilişkin bilgileri makalelerinde sunmadıkları ya da yetersiz sundukları da görülmektedir. Bu durumun yapılmış olan araştırmanın bilimsel niteliğini olumsuz yönde etkileyeceği aşikardır. Ayrıca bilim insanlarının çalışmalarının doğruluğu konusunda ciddi kuşkular belirmesi ve söz konusu çalışmaların deneysel dayanaklardan yoksun olduğu halde bunun gizlenmiş olması ve yöntembilimsel (metodolojik) yanlışlar içermesi güven sarsıcıdır (Ongun, 2006, S. 89). Çünkü bilimsel araştırma, bilim insanının bilimsel yöntemleri kullanarak belli bir sorunun çözümüne yanıt arama 54 Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi
süreci olup, bu süreç problemin tanımlanmasından çözüme yönelik yöntemlerin uygulanması, yani veri toplama, verilerin değerlendirilmesi ve yorumlanmasına kadar uzanmaktadır (Uzbay, 2006, S. 20). Dolayısı ile bir problemin çözümüne yönelik veri toplama aracına ilişkin yeterli bilgiye sahip olunmadığı sürece, elde edilen bulguların doğruluğu şüpheli olacaktır. Zira, bilimsel araştırmaların amacı, bilimsel bilgi elde etmek ve bu bilgileri insanlık yararına kullanmaktır. Doğru yöntem ve istatistik kullanılarak gerçekleştirilen bir bilimsel araştırmadan bilimsel bilgi elde etme olasılığı oldukça yüksektir (Uzbay, 2006, S. 20). Ulusal hakemli dergiler ve bilimsel kitaplarda ölçme ve araştırma yöntembilimiyle ilgili yapılan hatalara ilişkin çalışmalar Bademci (2005b, 2005c, 2006a, 2006b ve 2007) tarafından başlatılmıştır; örneğin, Bademci (2005a ve 2007) güvenirlik konusunda yapılan hatalarla ilgili olarak, ulusal hakemli dergilerden bazılarının son sayılarını incelemiş ve hakemlerden geçerek yayınlanmış makalelerde yapılmış olan hataları, ayrıntılı ve çok etkili bir biçimde ortaya koymuştur. Bilimsel bilginin geometrik bir biçimde arttığı, uzmanlaşmanın giderek daha belirleyici olduğu günümüz biliminde her bilim insanı bilimsel çalışmaların denetlenmesinde sorumluluk taşımaktadır. Bu sorumluluğun, ilgi alanına giren konularda yayınları izlemek, onları, ortaya konulan bilim dışı savlara ya da çalışmalara ilişkin yanlışlıkları saptayacak biçimde özenle incelemek ve bu tür saptamaları bilimsel yayın ortamında ortaya koymak, bir başka deyişle tepki vermek gibi yönleri bulunmaktadır (Oğuz, 1999, S. 158). Bu çalışmada da yazarın bahsettiği bilim insanı kimliğine uygun olarak eğitim alanında yapılmış olan çalışmalardaki birtakım ciddi bilimsel hataların neler olduğunu bu alanda çalışan kişilerle paylaşmak ve düzeltilmelerini sağlamak amaçlanmıştır. Bu sebeple, internet üzerinden ulaşımı sağlanabilen ulusal hakemli dergilerde yayınlanmış makaleler incelenmiş ve tespit edilen hatalardan özellikle tekrarlanan ve kuramsal olarak hata içerenlerden tipik örnekler seçilmiştir. Seçilen örneklerden kesitler alınmış ve yapılmış olan hatalar ve yorumlar sırayla verilmiştir. 2. ÖLÇÜM GÜVENİRLİĞİ İLE İLGİLİ HATALAR Bu bölümde, 2000-2007 yıları arasında ulusal hakemli dergilerde yayınlanmış olan makalelerde ölçüm güvenirliğine ilişkin açıklamalarda tespit edilen hatalar ve hatalara ilişkin yorumlar yer almaktadır. Örnek 1: Azar ve Henden in (2001) uluslararası hakemli bir dergi olan Kuram ve Uygulamada Eğitim Bilimleri Dergisi nde yayınlanmış Alan Dışından Atanmanın İş Doyumuna Etkileri: Sınıf Öğretmenliği Örneği isimli çalışmaları ve çalışmalarında hazırladıkları ölçme aracı ve güvenirlik kestirimlerine yönelik açıklamaları (sayfa 324-349). Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi 55
Bilimsel Araştırmalarda Yapılan Bazı İstatistiksel Eleştiri ve Bilimsel Katkı 1: Araştırmacılar, 35 sınıf öğretmenine, hazırladıkları anketi ön test son test karşılaştırmasını yapmak için iki kere uyguladıklarını ve uygulama sonucunda test puanları arasında farklılık görülmediğini belirtmişlerdir. Ancak araştırmacılar bu uygulamayı hangi amaçla yaptıklarını açıklamamışlardır. Daha sonrada araştırmacılar literatürde başka örneğinin bulunmadığı bir yöntem ile (ön test ve son test puanlarının karşılaştırılması sonucunda) Cronbach Alpha korelasyon katsayısını.94 olarak bulduklarını rapor etmişlerdir. Bir güvenirlik kestirme yöntemi olan Cronbach ın alfa katsayısı (ayrıntılı bilgi için bakınız, Bademci, 2006a; Bademci, 2006b; Bademci, 2007), tek bir test uygulamasından elde edilen ölçümler üzerinden hesaplanmaktadır (bakınız, Crocker ve Algina, 1986; Worthen, White, Fan ve Sudweeks, 1999). Araştırmacıların, bunların dışında başka bir ciddi hataları daha bulunmaktadır. Araştırmacılar, ölçme araçlarını 35 kişiye uygulayarak güvenirlik hesaplaması (mevcut olamayan bir yöntem kullansalar da) yaptıklarını belirtmişlerdir. Ölçüm güvenirliğini hesaplamada kişi sayısı konusunda farklı sayılar önerilmekle birlikte, bu tartışmalara ışık tutacak olan bir çalışma Bademci (2005b ve 2007) tarafından gerçekleştirilmiş olup, güvenirlik çalışmaları için en az 400 kişiden oluşan örneklem kullanılması gerektiği ifade edilmiş ve bilimsel olarak da ortaya konulmuştur. Dolayısı ile, ölçüm güvenirliği kestirimi ile ilgili bir hususta, 35 kişilik bir örneklem çok yetersiz görünmektedir. Azar ve Henden in (2001) çalışmalarına benzer bir hatalı güvenirlik hesaplanması, Azar ve Karaali (2004) tarafından ulusal hakemli bir dergi olan Milli Eğitim Dergisi nde yayınlanmış olan Fizik Öğretmenlerinin Hizmet İçi Eğitim İhtiyaçları isimli çalışmalarında da yapılmıştır ve adı geçen çalışma üzerinde yorum yapılmadan aşağıda verilmiştir. Anket önce 25 fizik öğretmenine ön test ve son test karsılaştırmasını yapmak amacıyla belli aralıkta iki kez uygulanmıştır. Yapılan irdeleme sonucunda ankete katılanların ön test ile son test puanlarında bir farklılık görülmemiştir. Ön test ve son test puanlarının karsılaştırılması sonucunda Cronbach Alpha korelasyon katsayısı.79 olarak bulunmuştur. 56 Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi
Örnek 2: Azar, Presley ve Balkaya nın (2006) ulusal hakemli bir dergi olan Hacettepe Üniversitesi Eğitim Fakültesi Dergisi nde yayınlanmış Çoklu Zeka Kuramına Dayalı Öğretimin Öğrencilerin Başarı, Tutum, Hatırlama ve Bilişsel Süreç Becerilerine Etkisi isimli çalışmaları ve çalışmalarında hazırladıkları ölçme aracı ve güvenirlik kestirimlerine yönelik açıklamaları (sayfa 45-54). Eleştiri ve Bilimsel Katkı 2: Araştırmacılar kullandıkları ölçme araçlarına yönelik olarak yaptıkları açıklamalarda, hazırladıkları başarı testi için güvenirlik kestirimini.. ön test-son test yaklaşımından yararlanarak 0.74 olarak hesaplanmıştır. şeklinde ifade de bulunmuşlardır. Ancak güvenirlik kestirimi hesaplamalarında ön test-son test yaklaşımı olarak herhangi bir yöntem bulunmamaktadır (güvenirlik üzerine bilgi için bakınız, Mehrens ve Lehmann, 1991; Bademci, 2007). Ayrıca ön test ve son test kavramları deneysel araştırmalarda deneysel işlemin (treatment) uygulanması öncesinde ve sonrasında yapılan ölçmeleri ifade etmek üzere kullanılır (bakınız, Leedy, 1993, S. 294-311; Creswell, 2004, S. 329). Eğer araştırmacıların bahsettikleri, iki uygulamadan elde edilen veriler (test ölçümleri) arasındaki ilişki (korelasyon) hesabına dayalı olarak güvenirlik katsayısı hesaplama ise, bu yöntem, literatürde test-tekrar test ya da testin tekrarı yöntemi (test-retest) olarak adlandırılır (Aiken, 1991, S. 98-99; Özgüven, 1994, S. 86-87; Bademci, 2005c, S. 48). Buna benzer hatalı bir hesaplama, Azar (2006) tarafından, uluslararası hakemli bir dergi olan Kuram ve Uygulamada Eğitim Yönetimi Dergisi nde yayınlanmış Lisede Seçilen Alan ve ÖSS Alan Puanları ile Çoklu Zekâ Profilleri Arasındaki İlişki isimli araştırmada da yapılmıştır ve ilgili çalışma üzerinde yorum yapılmadan aşağıda sunulmuştur. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi 57
Bilimsel Araştırmalarda Yapılan Bazı İstatistiksel Örnek 3: Morgil, Cingör, Erökten, Yavuz ve Özyalçın Oskay ın (2004) uluslararası online ve hakemli bir dergi olan The Turkish Online Journal of Educational Technology de yayınlanan Bilgisayar Destekli Kimya Eğitiminde Portfolyo Çalışmaları isimli çalışmalarında kullandıkları ölçme aracı ve geçerlik ve güvenirlik çalışmaları ve açıklamaları (sayfa 105-118). Verilerin Toplanması Araştırma konusunda değerlendirilen veriler tutum ölçeği uygulayarak ve portfolyo dosyası hazırlatılarak toplanmıştır. Tutum Ölçeği Uygulamaları Öğrencilerin bilgisayar destekli kimya eğitimine karşı tutumlarının ölçülmesi amacıyla N. Selwyn tarafından geliştirilen 21 soruluk Bilgisayar tutum ölçeği 32 öğrenciye uygulanmıştır (Selwyn, 1997). Bu ölçekte öğrencilerin tutumları ölçülürken, sorular hazırlanırken, öğrencilerin bilgisayar ile ilgili algılamaları, bilgisayar ile ilgili bilgileri, bilgisayar ile ilgili davranışları ve bilgisayar kullanırken zorlanıp zorlanmadıkları olmak üzere 4 yapı üzerinde durulmuştur. Soruların seçiminde ilk olarak 49 maddelik bir test, pilot çalışma olarak 16-19 yaşlarında 266 öğrenciye uygulanmıştır, madde analizlerinde kullanılan faktör analizleri sonucunda 49 madde 21 e indirilmiştir. Ölçek likert türü bir ölçek olup, maddelerin derecelendirilmesi 5 li derecelendirme sistemine göre yapılmıştır (kesinlikle katılıyorum, katılmıyorum, kararsızım, katılmıyorum, kesinlikle katılmıyorum). Ayrıca, ölçek 11 olumlu, 10 olumsuz madde içermektedir. Olumlu cümleler için verilen cevaplar tamamen katılıyorum=5, kısmen katılıyorum=4, kararsızım=3, katılmıyorum=2, kesinlikle katılmıyorum=1 şeklinde puanlanırken, olumsuz cümleler tamamen katılıyorum=1, kısmen katılıyorum=2, kararsızım=3, katılmıyorum=4, kesinlikle katılmıyorum=5 olarak puanlanmıştır. Çalışmada kullanılan tutum ölçeği ile elde edilebilecek en yüksek toplam puan 105, kararsızım seçeneği işaretlenerek elde edilebilecek puan ise 63 tür. Kullanılan ölçeğin iç geçerliği Cronbach α sabiti ile hesaplanmış ve tüm test için iç geçerlik yüksek bulunmuştur. Test-tekrar test güvenirliği, örnekleme aynı test 2 haftalık periyotla uygulanarak saptanmış ve yapılan değerlendirmeler sonucu Pearson test-tekrar test sabiti r=0,93 (p<0,001) ile testin güvenirliği yüksek bulunmuştur, testin geçerliği yapılan hesaplamalar sonucu Sperman korelasyonu ile r=0,74 (p<0,001)olduğu literatürde ifade edilmiştir. Eleştiri ve Bilimsel Katkı 3: Araştırmacılar çalışmalarında Selwyn tarafından geliştirilmiş 21 maddelik bir tutum ölçeğini kullandıklarını rapor etmişlerdir. Ancak araştırmacılar, Türkçe ye çeviri yaparlarken terimlerin sözlük anlamlarını kullanmışlardır. Bunun sonucu olarak, kullandıkları ölçme aracına ilişkin açıklamalarında ölçeğin iç geçerliği Cronbach α sabiti ile hesaplanmış ve tüm test için geçerlik yüksek bulunmuştur. şeklinde bir ifade kullanmışlardır. Araştırmacıların iddia ettikleri gibi Cronbach α sabiti diye bir sabit sayı yoktur, fakat Cronbach α katsayısı vardır. Cronbach α katsayısı, ölçüm güvenirliğinin kestiriminde kullanılır (Bademci, 2007). Araştırmacılar, sabit sayı ve katsayı kavramlarını karıştırdıklarını, literatürde olmayan bir şekilde kullanarak, ortaya koymuşlardır. Bunun dışında araştırmacılar benzer bir hatayı Test-tekrar test güvenirliği, örnekleme aynı test 2 haftalık periyotla 58 Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi
uygulanarak saptanmış ve yapılan değerlendirmeler sonucu Pearson test-tekrar test sabiti r=0,93 (p<0,001) ile testin güvenirliği yüksek bulunmuştur,... diyerek yapmışlardır. Literatürde araştırmacıların iddia ettikleri gibi Pearson test-tekrar test sabiti şeklinde bir sabit sayı da bulunmamaktadır. Test-tekrar test, ölçüm güvenirliğinin kestiriminde kullanılan yöntemlerden biri olup, testin aynı kişilere iki kere uygulanmasından elde edilen puanlar arasındaki ilişkinin bulunmasına dayalıdır (Anastasi, 1982, S. 109; Aiken, 1991, S. 98-99). Morgil, Cingör, Erökten, Yavuz ve Özyalçın Oskay ın (2004) kullanımlarına benzer hatalı bir kullanım, Yürük ve Çakır (2000) tarafından ulusal hakemli bir dergi olan Hacettepe Üniversitesi Eğitim Fakültesi Dergisi nde yayınlanmış olan Lise Öğrencilerinde Oksijenli ve Oksijensiz Solunum Konusunda Görülen Kavram Yanılgılarının Saptanması isimli çalışmalarında da yapılmıştır ve ismi geçen çalışma üzerinde yorum yapılmadan aşağıda verilmiştir. Örnek 4: Doymuş, Şimşek ve Bayrakçeken in (2004) online ve hakemli bir dergi olan Türk Fen Eğitimi Dergisi nde yayınlanan İşbirlikçi Öğrenme Yönteminin Fen Bilgisi Dersinde Akademik Başarı ve Tutuma Etkisi isimli çalışmalarında kullandıkları ölçme araçları ve güvenirlik çalışmaları ve açıklamaları (sayfa103-115). ------------------------ Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi 59
Bilimsel Araştırmalarda Yapılan Bazı İstatistiksel Eleştiri ve Bilimsel Katkı 4: Araştırmacılar çalışmalarında Fen Bilgisi Başarı Testi, Fen Bilgisi Tutum Ölçeği ve Grupla Çalışma Görüş Testi kullandıklarını belirtmişlerdir. Fen Bilgisi Başarı Testi ile ilgili olarak ise, ölçme aracını üniversite (Atatürk Üniversitesi Kazım Karabekir Eğitim Fakültesi Fen Bilgisi Öğretmenliği) 1. sınıf öğrencilerine uygulayarak güvenirlik çalışması yaptıklarını ifade etmişlerdir. Ancak araştırmanın örneklemi, ilköğretim sekizinci sınıf öğrencilerinden oluşmaktadır. Örnek 5: Yeşilyurt, Kurt ve Temur un (2005) ulusal hakemli bir dergi olan Pamukkale Üniversitesi Eğitim Fakültesi Dergisi nde yayınlanan İlköğretim Fen Laboratuarı İçin Tutum Anketi Geliştirilmesi ve Uygulanması isimli çalışmalarında geliştirdikleri ölçme aracı ve açıklamaları (sayfa 104-114). Eleştiri ve Bilimsel Katkı 5: Yukarıdaki örnekte, Literatür taraması yapılarak araştırmacılar (Yeşilyurt, M., 2003., Ayaş,A., 1993, Akdeniz ve arkadaşları, 2002, El-Gendy, O.E., 1984) tarafından geliştirilen ve güvenirliği 0,83 ve alfa değeri 0,90 ve Split-half metodu ile Türkiye de güvenirliği 0,70 olarak hesaplanan kimya tutum anketi fen laboratuarına 60 Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi
uyarlanmıştır. şeklinde uyarlamasını yaptıkları ölçme aracı hakkında açıklama yapmışlardır. Öncelikle cümlede anlatım bozukluğu bulunmakta olup, kaynak gösterimi ise, doğru değildir. Dolayısıyla bahsedilen ölçme aracının kimler tarafından geliştirildiği anlaşılmamaktadır. Ayrıca ölçme aracı ile ilgili olarak, ve güvenirliği 0,83 ve alfa değeri 0,90 olan ve Split-half metodu ile üç farklı güvenirlik katsayısı vermişler ama, ilk güvenirlik katsayısının hangi yöntemle kestirildiğini belirtmemişlerdir. Araştırmacılar ilköğretim fen laboratuarı için tutum anketi geliştirilmesi ve uygulanması ile ilgili bir çalışma yaptıklarını belirtmelerine rağmen, ölçme aracı geliştirme çalışması olarak neler yaptıklarını yazmamışlardır. Örnek 6: Topkaya ve Yalın ın (2005) ulusal hakemli bir dergi olan Eğitimde Kuram ve Uygulama Dergisi nde yayınlanan Uygulama Öğretmenliğine İlişkin Tutum Ölçeği Geliştirilmesi isimli çalışmalarında geliştirdikleri ölçme aracı ve güvenirlik çalışmaları ve açıklamaları (sayfa 14-24). 4. Faktör Analizi Aşaması: Uzman görüşleri ve ön denemelerden sonra gerçek gruba uygulanan taslak ölçekteki 64 maddeden hangilerinin işlediğini belirlemek amacıyla faktör analizi tekniği kullanılarak, her bir maddenin ayırtediciliğine (madde-toplam test korelasyonları) bakılmıştır. Madde-toplam test korelasyonu test maddelerinden alınan puanlar ile testin toplam puanı arasındaki ilişkiyi açıklar (Büyüköztürk, 2004: 165). Diğer bir ifadeyle, bir ölçme aracındaki her bir maddenin benzer davranışları örneklediğini gösterir. Bu bağlamda, madde-toplam test korelasyonunun pozitif ve yüksek olması beklenir. Bu da, ölçme aracının iç tutarlılığının yüksek olduğunu ifade eder (Fraenkel ve Wallen, 2000: 174-175). Madde-toplam test korelasyonunun yorumlanmasında ise, madde-toplam test korelasyonu.30 ve daha yüksek olan maddelerin bireyleri ölçülen özellik bakımından iyi derecede ayırt ettiği kabul edilir. Yapılan bu çalışmada da, verilere ilişkin madde-test korelasyonları, birinci faktör yükleri ve madde ortalamaları hesaplanmış ve madde test korelasyonu anlamlı (p<0.5), temel bileşenler analizinin birinci boyutunda faktör yükleri 0.30 un üzerinde olan 30 madde ölçeğe alınmıştır. Seçilen maddelerin maddetest korelasyonları, temel bileşenler analizi birinci faktör yükleri ile madde ortalamaları Tablo 1 de verilmiştir. Ölçeğe alınan maddelerin madde-test korelasyonları 0.30 ile 0.54, temel bileşenler analizine göre hesaplanan birinci faktör yükleri 0.40 ile 0.63, ölçek maddelerinin puan ortalaması ise 3.37 ile 4.58 arasında değişmektedir. Nihai ölçekte, 3 olumsuz, 27 olumlu madde bulunmaktadır (Nihai ölçek için Bkz. Ek 2). Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi 61
Bilimsel Araştırmalarda Yapılan Bazı İstatistiksel 5.Güvenirlik Hesaplama Aşaması: Ölçek geliştirmede temel amaç, güvenilir ve geçerli ölçme aracı oluşturmaktır (Tavşancıl; 2000: 151). Güvenirlik kısaca, bir ölçme aracının tutarlı bir şekilde her durumda benzer sonuçlar ortaya koyabilmesidir (Bell, 1993: 64). Diğer bir ifadeyle güvenirlik, bir ölçme aracının ölçmek istediği özelliğe ilişkin elde ettiği ölçüm puanlarının ne derece tutarlı olduğuyla ilgilidir. Bir ölçme aracının güvenirliği için aranılan iki temel ölçüt, değişik zamanlarda elde edilen cevaplar (puanla) arasında tutarlık ve aynı zamanda elde edilen cevaplar arasında tutarlık olarak açıklanabilir (Büyüköztürk, 2004: 164). Sosyal bilimlerde veri toplama aracı olarak geliştirilmek istenen ölçeklerde çoğunlukla kullanılan güvenirlik türü ise faktör analizidir. Bu istatistiksel teknik, aynı yapıyı ya da niteliği ölçen değişkenleri bir araya getirmeyi amaçlar. Likert tipi ölçeklerin de temel varsayımı her bir maddenin tek bir tutumu ölçtüğü yönündedir (Tavşancıl, 2000: 151). Bu bağlamda, hazırlanan ölçeğin iç tutarlılığını incelemek ve diğer bir güvenirlik kanıtı ortaya koyabilmek için, faktör analizi yapılarak son halini alan ölçeğin Cronbach Alpha iç tutarlılık katsayısı hesaplanmıştır. Ölçeğin Cronbach Alpha iç tutarlılık katsayısı 0.87 bulunmuştur. Bu katsayı literatürce iyi kabul edilen değerler içerisindedir. Literatürde.80 in üzerindeki değerler iyi olarak nitelenmektedir ( Alpar, 1998). Eleştiri ve Bilimsel Katkı 6: Araştırmacıların geçerlik ve güvenirlik kavramları ile ilgili açıklamaları anlaşılmaz bir haldedir. Özellikle Sosyal bilimlerde veri toplama aracı olarak geliştirilmek istenen ölçeklerde çoğunlukla kullanılan güvenirlik türü ise faktör analizidir. şeklindeki ifadeleri ile, bu karmaşa açıkça ortaya çıkmaktadır. Faktör analizi, bir güvenirlik türü değildir (Ayrıca, güvenirlikle ilgili olarak, bakınız, Mehrens ve Lehmann, 1991; Bademci, 2004; Bademci, 2007). Bunun dışında araştırmacılar faktör analizi yaptıklarını ifade etmelerine rağmen, açıklamalarının devamında temel bileşenler analizinden bahsetmektedirler. Araştırmacılar yaptıkları analizin tam olarak hangisi olduğunu belirtememişlerdir. Çünkü, faktör analizi ve temel bileşenler analizi iki farklı analiz olup, istatistiksel veri analizinde kullanılan bazı paket programlarda (örneğin, SPSS) Temel Bileşenler Analizi Faktör Analizi başlığı altında ele alındığı için sıklıkla birbirine karıştırılmaktadır (Tatlıdil, 1992, S. 143-144; Albayrak, 2006, S. 81). Araştırmacıların Sosyal bilimlerde veri toplama aracı olarak geliştirilmek istenen ölçeklerde çoğunlukla kullanılan güvenirlik türü ise faktör analizidir. şeklindeki hatalı ifadelerini aynen alıp kullanan araştırmacılar bulunmaktadır. Topkaya ve Yalın ın (2005) hatalı kullanımlarına benzer hatalı bir kullanım, Kılınç ve Salman ın (2007) tarafından ulusal hakemli bir dergi olan Gazi Eğitim Fakültesi Dergisi nde yayınlanmış olan Okul Deneyimi Derslerine Yönelik Tutum Ölçeği Geliştirilmesi isimli çalışmalarında da yapılmıştır ve üzerinde yorum yapılmadan aşağıda verilmiştir. 62 Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi
Örnek 7: Nuhoğlu ve Yalçın ın (2006) online ve hakemli bir dergi olan Türk Fen Eğitimi Dergisi nde yayınlanan Fizik Laboratuarı Çalışmalarında Öğrenme Halkası Modelinin Öğrenci Başarısına Etkisi isimli çalışmalarında kullandıkları ölçme araçları ve güvenirlik kestirmede kullandıkları yöntemler ve açıklamaları (sayfa 49-65). Eleştiri ve Bilimsel Katkı 7: Öncelikle kullanılan dil uygun görünmemektedir. İfadelerde farklı zamanlar kullanılmıştır. Bu çalışmada geliştirilen ölçme araçlarının hangi aşamalardan Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi 63
Bilimsel Araştırmalarda Yapılan Bazı İstatistiksel geçtiği bilgisi yer almamaktadır. Araştırmacıların dediği gibi.. oluşturulan tutum maddeleri çeşitli aşamalardan geçerek en son halini aldı şeklindeki bir açıklama son derece yetersiz bir açıklamadır. Özellikle araştırmacıların Güvenirlik, geçerlik çalışmaları yapılan sorular madde analizi ile de son halini aldıktan sonra deney ve kontrol grupları için uygulanabilecek hale getirildi. şeklindeki açıklamaları okuyucuya ölçek geliştirme çalışmaları hakkında doğru ve yeterli bir bilgi sunmamaktadır. Aksine, önce geçerlik ve güvenirlik çalışması, daha sonra madde analizi yapıldığı bilgisini vermektedir. Örnek 8: Harman ve Akın ın (2006) ulusal hakemli bir dergi olan Elektronik Sosyal Bilimler Dergisi nde yayınlanan Eğitim Fakültesi Öğrencilerinin Matematik dersinin Öğretim şekli Üzerine Bir Değerlendirme isimli çalışmalarında kullandıkları ölçme araçları ve geçerlik ve güvenirlik ile ilgili açıklamaları (sayfa 124-130). Eleştiri ve Bilimsel Katkı 8: Araştırmacılar bir madde havuzu oluşturduklarını ifade etmişler, ancak bu madde havuzunda kaç madde bulunduğunu belirtmemişlerdir. Araştırmacılar madde havuzundan toplam 20 maddeyi seçmişler ama maddelerin seçiminde nasıl bir yol izlediklerini açıklamamışlardır. Araştırmacılar güvenirlik katsayısı hesaplayarak geçerliğe ilişkin bir karara varmışlardır. Ancak geçerliğe ilişkin kararı neye dayalı olarak verdiklerini belirtmemişlerdir. Sonuç olarak araştırmacılar kullandıkları ölçme aracını nasıl geliştirdiklerine ilişkin yeterli bilgi sunmamışlardır. SONUÇ Arda (2003) araştırmacının, öncelikle araştırmanın yapılabilirliliği konusunda yeterince donanımlı (hem kuramsal bilgi ve hem de teknik olanaklar açısından) olup olmadığını sorgulaması gerekir demektedir. Özensiz ve disiplinsiz araştırma olarak nitelenen çalışmalarda genellikle donanım eksikliğinin payı önemli bir yer tutmaktadır. Söz konusu donanım eksikliği, yöntembilimsel yanlışlara yol açmaktadır. Bu gibi durumlarda, araştırmacı özünde iyi niyetli olsa bile ulaşacağı sonuçlar yanlış olacaktır ve yanlış bilimsel çalışmalar sonucu üretilen ürünlerin 64 Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi
ya da uygulamaya konan süreçlerin bireylere ve/veya topluma zarar vermesi gibi daha bir çok konuda olumsuz sonuçlar ortaya çıkabilecektir (Ongun, 2006, S. 89). Dolayısı ile bilim insanı araştırmaya başlamadan önce donanım eksikliklerini belirlemeli ve bunları gidermenin yollarını bulduktan sonra araştırmalarına başlamalıdır. Bu çalışmada, hakem kontrolünden geçtikten sonra yayınlanmış olan makalelerden alınan kesitler incelendiğinde, örnek olarak verilen çalışmaların disiplinsiz ya da özensiz çalışma olarak adlandırılabilecek çalışmalar olduklarını, araştırmacıların yeterli donanıma sahip olmadan araştırmalarına başladıklarını ve araştırma sonuçlarını yayınladıklarını, seçilen hakemlerin de yeterli ve gerekli donanıma sahip olmadıklarını söylemek mümkündür. İNCELENEN ARAŞTIRMALAR 1. Azar, A. ve R. Henden (2001) Alan Dışından Atanmanın İş Doyumuna Etkileri: Sınıf Öğretmenliği Örneği. Kuram ve Uygulamada Eğitim Bilimleri Dergisi, Cilt: 3, Sayı::2, SS. 323-349. http://web.ebscohost.com/ehost/pdf?vid=7&hid=120&sid=00d1fa22-c6fd-49f5-826a fcf5184c42be%40sessionmgr107 adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. 2. Azar, A. ve Ş. Karaali (2004) Fizik Öğretmenlerinin Hizmet İçi Eğitim İhtiyaçları Milli Eğitim Dergisi, Sayı: 162. http://yayim.meb.gov.tr/dergiler/162/azar-karaali.htm adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. 3. Azar, A. (2006) Lisede Seçilen Alan ve ÖSS Alan Puanları ile Çoklu Zekâ Profilleri Arasındaki. Kuram ve Uygulamada Eğitim Eğitim Yönetimi, Sayı::46, SS. 157-174. http://web.ebscohost.com/ehost/pdf?vid=5&hid=120&sid=00d1fa22-c6fd-49f5-826afcf5184c42be%40sessionmgr107 adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. 4. Azar, A., A.İ. Presley ve Ö. Balkaya (2006) Çoklu Zeka Kuramına Dayalı Öğretimin Öğrencilerin Başarı, Tutum, Hatırlama Ve Bilişsel Süreç Becerilerine Etkisi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. Sayı: 30, SS. 45-54. http://www.egitimdergisi.hacettepe.edu.tr/200630ali%20azar.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. 5. Morgil, İ. Cingör, N. Erökten, S., Yavuz, S. ve Özyalçın Oskay, Ö. (2004) Bilgisayar Destekli Kimya Eğitiminde Portfolyo Çalışmaları. The Turkish Online Journal Of Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi 65
Bilimsel Araştırmalarda Yapılan Bazı İstatistiksel Educational Technology Tojet. Cilt:3, Sayı:2, SS.105-118. http://www.tojet.net/volumes/v3i2.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. 6. Yürük, N. ve Ö.S. Çakır, (2000) Lise Öğrencilerinde Oksijenli ve Oksijensiz Solunum Konusunda Görülen Kavram Yanılgılarının Saptanması. H.Ü. Eğitim Fakültesi Dergisi. Sayı: 18, SS. 185-191. http://www.egitimdergisi.hacettepe.edu.tr/200018nejla%20y%c3%9cr%c3%9ck.pd f adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. 7. Doymuş, K., Ü. Şimşek ve S. Bayrakçeken (2004) İşbirlikçi Öğrenme Yönteminin Fen Bilgisi Dersinde Akademik Başarı ve Tutuma Etkisi. Türk Fen Eğitimi Dergisi. Cilt 1 Sayı: 2 SS.103-115, http://www.tused.org/internet/tufed/tufedmain.htm adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. 8. Yeşilyurt, M., T. Kurt ve A. Temur (2005) İlköğretim Fen Laboratuarı İçin Tutum Anketi Geliştirilmesi Ve Uygulanması Pamukkale Üniversitesi Eğitim Fakültesi Dergisi. Sayı: 16, SS. 104-114. http://egitimdergi.pamukkale.edu.tr/ adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. 9. Topkaya, E. Z. ve M. Yalın (2005) Uygulama Öğretmenliğine İlişkin Tutum Ölçeği Geliştirilmesi Eğitimde Kuram ve Uygulama, http://eku.comu.edu.tr/makaleler/2.html adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. 10. Kılınç, A. ve S. Salman ( 2007) Okul Deneyimi Derslerine Yönelik Tutum Ölçeği Geliştirilmesi. GÜ, Gazi Eğitim Fakültesi Dergisi. Cilt 27, Sayı: 1, SS. 23-35 http://www.gefad.gazi.edu.tr/2007-1/2007(1)/2.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. 11. Nuhoğlu, H. ve N. Yalçın (2006) Fizik Laboratuarı Çalışmalarında Öğrenme Halkası Modelinin Öğrenci Başarısına Etkisi Türk Fen Eğitimi Dergisi. Yıl: 3, Sayı: 2, SS. 49-65. http://www.tused.org/internet/tufed/tufedmain.htm adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. KAYNAKLAR 66 Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi
Aiken, L.R. (1991) Psychological Testing And Assesment. (7th Ed.), USA: Allyn and Bacon, Inc. Anastasi, A. (1982) Psychological Testing. (5th Ed.), New York: MacMillan Publishing Co., Inc. Arda, B., (2003). Bilimsel Bilgi Üretiminde Yayın Etiği. Sağlık Bilimlerinde Süreli Yayıncılık, I. Ulusal Sempozyumu. Ankara: TÜBİTAK, ULAKBİM. http://www.ulakbim.gov.tr/cabim/vt/uvt/tip/sempozyum1/barda.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Aydın, İ. (2006) Sosyal Bilimlerde Araştırmadan Yayına Etik Değerler. I. Ulusal Sosyal Bilimlerde, Süreli Yayıncılık Kurultayı Bildirileri, SS. 71-80. Ankara: TÜBİTAK, ULAKBİM, 2-3 Kasım www.ulakbim.gov.tr/cabim/vt/uvt/sbvt/kurultay1.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Bademci, V. (2004). Testin Güvenirliği veya Test Güvenilirdir Diye İfade Etmek Doğru Değildir. Türk Eğitim Bilimleri Dergisi, Cilt 2, Sayı:3, SS. 367 372. Bademci, V. (2005a). Araştırmalarda Ölçme ile İlgili Bazı Büyük Hataları Düzeltmek ve Bir Reformu Başlatmak: Güvenirlik, Testlerin Bir Özelliği Değildir. Eğitim Fakültelerinde Yeniden Yapılandırmanın Sonuçları ve Öğretmen Yetiştirme Sempozyumunda Sunulan Bildiri. Ankara: Gazi Üniversitesi, Gazi Eğitim Fakültesi, 22-23-24 Eylül. Bademci, V. (2005b). Testler Güvenilir Değildir: Ölçüm Güvenirliğine Yeterli Dikkat ve Güvenirlik Çalışmaları İçin Örneklem Büyüklüğü. Gazi Üniversitesi Endüstriyel Sanatlar Eğitim Fakültesi Dergisi, Sayı: 17, SS. 33-45. http://www.esef.gazi.edu.tr/html/yayinlar/17_pdf/17_c.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Bademci, V. (2005c). Hakemlerin Değerlendirmelerindeki Hatalar Üzerine: Fisher in Z Dönüşümü ve Güvenirlik Çalışmaları İçin Örneklem Büyüklüğü. Gazi Üniversitesi Endüstriyel Sanatlar Eğitim Fakültesi Dergisi, Sayı: 17, SS. 46-75. http://www.esef.gazi.edu.tr/html/yayinlar/17_pdf/17_d.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi 67
Bilimsel Araştırmalarda Yapılan Bazı İstatistiksel Bademci, V. (2006a). Güvenirliği Doğru Anlamak ve Bazı Klişeleri Yıkmak: Bilinenlerin Aksine, Cronbach ın Alfa Katsayısı, Negatif ve 1 den Küçük Olabilir. İnönü Üniversitesi Eğitim Fakültesi Dergisi, Cilt: 7, Sayı: 12, SS. 3-26. http://web.inonu.edu.tr/~efdergi/arsiv/bademci.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Bademci, V. (2006b). Tartışmayı Sonlandırmak: Cronbach ın Alfa Katsayısı, İki Değerli [0,1] Ölçümlenmiş Maddeler ile Kullanılabilir. Kazım Karabekir Eğitim Fakültesi Dergisi, Sayı: 13, SS. 438-446. Bademci, V. (2007). Ölçme ve Araştırma Yöntembiliminde Paradigma Değişikliği: Testler Güvenilir Değildir. Ankara: Yenyap Yayınları. Creswell, J.W. (2002). Educational Research: Planning, Conducting, and Evaluating, Quantitive and Qualitative Research Upper Saddle River, New Jersey: Merrill Prentice Hall, S: 329 Crocker, L. ve Algina, J. (1986). Introduction to Classical and Modern Test Theory Fort Worth: Holt, Rinehart and Winston. Ecevit, M.C. (2006) Bilimsel Pratikte Etik Sorunların Toplumsal Birkaç Yönü. I. Ulusal Sosyal Bilimlerde Süreli Yayıncılık Kurultayı Bildirileri, SS. 81-87. Ankara: TÜBİTAK, ULAKBİM. 2-3 Kasım. www.ulakbim.gov.tr/cabim/vt/uvt/sbvt/kurultay1.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Kansu, E. ve Ş. Ruacan (2002) Bilimsel Yanıltmanın Günümüzdeki Durumu: Türleri, Nedenleri, Önlenmesi ve Cezalandırılması. Türk Kardiyoloji Derneği Arşivi. Sayı: 30, SS. 762-767. http://www.tkd.org.tr/pages.asp?pg=:dergi/dergi_content&plng=tur&id=1135&dosya=10 7 adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Leedy, P.D. (1993). Practical Research: Planning and Design, (Fifth ed.), New York: MacMillan Publising Company. Mehrens, W. A. ve Lehmann, I. J. (1991). Measurement and Evaluation in Education and Psychology (Fourth Edition), Fort Worth: Harcourt Brace. 68 Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi
Ongun, T. (2006) Araştırma ve Yayın Etiği. Sosyal Bilimlerde Süreli Yayıncılık I. Ulusal Kurultay Bildirileri. SS. 89-93. Ankara: TÜBİTAK, ULAKBİM. 2-3 Kasım. www.ulakbim.gov.tr/cabim/vt/uvt/sbvt/kurultay1.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Oğuz, N.Y. (1999) Bilimsel Yayın Etiği. Klinik Psikiyatri. Sayı: 2, SS. 153-159. http://www.klinikpsikiyatri.org/pdf/4/2/153.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Özgüven, İ.E. (1994) Psikolojik Testler Ankara: Yeni Doğuş Matbaası. Ruacan, Ş. (2003) Bilimsel Araştırma ve Yayınlarda Etik İlkeler. Sağlık Bilimlerinde Süreli Yayıncılık, I. Ulusal Sempozyumu. Ankara: TÜBİTAK, ULAKBİM http://www.ulakbim.gov.tr/cabim/vt/uvt/tip/sempozyum1/sruacan2.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Töreci, K. (2004) Yayın Etiği ANKEM Dergisi, Cilt: 18, Sayı: 1, SS. 67-88. www.ankemdernegi.org/?dp=published&id=17-10k adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Uzbay, T. (2006) Bilimsel Araştırma Etiği. Sağlık Bilimlerinde Süreli Yayıncılık, 4. Ulusal Sempozyumu. SS. 19-26. Ankara: TÜBİTAK, ULAKBİM. 17 Kasım. http://www.ulakbim.gov.tr/cabim/vt/uvt/tip/sempozyum4/page19-26.pdf adresinden son olarak 01 Aralık 2007 tarihinde indirilmiştir. Worthen, B. R., White, K. R., Fan, X ve Sudweeks, R. S. (1999). Measurement and Assessment in Schools. (Second Edition), New York: Longman. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi 69