Yokluk Hipotezi Anlamlılık Testi ve Etki Büyüklüğü Tartışmalarının Psikoloji Araştırmalarına Yansımaları

Transkript

1 Yokluk Hipotezi Anlamlılık Testi ve Etki Büyüklüğü Tartışmalarının Psikoloji Araştırmalarına Yansımaları İdil Işık* Psikoloji araştırmalarında nicel verinin analizi için kullanılan istatistiksel testlerin temel mantığı Yokluk Hipotezi Anlamlılık Testi (Null Hypothesis Significance Testing- NHST 1 ) üzerine kuruludur. Ancak bir karar verme sistematiği olarak NHST, pek çok araştırmacı tarafından yıllardır ciddi şekilde eleştirilmektedir (örn., Cohen, 1994; Gigerenzer, 1998a ; Rosnow ve Rosenthal, 1989; Thompson, 1999). Psikoloji araştırma yöntemleri ve istatistiksel analiz konularında, lisans ve lisansüstü eğitiminde NHST temel öğretilerden birisidir. Pek çok psikoloji öğrencisi için NHST şu sürecin işlemesine neden olur: Veriye ve hipoteze uygun istatistiksel analizi yap; istatistik test değeri ile birlikte ortaya çıkan p değerine bak; sonucun sıfır nokta sıfır beş ten 2 küçük olup olmadığına bak; küçük ise istatistiksel olarak anlamlıdır. Sonuç anlamlı ise, değişkenler arasında bir ilişki vardır ya da bağımlı değişken açısından gruplar arasında fark vardır ve sevinç hissedilir; eğer sonuç anlamlı değil ise, genelde ben şimdi ne yapacağım? düşüncesi ve hayal kırıklığı belirir. Sadece öğrenciler değil, deneyimli araştırmacılar da benzer bir yaklaşım ile veri analizi yapabilmektedir (Gigerenzer, 2004). Bu süreç istatistik test değerinden ziyade p değerine odaklanılmasına neden olur ve iki değişken arasındaki ilişkinin büyüklüğü hakkında fazla kafa yormadan, çoğu zaman da aslında istatistiksel anlamlılığın gerçekten bize ne söylediğini kesin olarak kavramadan sürüp gidebilir. NHST yi eleştiren literatür, psikoloji araştırmaları sonucunda elde edilen bulguların sunduğu bilgiyi kavramak için bu mekanik sürecin dışına çıkılması gerektiğini söylemektedir. Bu alanda basılı önemli eserlerden birisinin yazarı olan Kline nin söylediği gibi bu yöntem alışıldığı şekilde ve üzerinde fazla dü- * İstanbul Bilgi Üniversitesi Psikoloji Bölümü 1 Bu makaleye konu olan ana kavramlar için, İngilizce literatürde aşina olduğumuz NHST, ES, CI kısaltmalarını kullanmayı tercih ettim. 2 Özellikle lisans öğrencileri arasında %5 kesme değeri için kullanılan söylem yaygın olarak budur. Öğretim ortamlarında kimi öğrencilerin bu ifadeyi tam anlamlandıramadan kullandığını gözlemleyebiliyoruz.

2 56 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN 2014 şünmeksizin kullanılmaktadır (kişisel iletişim, 2013) 3. Bunun dışına çıkmak için veri analizinde, p değeri yanında, istatistik test değerinin büyüklüğüne (t, F, r vb.) bakılması; istatistiksel güç (Statistical Power), etki büyüklüğü (Effect Size-ES) ve güven aralığı (Confidence Interval-CI) gibi ek değerlerin incelenmesi önerilmektedir. NHST konusunda çok geniş uluslararası eleştirel literatür mevcut olmasına rağmen, araştırma bulgularının raporlamasında ağırlık halen istatistiksel anlamlılık üzerindedir. Ancak farklı disiplinlerden ve ülkelerden araştırmacıların, NHST tartışmalarını kendi alanlarına entegre etmeye çalıştıkları, bu amaçla NHST konusunu temel alan teorik makaleler yayımladıkları görülmektedir. Bu girişimler neticesinde, özellikle ES ve CI raporlaması konusunda zaman içinde gelişme kaydedilmektedir. Önümüzdeki günlerde bu konunun daha fazla sayıda araştırmacının dikkatini çekeceği de anlaşılmaktadır. Örneğin, anlamlılık testi tartışmalarına işaret eden NHST kısaltmasının yanında EST (Effect Size Testing; etki büyüklüğü analizi) kısaltmasının da karşımıza çıkması bu eğilimin bir işaretidir (Cortina ve Landis, 2011). Uluslararası literatürde NHST ye dair kapsamlı tartışmalar sürerken, ülkemizde araştırma bulgularını istatistiksel anlamlılığının ötesinde ve olguları açıklayıcı gücü açısından irdeleyen psikoloji bilimi özelinde yeterli bir tartışma ortamının olmadığını söyleyebiliriz. Psikoloji alanındaki araştırmaların basılabileceği yerel akademik dergiler kısıtlıdır; bunlarda da etki büyüklüklerinin raporlanmasına dair ortak bir politikadan bahsedemeyiz. Türk Psikoloji Dergisi yazım kurallarına göre, derginin Haziran 2013 tarihli, 71. Sayısında da belirtildiği gibi Tüm yazılar Amerikan Psikologlar Birliği tarafından yayımlanan Publication Manual of American Psychological Association 4 (5. Baskı), 2001 adlı kitapta belirtilen yazım ilkelerine uygun olarak yazılmalıdır. (s. 120). APA, NHST tartışmalarının sonucunda, araştırmaların bilimsel katkısını arttırmak için bulguların raporlamasında esas alınacak ilkeleri zaman içinde değiştirmiş; örneğin, etki büyüklüğünü raporlama gereği altıncı basımda (2010) kesinlik kazanmıştır. Dolayısıyla TPD nin APA yazım rehberinin 5. Basımını (2001) rehber olarak kullanmaya devam etmesi, güncel gelişmelerin yeni yayınlara aktarılmasında yönlendirme eksikliğine neden olmaktadır. Ayrıca, TPD yazım kurallarına göre etki düzeyinin raporlanmasının gerekli olduğu, Sıklıkla kullanılan istatistiksel teknikler, metin içinde rapor edilirken aşağıda belirtilen şekilde olmalıdır: Varyans analizi:...yaş değişkeninin temel etkisi anlamlıdır (F(1,123) = 5.43, p <.05, η 2 =.05) ifadesinde, sıklıkla kullanılan bir etki büyüklüğü ölçütü olan eta-kare (η 2 =.05) teriminden anlaşılmaktadır (TPD, 2013, s. 20). Ancak burada sadece ANOVA testi için örnek verilmesi, ancak bu terimin ne olduğunun açıklanmaması, araştırmacıların diğer istatistik analizlerine ve raporlarına etki düzeyi bakışını yerleştirmeleri açısından bir yönlendirme sağlamamaktadır. NHST eleştirel yazınının araştırmalara yansıma sürecini incelediğimizde, meta-analiz çalışmalarının araştırmacıların p değerine odaklanarak çalışma eğilimini değiştirmek için bir tetikleyici olduğu görülmektedir. Ülkemizde psikolojinin çeşitli araştırma alanlarında basılı meta-analiz çalışmalarına da nadiren rastlanmaktadır. ULAKBIM sosyal bilimler veritabanında meta analiz anahtar kelimesi ile tarama yapıldığında 29 adet eser listelenmektedir 5. Bunlardan 14 tanesi ilgili araştırma alanındaki mevcut araştırmaların harmanlandığı meta analiz çalışmalarıdır; iki makale meta analiz teknikleri ile ilgilidir. Ampirik meta analiz araştırmalarından 10 tanesi eğitim bilimleri alanıyla ilgili dergilerde yayımlanmıştır. Geri kalan dört çalışma Polis Bilimleri Dergi- 3 Bu makalede Rex B. Kline den yapılan ve tırnak içinde verilen alıntılar, kendisi ile yaptığım yüz yüze görüşmeden alınmıştır. Rex B. Kline ile İstanbul da 9 Temmuz 2013 tarihinde NHST hakkında yüz yüze yarı yapılandırılmış mülakat yaptım; yaklaşık 1.30 saat süren görüşmenin ses kaydını yaptım. Görüşmeyi deşifre ettikten sonra kendisi ile paylaştım ve bu makalede görüşlerine yer vermek üzere bilgilendirilmiş onayını aldım. Bu görüşmeden alıntılar, metin içinde ilk kez kişisel iletişim olarak verildikten sonra, metinde okuma kolaylığı yaratmak için k.i., 2013 olarak verilmiştir. 4 Bu eser makalenin kalan kısmında APA yazım rehberi adıyla verilecektir tarihinde yaptığım tarama sonucudur.

3 si, Çocuk ve Gençlik Ruh Sağlığı Dergisi, Dokuz Eylül Üniversitesi İşletme Fakültesi Dergisi ve İstanbul Üniversitesi İşletme Fakültesi İşletme Dergisi nde yayımlanan makalelerdir. Bu meta analiz eserlerinin ilgilendiği konular farklı hedef kitlelerdeki psikolojik süreçlere işaret etmekle birlikte, Türk Psikoloji Yazıları ya da Türk Psikoloji Dergisi nde meta analiz çalışmasına rastlanmamış olması, psikoloji alanında etki büyüklüklerini harmanlayan bilginin eksik kaldığına işaret ediyor. Ülkemizdeki psikoloji yazınında var olduğunu düşündüğüm bu eksikliklerden yola çıkarak bu makalede amacım, NHST nin ne olduğunu, NHST sistematiği ile araştırmacının hangi bilgilere ulaşabildiğini ya da ulaşamadığını, bu sistematiğin hangi yönlerden eleştirildiğini ve NHST nin eksiklikleri ile başa çıkmak için atılması gereken adımların neler olduğunu özetlemektir. Bu çerçevede takip eden bölümlerde mevcut literatürü özetledikten sonra, bu makale için Türk Psikoloji Dergisi nde yayımlanan makaleler üzerinde yaptığım sistematik taramaya dayalı gözlemlerimi sunacağım ve NHST tartışmalarının ülkemizdeki araştırmalara entegre edilmesi için yapılabilecekler konusunda öneriler getireceğim. NHST İkili Karar Sistematiği Yokluk Hipotezi Anlamlılık Testi ne göre, yokluk hipotezinde (H 0 ), ilgilendiğimiz değişkenler arasında anlamlı bir ilişki olmadığını ya da bağımsız değişkenin oluşturduğu alt gruplarda bağımlı değişken açısından farklılık olmadığını iddia etmekteyiz. Yokluk hipotezine alternatif olarak ortaya attığımız hipotezde (H 1 ) ise, anlamlı ilişki ya da farklılık olduğunu tahmin etmekteyiz. Bu modele göre, bu iki hipotezden birisini reddederken, yapılan hata düzeyi, araştırmanın sonunda ulaşacağımız yargıyı belirler. Bu karar sırasında, iki temel hata yapmamız mümkündür. Yokluk hipotezi doğru iken reddedebiliriz (Hata Tipi I) ya da yokluk hipotezi yanlış iken reddetmeyebiliriz (Hata Tipi II). I.Tip hata, istatistiksel anlamlılık düzeyi ile ilgilidir. Eğer araştırmacı, yokluk hipotezini reddederken hata olasılığı %5 ten fazla ise yokluk hipotezini desteklemiş oluruz; dolayısıyla fark olduğunu iddia ettiğimiz alternatif hipotezi devre dışı bırakmaktayız (Tablo 1). Araştırma geleneğinde, araştırmacılar I. Tip hatanın ortadan kaldırılmasını daha fazla önemsemektedir; çünkü bu hata türünde araştırmacı var olmayan bir etkinin var olduğunu iddia ederek, bazı araştırmacıların belirttiği gibi kolayca aldatılabilen kişi durumuna düşmekte (gullibility, Rosenthal ve Rosnow, 2008) ya da kusurlu (error of commission) bir davranış sergilemektedir (Ellis, 2010). Bu sebeple araştırmacıların yöntem eğitiminde bu hataya daha fazla atıf vardır. Tablo 1. NHST Karar sistematiği ve hata türleri ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN H 0 hipotezini Reddet H 0 Doğru Hata Tipi I (Alfa) Kabul edilebilir en yüksek hata düzeyi:.05 H 0 Yanlış İsabetli karar (1-Beta) İstatistiksel Güç H 0 hipotezini Reddetme İsabetli karar (1-alfa) Hata Tipi II (Beta) Kabul edilebilir en yüksek hata düzeyi:.20

4 58 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN 2014 II.Tip hata ise, iki değişken arasındaki nedensel ya da korelatif bir bağ bulunmasına rağmen, bu ilişkinin var olmadığı yönünde bir karar verildiğini gösterir. Körlük (Rosenthal ve Rosnow, 2008) ya da ihmal (error of omission; Ellis, 2010) olarak isimlendirilen bu hatanın en fazla %20 düzeyinde olması kabul edilebilir (Cohen, 1988). Bu hata türü, araştırmada bir etki var iken, mevcut araştırma örneklemi ve tasarımı ile ne düzeyde gözden kaçırılabildiğine dair bilgi vermektedir. Görüldüğü gibi, NHST iki hipotez üzerine kuruludur; bu hipotezlerden birisi doğru olduğunda, diğeri doğru olamaz. Veriyi analiz etmek için kullanılan istatistik testleri, örneklemden elde edilen değer ile H 0 hipotezinde tanımlanan evrene dair parametre arasındaki farkı, örneklemden kaynaklanan hatayı dikkate alarak hesaplar. Araştırmacı iki hipotez arasında seçim yaparken ortaya çıkma olasılığı olan iki farklı hatadan kaçınmak durumundadır. İşte NHST nin bu ikili yapısı içinde karşımıza çıkan istatistiksel anlamlılık ve istatistiksel güç olgularını takip eden bölümde daha detaylı açıklayacağım. Ayrıca NHST sistematiğine dair eleştirilere geçmeden önce, etki büyüklüğü olgusunun ne olduğuna da kısaca değineceğim, çünkü etki büyüklüğünün anlaşılmasının NHST nin eleştirilen yönlerini kavramak açısından yardımcı olacağını düşünüyorum. İstatistiksel Anlamlılık İstatistiksel anlamlılık önceki bölümde belirtilen hatalardan birincisi ile ilgilidir; burada alfa ve p değeri olmak üzere iki kavram gündeme gelmektedir 6 (Gigerenzer, 2004). Alfa, I. Tip hatayı sergileme olasılığıdır; yani H 0 doğru kabul edilecek olursa, H 0 hipotezinin reddedilmesinin koşullu olasılığıdır. Bu koşullu olasılık araştırmanın aynı evrenden örneklemlerle tekrarlanması halinde ortaya çıkabilecek hata düzeyidir. Standart bir değer olarak genelde 0.01 ya da 0.05 olarak seçilir. Eğer farklı bir değer seçilecek olursa genellikle 0.05 ten daha düşük olan değerler seçilir. Alfa değeri, analizler yapılmadan seçilen kıstastır. p değeri ise H 0 hipotezinin doğru olduğu koşul kabul edilerek, aynı araştırmanın tekrarlanması halinde, gözlenen test değeri ve daha uç bir değerin ortaya çıkma olasılığını gösterir. Bu olasılık da H 0 hipotezinin doğru olduğu sayıltısı 7 altında hesaplandığı için, koşullu olasılık düzeyidir. Gözlenen olasılık değeri olarak p, Gigerenzer in (1993, 2004) de isimlendirdiği gibi anlamlılığın tam seviyesi dir. NHST sürecinde, p değerinin alfa değerinden düşük olmasını bekleriz. Yani, I. Tip hatanın replikasyonlarda ortaya çıkması beklenen en yüksek düzeyini gösteren alfa değerinin, gerçek veriden elde edilen gözlenen bulgunun replikasyonlarda ortaya çıkma olasılığını gösteren p değeri ile karşılaştırılması istatistiksel anlamlığa dair çıkarım imkânı verir. NHST eleştirel literatürüne katkıda bulunan yazarlar, alfa ve p değerinin sıklıkla karıştırıldığını söylemektedir (Hubbard, 2004; Mulaik, Raju ve Harshman, 1997). Bunun neticesinde istatistiksel anlamlılığın ne olduğuna dair pek çok yanlış tanımın ortaya çıktığını ve bu yanlış anlamaların öğrenciler, deneyimli araştırmacılar ve hatta istatistik ve yöntem dersi veren öğretim üyeleri arasında dahi görüldüğünü söylemektedir. Bu konuyla ilgili olarak ilerleyen bölümlerde daha fazla bilgi vereceğim. Dolayısıyla, p<.05 olması halinde, istatistiksel anlamlılık şuna işaret eder: Aynı araştırmanın, benzer özelliklerdeki örneklemlerde tekrarlanması halinde, elde edilen ilişki ya da farka ilişkin istatistik test değerlerinin %5 inden daha azı, gözlenen bulgular- 6 Alfa ve p değeri olasılık değeri olarak iki temel teorik yaklaşıma dayalıdır: (1) H 0 hipotezinin doğru olduğu sayıltısı altında hesaplanan, koşullu olasılık düzeyleridir. (2) Sıklıkçı (frequentist) istatistiksel kestirime dayalıdır; yani, tekrarlı random denemeler sonucunda bir çıkarıma varılabilir ve ilgilenilen olgunun bu tekrarlarda ne sıklıkla gözlendiği, olgunun olasılığını verir. 7 Sayıltı: İngilizce Assumption kelimesi için ön kabul anlamında kullanılmaktadır.

5 dan daha uçlarda (düşük ya da yüksek) bir sonuç verecektir. Bu sonuç elde edildiğinde H 0 reddedilir ve alternatif hipotez için destek elde edilmiş olur. Görüldüğü gibi istatistiksel anlamlılığın ne olduğunu açıklamaya çalışırken gözlenen ilişki ya da farkın ne düzeyde olduğuna dair atıf yer almadı. Tek vurgu I. Tip hatanın ve gözlenen bulgunun ortaya çıkma olasılığıdır. Oysa araştırmacıların esas amacı, ilgilendiği araştırma sorusunun içinde yer alan değişkenler arasında ne tür bağıntılar olduğu ve bu bağıntıların ne kadar güçlü olduğunu anlamak ve açıklamaktır. Yani etki büyüklüğünü anlamaktır; ancak istatistiksel anlamlılık bu konuda bilgi vermez. Daha da ötesinde NHST deki p değeri vurgusu esasen ilişkilerin önemsenecek düzeyde olup olmadığı sorusundan da araştırmacıları uzaklaştırmaktadır. İstatistiksel Güç ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN İki değişken arasında korelasyonel ya da nedensel bir ilişki, dolayısıyla bir etki var olmasına rağmen, yapılan araştırma sonucunda bu etki fark edilemeyebilir. Daha önceki bölümde de bahsedildiği gibi bu hata II.Tip hata türüdür ve beta değeri olarak bilinmektedir. Bunun tamamlayıcısı olan doğru karar, yani 1-beta ise, bir etkinin doğru şekilde tespit edilebilme ihtimalini vermektedir ki bu da İstatistiksel Güç olarak isimlendirilmektedir. İşte, eleştirel literatür, araştırmacıların bulgularını istatistiksel güç açısından da yorumlaması gerektiğini söylemektedir. Yani araştırmamızda eğer bir etki var ise, yaptığımız ölçüm ya da inceleme, bu etkinin varlığını tespit etmek ve göstermek açısından ne kadar güce sahiptir sorusuna cevap bulunmalıdır. Araştırmanın istatistiksel gücünün düşük olması, örneklemden hareketle evrene dair hatalı çıkarımlar yapılmasına neden olmaktadır. Bir analizin istatistiksel gücünü şu faktörler belirlemektedir ve bir analizin gücü bu dört unsur yüksek olduğunda en yüksek düzeye ulaşır (Ellis, 2010; Murphy ve Myors, 2004): (a) Araştırmanın ölçüm araçlarının ve tasarımının bir etkiyi tespit etmekteki hassasiyet düzeyi: Geçerliliği yüksek ölçüm araçları ve karıştırıcı değişkenlerden kaynaklanan istenmeyen varyansın en aza indirildiği araştırma tasarımları ölçüm hassasiyetini yükseltecektir; böylelikle istatistiksel güç artacaktır. (b) Var olan etkinin büyüklüğü: Gerçek yaşamda var olan etki büyük ise istatistik testler tarafından da kolaylıkla tespit edilecektir. (c) Örneklem büyüklüğü: Örneklemin büyük olması, evrene ilişkin daha doğru kestirim yapılmasını sağlar; dolayısıyla, analizin etkiyi tespit etmesini sağlayan hassasiyeti de yükselecektir. Geniş örneklem, istatistik testlerin gücünü de yükseltmektedir. Araştırmanın örneklemi büyüdükçe, istatistik test değeri büyüyecek, p değeri küçülecektir. (d) H 0 hipotezinin reddedilmesi için konulan kesme değerinin ne kadar tutucu olduğu: H 0 hipotezinin reddedilmesi için seçilen p değeri çok tutucu olmadığında, yani %5 ve daha büyük olduğunda, testin istatistik gücü de yükselmektedir. p değerinin %5 ten daha düşük olması etkinin tespitini zorlaştırmaktadır. Bu sebeple araştırmacı, araştırma sorusunun gereklerine göre farklı bir alfa değeri seçebilmelidir. Örneğin, etki düzeyi ve bu etkiyi tespit etme hassasiyeti yüksek deneysel tasarım kullanan bir araştırmacı alfa değerini %5 seçmek zorunda olmamalıdır. Sonuç olarak, istatistiksel güç kavramı, araştırmacıların NHST mantığı içinde sadece I. Tip hataya odaklanarak, mekanik bir şekilde H 0 hipotezini destekle ya da reddet kararına sıkışmasının önüne geçmektedir. Çünkü araştırmacı, ilgilendiği olgular arasındaki etkinin büyüklüğünün taşıdığı önem, bu etkiyi tespit edebilmek için kullandığı araçlar ve araştırma tasarımının hassasiyeti, gereken örneklem büyüklüğü ve standart p değerleri yerine araştırmanın gerektirdiği bir p değerini bilinçli şekilde seçmek durumundadır. Yani bu süreçte araştırmacılar, tek bir p değeri üzerinden mekanikle-

6 60 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN 2014 şen bir karar yerine, analitik ve aktif bir rol üstlenmeye başlayacaktır. Etki Büyüklüğü Etki büyüklüğü, incelediğimiz olgu çerçevesinde, değişkenler arasındaki korelasyonel ya da kestirimsel ilişkinin ne kadar kuvvetli olduğunu gösteren standart ölçüttür (Kelley ve Preacher, 2012; Murphy ve Myors, 2004). İstatistiksel anlamlılığın daha önceki bölümlerde detaylı şekilde verilen tanımından yola çıktığımızda, p değerinin ilgilendiğimiz olguyla ilgili değişkenler arasında gözlenen bağların gücü ve önemi konusunda bilgi vermediğini biliyoruz. İşte NHST ye eleştirel yaklaşan araştırmacılar bu kısıttan yola çıkarak ek bir ölçüt ile elde edilen bulgunun ne düzeyde önemsenmesi gerektiği hakkında fikir elde etme çabasına girmiştir; araştırmacıları da bu yönde teşvik etmektedirler (Fritz, Scherndl ve Kühberger, 2013). Yani istatistiksel anlamlılığa sahip olan bir korelasyon ya da farkın büyüklüğü, iki değişken arasındaki etki hakkında ne söylemektedir? Etki büyüklüğü bu sorunun cevabını veren standart bir değerdir (Murphy ve Myors, 2004). NHST ELEŞTİRİLERİ Fark edildiği gibi önceki bölümde NHST karar sistematiği içinde yer alan ana kavramları tanıtırken dahi, istatistiksel anlamlılığın eleştirilen yönleri ile istatistiksel güç hesaplamalarının NHST nin kısıtlılıkları ile başa çıkmak için katkısından bahsetmek durumunda kaldım. Bu bölümde, NHST eleştirilerini daha sistematik şekilde özetleyeceğim. Takip eden bölüm ise bu sorunlarla başa çıkmak için sunulan öneriler üzerine odaklanacak. 1. NHST nin bir model olarak taşıdığı sorunlar NHST nin karmaşık yapısı, bunun sonucu olarak mekanik bir araç olarak kurgulanması, modelde iki farklı hata olasılığı söz konusu iken I.Tip hataya vurgu olması, örneklem genişliğinden etkilenmesi ve istatistiksel kestirim açısından katkı sağlamaması, NHST nin bir model olarak sorunlu yönleridir. a. NHST nin araştırmacıları mekanik karar vermeye iten yapısı NHST nin mekanik yapısına dair eleştirileri NHST nin tarihçesinden yola çıkarak tartışabiliriz. Harlow, Mulaik ve Steiger (1997), NHST nin güncel kullanımının, R. Fisher in 1920 li yıllardaki yaklaşımı (Robinson ve Wainer, 2001) ile 1930 lu yıllarda J. Neyman ve E. S. Pearson un ortaya attığı görüşlerin hibrid şekli olduğunu söyler. Fisher modeli (p modeli), sadece yokluk hipotezini ortaya atar, alternatif hipotez yoktur (Morgan, 2003). Yokluk hipotezinin altında, verinin koşullu olasılığıyla ilgili bir tahmin yapmaya çalışır ve istatistik test sonucunda ortaya çıkan olasılığı p değeri olarak isimlendirir. Bugün geleneksel olarak Fisher e atfedilen 0.05 ve 0.01 anlamlılık düzeylerinin bütün çalışmalarda kullanılması gerektiği konusunda aslında Fisher in bir yönlendirmesi olmadığı söylenmektedir (Inman,1994; Kline, 2004). Bu değerin alfa değeri olarak vurgulanışı, tüm araştırmalar için karar kriteri olarak kabul edilişi ve modele alternatif hipotezin eklenişi Neyman-Pearson yaklaşımının sonucudur (Hubbard, 2004; Hubbard ve Armstrong, 2006). Hubbard ve Ryan (2000), tarihleri arasında, istatistiksel analizlerin kullanımının yaygınlaştığını ve NHST nin standart bir prosedür olarak yerleştiğini söylemektedir. Bu standartlaşma kestirim süreçlerindeki öznel yargıları ortadan kaldırmak açısından yararlı olmakla birlikte, NHST araştırmacılar tarafından ikili (dichotomous) karar aracı olarak giderek mekanikleşerek kullanılmaya başlanmış ve 1970 lerden iti-

7 baren özellikle bu yönüyle eleştirilmeye başlanmıştır. Bu bilgiler ışığında NHST karar sistematiği sürecinde araştırmacıların mekanikleşen yaklaşımlarının şu aşamaların hepsinde olduğunu söyleyebilirim: (a) I. Tip hata düzeyinin en fazla %5 olarak seçilmesi; (b) istatistik testlerin, bir analizin gerektirdiği koşullara (temel sayıltılar) bakılmaksızın kullanılması; (c) elde edilen test istatistik değerinin büyüklüğüne bakmadan sadece p değeri nin %5 ten büyük ya da küçük oluşuna göre istatistiksel anlamlılık ile ilgili karar verilmesi, (d) bu kararın H 0 hipotezini red ya da kabul ilkesi ile rapor edilmesi; (e) bu bulgunun taşıdığı anlam hakkında derinlemesine ve analitik bir değerlendirme yapılmaması. Bu sürecin ürünü olan makalelere bakıldığında, ifadelerin ve sayısal değerlerin adeta bir şablona yerleştirilerek yazıldığı hissi uyanmaktadır. Gigerenzer (2004) bunu yokluk ritueli (null ritual, s. 588) olarak isimlendirmektedir. b. NHST nin Tip I hatasına ağırlık vermesi ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN İstatistiksel Güç bölümünde de belirtildiği gibi, NHST karar sistematiğinde II.Tip karar hatası ve bu karardan kaçınma seviyesini veren güç olgusu modelin temel yapı taşları arasındadır. Ancak lisans ve lisansüstü eğitimde izlenen araştırma yöntemleri, istatistik ve veri analizi öğretim teknikleri ağırlıklı olarak I.Tip hataya vurgu yapmaktadır. Örneğin, sosyal bilimlerde yaygın olarak kullanılan istatistik programı SPSS son yıllara kadar istatistik güç hesaplamasını kapsam içine almamıştır; bugün ise belli başlı istatistik analiz teknikleri için gözlenen güç hesaplamaları yapılabilmektedir. Tüm bunlar, araştırmacıların da temel kaygısının I.Tip hataya yoğunlaşmasına neden olmaktadır (Nickerson, 2000). c. NHST nin örneklem genişliğinden etkilenmesi ve etki büyüklüğü ile ilgili yanılsamaya neden olması Daha önce de belirtildiği gibi NHST sistematiğinde, eğer örneklem geniş ise küçük bir etki dahi istatistiksel anlamlılık gösterecektir. İstatistiksel anlamlılık düzeyini 8, etkinin büyüklüğü ile örneklemin büyüklüğü belirler (Rosenthal ve Rosnow, 2008). Örneklem büyüdükçe istatistiksel anlamlılık da büyüyecektir; bu etki büyüklüğü sıfır olmadığı sürece doğrudur. Örneğin, geniş örneklemlerle çalışan kamuoyu yoklamaları ya da epidemiyoloji araştırmalarında her türlü sonuç anlamlı çıkmaktadır (Nickerson, 2000). Küçük örneklemlerle yapılan çalışmalarda aynı büyüklükteki bir etki ise istatistiksel olarak anlamlı çıkmayacaktır. Özellikle araştırma tasarımı ve ölçüm araçlarının doğru seçilmesi ile gerekli deneysel kontrollerin sağlandığı küçük örneklemli deneysel çalışmalarda etkinin büyük olduğunun gözlenmesine rağmen, bulgunun istatistiksel anlamlılık vermediği için önemsenmemesi araştırmacıların sıklıkla yaptığı hatalardan birisidir. Burada NHST eleştirilerinin odak noktalarından birisi ortaya çıkmaktadır. Küçük örnekleme sahip ve tutucu p değerini tercih eden araştırmaların istatistiksel gücü de düşüktür; dolayısıyla, küçük de olsa var olan bir etkinin var olmadığı kararı verilecektir. Oysaki küçük bir etkinin pratik ve klinik anlamlılığı yüksek olabilir. d. Yokluk hipotezinin evrende her zaman yanlış olduğu gerçeğinin göz ardı edilmesi Aslında iki değişken arasındaki ilişki ve fark düzeyinin sıfır olması neredeyse imkânsızdır (Nickerson, 2000); yani H 0 gerçek hayat ve insanla ilişkili olgular için her zaman yanlıştır. Bu sebeple iki değişkenin birbiriyle ilişkisi her durumda sıfırdan daha büyük olacaktır. Araştırmalarda, bireysel ve gruplar arası farklılıkların her zaman var olduğunu bilmemize rağmen bu farklılıkların sıfır (nil) olduğunu iddia ederek analizlere başlanmış olması eleştirilmektedir. Cohen (1994), istatistiksel güç analizine 8 İstatistiksel Anlamlılık Düzeyi= Etkinin Büyüklüğü x Örneklem Büyüklüğü

8 62 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN 2014 dair çalışmaları sırasında sıfır hipotezinin her zaman yanlış olduğunu fark ettiğini yazmaktadır (s. 1000). Yani aslında yokluk hipotezi, hemen her zaman, hatta küçük örneklemlerde dahi reddedilecek bir iddiadır. Cohen (1990), Eğer H 0 her zaman yanlış ise, bunu reddetmeyi bu kadar önemli kılan nedir? diye sormaktadır (s. 1308). Kısacası, küçük bir örneklemde gözlenen küçük bir fark, geniş bir örneklemle çalışıldığında kesinlikle istatistiksel olarak anlamlı çıkacaktır. Bunun sağduyu ile öngörülebildiği durumda, istatistiksel olarak desteklendiğini göstermenin pek bir esprisi yoktur. Önemli olan bulunan farkın açıklayıcı etkisinin gösterilebilmesidir. Buna bağlı olarak, özellikle büyük örneklemle yapılan çalışmalarda sonucun istatistiksel olarak anlamlı çıkması, araştırmacıların bu bulgudaki etkinin ne kadar büyük olduğu konusunda kafa yormamasına neden olmaktadır. Aslında istatistiksel anlamlılıktan daha önemli olan, iki değişkenin ilişkisinin önemsenmeye değer büyüklükte olup olmadığıdır. 2. NHST nin araştırmacıların kullanımına bağlı sorunlu yönleri Bakan, 1966 yılında yayımlanan makalesinde psikologların anlamlılık testini bir yemek kitabı (s. 428) gibi kullanma eğiliminde olduğunu, eğitimleri sürecinde anlamlılık testinin dayandığı matematiksel ve felsefi temellerin farkına varamadıkları için de NHST sistematiğini pek çok yanlış anlamayla kullandıklarını belirtmiştir. Bakan (1966) makalesinin girişinde, sunacağı eleştirilerin ve uygulamada rastlanan yanlış yorumlar konusundaki gözlemlerinin aslında bir orijinalliği olmadığını, literatürde bu konuda kaynakların olduğunu, ancak kendisine kral çıplak (s. 423) diyen kişi rolünü biçtiğini söylemektedir. Dolayısıyla bu bölümde özetleyeceğim kullanıcı hataları nın yaklaşık yarım asır önce Bakan ın makalesinde de verildiğini (hatta öncesi de olduğunu Bakan söylüyor), ardından farklı araştırmacıların teorik ya da ampirik çalışmalar yaptığını görüyoruz. a. İstatistiksel anlamlılığın tanımına dair bilişsel çarpıtmalar NHST nin karmaşık yapısı nedeniyle, istatistiksel anlamlılığın ne olduğuna dair pek çok yanlış anlama ortaya çıkmaktadır. Bakan ın yanlış yorumlama (1966), Kline nin (2013) ise bilişsel çarpıtma (cognitive distortion) olarak isimlendirdiği bu yanlış anlamalar aşağıda özetlenmektedir: i. p değeri elde edilen sonucun şansa bağlı olarak ortaya çıkma olasılığını gösterir: Bu bilişsel çarpıtmayı anlayabilmek için önce şans ın ne demek olduğuna karar vermek gerekir. Araştırmacılar elde ettiği bulguların ortaya çıkmasında şansın etkisini azaltmak ister; çünkü, bulgunun sadece bir rastlantı ya bağlı olmadığı ya da kazara gerçekleşmediğine kanıt elde etmek ister. Böylelikle p< 0.05 olduğunda, bulgunun ortaya çıkmasında şansın payının en fazla %5 olduğu yönünde bir anlayış gelişmektedir. Eğer şans kavramı ile bu rastlantısallık anlatılmaya çalışılıyorsa, elde edilen bulgunun ortaya çıkma nedeni olarak sadece rastlantı faktörü üzerinde durulmaktadır. Oysa bir olgunun ortaya çıkması tek bir nedene bağlı olamaz. Diğer taraftan şans kavramı eğer olasılık yerine kullanılıyorsa; bu durumda NHST karar sistematiğinin bütününün zaten bir olasılık sistemi olduğu unutuluyor demektir. NHST ye eleştirel yaklaşanlar p değerinin şans ile ilişkilendirilerek tanımlanmasının, kullanıcının p değerinin örnekleme hatasına bağlı olarak ortaya çıktığı yönündeki yanlış inanışından kaynakladığını söylemektedir (Falk, 1998; Falk ve Greenbaum, 1995). Oysaki örneklemden kaynaklanabilecek hataların yanında ölçüm hataları, tasarım ve analiz sürecinin kendisi de açıklayıcı nedenler arasındadır (Kline, 2013). ii. p değeri I.Tip hatanın ortaya çıkma olasılığını gösterir: Daha önceki bölümde p değeri ile alfa değerinin aynı şey olmadığını söylemiştik. Bu çarpıtmada alfa ile p değeri karıştırılmaktadır. iii. p değeri H 0 hipotezinin doğru olma olasılığını gösterir: Bu çarpıtma, aslında NHST nin

9 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN kesinlikle cevap veremeyeceği bir soruya atıfta bulunmaktadır. İstatistiksel anlamlılığın cevap verebileceği soru şudur: Etkinin var olmadığı doğru kabul edildiğinde, elimizdeki verinin ortaya çıkma olasılığı nedir? Olasılık olarak bu soru şu şekilde ifade edilir: P(D H 0 ) 9. Eleştirel literatür bu soru neticesinde araştırmacıların hipotez testi yaptığı yanılsaması içine düştüğünü söylemektedir. Yani, Elimizdeki veriye göre, yokluk hipotezinin doğru olma olasılığı nedir? sorusunun cevaplandığı sanılmaktadır. Oysaki P(H 0 D) 10 olasılığına dayalı bu ikinci soruya, p değeri cevap veremez. Olasılık çalışmaları yapan teorisyenler bu iki sorunun farklı olasılık yöntemlerine dayalı olduğunu belirtiyor. Birincisi koşullu olasılıktır ve NHST nin dayalı olduğu olasılık hesaplaması budur. Diğeri ise Bayes olasılık perspektifi ile test edilebilecek bir sorudur. NHST nin sorunları ile başa çıkmak için bu olasılık perspektifine geçiş önerileri bulunsa da (örn., Kruschke, 2010) bu istatistik testlerine dair radikal bir yapılanma gerektirdiği için pek de mümkün gözükmemektedir. Sonuç olarak, p değeri, H 0 doğru kabul edildiğinde, elimizdeki verinin ve bu verinin sunduğu bulgu ile bundan daha ekstrem değerlerin ortaya çıkma olasılığıdır. iv. p< 0.05 olduğunda, H 1 hipotezinin doğru olma olasılığı %95 ten büyüktür: Burada p değerinin tamamlayıcısı olan 1-p değeri üzerinden bir hata yapılmakta ve yine NHST nin koşullu olasılık üzerine kurulu olduğu unutulmaktadır. Yani, NHST, elimizdeki veriye göre H 0 hipotezinin doğru olma olasılığını vermiyorsa, H 1 hipotezinin doğru olduğu konusunda da bilgi vermesi mümkün değildir. İstatistiksel anlamlılık, H 0 hipotezinin reddedilip reddedilmediği bilgisini verir, ama H 1 hipotezinin ne düzeyde doğru olduğu konusunda olasılık bilgisi vermez. v. p< 0.05 olduğunda, replikasyon çalışmalarında istatistiksel olarak anlamlı sonuç elde etme olasılığı %95 ten büyüktür: Tanımı ve dayandığı sıklıkçı (frequentist) bakış gereği, p değeri replikasyona dolaylı yoldan işaret etmektedir; ama bir bulgunun replikasyonla doğrulanma olasılığı genelde 1-p değildir. Bir evrenden seçilmiş benzer örneklemle yapılan çalışmaların ilgilendiğimiz değişkenle alakalı sunacağı bulgu örneklemler arası bir varyansa sahiptir. Ayrıca Greenwald, Gonzalez, Harris ve Guthrie (1996), p < 0.05 koşulu altında evrendeki etki düzeyi ile bir örneklemdeki etki düzeyi aynı olduğunda, aynı H 0 hipotezinin replikasyon çalışmasında reddedilme olasılığının %50 seviyelerinde olduğunu göstermiştir. Görüldüğü gibi istatistiksel anlamlılığa dair bilişsel çarpıtmalardan ilk üçü p değeri ile diğer ikisi ise p nin tamamlayıcısı olan 1-p değeri ile ilgilidir. NHST eleştirisi yapan araştırmacılar bu çarpıtmaların, NHST nin karmaşık yapısından kaynaklandığı kadar, araştırmacıların aslında esas anlamak ve sormak istedikleri şeyin bu çarpıtmalarda yattığını, ama NHST nin bu sorulara yanıt verme gücü olmadığını söylemektedir. Rosenthal ve Gaito (1963), Nelson, Rosenthal ve Rosnow (1986), Oakes (1986), Zuckerman, Hodgins ve Rosenthal (1993), Poitevineau ve Lecoutre (2001), psikoloji araştırmacıları, öğrencileri, istatistikçiler, araştırma yöntemleri ve istatistik dersi verenler arasında bu bilişsel çarpıtmaların ne oranda sergilendiğini incelemişlerdir. Bulgular, istatistiksel anlamlılığın ne olduğu konusunda tüm hedef kitlelerde az ya da çok bilişsel çarpıtmalara rastlandığını göstermektedir. b. Akademik arenada istatistiksel anlamlılığa sahip bulgulara verilen abartılı önem NHST sistematiği, kullanıcılarda anlamlı olmayan bir sonucun bilimsel değerinin de olmayacağı algısını uyandırmaktadır. Bu algının yaratılmasında bilim camiası ve dergilerin eğiliminin de önemi büyüktür. Rosenthal (1979), istatistiksel anlamlılığı yaka- 9 D: Data, P: Probability P(D H 0 ): H 0 koşulu altında datanın ortaya çıkma olasılığı. 10 P(H 0 D): Dataya dayalı olarak ya da data koşulu altında H 0 hipotezinin ortaya çıkma olasılığı.

10 64 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN 2014 lamış çalışmaların akademik dergilerde basılma olasılığının daha yüksek olduğuna, diğerlerinin ise çekmecelerde unutulup gittiğine (File Drawer Problem) işaret etmektedir. Bu durum meta-analiz çalışmalarının da sonuçlarını etkilemektedir. Dergilerde basılan, dolayısıyla meta-analize dâhil edilen araştırmaların çoğunluğu istatistiksel anlamlılık düzeyini yakalamış bulgulara sahiptir. İlgilenilen olguya dair çoğunluğu anlamlı çıkan sonuçlar üzerinden meta- analiz yapılması yanlı genel değerlendirmelere ulaşılmasına neden olmaktadır. c. NHST nin sayıltılarının karşılanmadan kullanılması Eleştirel literatür, NHST nin kendi sayıltılarına uyularak kullanılması halinde işlevi olabileceğini söylemektedir. Örneğin, Kline ye göre (k.i., 2013), p değeri ancak bir analizin temel sayıltıları karşılandığı durumlarda doğrudur. İstatistiksel yazılımlardan elde edilen sonuçlarda yer alan p değerleri yanlıştır; çünkü bizler bu analizleri, anlamlılık testinin temel sayıltılarını hiçe sayarak kullanmaktayız. Bu görüşü t-testi örneği üzerinden açıklayabiliriz. t-test için sayıltılar şunlardır: i. Katılımcılara seçkisiz örnekleme yöntemi ile ulaşılmış olması gerekmektedir. Oysa gerçek olasılıklı örnekleme tekniğinin kullanıldığı ve evrende her bir katılımcıya örnekleme girmek açısından eşit şans veren çalışmaların sayısı çok azdır. Araştırmacıların en sık kullandığı yöntem, en kolay ulaşabildikleri kişilerle çalışmaktır. ii. Örneklemlerin bilinen evrenlerden elde edilmesi, iki grubun dağılımının normallik göstermesi ve her iki grubun varyansının eşit olması gerekmektedir. Bu sayıltıdan küçük bir sapma, özellikle de küçük örneklemle çalışırken ve de seçkisiz örnekleme yapılmadı ise t-test sonucunun ve p değerinin doğruluk düzeyine çok etki yapar. Wilcox ve Keselman (2003) Student s t-test, standart ANOVA, Pearson product-moment korelasyonu ve regresyon testlerinin normal dağılımdan küçük sapmalar gösteren bir veri üzerinde uygulanması halinde elde edilen bulguların araştırmacıları yanlış yönlendirdiğini, testin istatistiksel gücünü düşürdüğünü, etki büyüklüğünün ve güven aralığının yanlış hesaplanmasına neden olduğunu söylemektedir. Modern robust istatistik teknikleri ile normallikten sapmaların ve uç değerlerin (outliers) test istatistiklerini daha az etkilemesini sağlayan istatistiksel prosedürler geliştirilmekle birlikte, bu uygulamalar psikoloji araştırma pratiğine henüz tam olarak yansımamıştır. Wilcox (1998) modern istatistik teknikleri ile psikoloji araştırmacıları tarafından kullanılan teknikler arasındaki makas aralığının her gün biraz daha açıldığını söylemektedir. iii. t-test, araştırmada yapılan ölçümlerin mükemmel şekilde güvenilir olduğunu varsayar. Yani hiçbir ölçüm hatası yoktur; oysaki insanla yapılan çalışmalarda ölçümden elde edilen puanların hata içermemesi mümkün değildir. Bu hemen hemen hiçbir zaman sağlanamaz. Araştırmacılar olarak bizler bir hipotezi test ederken uygun istatistik teste karar vermek için değişken sayısı, değişkenlerin içinde barındırdığı grupların sayıları ve değişkenlerin ölçümünde kullanılan ölçeklerin türüne bakarız. Ancak, verinin kaynağının seçkisiz olarak elde edilmesi, ölçümlerin güvenilirliği ve dağılıma dair sayıltıların uygunluğu genellikle atlanan, bakılıyorsa dahi pek raporlanmayan yönleridir. Kline ye göre; Psikoloji araştırmalarında bu sayıltılar çok nadir karşılanır ve çoğu araştırmacı raporlarında örneğin t-test bulgularını sunarken bu sayıltılara yer vermez. Verinin bu sayıltılar açısından ne durumda olduğuna dair kelime edilmez. Böylece, istatistik analizin sayıltıları ihlal edilir, bulgular hatalı hale gelir, p değeri en basit dille yanlış olur. Yani anlamlılık testi, bu sayıltıların sunulduğu koşullar içinde çok nadir kullanılır. (k.i., 2013). Bu da araştırma tasarımı ile istatistik arasındaki potansiyel uyumsuzluğu göz ardı ederek, analiz tekniğinin otomatikleşerek kullanılması anlamına gelmektedir. Bu

11 uyumsuzluk, istatistiksel analizlerin yanlış sonuçlar vermesine neden olmaktadır. Bu sayıltıların karşılanmaması durumunda p değerinin hatalı olacağını dikkate alarak bu aşamaya da gereken önem verilmelidir. d. Araştırmacılar tarafından yapılan hatalı yorumlar ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN Daha önce p değerine dair yanlış tanımlar ve bunların doğurduğu bilişsel çarpıtmaları özetlemiştim. Bir diğer hata grubu ise NHST den elde edilen bulguların yorumlanması sırasında sergilenir. Esasen bu yanlış yorumlar, istatistiksel anlamlılığın tam olarak ne olduğunu anlayamamaktan kaynaklanmaktadır. Dolayısıyla, önceki bölümde verilen bilişsel çarpıtmalarla aynı temel üzerine oturmaktadır. Bu bölümün aslında, bilişsel çarpıtmaların yorumlara nasıl yansıdığını özetlediğini söyleyebiliriz. i. Düşük p değeri, büyük etki demektir: İstatistiksel olarak anlamlı çıkan sonuçlar, elde edilen test değerine ve mevcut araştırmalarda raporlanan etki büyüklüklerine bakılmaksızın, büyük etkiye işaret ediyormuş gibi yorumlanmaktadır. p değeri etkinin büyüklüğü hakkında bilgi vermez. ii. H 0 hipotezinin reddedilmesi demek, H 1 hipotezinin doğrulandığı anlamına gelir: Tek bir çalışmada H 0 hipotezinin reddedilmesi, H 1 hipotezinin her durumda doğru olduğunu göstermez; çünkü H 0 karşısındaki alternatif iddia aslında tek değildir. Örneğin iki grup arasında fark olduğu desteklendiğinde, bu fark bir birim de olabilir; beş birim de olabilir. Bağımlı değişkende gözlenen fark ilgilendiğimiz bağımsız değişken tarafından kısmen açıklanırken, araştırma tasarımına dâhil edilmeyen pek çok değişken, kalan varyansın ve hatta iyi bir deneysel kontrol sağlanmadı ise açıklandığı söylenen varyansın da esas belirleyicisi durumundadır. Yani H 1 durumu için mantıksal pek çok alternatif açıklama vardır. Spesifik bir H 1 hipotezinin doğrulanabilmesi için tüm alternatiflerin test edilerek reddedilmesi gerekir. Dolayısıyla H 1 hipotezinin kabul edilmesi mümkün değildir; ancak H 0 hipotezinin reddedilmesi mümkündür. Bu yanılsama genelde araştırmacıların istatistiksel olarak anlamlı çıkan bir sonucun nedensellik hakkında da bilgi verdiğine inanmasına yol açmaktadır. iii. İstatistiksel anlamlılık araştırmanın kaliteli ve başarılı olduğunu gösterir: H 0 hipotezi, gerçekten bir etki olduğu için değil, aslında tasarım ve ölçüm problemleri sonucunda yanlış şekilde de reddedilebilir. İstatistiksel anlamlılık kaliteyi garantilemez. iv. İstatistiksel olarak anlamlı olmayan sonuçlar araştırmayı başarısız kılar: Bazı durumlarda H 0 hipotezinin reddedilmemesi bilinçli şekilde tercih edilir; bu bulgunun değeri tamamen araştırma sorusuyla ve alandaki diğer araştırmaların bulgularıyla gösterdiği tutarlılıkla alakalıdır. Alternatif hipotez için destek elde etmeye çalışırken H 0 hipotezinin reddedilememesi durumunda, araştırılan olgunun başka faktörlerden etkilenebildiğine dair fikir üretilebilecektir; alternatif H 1 iddialarının ortaya atılmasına zemin yaratması bir başarıdır. v. Bir replikasyon çalışmasında iki çalışma istatistiksel olarak anlamlı olan ve olmayan bulgular verirse doğrulama sağlanamadığı anlaşılır: İki çalışma farklı istatistiksel güç ve örneklem büyüklüklerine sahipse, istatistiksel anlamlılık seviyeleri üzerinden karşılaştırılamazlar. Etki büyüklüklerinin birbirine yakınlığı replikasyonun işlediğini gösterir. vi. Bir analiz p=.051 sonucunu veriyorsa istatistiksel olarak anlamlı değildir: NHST öğretisi sonucunda alfa değeri kesinlikle uyulması gereken bir kesme değeri olarak algılanmaktadır. Bunun sonucunda örneğin p=.049 istatistiksel olarak anlamlı kabul edilirken, p=.051 istatistiksel olarak anlamlı değildir. Oysaki etki büyüklüklerine bakılacak olsa eşit oldukları görülecektir. Diğer taraftan kimi zaman p değerindeki belirgin farklar, örneğin p değerinin bir araştırmada 0.03, diğerinde 0.07 olmasına rağmen, etki büyüklükleri açısından hiçbir fark olmayabilir. Genellikle 0.05 üzerine çıkan yakın değerler, bulgunun marjinal ya da istatistiksel anlamlılığa yaklaştığını belirterek

12 66 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN 2014 raporlanmaktadır. Oysa bulgular alfa değerine bu kadar önem atfetmeden de yorumlanmalı ve raporlanabilmelidir. Gordon (2001), Haller ve Krauss (2002) ve Lecoutre, Poitevineau ve Lecoutre (2003), p değerine dair yanlış yorumlara odaklanan ampirik çalışmalarında, psikologların ve hatta istatistikçilerin istatistiksel anlamlılık değerini yanlış yorumlayabildiğini göstermişlerdir. Yani Lecoutre ve diğerlerinin (2003) diliyle NHST nin yanlış yorumları karşısında bağışıklığın olmadığı (s. 42) anlaşılmaktadır. Çözüm Önerileri NHST nin şu ana kadar özetlenen tüm kısıtlarıyla başa çıkmak için, literatürde bir dizi önerinin sunulduğunu görüyoruz. Bu öneriler araştırmacılar tarafından kısmen uygulama pratiklerine de geçirilmiş olmasına rağmen psikoloji eğitiminin parçası haline getirilmeleri ve yaygınlaştırılmaları gerekmektedir. 1. Etki Büyüklüğünün Raporlanması Daha önce de tanımladığımız etki büyüklüğü, bağımsız değişkenin bağımlı değişken üzerinde ne düzeyde etkiye sahip olduğunu gösteren standart bir ölçüttür (Murphy ve Myors, 2004). APA yazım rehberi altıncı basımı (2010), istatistik analiz sonucunda anlamlı p değeri elde edilmediği durumlarda dahi etki büyüklüğünü gösteren standart ilişki ya da fark (burada Cohen in d puanı örnek olarak verilmiştir) indeksi ile raporlama yapılmasını istemektedir. Etki büyüklüğünün raporlanması iki işleve sahiptir: (a) Etki büyüklüğünün araştırmalar arası karşılaştırmalardaki rolü: Aynı alanda gerçekleştirilen farklı araştırmalardan elde edilen test istatistik değerleri (t, F, r ya da x 2 gibi), farklı örneklem büyüklükleri ve örneklem özellikleri nedeniyle karşılaştırılabilir sonuçlar vermemektedir. Bu karşılaştırmayı yapabilmek için gruplar arası farkları ya da ilişki düzeyini veren standart bir puanlamaya ihtiyaç vardır. Rosenthal ve Rosnow (2008), bu ihtiyacı şu örnekle açıklıyor: Örneğin bir araştırmacı 80 katılımcı ile gerçekleştirilen bir çalışmada, liderlik tarzının verimlilik üzerindeki etkisini araştırmış ve Tarz A nın, Tarz B den iyi olduğunu bulmuş olsun (t(78)=2.21, p< 0.05). Diğer araştırmacı da aynı deneyin bir replikasyonunu 20 kişinin katılımı ile yapıp anlamlı bir sonuç elde etmemiş olsun (t(18)=1.06, p=0.30). Bu bulguya göre ikinci çalışma, birincinin sonuçlarını elde edilen t-test değeri ve p değeri açısından tekrarlamamaktadır. İki çalışmanın da sonuçları şu prosedürlere göre etkileri açısından karşılaştırılabilir: r, R-kare, eta, eta-kare, Cohen s f gibi ilişkinin standartlaştırılmış ölçümü veya Cohen s d, Glass s g ve Hedge s d gibi ortalamalar arasındaki standart fark. Eğer bu iki araştırmanın bulgularının standart ilişki düzeyi (r) ile karşılaştırması yapılacak olsa aynı sonuçları elde ettikleri gösterilebilir (Rosenthal ve Rosnow, 2008, s. 56) 11. (b) Etki büyüklüklerinin yorumlanması: Bu standart etki büyüklüğü ölçütü, bulguları küçük, orta ve büyük etkiye sahip şeklinde yorumlamaya imkân vermektedir. Cohen, Statistical Power Analysis for the Behavioral Sciences başlıklı kitabında (1988), psikoloji araştırmalarının veri analizinde sıklıkla kullanılan d, r, R, R-kare, Cohen s f, eta ve eta-kare gibi ölçütleri, büyüklükleri açısından yorumlamaya rehberlik edecek, kendi deyimiyle operasyonel tanımlar vermiştir. Ancak, kitabın bütününde bu tanımların sadece birbirine göre değil, aynı zamanda davranış bilimlerinin belirli bir alanı, belirli bir içerik ve araştırma kapsamında seçilen yöntem açısından da göreceli olduğunu belirtmektedir (Cohen, 1988, s. 25). Yani, konu ve yöntem açısından çok geniş bir çeşitliliğe sahip davranış bilimleri gibi bir alanda, bulgunun etkisinin küçük, orta ya da büyük olduğuna karar vermek için standart bir tanım yaratmanın riskli olduğunu söylemektedir. Ancak, bu tanımların yine de geleneksel bir referans oluş- 11 formulü ile t değeri r değerine dönüştürüldüğünde her iki araştırma bulgusu r =.24 vermektedir.

13 turma avantajı olduğunu belirterek operasyonel tanımlarına kitabında örneklerle yer vermiştir. Bu kapsamda Tablo 2, farklı etki büyüklüklerinin yorumlanmasında kullanılabilecek değerleri vermektedir. Cohen kitabında (1988) sadece küçük, orta ve büyük etki değerlerini vermiş; bazı yazarlar ise tipik olarak gözlemlenebilecek düzeyin üzerindeki etki büyüklüğünü de eklemişlerdir (örn. Leech, Barrett ve Morgan, 2008). Küçük etki düzeyi kabul edilebilir en düşük etkiye işaret etmektedir. Tablo 2. ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN Farklı Etki Büyüklüğü Endeksleri ve Yorumlanması (Cohen, 1988) İlişkinin standartlaştırılmış ölçümü d r R 2 f Cohen's eta Ortalamalar arasındaki farkın standartlaştırılması eta-kare Çok Büyük 1 ve üzeri.70 ve üzeri.49 ve üzeri ve üzeri.20 Büyük Orta Küçük Cohen (1988) etki düzeyinin yorumlanması için verdiği kesme değerlerinin, araştırılan konuda fazla çalışmanın olmadığı yeni alanlarda işe yarayacağını söylemiştir. Yani, kendi çalışmanızdan bir etki gözlemlediğinizde bunun büyüklüğünü anlayabilmek için elinizde karşılaştırma yapacağınız hiçbir çalışma yoksa bu durumda işlevseldir. Farklı araştırma alanları ve araştırma tasarımlarına göre ES düzeylerinin büyük ya da küçük olarak yorumlanmasında ciddi bir değişkenlik olacaktır. Örneğin, eğer boylamsal bir çalışma yapıyorsak, 3-5 yıl sonrasına dair kestirimlerimiz açısından ES düzeyi küçük olacaktır. Araştırmamız deneysel bir tasarıma sahipse, kontrollü veri toplama imkânı varsa ES çok daha büyük olacaktır. Bir araştırmada, elde edilen etki büyüklüğünün ne kadar önemseneceği araştırma konusuna, kullanılan araştırma tasarımına ve bu bulgunun gerçek hayata yansımalarına bağlıdır. Elde edilen etkinin büyüklüğü üzerinde yorum yapabilmek için, araştırılan konu ile ilgili olarak daha önce yapılmış çalışmalarda raporlanan etki büyükleri bir rehberdir. Yani yeni çalışmada elde edilen etki, önceki etki büyüklüklerine göre ne düzeydedir? Etki küçük gözükse dahi, diğer araştırma bulgularına göre göreceli düzeyi, ilgilenilen bağımlı değişkenin insan hayatı açısından etkisi nedeniyle önemsenmesi gereken bir sonuç olabilir. Örneğin, insan hayatını riske atan çok çeşitli tehlike kaynağının bulunduğu bir üretim ortamında, iş ortamında yapılacak teknik iyileştirmeler ve çalışanlara güvenli davranışları kazandırmayı hedefleyen eğitimler ile iş kazalarının oranı arasındaki ilişkiyi inceleyen bir araştırma gerçekleştirdiğimizi düşünelim. Yapılacak teknik bir iyileştirme ve verilen eğitimler neticesinde beş yıllık zaman dilimi içinde ölümlü kaza oranı %15 ten, %11 e düşmüş olsun. % 4 düzeyinde bir iyileşme yaşandığını gösteren bir bulgunun ne kadar önemsenmesi gerektiği mevcut litera-

14 68 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN 2014 türdeki etki büyüklükleri ile karşılaştırılarak yorumlanabilir. Teknik iyileştirmeler ve eğitimlerin etki büyüklüğü bu çerçevede yorumlanabilir. Ancak bunun daha ötesinde, bu araştırmanın 1000 işçinin çalıştığı bir işletmede yapıldığını düşünecek olsak, bu iyileştirici yaklaşımlar sonunda beş yılda en az 40 çalışanın hayatta kalacağını söyleyebiliriz. Aslında bir iyileştirici müdahale değil kırk, sadece iki kişinin dahi hayatta kalmasını sağlıyorsa önemsenmesi gereken bir etkiye sahip olarak yorumlanmalıdır. Bu örnek ayrıca bizi istatistiksel anlamlılığın kısıtları ile başa çıkmak için önerilen pratik ve klinik anlamlılık kavramlarına getirmektedir. 2. Bulguların taşıdığı önem açısından değerlendirilmesi Bilim insanları, uygulayıcılar, tüketiciler, yöneticiler, hastalar ve öğrenciler gibi bir araştırma alanı ya da konusuyla ilgili kişiler acaba bir bulguyu önemi ve ne kadar dikkate değer olduğu açısından nasıl yorumlamaktadır? Bu bulguya güvenerek bir aksiyon almak konusunda ne düşünmektedir? Bu sorular Türkçeye Dikkate Değer Anlamlılık (substantive significance) diye çevirebileceğimiz, bulguların klinik süreçlerde ve uygulamada taşıdığı öneme işaret eden anlamlılık ile ilişkilidir (Kelley ve Preacher, 2012). a. Bulguların pratik anlamlılık açısından yorumlanması Bir araştırmada etkinin büyüklüğü sadece ES indeksinin sayısal değeriyle ilişkili değildir. Etki büyüklüğü değerinden yola çıkarak çalışmanın ne kadar önemli olduğu ve gerçek hayatta taşıdığı anlam hakkında bilgi ihtiyacı vardır (Kirk, 1996). Örneğin, cinsiyet ile liderlik yetkinliği arasındaki r = 0.40 düzeyinde istatistiksel olarak anlamlı orta düzeyde bir korelasyon değeri, yani cinsiyet değişkeninin liderlik yetkinliğinin %16 sını açıklıyor olması (R 2 ), liderleri seçerken cinsiyete göre karar vermeye başlamak için yeterli olamaz. Yani bu bulgunun pratik bir anlamlılığı yoktur. Pratik anlamlılık konusunu tartışmaya açan teorisyenler, bir bulgunun önemi açısından yargıya varması gereken kişilerin, bu bilginin tüketicisi durumundaki kişiler olduğunu söyler. Bu kişilerin bir bulgunun gerçek hayata yansımaları ve bu bulguya dayalı olarak alınan kararların sonuçları hakkındaki yargıları, bulgunun pratik anlamlılığını verir (Aguinis, Werner, Abbott, Angert, Park ve Kohlhausen, 2010). Liderlik yetkinliği ile ilgili örnekten hareket edersek, bir işletmedeki insan kaynakları yöneticisinin, istatistiksel olarak anlamlı olan, ama ortalama etki büyüklüğüne sahip bu bulgu ile ilgili yorumları ve bu bulgudan yola çıkarak aldığı aksiyonlar bu bulgunun pratik anlamlılığını gösterir. b. Bulguların klinik anlamlılık açısından yorumlanması Klinik anlamlılık ise terapi teknikleri, ilaçla tedavi ya da eğitim uygulaması gibi bir müdahale yönteminin sonuçları açısından taşıdığı değer, bu yöntemin uygulandığı kişinin ve bu kişi ile ilişki içinde olan kişilerin gündelik hayatında gerçekten fark edilebilir bir değişim yaratıp yaratmadığının göstergesidir (Kazdin, 1999). Jacobson, Roberts, Berns ve McGlinchey (1999), örneğin psikolojik bir soruna dair tedavi sürecinde olan bir danışanın, uygulanan müdahale yöntemi sonunda, bu sorun öncesindeki işlevselliğine dönmüş olmasını klinik anlamlılık için kıstas olarak almaktadır. Bauer, Lambert ve Nielsen (2004), klinik anlamlılıktan bahsetmek için, tedavinin uygulandığı birey için anlam taşıyan bir değişimin yaşanması gerektiğini vurgular. İstatistik anlamlılık yapısı gereği grup ya da örneklem ölçeğinde karşılaştırmalara dayalıdır. Peterson (2008) klinik anlamlılığa yapılan vurgu sayesinde, birey ölçeğindeki gelişme ya da iyileşmelerin, grup düzeyindeki gelişmeler kadar dikkat çekmeye başlayacağını söylemektedir. Örneğin, ilaç tedavisi sonucunda yaşanan değişim istatistiksel olarak anlamlılığa ulaşmasa dahi, az sayıda vakada etki gözlenmesi ve vakaların bu değişimi önemsemesi, araştırmaya devam etme kararı verilmesine neden olabilir; yani bulgu klinik açıdan anlamlıdır (Peterson, 2008; Thompson, 2002).

15 3. İstatistiksel Gücün araştırma sürecine ad-hoc ya da post-hoc kullanımla entegre edilmesi Örneklem büyüklüğü, etki düzeyi ve istatistiksel anlamlılık arasındaki fonksiyonel bağlılık, araştırmacıların istatistiksel güç olgusunu planlama ya da teşhis amacıyla kullanmasına imkân vermektedir. Bunlardan birincisi, yani planlama, araştırmaya başlamadan önce örneklemin genişliğine karar verilmesidir. Cohen (1988,1992), Rosnow, Rosenthal ve Rubin (2000), Rosenthal ve Rosnow (2008) tarafından sunulan dönüşüm tablolarından yola çıkarak, gözlenmesi tahmin edilen bir etki büyüklüğü ve hipotez testi için seçilen kesme değeri kullanılarak örneklem büyüklüğüne karar verilebilir. İkinci kullanımı ise, araştırmanın hangi etkileri tespit etmekte daha fazla güce sahip olduğunu teşhis etme amaçlı kullanımıdır. Genelde istatistik programlarına entegre edilmiş olan gözlenen güç değerleri ile, farklı hipotez testlerinden elde edilen bulgular istatistik güçleri açısından karşılaştırılabilir. Böylelikle, araştırmanın gücü düşükse, bunun örneklem büyüklüğü, ölçüm hassasiyeti ya da gerçekte var olan etkinin zaten küçük olması gibi unsurlardan hangisi ile ilgili olduğu konusunda analitik bir değerlendirmeye başlanabilir. 4. Güven Aralığının Raporlanması ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN Bildiğimiz gibi araştırmalarda seçilmiş örneklemden elde edilen değerlerle evrene dair çeşitli parametreler hakkında tahminde bulunmaya çalışıyoruz. Örneğin seçtiğimiz parametre, grup ortalaması gibi bir tek değer tahmini (point estimate) olabilir. Bu kapsamda, geleneksel pratiklere bakıldığında, ortalama ile standart sapmanın raporlandığını görmekteyiz. Ancak, APA yazım rehberi (2010), bu değerin doğruluğu hakkında fikir veren aralıklı kestirim in (interval estimate) raporlanmasını bulguların raporlanmasındaki stratejilerin en iyisi olduğunu belirtmektedir (s. 34). İstatistik analizlerden elde edilen parametre değerleri, ortalamalar arasındaki fark gibi parametre değerlerinden türetilmiş değerler ve etki büyüklüklerinin güven aralıkları ile birlikte raporlanması kuvvetle önerilmektedir. Örneğin %95 güven aralığı, sunulan değerin hangi hata aralığı içinde gözlenebileceğini göstererek, bulgunun doğruluk (precision) düzeyi hakkında (Cumming ve Finch, 2005), yani ortalamanın hangi alt ve üst sınırda gözlenebileceği hakkında bilgi vermektedir. Bulguların hem tek değer tahmini hem de aralıklı tahmini üzerinden tartışılması tercih edilmektedir (APA, 2010). Güven aralığı tanımına göre, bir araştırmanın çeşitli seferler tekrarı halinde, örneklemden elde edilen değerin, evrende gözlenebilecek gerçek değeri kapsaması beklenmektedir. Genelde %95 ya da %99 güven aralığı içinde yapılan hesaplamalar ile örneklemden örnekleme belirli düzeyde sapma beklense dahi, bizim çalışmamızdaki aralığın evrende var olan gerçek değeri içerme ihtimalinin %95 ya da %99 olduğunu söylemekteyiz. Çalışmaların %5 ya da %1 inde ise aralık tahmininin evren değerini kapsamayacağı tahmin edilmektedir. Cumming ve Finch (2005) güven aralığını gözlenme olasılığı olan, evrene dair akla yakın değer yelpazesidir; güven aralığının dışında kalan değerler mantıksızdır şeklinde tanımlamaktadır (s. 174). Güven aralığında yer alan ortalama değer, evren parametresi için en yüksek olasılığa sahip değerdir; güven aralığının üst ve alt sınır değerlerine yaklaşıldıkça, evren parametresinin bu düzeyde gözlenme olasılığı düşmektedir (Kalinowski, 2010). Güven aralığının dar olması, yaptığımız ölçümün daha az hata payı ile gerçekleştirildiğini ve bulgunun daha güvenilir olduğunu göstermektedir. Güven aralığı değerleri, istatistik test değerinin anlamlılık düzeyine ilişkin çıkarım imkânı vermektedir. Güven aralığı araştırmanın istatistiksel gücünden etkilenir. Eğer bir araştırmanın, tasarımı gereği istatistiksel gücü düşük ise, bulguların güven aralığı da daha geniş olacaktır; yani örneklemden elde edilen bulguların güvenilirliği konusunda bir belirsizlik söz konusu olacaktır. Gücü ve hassasiyeti yüksek çalışmalar, daha dar güven aralığı ve de daha güvenilir sonuçlar verecektir (Murphy ve Myors, 2004).

16 70 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN Replikasyona ağırlık ve önem verilmesi Eleştirel yazın, istatistiksel olarak anlamlı ve hatta büyük bir etkiyi yakalayabilecek güçte bir çalışma olsa dahi tek bir araştırmanın bilimsel katkısının yeterli olmadığını vurgulamaktadır (Cohen, 1994; Falk, 1998; Kline, 2013). Bu sebeple replikasyon çalışmaları yapılması, araştırmacıların bulgularını aynı alandaki diğer araştırmalarla etki büyüklükleri açısından karşılaştırması önerilmektedir. Bir araştırma alanında daha bütünsel bir perspektif yaratılması için bu yaklaşımın şart olduğu söylenmekte; özellikle doğa bilimlerinde var olan replikasyon geleneğinin psikoloji için de yerleştirilmesi önerilmektedir. Ancak, replikasyon çalışmaları, genellikle araştırmalardan beklenen orijinallik şartını karşılamadığı için, araştırmacılar pek istekli olmamaktadır; bu isteksizlikte bu tür çalışmaların dergilerde basılma şansı yakalayamaması da bir etkendir (Neuliep ve Crandall,1990, 1993). Bir araştırma sistematik olarak tüm yönleri ile tekrarlanabileceği gibi, örneklem ve ölçüm araçları aynı tutularak kısmî bir tekrar çalışması da yapılabilir ya da ilgilenilen olgu aynı tutularak farklı örneklem ya da ölçüm araçları ile de tekrarlanabilir. Her bir replikasyon yaklaşımı ilgilenilen olguyla ilgili ek bilgi sağlayacaktır. Daha önce belirtildiği gibi H 0 hipotezinin reddedilmesi halinde, H 1 hipotezi aslında pek çok alternatif açıklamayı içinde barındırmaktadır. Replikasyon işte bu çeşitliliği daraltarak, daha kesin yargılara ulaşılmasını sağlayacaktır. 6. Meta-analiz çalışmalarının yaygınlaşması Aynı araştırma alanında basılmış yayınlarda gözlemlenen etki büyüklüklerinin sistematik şekilde karşılaştırılması, farklı araştırmalardan elde edilen etki büyüklüklerinin ortalamalarının ve varyansının değerlendirmeye alınması, alanda yapılan çalışmalara büyük bir resim olarak bakmak için son derece yararlıdır. NHST eleştirmenleri (Ellis, 2010; Mulaik, Raju ve Harshman, 1997; Kline, 2013) meta-analiz çalışmalarını, p değerine yapılan vurgunun ES ye kaydırılmasına şans tanıdığı için önemsemektedir. Meta-analiz çalışmaları sayesinde, tek bir araştırmadan yola çıkarak genelleme yapma eğiliminin azalması beklenmektedir. Meta-analiz perspektifinin NHST nin kısıtları ile başa çıkmak açısından katkısı sadece bağımsız meta-analiz projelerinin yürütülmesi ile sınırlı değildir. Aslında her araştırmanın literatür tarama aşamasına meta-analitik bir perspektif yerleştirilmesi önerilmektedir (Kline, k.i., 2013). İlgilenilen araştırma alanı ve araştırma sorusuna dair yapılmış çalışmalar ES değerlerini hesaplamamış olsa dahi, araştırma geleneğine ES ve meta-analizin yerleşmesi halinde, yeni araştırma üzerinde çalışan araştırmacı, önceki araştırmalarda sunulan betimleyici istatistikleri kullanarak ES hesaplaması yapabilir. Böylelikle yeni araştırmadan elde edilen ES düzeyleri, önceki çalışmalarda gözlenen ortalama ES düzeyleri ile karşılaştırılarak, etkinin büyüklüğüne dair analitik değerlendirme yapılabilir. APA yazım rehberi (2010), araştırmacıların raporlarında istatistik değerleri detaylarıyla vermesi ve ES bulgularını raporlaması halinde, araştırmaların meta-analiz çalışmalarına dâhil edilme şansı yakalayabileceğini, böylelikle alandaki bilgi birikiminin bir parçası haline gelebileceğini belirtmektedir. Bu katkıyı yükseltmek için, p değerinin alfa değerinden düşük ya da yüksek olduğunu (örn., p<0.05 ya da p>0.05) belirten yazım yerine, p tam değeri yazılmalıdır (Aguinis ve ark., 2010). Ayrıca, ES sadece nokta değeri olarak değil, güven aralıkları ile birlikte raporlanmalıdır (Fritz, Scherndl ve Kühberger, 2013). Türkiye de NHST Bu bölüme kadar özetlenen literatür, bize uluslararası akademik alanda NHST konusunda zengin bir tartışma ortamının olduğunu gösteriyor. Bu makale için yaptığım taramada, ülkemizde NHST tartışmalarını teorik olarak bir araya getiren bir yayına psikoloji alanında rastlayamadım.

17 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN Bu konuda Doğan Kökdemir in 2000 yılında V. Türkiye de Internet Konferansı ve XI. Ulusal Psikoloji Kongresi ndeki bildirilerinde, istatistiksel güç, etki büyüklüğü ve hipotez testi olgularını ele aldığını görüyoruz. Ben ve Ali Tekcan (2010), XVI. Ulusal Psikoloji Kongresi nde, yılları arasında Türk Psikoloji Dergisi nde yayımlanan makalelerde istatistiksel anlamlılığın ötesine geçen raporlama pratikleri ile ne sıklıkla karşılaşıldığı konusunda bir bildiri sunduk. Ancak bu üç bildiri bir makale olarak basılmamıştır; dolayısıyla NHST nin psikoloji araştırmaları açısından ülkemizde kalıcı bir esere dönüşmediğini söyleyebiliriz. NHST konusunda ülkemizde basılı iki yayının, eğitim bilimleri alanından olduğunu görüyoruz (Özsoy ve Özsoy, 2013; Yıldırım ve Yıldırım, 2011). Yıldırım ve Yıldırım (2011) çalışmalarında yokluk hipotezi anlamlılık testi ile ilgili temel yanılgıları özetlemektedir. Özsoy ve Özsoy (2013) ise eğitim bilimleri alanında SSCI da taranan dört dergide tarihleri arasında yayımlanan 480 makale üzerinde çalışmışlar; makalelerin sadece %7.2 sinde (35 makale) etki büyüklüklerinin raporlandığını göstermişlerdir. NHST konusunu ele aldığım bu teorik özet üzerindeki çalışmalarım devam ederken, bir taraftan da NHST nin ülkemizde psikoloji araştırmalarındaki yansımalarını anlayabilmek için, daha önce XVI. Ulusal Psikoloji Kongresi için yapmış olduğumuz taramayı (Işık ve Tekcan, 2010), 2009 sonrasında basılan makaleleri de ekleyerek güncelledim. Böylelikle Türk Psikoloji Dergisi nde (TPD) 1995 (Cilt 10, Sayı 34) ile 2013 (Cilt 28, Sayı 71) tarihleri arasında basılan 38 sayıda yer alan toplam 208 makale üzerinde tarama yaptım. Bunlardan 12 tanesinde birden fazla deney yer almaktaydı. Her bir deneyi de bağımsız bir çalışma olarak kabul ederek taramaya dahil ettiğim için incelenen çalışma sayısı N=238 oldu. Bu yayınlardan, teorik, derleme ve test standardizasyonu türünde olanları (n=44) tarama kapsamı dışında bıraktım. Deneysel ya da deneysel olmayan ampirik çalışmalardan oluşan 194 çalışma üzerinde yaptığım taramanın etki büyüklüklerine dair tamamlanan kısmından elde edilen bulgulara göre, bu araştırmaların % 34 ü (n=66) etki büyüklüklerini raporlamıştır den itibaren ise etki büyüklüğü raporlamasının arttığı görülmektedir. Etki büyüklüğü raporlaması yapılan çalışmaların oranı, , , beş yıllık dilimleri için sırasıyla; %1, % 6.2 ve %18 dir arasında yayımlanan beş sayıda ise etki büyüklüğü raporlamasının oranı %8.8 dir. Etki büyüklüğü raporlanmış makalelerde, bulguların bu etki açısından yorumuna araştırmaların sadece % 6.2 sinde rastlanmaktadır. Sadece iki çalışmada Cohen e referans verilmiş; ancak bunlardan bir tanesinde Cohen in (1988) operasyonel tanımlarına göre (Tablo 2) yorum yapılmıştır. En sık kullanılan etki büyüklüğü ölçümü etakaredir (%82.06). Daha önce de belirtildiği gibi NHST eleştirilerinde ön plana çıkan noktalardan birisi, sabit bir alfa değeri ile çalışma alışkanlığının olmasıdır. Rosnow ve Rosenthal (1989) Tanrı 0.06 anlamlılık düzeyini de 0.05 kadar sevmektedir (s. 1277) vurgusu ile Tip I hatası açısından seçilen bu kesme değerinin, keskin bir ikili karar verme zorunluluğu yarattığına ve bu değerin zaman içinde yerleşen keyfi bir değer olduğuna işaret etmektedir. Buradan hareketle, taradığım makalelerde sınırda anlamlılık düzeyleri kapsamında 0.05 ile 0.10 arasındaki anlamlılık düzeylerini yorumlarken izlenen stratejiyi de baktım. TPD dergisinde yayımlanan makalelerde bulgular geleneksel olarak %5 ve altındaki p değerleri ile analiz edilmekte ve raporlanmaktadır. %5 kesme değerinin üzerindeki bulguları, sonucun istatistiksel açıdan anlamlı olmadığını söylemenin ötesinde yorumlayan makaleler sayıca azdır. Standart p değerinin üzerinde sonuç veren analizlerde araştırmacıların kullandığı yorumlarda örneğin, bir araştırmada değerinin anlamlılığa yakın olması nedeniyle F değerleri verilmiş ve grup ortalamaları tartışılmıştır. Yaygın olmasa da aralığındaki p değerleri elde edildiğinde, bulguya dair bir yorum yapma eğilimi gözlenmektedir. Çalışmalardan bazılarında p<0.08, p<0.07, p<0.09, p<0.10 marjinal düzeyde anlamlı kabul edilmektedir.

18 72 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN 2014 Bu örnekler, araştırmacıların %5 p değerini keskin bir karar sınırı olarak kullanmanın ötesine geçme eğiliminde olduğunu göstermektedir. Bu bulgulardan da anlaşıldığı gibi NHST açısından, en azından etki büyüklüklerini raporlama açısından, ülkemizde yakın dönemde bazı gelişmeler olduğu söylenebilir. Ancak, araştırmaların bulgularının taşıdığı etkinin büyüklükleri, bu büyüklüklerin taşıdığı klinik ve pratik anlamlılık halen önceliğe sahip değildir. Sonuçlar ve Öneriler Eleştirel yazın, NHST ye tümüyle karşı olan yazarlar kadar gerekli şartlar altında kullanılması halinde NHST nin işe yaradığını düşünen yazarları da içeren bir yelpazeye sahiptir. İkinci gruptaki yazarlar, istatistiksel anlamlılık testlerinin, kullanılan analiz yönteminin öngördüğü koşullar karşılandığı sürece bir geçerliliğe sahip olduğunu söyler (Abelson, 1997; Mulaik, Raju ve Harshman, 1997). Oysa çoğu zaman bu sayıltılar karşılanamamaktadır ve araştırma raporlarında bu sayıltılara yer verilmemektedir. Daha da ötesinde NHST sistematiğinin karmaşık yapısına bağlı olarak ortaya çıkan bilişsel çarpıtmalar ve yanılsamalar, araştırmacıların aslında yürüttükleri çalışmada gerçekten merak ettikleri sorunun cevabını bulduklarını sanmalarına neden olmaktadır; NHST nin teorik yapısı ise çoğu zaman buna elvermemektedir. Önceki bölümde yer alan tüm eleştiriler neticesinde pek çok araştırmacı NHST nin psikoloji biliminin gelişimine, bilimin getirdiği kümülatif birikimin oluşumuna ve güçlü teorilerin üretilmesine ket vurduğu çıkarımına ulaşmaktadır (Meehl, 1978; Rossi, 1997; Schmidt,1996). NHST sistematiğinin doğurduğu bilişsel çarpıtmalar ve yanılsamalar sonucunda, Kline Kendi bulgularımızı anlayamaz hale geliyoruz. Bulgular güvenilir olsa dahi, eğer biz bu bulguların ne anlama geldiğini anlayamıyorsak, bu tekniğin bilim açısından oynadığı rol nedir? (k.i., 2013), diye sormaktadır. Gigerenzer e (1998b) göre güçlü teorilerin yerini teorisiz veri, tekil kavramlar ve ikili sınıflamalar almaktadır; bunları vekil teori (surrogates for theories; s. 196) olarak isimlendirmekte ve bunların ortaya çıkışındaki temel tetikleyicilerden birisinin NHST olduğunu söylemektedir. Teorisiz verinin ebeveynsiz bebek gibi olduğunu, beklenen yaşam süresinin kısa olduğunu belirtmektedir (s. 202). Yani, psikoloji araştırmalarında NHST geleneğinin etkisi altında veri analizi yapılması, bulguların teorik bağlamına ve diğer araştırmalarla bir arada yarattığı kümülatif bilgiye yeteri kadar zaman ayrılmamasına neden olmaktadır. Bakan a göre (1966) psikolojide bilimsel kestirimde tam otomatikleşme sağlama rüyası, fantezisi ve ideali (s. 430) vardır; NHST de bir karar aracı olarak, araştırmacının kestirimde bulunma ve çıkarım yapma sorumluluğunu, kendi omuzlarından atması için bir fırsat sunmaktadır. Rozeboom (1960) ise istatistiksel yöntemlerin, ham verinin işlenmesini sağlayan bir araştırma enstrümanı olduğunu ve araştırmacıların bilimsel süreçler için ihtiyaç hissettikleri bu tür araçlara ulaşabilmesinin bir avantaj olduğunu söylemektedir. Diğer taraftan araştırmacının, özel bir uzmanlık alanının ürettiği bir aracın yeterliliğini sorgulayabilecek teknik donanıma sahip olmaması, bu araçları ezbere kullanmaya başlamasına yol açmaktadır. Bu da kullanıcıyı bir yöntem ya da aracın kısıtlılıkları karşısında, daha da kırılgan hale getirmektedir. NHST bir karar aracı olarak gerek Bakan, gerekse Roseboom un altmışlı yıllarda dile getirdiği dezavantajları taşımaktadır. NHST ye getirilen eleştiriler neticesinde psikoloji nicel analiz yaklaşımlarında yavaş da olsa bir yenilenme gözlendiğini söyleyebiliriz. Fritz ve arkadaşları (2013) tarafından yürütülen kapsamlı tarama bu konuda destekleyici bulgular sunmaktadır. Fritz ve arkadaşları, aralığında Web of Knowledge veritabanında yer alan, psikoloji araştırmalarında istatistiksel güç, etki büyüklüğü ve güven aralığı analizlerinin kullanım sıklığını araştıran makaleler üzerinde çalışmışlardır. İstatistiksel güç analizinin sıklığını tarayan 11 adet çalışmaya rastlamışlar ve bunların kapsadığı toplam 1164 makaleden sadece %2.9 unun istatistiksel güç analizi yaptığını tespit etmişlerdir. Gü-

19 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN ven aralığının kullanım sıklığını tarayan dokuz çalışma bulmuşlar; bunların kapsadığı 1064 adet psikoloji araştırmasının % 10.4 ünün güven aralıklarını raporladığını gözlemlemişlerdir. Etki büyüklüğü ile ilgili tarama yapan 29 çalışmanın ise 6366 adet psikoloji araştırmasını içerdiği ve bunların %38.4 ünün etki büyüklüklerini raporladığı görülmüştür. Fritz ve arkadaşlarının bulgularına göre, NHST tartışmalarının ardından önerilen raporlama stratejilerinin hayata geçirilmesinde, etki büyüklüklerinin raporlanması en belirgin yere sahiptir; ardından güven aralıkları gelmektedir. İstatistiksel güç analizi ise nadiren yapılmaktadır. Fritz ve arkadaşları etki büyüklüğünü hesaplama eğiliminin geliştiğini, ancak alandaki diğer araştırmalarla karşılaştırıldığında bu etkinin ne düzeyde önemseneceği açısından yorumlamalara rastlanmadığını söylemektedir. Ayrıca, ES nin etkili şekilde raporlanabilmesi için güven aralıkları ile birlikte verilmesi gerektiği, ancak makalelerde buna rastlanmadığı belirtilmektedir. Türk Psikoloji Dergisi nde yayımlanan makaleler üzerindeki yaptığım taramaya göre araştırmaların % 34 ünün etki büyüklüklerini raporladığını gözlemlemiştim. Bu bulgunun Fritz ve arkadaşlarının etki büyüklüğünün raporlanma sıklığına dair elde ettiği bulgu ile tutarlı olduğunu görüyoruz. Benzer şekilde, ES ölçütleri raporlansa da yorumlanmadığı da görülmektedir. APA yazım rehberi (2010), test istatistiklerinin anlamlı çıkmadığı durumlarda da etki düzeyinin raporlanması gerektiğini söylemektedir. TPD makalelerinde bu konuda bir tutarlılık gözlenememiştir; bazı araştırmacıların F testinde istatistiksel anlamlılık elde etmediği durumlarda da etki büyüklüğünü raporladığı görülmektedir. Ancak bunun bilinçli bir tercih mi yoksa derginin yazım ilkeleri gereği eta-kare raporlaması yapılmasını istediği için mi olduğu konusunda bir değerlendirme yapmak mümkün değildir. NHST literatüründeki en temel eleştirilerden birisi, NHST yaklaşımın bulguların mekanik bir şekilde değerlendirilmesine yol açması, araştırmacının elde edilen bulguyu taşıdığı önem ve etki açısından yorumlamasına ket vurmasıdır. Etki büyüklüğünü dergilerin yazım ilkeleri gereği belirli istatistik testler için raporlamak, diğer analizlerde bu yönüyle analiz yapmamak ve bulguları etki büyüklükleri açısından yorumlamamak da mekanikleşen raporlama eğiliminin bir başka örneği olabilir. NHST nin Türkiye deki durumu ile ilgili sunulan bilgiler ışığında, ülkemizde yürütülen araştırmaların uluslararası ve akademik standartlara ulaşması için çeşitli adımların atılması gerektiğini söyleyebiliriz. Uluslararası literatürde, NHST tartışmalarının, psikoloji araştırmalarında bir değişim yaratmasında çeşitli inisiyatiflerin rol oynadığını görüyoruz. Bunlardan belki de en önemlisi, meslek kuruluşlarının, istatistiksel kestirim konusunda üyelerini bilgilendirmek ve yönlendirmek için yaptığı çalışmalardır. Bu konuda psikoloji alanındaki en önemli inisiyatif APA tarafından alınmıştır. İstatistiksel Kestirim Çalışma Grubunun hazırladığı rapor (Wilkinson ve Task Force on Statistical Inference, 1999), veri analizi, yorumlaması ve raporlaması için kalite standartlarını sunmaktadır. Bu standartların ardından güncellenen APA yazım rehberi de (2001, 2010) özellikle etki büyüklüğü ve güven aralığı raporlamasını kalite açısından temel gereklilikler olarak sunmaktadır. Diğer bir etken, akademik dergilerin yayın politikalarıdır. Dergilerin ve editörlerinin p değerine ait etki büyüklüklerinin raporlanmasını zorunlu hale getirmesi araştırmacıların ES hesaplamalarını araştırma sürecine entegre etmeleri için önemli bir rol oynamaktadır. Diğer taraftan dergilerin, NHST tartışmalarına dair makaleleri ve bu tartışmaların çeşitli disiplinler ya da bilim dallarına etkilerini inceleyen eserlere de yayın şansı vermesi gerekir. Dergilerde NHST konusundaki özel sayılar ve bölümler de bilimsel araştırma ve yazım yöntemleri konusunda ortak bir bakış yaratmak açısından önemli bir rol üstlenecektir. Etki büyüklüğü, istatistiksel güç, güven aralığı hesaplamalarının psikoloji lisans ve lisansüstü yöntem derslerinin müfredatına dâhil edilmesi gerekmektedir. Öğrenciler NHST nin bir karar aracı olduğunu anlamalı, psikoloji araştırmalarında tasarımdan

20 74 ELEŞTİREL PSİKOLOJİ BÜLTENİ, SAYI 5, NİSAN 2014 analize kadar giden tüm aşamalarda analitik bir yaklaşımın gerektiğini fark etmeleri sağlanmalıdır. Öğrencilerin ilgilenilen alandaki mevcut meta-analiz çalışmaları ile de tanıştırılması gerekmektedir. Böylelikle, kendi araştırmalarında bekleyebilecekleri etki büyüklüklerini tahmin edebilirler; hipotezlerini bu bilgiye dayalı olarak formüle edebilirler. Etki büyüklüğünün öneminin fark edilmesinde meta-analiz çalışmaları önemli bir işleve sahiptir. Öğrencilere replikasyon çalışmalarının önemi de anlatılmalıdır. Frank ve Saxe (2012), replikasyon çalışmalarına, deneyimli araştırmacıların maliyet ve orijinallik kaygısı nedeniyle pek ilgi göstermediği gerçeğinden hareketle, bu çalışmaları psikoloji müfredatına entegre etmeyi önermektedir. Bu amaçla, öğrencilerin güncel araştırmaların replikasyonlarını yapmak üzere yönlendirilmesi bir öğretim tekniği olarak sunulmaktadır. Sonuç olarak, bu inisiyatiflerin ülkemizde de alınması gerektiğini söyleyebiliriz. Hyde (2001) şu vurguyu yapıyor: Etki büyüklüklerini raporlamanın bir ihtilaf (controversy) olarak tanımlanması yazıktır. Etki büyüklüklerinin raporlanması en basit anlamda iyi bir bilimsel uygulamadır. Tek soru sosyalleşme sürecimizi ders kitaplarından, saygın bilim adamlarına kadar nasıl değiştireceğimizdir. (s. 228). Bu görüşten yola çıkarak, ülkemizde de sosyalleşme adımları atılması gereğinden bahsedebiliriz. Ülkemiz araştırmacılarının bir araya geleceği bilimsel tartışma ortamları yaratılmalıdır. Bu amaçla, çeşitli sempozyumlar, atölye çalışmaları, platformlar düşünülebilir. NHST konusunda özel olarak akademik bir yayına imza atmamış, ancak bu tartışmaları merakla takip eden, kendi araştırmalarına bilinçli şekilde dahil eden araştırmacıların ve öğrencilerini ES, CI gibi ölçütlerle tanıştıran öğretim üyelerinin bir araya gelerek ülkemizdeki araştırma pratiğini güncellemeye dönük bilinç yaratmak için inisiyatif alması gerekmektedir. Yazar Notu/Teşekkür Bu çalışmanın ortaya çıkması ve görüşlerinin bu makalede paylaşılması konusunda verdiği destek nedeniyle Rex B. Kline ye ve makalenin olgunlaşmasını sağlayan yapıcı eleştirileri nedeniyle Ersin Aslıtürk ve Bahar Tanyaş a teşekkür ederim. Kaynaklar Abelson, R. P. (1997). A retrospective on the significance test ban of 1999 (If there were no significance tests, they would be invented). L. L. Harlow, S. A. Mulaik, and J. H. Steiger, (Ed.), What if there were no significance tests? içinde ( ). N.J., Mahwah,: Lawrence Erlbaum Associates. Aguinis, H., Werner, S., Abbott, J. L., Angert, C., Park, J. H., ve Kohlhausen, D. (2010). Customer-centric science: Reporting significant research results with rigor, relevance, and practical impact in mind. Organizational Research Methods, 13, American Psychological Association. (2001). Publication manual of the American Psychological Association (5. baskı). Washington, DC: Author. American Psychological Association. (2010). Publication manual of the American Psychological Association (6. baskı.). Washington, DC: Author.