Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin Bir İş Performansı Ölçeği Üzerinde İncelenmesi

Transkript

1 DURU / Uyum Zorluklarını Yordamada Yalnızlık, Sosyal Destek ve Sosyal Bağlılık Arasındaki Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin Bir İş Performansı Ölçeği Üzerinde İncelenmesi Atilla YELBOĞA*, Ezel TAVŞANCIL** Öz Bu araştırmada, bir iş performansı ölçeğinden 2005 ve 2006 yıllarında elde edilen verilerle, klasik test kuramı ve genellenebilirlik kuramı analizleri yapılmıştır. Klasik test kuramı ve genellenebilirlik kuramı analizleri sonucunda elde edilen (kestirilen) güvenirlik katsayıları karşılaştırılmıştır. Klasik test kuramında, test tekrar test güvenirlik katsayısı ve Cronbach alfa iç tutarlılık güvenirlik katsayısı; değerlendiriciler arası güvenirlik için Kendall ın uyuşum katsayısı, genellenebilirlik kuramında ise çok değişkenli modelle Er 2 (G) ve F (Phi) katsayıları kestirilmiş ve bu katsayıların birbirleri ile tutarlı olup olmadıkları incelenmiştir. Araştırmada sonuç olarak aynı ölçme durumu için Klasik Test Kuramının ve Genellenebilirlik Kuramının çok değişkenli modelle elde edilen güvenirlik katsayılarının birbirleriyle uyumlu sonuçlar ürettiği görülmüştür. Anahtar Kelimeler Güvenirlik, Genellenebilirlik Kuramı, Klasik Test Kuramı. * Ankara Üniversitesi, Ölçme ve Değerlendirme Uygulama ve Araştırma Merkezi Danışma Kurulu Üyesi. ** Ankara Üniversitesi, Eğitim Bilimleri Fakültesi, Ölçme ve Değerlendirme Bölümü, Eğitimde İstatistik ve Araştırma ABD Öğretim Üyesi. Kuram ve Uygulamada Eğitim Bilimleri / Educational Sciences: Theory & Practice 10 (3) Yaz / Summer Eğitim Danışmanlığı ve Araştırmaları İletişim Hizmetleri Tic. Ltd. Şti.

2 1826 KURAM VE UYGULAMADA EĞİTİM BİL İMLERİ Dr. Atilla Yelboğa Ankara Üniversitesi, Ölçme ve Değerlendirme Uygulama ve Araştırma Merkezi Danışma Kurulu Üyesi, Ankara Elektronik Posta: Yayın ve Diğer Çalışmalardan Seçmeler Yelboğa, A. (2009). Validity and reliability of the Turkish version of the job satisfaction survey ( JSS). World Applied Sciences Journal, 6, Yelboğa, A. (2008). Örgütlerde personel seçimi ve psikolojik testler. Çağ Üniversitesi Sosyal Bilimler Dergisi, 5(2), Yelboğa, A. (2008). Güvenirliğin değerlendirilmesinde genellenebilirlik kuramının kullanılması: Endüstri ve örgüt psikolojisinde bir uygulama. Psikoloji Çalışmaları Dergisi, 28, Prof. Dr. Ezel Tavşancıl Ankara Üniversitesi, Eğitim Bilimleri Fakültesi, Ölçme ve Değerlendirme Bölümü, Eğitimde İstatistik ve Araştırma ABD, Cebeci/Ankara Elektronik Posta: etavsancil@gmail.com Yayın ve Diğer Çalışmalardan Seçmeler Karakaya, İ. ve Tavşancıl, E. (2009). Yükseköğretime öğrenci seçme sınavının (ÖSS) yordama geçerliği. Kuram ve Uygulamada Eğitim Bilimleri Dergisi, 8, Tavşancıl, E., & Önen, E. (2009, May). Adaptation of the situational cognitive inventory for Turkish high school students. Paper presented at the meeting of The First International Congress of Educational Research, Çanakkale, Turkey. Tavşancıl, E. (2008, Mayıs). Lisansüstü tez çalışmalarının yöntem bölümünün içerik çözümlemesi- Ankara Üniversitesi Eğitim Bilimleri Enstitüsü. I. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi Bildiri Kitabı (s ). Ankara: Ankara Üniversitesi Yayınları. Yayın No:237.

3 DURU / Uyum Zorluklarını Yordamada Yalnızlık, Sosyal Destek ve Sosyal Bağlılık Arasındaki Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin Bir İş Performansı Ölçeği Üzerinde İncelenmesi * Atilla YELBOĞA, Ezel TAVŞANCIL Klasik test kuramında güvenirlik kavramı, Spearman ın basit eşitliği olan (Gözlenen puan = Gerçek puan + Hata puanı) üzerine kurgulanmıştır (Crocker & Algina, 1986). Görüldüğü gibi eşitlikte, hata puanının azaldığı oranda gözlenen puanın gerçek puana yaklaşacağı ifade edilmektedir. Bir ölçekte, standart koşullarda elde edilen ölçümlerdeki toplam değişkenliği oluşturan kaynaklardan biri ölçme hatasıdır. Ölçme hatasının toplam değişkenlik içindeki payının artması, toplam değişkenliğin değişmemesi koşuluyla öteki payları sınırlayacaktır. Hatanın payının artması, ölçülmek istenen özellik bakımından kişiler arası gerçek farklardan gelecek değişkenliğin azalmasına yol açacaktır (Tavşancıl, 2002). Güvenirlik, olası ölçme hatalarından etkilenen bir özelliktir. Güvenirlikle ilgili alanyazın incelendiğinde, güvenirliği etkileyen hataların nereden kaynaklandığı göz önüne alındığında, sistematik bir sınıflamaya ulaşılabilir. Bunlar; a) ölçmenin yapıldığı kişilerden, b)ölçmeyi yapan kişi ya da kişilerden, c) ölçmenin yapıldığı koşullardan ve d) ölçme aracından kaynaklanabilir (Erkuş, 2003). Güvenirliği kestirmenin birçok yolu bulunmaktadır. Araştırmacılar, amaçlarına uygun olarak, gerektiğinde bunlardan bir veya birkaçını bir- * Bu calışma ilk yazarın hazırlamış olduğu doktora tezinin genişletilmiş özetidir.

4 1828 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ likte kullanabilmektedir (Anastasi, 1988; Murphy & Davidshofer, 1998; Rust & Golombok, 1992; Thorndike, 1988). Klasik test kuramı içinde güvenirliğin hesaplanma yöntemleri farklıdır ve güvenirliğin anlamına ve ele aldığı tek hata kaynağına göre farklı adlar almaktadır (Baykul, 2000). Devamlılık ya da kararlılık anlamındaki test tekrar test yönteminde hesaplanan güvenirlikte olası en büyük hata kaynağı olarak zaman ele alınır. Eşdeğerlik veya tutarlılık anlamındaki Paralel (eşdeğer) formlar yöntemiyle hesaplanan güvenirlikte ise formlar olası en büyük hata kaynağı olarak ele alınır. İç tutarlılık anlamında güvenirliğin hesaplanmasında kullanılan Cronbach alfa, Rulon, Flanagen, Mossier, Horst gibi yöntemler ise maddeleri, hata kaynağı olarak dikkate alır (Brennan, 2001; Shavelson & Webb, 1991). Bundan dolayı, klasik test kuramının farklı hata kaynaklarını dikkate alarak hesapladığı güvenirlik sonuçları, aslında Klasik test kuramının çelişkilerini gösterir (Cronbach, Rajaratnam & Gleser, 1963). Klasik test kuramının sayıltılarına dayanan güvenirlik kestirimleri güçlü teknikler olmasına karşın, tüm güvenirlik ya da güvenilmezlik sorunlarını yeterince kapsayamaz. Cronbach ve arkadaşları 1963 yılında, aynı gözlemlerin paralel testlerin bir setinden daha fazlasına ait olduğunun düşünülebileceği ve bu nedenle birden çok güvenirlik katsayısına sahip olabileceği fikrini tartışmışlar ve bu gelişmeleri Genellenebilirlik Kuramı (G Kuramı) adı altında toplamışlardır (Crocker & Algina, 1986). Klasik test kuramı çerçevesinde ele alınan güvenirlik, üzerinde ölçme yapılan gruba bağımlıdır. Ölçme yapılan grup yani örneklem değiştiğinde, güvenirlik katsayısının değeri de değişmektedir. G kuramında ise bireyin evren puanı, genelleme evrenindeki ölçümlerin ortalaması olarak tanımlanarak güvenirliğe değişik bir bakış açısı getirir ve bu ölçümlerin kesin olarak paralel olması gerekmez (Brennan, 2001). Klasik test kuramının sayıtlılarından birisi, ölçme hatalarını tesadüfi hata olarak ele almasıdır. Tesadüfi hatalar yönü ve miktarı bilinmeyen hatalardır. Güvenirliğe konu olan hatalar genelde sistematik olmayan tesadüfi hatalardır (Guilford, 1954; Gulliksen, 1967; Lord & Novick, 1968). G kuramı, Klasik test kuramının aksine hem sistematik hem de sistematik olmayan hata kaynaklarını ele alır ve aynı zamanda değerlendirir. Dolayısıyla G kuramının en önemli avantajı, bütün değişkenlik kaynaklarını dikkate alarak tek bir hesaplamayla ve üstelik hata kaynak-

5 YELBOĞA, TAVŞANCIL / Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin larının ayrı ayrı ve birbirleriyle etkileşimi de göz önünde bulundurularak, kapsamlı bir güvenilirlik kestirmesidir (Brennan, 2001). G kuramının aynı zamanda Klasik test kuramının sağlanması güç olan paralel testler için eşit ortalama, varyans ve kovaryans varsayımlarına karşılık sadece evrenden tesadüfi olarak çekilmiş paralel testlerin örneklemi gibi kolay sağlanabilecek bir varsayımı vardır (Brennan, 2001; Shavelson & Webb, 1991). G kuramında bu varsayımın sağlanması ve bir davranış ölçmesi için bütün olası ölçmelerden oluşan evrenden bir örneklem oluşturulması beklenmektedir. G kuramında değerlendirici, madde, ölçme aracı, zaman gibi ölçmeye ilişkin her bir özellik facet olarak tanımlanmaktadır (Brennan, 2001). Facet ler faktör veya değişkenlik kaynağı olarak da adlandırılabilir. G kuramında kullanılan bir kavram olan değişkenlik kaynağı (facet) deneysel desenlerin literatüründeki faktör kavramına benzemektedir. G kuramı; maddeleri, zamanı, değerlendiricileri ve benzeri hata kaynaklarını, değişkenlik kaynağı olarak adlandırır. Bu değişkenlik kaynaklarının düzeyleri de koşullar veya seviyeler (levels) olarak adlandırılırlar (Brennan, 2001; Crocker & Algina, 1986, Shavelson & Webb, 1991). Gözlemlerin evreni, değişkenlik kaynaklarının bütün olası kombinasyon düzeyleri olarak tanımlanır. G kuramında, ölçme hatalarının farklı değişkenlik kaynaklarından kestirilmesi, gruplararası korelasyon katsayısının hesaplanmasında olduğu gibi varyans analizi yaklaşımının genişletilmiş bir halidir. G kuramının amacı, ölçme konusu olan bireyler ya da objelerin gözlenen puanlarının evren puanlarına (Klasik test kuramındaki gerçek puan kavramına karşılık gelmektedir) doğrulukla genellenmesini sağlamaktır (Atılgan ve Tezbaşaran, 2005). G kuramında, genellenebilirlik (generalizability) katsayısı olarak adlandırılan bir katsayı hesaplanır. Bu katsayı Klasik test kuramındaki güvenirlik katsayısına benzemekle birlikte güvenirlik kavramını yeniden yorumlamaz. Bununla beraber G kuramı, güvenirlik ve geçerlik arasındaki geleneksel farkın güvenilir gözlemler düzenlemekle nasıl ortadan kaldırılabileceğini de gösterir. Geçerlilik türleri içinde yapı geçerliği, gözlenebilen ölçmeler üzerine temellenmiş örtük bir yapı hakkında vardama yapılmasıyla ilgilidir. G kuramında bir evren, onun değişkenlik kaynakları ve gözlemlerin koşulları, geçerlik kuramının geleneksel alanında açıklanan yapıdan tanımlanır. G kuramı gözlemlerin örtülü yapısını (yani kabul edilebilir gözlemlerin evreni) hakkındaki vardamaları doğ-

6 1830 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ rulukla göstermeyi sağlarsa, gözlemleri güvenilir olarak tanımlar (Brennan, 2001; Crocker & Algina, 1986; Shavelson & Webb, 1991). G kuramında, Genellenebilirlik (G) ve Karar (K) çalışmaları olarak ifade edilen iki tür çalışma bulunmaktadır. G çalışmaları, ölçme hatalarını belirli değişkenlik kaynaklarına ayırmak için düzenlenmektedir. G çalışması düzenlemede öncelikle potansiyel değişkenlik kaynaklarının ve ölçme örnekleminin genelleneceği evrenin belirlenmesi gereklidir (Brennan, 2001; Crocker & Algina, 1986; Shavelson & Webb, 1991). G çalışmalarında potansiyel hata kaynaklarına bağlı olarak farklı desenler bulunmaktadır. Bu desenlerde değişkenlik kaynaklarının seçilmesinde tesadüfi ve sabit değişkenlik, verilerin ise çapraz ve yuvalanmış olması durumu söz konusudur. Değişkenlik kaynaklarının özelliklerine ve sayısına bağlı olarak farklı varyans analizi modeli bulunmakta, G kuramının desenleri de bu varyans modellere bağlı olarak belirlenmektedir (Brennan, 2001; Crocker & Algina, 1986; Shavelson & Webb, 1991). G kuramındaki değişkenlik kaynakları içerisinde bulunan tesadüfi değişkenlik, ölçme işlemlerinin koşullarının tesadüfi olarak örneklenmesi demektir. Diğer bir deyişle tesadüfi değişkenlik değerlendiricilerin, puanlama yapması gereken bir ölçme durumunda, geniş bir değerlendirici evreninden tesadüfi olarak çekilen bir değerlendirici örnekleminin puanlama yapmasıdır. Bunun yanında genellenebilmenin evreni sonsuz büyüklükte ve değiştirilebilir özellikte olduğu varsayıldığında, ölçme işlemlerinin koşulları tesadüfi olarak çekilmemişse bile değişkenlik kaynağı tesadüfi olarak kabul edilir. Örneklemin evrenden küçük olduğu ve örneklemin evrenden tesadüfi olarak çekildiği ya da değiştirilebilir olduğu durumlarda değişkenlik kaynağı tesadüfi değişkenlik kaynağı olarak adlandırılır (Brennan, 2001; Shavelson & Webb, 1991). Diğer bir değişkenlik kaynağı da sabit değişkenlik kaynağıdır. Sabit değişkenlik kaynağı özellikle seçilmiş olan ve bunun dışında, genellenmesiyle ilgilenilmeyen veya çalışılan evrenin küçük olması nedeniyle evren üzerinde çalışılması durumlarında kullanılır (Brennan, 2001; Crocker & Algina, 1986; Shavelson & Webb, 1991). Verilerin çaprazlanmış ya da yuvalanmış olmaları G kuramında desenlerin belirlenmesinde göz önünde tutulmaktadır. Verilerin çaprazlanmış olması, bir değişkenlik kaynağının bütün koşullarının diğer bir değişkenlik kaynağının tüm koşullarında gözlenmesini ifade eder ve iki kay-

7 YELBOĞA, TAVŞANCIL / Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin nak arasına x simgesi konularak gösterilir. Verilerin yuvalanmış olması ise, bir değişkenlik kaynağının bütün koşulları diğer bir değişkenlik kaynağının sadece bazı koşullarınca gözlemlenmesidir ve iki kaynak arasına : işareti konularak gösterilir (Brennan, 2001; Shavelson & Webb, 1991). Bu açıklamalara örnek olarak, bireylerin performanslarının değerlendiriciler tarafından puanlanması söz konusu olduğunda, her değerlendirici her bireyi gözlemleyip puanlıyorsa, diğer bir deyişle verilerin çaprazlanmış olması durumunda, birey (b), madde (m) ve değerlendirici (d) ile gösterildiğinde, verilerin çaprazlanmış olması durumu simgesel olarak b x m x d şeklinde ifade edilir. Benzer şekilde bireylerin her birinin performansı farklı değerlendiriciler tarafından gözlemleniyorsa m x (b:d) ile şeklinde ifade edilir (Atılgan ve Tezbaşaran, 2005). G kuramında en az bir yüzey, potansiyel değişkenlik kaynağı olarak belirlenmelidir. Bahsedilen yüzey aynı zamanda ölçme sonuçlarının genellenmesi istenilen alandır. Buna tek değişkenlik kaynaklı desen (tek yüzeyli desen) adı verilir. Diğer bir deyişle analize alınan değişkenlerden en az biri tesadüfi faktörü tanımlamalıdır. Tek değişkenlik kaynaklı desene, test maddeleri arasındaki varyansın veya maddeler arasındaki iç tutarlığın araştırıldığı araştırmalar örnek olarak verilebilir. Tek değişkenlik kaynaklı desen için genellenebilirlik analizini uygulamaya gerek yoktur. Basit varyans analizi, tek değişkenlik kaynaklı desende hata varyansını belirlemek için yeterlidir (Brennan, 2001; Tobar, Stegner & Kane, 1999). Varyans analizi literatüründe kullanıldığı biçimiyle ve G kuramı desenlerinden biri olarak iki değişkenlik kaynaklı (facets) çapraz (crossed) tesadüfi etki deseni nde (iki yüzeyli tesadüfi etki modeli), (b) birey, (m) test maddesi ve (d) değerlendirici olmak üzere, desen b x m x d simgesi ile gösterilir. Burada ölçmenin hedefi bireyler olduğundan (b) bir hata kaynağı değildir. Bu desende bireylerin puanlarını etkileyen iki bağımsız değişken (tesadüfi faktör-facet) vardır. Bunlar ölçeğin maddeleri ve değerlendirici olabilir. G kuramında, genellenebilirlik (G) çalışmasından farklı olarak karar (K) çalışması olarak adlandırılan diğer bir çalışma vardır. K çalışmasında, G çalışmasında elde edilen bilgileri kullanarak belli bir amaçla yapılan bir ölçmedeki hataları en aza indirmenin yolları aranır. G çalışmasında yapılan bir ölçmenin güvenirliği değerlendirilirken, K çalışması genellenebilirlik çalışmasından hareketle karar üzerinde temellenen verileri toplamak üzere düzenlenir (Brennan, 2001; Crocker & Algina, 1986; Shavelson & Webb, 1991).

8 1832 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ K çalışmasında genellenebilirlik (generalizability) katsayısı (G ya da Er 2 ) ve güvenirlik (dependability) katsayısı (Phi ya da F ) olmak üzere iki farklı güvenirlik katsayısı farklı ölçme senaryoları için hesaplanabilir (Brennan, 2001; Crocker & Algina, 1986; Shavelson & Webb, 1991, 2004). Er 2 ve F katsayılarında yer alan hata varyanslarını azaltabilmek için alternatif K çalışmaları düzenlenebilir. Klasik test kuramında Spearman- Brown tahmin katsayısında ya da örneklem kuramında ortalamanın standart hatasında olduğu gibi n m ve n d ile gösterilen madde ve değerlendirici sayıları yerine, değişik kombinasyonlarda değerlendirici ve madde sayıları yazılarak hata varyanslarının azaltılması ve daha yüksek Er 2 ve F katsayılarına ulaşmanın alternatifleri araştırılabilir. Bu tür bir araştırmaya G kuramında alternatif K çalışmaları adı verilir (Brennan, 2001; Crocker & Algina, 1986; Shavelson & Webb, 1991, 2004). G kuramının klasik test kuramının değişik bir yorumu olduğu (Erkuş, 2003) göz önüne alındığında, bu araştırmanın amacını, farklı zamanlarda kullanılan bir iş performansı ölçeğinde, klasik test kuramı ve G kuramı ile kestirilen güvenirlik katsayılarının düzeyi ve birbirleriyle ilişkisinin belirlenmesi oluşturmaktadır. Yöntem Klasik test kuramı ve G kuramı ile kestirilen güvenirlik katsayılarının ilişkisini inceleyen tarama türündeki bu araştırma için aşağıda çalışma grubuna, veri toplama aracına ve uygulanan işlemlere ait bilgilere yer verilmiştir. Çalışma Grubu Araştırmanın çalışma grubunu, yılları arasında hizmet sektöründeki bir işletmenin birbirinden farklı 11 ayrı biriminde çalışan 176 personel oluşturmuştur. Bu 176 personel; müdür (% 6.3), müdür yardımcısı (% 8.5), şef (% 10.8), uzman (% 28.4) ve memur (% 46) olarak unvanlara ayrılmışlardır. Veri Toplama Aracı Araştırmada veriler, hizmet sektöründe iş performansının ölçülmesi amacıyla Yelboğa (2003) tarafından geliştirilen iş performansı ölçeği ile

9 YELBOĞA, TAVŞANCIL / Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin ve 2006 yıllarında toplanmıştır. İş performansı ölçeği; dört boyut altında yer alan 32 maddeden oluşmaktadır. Boyutlar; a) Yönetsel yeterlilikler, b) İşe yönelik (bilgi/beceri) yeterlilikler, c) Davranışsal yeterlilikler ve d) Kendini geliştirme yeterlilikleri olarak adlandırılmıştır yılında yapılan araştırmada ölçeğin test tekrar test yöntemiyle hesaplanan güvenirlik katsayısı 0.87, Cronbach alfa iç tutarlılık katsayısı 0.94 olarak bulunmuştur (Yelboğa, 2003) yıllarına ait verilerle yapılan açımlayıcı ve doğrulayıcı faktör analizi sonuçları ölçeğin yapısını doğrulamaktadır. Modelin bir bütün olarak değerlendirilebilmesi için üretilen uyum iyiliği değerlerine bakıldığında, modelin uyum iyiliği kriterleri açısından iyi değerler ürettiği ve bu haliyle kolaylıkla kabul edilebileceğini göstermektedir. Yapılan analiz sonucunda uyum indeksleri c 2 = (sd=456, p<.000), (c 2 =/sd)= 1.42, RMSEA=0.049, RMR=0.014, standardize edilmiş RMR=0.062, GFI=0.81, AGFI=0.78, CFI=0.97, NFI=0.93 ve NNFI=0.97 olarak bulunmuştur. Örneğin Ki-kare değerinin (649.26) serbestlik derecesine (456) oranı 2 nin altındadır ve bu iyi bir uyum göstergesidir. Aynı şekilde RMSEA (0.049) ve CFI (0.96) değeri de iyi bir uyum göstermektedir. Bunun yanı sıra, modele ilişkin AIC (793.26) ve CAIC ( ) değerlerinin, bağımsızlık modeli (sırasıyla ve ) ve doymuş model sırasıyla ( ve ) değerlerinden daha düşük oldukları görülmektedir. Bu değerler içinde uyum iyiliği için asgari değerlerin üretildiği görülmektedir. İşlem Araştırmada üç farklı yönetici (değerlendirici), 176 personeli (birey) iş performansı ölçeği (görev) ile birbirinden bağımsız olarak değerlendirmişlerdir. Tek değerlendirici analizlerinin kullanılması gerektiği durumlarda iş performansı ölçeğinin geliştirme aşamasında da değerlendirme yapan 2. değerlendiricinin değerlendirmeleri esas alınmış, 1. ve 3. değerlendiricilerden elde edilen veriler kullanılmamıştır. Araştırmada tek değerlendirici analizlerinde 2. değerlendiricinin değerlendirmelerinin esas alınması, bu değerlendiricinin iş performansı ölçeğinin geliştirme aşamasında da değerlendirme yapmasından, diğer değerlendiricilerden daha uzun süre personel ile çalışmasından ve değerlendirilen bireyleri daha uzun süredir tanıyor olmasından kaynaklanmaktadır. Bu araştırmada, ölçme aracının güvenirliği, uygulamadan uygulamaya tutarlı sonuçlar verebilme gücünün bir ölçüsü olan test- tekrar test yolu ile sınanmıştır. Test tekrar test uygulaması 2005 ve 2006 yılındaki uygu-

10 1834 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ lama sonuçları ile yapılmıştır. Araştırmanın yapıldığı kurumda performans değerlendirme uygulamaları arasındaki süre, literatürde çoğunlukla belirtildiği gibi bir yıldır. Bu sürede personelin gelişiminin bir önceki yıla paralel olduğu kabul edilmiştir. Performans değerlendirme ölçeklerinin yapısıyla ilgili temel sayıltılardan biri, ölçekte bulunan her bir maddenin ölçülen performans ile monotonik bir ilişki içinde olduğudur. Bu, her bir maddenin performansı ölçtüğü anlamına gelir. Dolayısıyla, performans değerlendirme ölçeklerinde iç tutarlılığın da sınanması gerekmektedir. Bunun için de en uygun teknik, Cronbach alfa güvenirlik katsayısının hesaplanmasıdır. Bu çalışmada ikinci bir güvenirlik göstergesi olarak Cronbach alfa katsayısı hesaplanmış ve birbiriyle yüksek ilişki gösteren maddelerden oluşan ölçeğin Cronbach alfa katsayısının yüksek olması beklenmiştir. Çalışmada değerlendiriciler arası güvenirlik katsayısı, Kendall ın uyuşum katsayısı ile hesaplanmıştır. Veri analizinin ikinci aşamasında araştırmanın amacı doğrultusunda, iş performansının değerlendirilmesinde güvenirliğin kestirilmesi için G kuramı analizleri yapılmış, Er 2 ve F katsayıları hesaplanmıştır. Test tekrar test ve Cronbach alfa katsayısı hesaplamalarında SPSS programı, G kuramı analizinde, ana ve ortak etkiler için varyans bileşenlerinin kestirilmesi, puanların güvenirliği için Er 2 ve F katsayılarının hesaplanmasında mgenova 2.1 (Brennan, 2001) programı kullanılmıştır. Bulgular Araştırmanın amacı doğrultusunda öncelikle Klasik test kuramı daha sonra da G kuramına ilişkin analiz sonuçları aşağıda sırasıyla verilmiştir. Klasik Test Kuramı Birinci, ikinci ve üçüncü değerlendiricinin aynı bireyleri yıllarında iki farklı uygulamada değerlendirmesi ile elde edilen sonuçlar arasındaki tutarlılık düzeyi Tablo 1 de verilmiştir.

11 YELBOĞA, TAVŞANCIL / Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin Tablo 1. İş performansı ölçeğinin 2005 ve 2006 yılı uygulamasında kestirilen test tekrar test güvenirlik katsayısı değerleri 2005 ve 2006 Boyutlar 1.değerlendirici 2.değerlendirici 3.değerlendirici Yönetsel Yeterlilikler 0.89 İşe Yönelik Bilgi/Beceri Yeterlilikleri 0.82 Davranışsal Yeterlilikler 0.81 Kendini Geliştirme Yeterlilikleri 0.79 Yönetsel Yeterlilikler 0.88 İşe Yönelik Bilgi/Beceri Yeterlilikleri 0.86 Davranışsal Yeterlilikler 0.82 Kendini Geliştirme Yeterlilikleri 0.77 Yönetsel Yeterlilikler 0.85 İşe Yönelik Bilgi/Beceri Yeterlilikleri 0.88 Davranışsal Yeterlilikler 0.86 Kendini Geliştirme Yeterlilikleri 0.81 Boyutlar için test tekrar test Test tekrar test Birinci değerlendiricinin yılına ilişkin test tekrar test uygulaması sonucunda Pearson momentler çarpım korelasyon tekniği ile hesaplanan korelasyon katsayısı 0.85 bulunmuştur. Alt boyutlar için yapılan test tekrar test uygulaması ile güvenirlik katsayısı; Yönetsel Yeterlilikler olarak adlandırılan birinci boyut için 0.89, İşe Yönelik Bilgi/Beceri Yeterlilikleri olarak adlandırılan ikinci boyut için 0.82, Davranışsal Yeterlilikler olarak adlandırılan üçüncü boyut için 0.81 ve Kendini Geliştirme Yeterlilikleri olarak adlandırılan dördüncü boyut için ise 0.79 olarak kestirilmiştir. Test tekrar test uygulaması sonucuna göre ölçeğin farklı iki uygulamada yüksek kararlılık gösterdiği görülmektedir. Birinci değerlendiricinin yılına ilişkin test tekrar test uygulaması sonucu kestirilen güvenirlik katsayıları, ölçeğin güvenilir olduğunun bir göstergesi olarak yorumlanabilir. İkinci değerlendiricinin yılına ilişkin test tekrar test uygulaması sonucunda Pearson momentler çarpım korelasyon tekniği ile hesaplanan korelasyon katsayısı 0.87 bulunmuştur. Alt boyutlar için yapılan test tekrar test uygulaması ile güvenirlik katsayısı; Yönetsel Yeterlilikler olarak adlandırılan birinci boyut için 0.88, İşe Yönelik Bilgi/Beceri Yeterlilikleri olarak adlandırılan ikinci boyut için 0.86, Davranış-

12 1836 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ sal Yeterlilikler olarak adlandırılan üçüncü boyut için 0.82 ve Kendini Geliştirme Yeterlilikleri olarak adlandırılan dördüncü boyut için 0.77 olarak kestirilmiştir. Test tekrar test uygulaması sonucuna göre ölçeğin farklı iki uygulamda yüksek kararlılık gösterdiği görülmektedir. İkinci değerlendiricinin yılına ilişkin test tekrar test uygulaması sonucu kestirilen güvenirlik katsayıları, ölçeğin güvenilir olduğunun bir göstergesi olarak yorumlanabilir. Üçüncü değerlendiricinin yılına ilişkin test tekrar test uygulaması sonucunda Pearson momentler çarpım korelasyon tekniği ile hesaplanan korelasyon katsayısı 0.89 bulunmuştur. Alt boyutlar için yapılan test tekrar test uygulaması ile güvenirlik katsayısı; Yönetsel Yeterlilikler olarak adlandırılan birinci boyut için 0.85, İşe Yönelik Bilgi/ Beceri Yeterlilikleri olarak adlandırılan ikinci boyut için 0.88, Davranışsal Yeterlilikler olarak adlandırılan üçüncü boyut için 0.86 ve Kendini Geliştirme Yeterlilikleri olarak adlandırılan dördüncü boyut için ise 0.81 olarak kestirilmiştir. Test tekrar test sonucunda bulunan değere göre ölçeğin yüksek kararlılık gösterdiği görülmektedir. Üçüncü değerlendiricinin yılına ilişkin test tekrar test uygulaması sonucu kestirilen güvenirlik katsayıları, ölçeğin güvenilir olduğunun bir göstergesi olarak yorumlanabilir. Yapılan test tekrar test uygulamasında her üç değerlendiricide de güvenirlik katsayılarının 0.80 değerinin üzerinde kestirildiği görülmektedir. Sadece Kendini Geliştirme Yeterlilikleri olarak adlandırılan dördüncü boyutun birinci değerlendirici için 0.79 ve ikinci değerlendirici için 0.77 değerinde gerçekleşmiştir. Bu değerlere göre iş performansı ölçeğinde, bir değerlendiricinin Yönetsel Yeterlilikler, İşe Yönelik Bilgi/Beceri Yeterlilikleri, Davranışsal Yeterlilikler ve Kendini Geliştirme Yeterlilikler boyutları altında bir kişiyi birden fazla değerlendirmesi ile kestirilen güvenirlik katsayıları ölçeği güvenilir olduğunun bir göstergesi olarak yorumlanabilir. İş performansı ölçeğinin 2005 ve 2006 yılı uygulamasında, madde varyansına dayalı Cronbach alfa değerleri Tablo 2 de verilmiştir.

13 YELBOĞA, TAVŞANCIL / Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin Tablo 2. İş performansı ölçeğinin 2005 ve 2006 yılı uygulamasında kestirilen Cronbach alfa güvenirlik katsayısı değerleri Yıl Boyutlar Boyutlar için Cronbach Alfa Cronbach Alfa Yönetsel Yeterlilikler 0.90 İşe Yönelik Bilgi/Beceri Yeterlilikleri 0.88 Davranışsal Yeterlilikler 0.86 Kendini Geliştirme Yeterlilikleri 0.66 Yönetsel Yeterlilikler 0.89 İşe Yönelik Bilgi/Beceri Yeterlilikleri 0.81 Davranışsal Yeterlilikler 0.86 Kendini Geliştirme Yeterlilikleri İş performansı ölçeği içerisinde yer alan toplam otuziki madde için 2005 yılına ilişkin Cronbach alfa değeri 0.94 olarak bulunmuştur. Yönetsel Yeterlilikler olarak adlandırılan birinci boyut için Cronbach alfa değeri 0.90; İşe Yönelik Bilgi/Beceri Yeterlilikleri olarak adlandırılan ikinci boyut için Cronbach alfa değeri 0.88; Davranışsal Yeterlilikler olarak adlandırılan üçüncü boyut için Cronbach alfa değeri 0.86 ve Kendini Geliştirme Yeterlilikleri olarak adlandırılan dördüncü boyut için ise Cronbach alfa değeri 0.66 dir. Cronbach alfa değeri 0.66 ile 0.90 arasında değişim göstermektedir. Yönetsel Yeterlilikler olarak adlandırılan boyutun maddelerinin kendi aralarında oldukça yüksek bir tutarlığa sahip olduğu görülmekte, buna karşın Kendini Geliştirme Yeterlilikleri olarak adlandırılan boyutun maddelerinin, diğer boyutlara göre göreceli olarak düşük değere sahip olduğu görülmektedir. İş performansı ölçeği içerisinde yer alan toplam otuziki madde için 2006 yılına ilişkin Cronbach alfa değeri 0.92 olarak bulunmuştur. Yönetsel Yeterlilikler olarak adlandırılan birinci boyut için Cronbach alfa değeri 0.89; İşe Yönelik Bilgi/Beceri Yeterlilikleri olarak adlandırılan ikinci boyut için Cronbach alfa değeri 0.81; Davranışsal Yeterlilikler olarak adlandırılan üçüncü boyut için Cronbach alfa değeri 0.86 ve Kendini Geliştirme Yeterlilikleri olarak adlandırılan dördüncü boyut için ise Cronbach alfa değeri 0.66 dir. Cronbach alfa değeri 2006 yılı uygulamasında da 0.66 ile 0.89 arasında değişim göstermektedir. Yönetsel

14 1838 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Yeterlilikler olarak adlandırılan boyutun maddelerinin kendi aralarında oldukça yüksek bir tutarlığa sahip olduğu, buna karşın Kendini Geliştirme Yeterlilikleri olarak adlandırılan boyutun maddelerinin, diğer boyutlara göre göreli olarak daha düşük bir değere sahip olduğu görülmektedir. Bu boyut içinde üç madde olduğu düşünüldüğünde sonucun düşük çıkması beklenen bir neticedir. İş performansı ölçeğini oluşturan maddelerin iç tutarlılık derecesinin saptanması için yılına ilişkin ikinci değerlendirici için hesaplanan Cronbach alfa değeri için genel kabul en az 0.70 (Nunnally, 1978) olduğu düşünülünce, Kendini Geliştirme Yeterlilikleri boyutu dışında bulunan maddelerin bu ölçüde birbirleriyle tutarlı ve aynı özelliğin ögelerini yoklayan maddelerden oluştuğu şeklinde yorumlanabilir. Performans değerlendirilmesinde, 2005 ve 2006 yıllarında üç farklı değerlendiricinin aynı koşullar altında bir kişiyi değerlendirmesi ile elde edilen sonuçlar arasındaki tutarlılık derecesi, parametrik olmayan istatistiksel bir teknik olan Kendall ın Uyuşum Katsayısı (W) ile analiz edilmiş ve bulunan değerler Tablo 3 de verilmiştir. Tablo 3. Kendall ın uyuşum katsayısı (W) Yıl Boyutlar Boyutlar için Kendall W Kendall W Yönetsel Yeterlilikler 0.89 İşe Yönelik Bilgi/Beceri Yeterlilikleri 0.91 Davranışsal Yeterlilikler 0.83 Kendini Geliştirme Yeterlilikleri 0.88 Yönetsel Yeterlilikler 0.92 İşe Yönelik Bilgi/Beceri Yeterlilikleri 0.95 Davranışsal Yeterlilikler 0.87 Kendini Geliştirme Yeterlilikleri İş performansı ölçeği içerisinde yer alan toplam otuziki madde için 2005 yılına ilişkin değerlendiriciler arası uyum katsayısı Kendall W= 0.95 olarak bulunmuştur. Yönetsel Yeterlilikler olarak adlandırılan birinci boyutun değerlendiriciler arası uyum katsayısı Kendall W = 0.89; İşe Yönelik Bilgi/Beceri Yeterlilikleri olarak adlandırılan ikinci boyu-

15 YELBOĞA, TAVŞANCIL / Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin tun değerlendiriciler arası uyum katsayısı Kendall W= 0.91; Davranışsal Yeterlilikler olarak adlandırılan üçüncü boyutun değerlendiriciler arası uyum katsayısı Kendall W= 0.83 ve Kendini Geliştirme Yeterlilikleri olarak adlandırılan dördüncü boyutün değerlendiriciler arası uyum katsayısı Kendall W= 0.88 dir. Kendall W katsayısı 0.83 ile 0.91 arasında değişim göstermektedir. İş performansı ölçeği içerisinde yer alan toplam otuziki madde için 2006 yılına ilişkin değerlendiriciler arası uyum katsayısı Kendall W= 0.98 olarak bulunmuştur. Yönetsel Yeterlilikler olarak adlandırılan birinci boyutun değerlendiriciler arası uyum katsayısı Kendall W= 0.92; İşe Yönelik Bilgi/Beceri Yeterlilikleri olarak adlandırılan ikinci boyutun değerlendiriciler arası uyum katsayısı Kendall W= 0.95; Davranışsal Yeterlilikler olarak adlandırılan üçüncü boyutun değerlendiriciler arası uyum katsayısı Kendall W= 0.87 ve Kendini Geliştirme Yeterlilikleri olarak adlandırılan dördüncü boyutun değerlendiriciler arası uyum katsayısı Kendall W= 0.89 dir. Kendall W katsayısı 0.87 ile 0.95 arasında değişim göstermektedir. Performans değerlendirilmesinde, üç farklı değerlendiricinin aynı koşullar altında bir kişiyi değerlendirmesi sonucu, uyumun oldukça yüksek olduğu, dolayısıyla her üç değerlendiricinin birbirine benzer değerlendirmeler yaptığı söylenebilir. G Kuramı Orijinal veriler dikkate alınarak, orijinal değerlendirici ve madde sayılarının yanı sıra değerlendirici ve madde sayılarının bir arttırılıp bir azaltılması senaryoları karşısında Er 2 ve F katsayısılarının alt boyutlara göre nasıl değiştiği 2005 ve 2006 yıllarında yapılan ölçme işlemine göre incelenmiştir. Performans değerlendirmenin 2005 yılı ölçümüne ilişkin G kuramının çok değişkenli (b x m x d) modeli ile farklı madde ve değerlendirici sayıları senaryolarına göre yapılan K çalışmaları sonucunda kestirilen Er 2 ve F katsayıları, alt boyutlara göre Tablo 4 de verilmiştir.

16 1840 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ Tablo yılına ait çok değişkenli K çalışması sonucunda orijinal değerlendirici-madde sayıları ile farklı değerlendirici-madde sayıları senaryolarına göre kestirilen Er 2 ve F katsayıları Yönetsel Yeterlilikler İşe Yönelik Bilgi/Beceri Yeterlilikleri Davranışsal Yeterlilikler Kendini Geliştirme Yeterlilikleri n d n m Er 2 F n m Er 2 F n m Er 2 F n m Er 2 F Performans değerlendirmenin 2005 yılına ait sonuçlarda genel olarak, her bir boyut için farklı değerlendirici-madde senaryolarına göre kestirilen F katsayılarının Er 2 katsayılarından küçük olduğu görülmektedir. Bunun yanında Er 2 ve F katsayılarının, farklı değerlendirici-madde senaryolarına göre artışına ya da azalışına paralel olarak, F katsayıları da paralel olarak artmakta ya da azalmaktadır. Performans değerlendirmenin 2006 yılında yapılan ölçümüne ilişkin G Kuramının çok değişkenli (b x m x d) modeli ile farklı madde ve değerlendirici sayıları senaryolarına göre yapılan K çalışmaları sonucunda, kestirilen Er 2 ve F katsayıları, alt boyutlara göre Tablo 5 de verilmiştir. Tablo yılına ait çok değişkenli K çalışması sonucunda orijinal değerlendirici-madde sayıları ile farklı değerlendirici-madde sayıları senaryolarına göre kestirilen Er 2 ve F katsayıları Yönetsel Yeterlilikler İşe Yönelik Bilgi/Beceri Yeterlilikleri Davranışsal Yeterlilikler Kendini Geliştirme Yeterlilikleri n d n m Er 2 F n m Er 2 F n m Er 2 F n m Er 2 F

17 YELBOĞA, TAVŞANCIL / Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin Performans değerlendirmenin 2006 yılına ait sonuçlarında genel olarak, her bir boyut için farklı değerlendirici-madde senaryolarına göre kestirilen F katsayılarının Er 2 katsayılarından küçük olduğu görülmektedir. Bunun yanında Er 2 ve F katsayılarının, farklı değerlendirici-madde senaryolarına göre artışına ya da azalışına paralel olarak, F katsayılarının da paralel olarak artmakta ya da azalmakta olduğu görülmektedir. Er 2 ve F katsayılarının 2005 ve 2006 yılında, tüm altboyutlarda birbirleriyle tutarlı sonuçlar verdiği, Yönetsel yeterlilikler, İşe Yönelik bilgi/beceri yeterlilikleri ve Davranışsal yeterlilikler boyutlarında katsayılar 0.80 değerinin üzerinde olduğu ancak Kendini geliştirme yeterlilikleri boyutunda 0.80 değerinin altında olduğu görülmüştür. Bu değer Kendini geliştirme yeterlilikleri boyutunun üç maddeden oluştuğu düşünüldüğünde, bu boyut altındaki madde sayının arttırılmasının Er 2 ve F katsayılarının artmasını sağlayabileceği söylenebilir. Tablo yılına ait iş performansı ölçeğinde G Kuramı ve Klasik test kuramına göre elde edilen güvenirlik katsayıları Yıl 2005 Boyutlar Yönetsel Yeterlilikler İşe Yönelik Bilgi/Beceri Yeterlilikleri Davranışsal Yeterlilikler Kendini Geliştirme Yeterlilikleri Boyutlar için Er 2 Katsayısı 0.92 Er 2 Katsayısı 0.96 Boyutlar için F 0.92 F Katsayısı 0.95 Boyutlar için Cronbach Alfa Cronbach Alfa Kendall W

18 1842 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ G Kuramına göre Tablo 6 incelendiğinde 32 maddeden oluşan ölçeğin çok değişkenli K çalışması ile kestirilen G katsayısının 0.96 olduğu görülmektedir. Ölçeğe boyutlar düzeyinde bakıldığında çok değişkenli K çalışması ile kestirilen G katsayısı Yönetsel Yeterlilikler boyutunda 0.92; İşe yönelik Bilgi/Beceri Yeterlilikleri boyutunda 0.91; Davranışsal Yeterlilikler boyutunda 0.88 ve Kendini Geliştirme Yeterlilikleri boyutunda 0.69 olarak hesaplanmıştır. Benzer şekilde iş performansı ölçeğinin çok değişkenli K çalışması ile kestirilen Phi katsayısının 0.95 olduğu görülmektedir. Ölçeğe boyutlar düzeyinde bakıldığında çok değişkenli K çalışması ile kestirilen Phi katsayısı Yönetsel Yeterlilikler boyutunda 0.92; İşe yönelik Bilgi/Beceri Yeterlilikleri boyutunda 0.90; Davranışsal Yeterlilikler boyutunda 0.87 ve Kendini Geliştirme Yeterlilikleri boyutunda 0.68 olarak hesaplanmıştır. Klasik test kuramına göre Tablo 6 incelendiğinde 32 maddeden oluşan ölçeğin iç tutarlılık katsayısı olan Cronbach alfa katsayısı ile kestirilmesi sonucunun 0.94 olduğu görülmüştür. Ölçeğe boyutlar düzeyinde bakıldığında iç tutarlılık katsayısı olan Cronbach alfa katsayısı Yönetsel Yeterlilikler boyutunda 0.90; İşe yönelik Bilgi/Beceri Yeterlilikleri boyutunda 0.88; Davranışsal Yeterlilikler boyutunda 0.86 ve Kendini Geliştirme Yeterlilikleri boyutunda 0.66 olarak hesaplanmıştır. İkinci değerlendiricinin 2005 yılına ilişkin puanlamaları sonucunda iş performansı ölçeğine göre kestirilen güvenirlik katsayılarına bakıldığında, gerek klasik test kuramı, gerekse de genellenebilme kuramına göre ölçeğin tümünde birbirine yakın güvenirlik katsayılar kestirildiği görülmektedir. Alt boyutlarda ise Yönetsel Yeterlilikler, İşe Yönelik Bilgi/Beceri Yeterlilikleri ve Davranışsal Yeterlilikler boyutunda da birbirine yakın güvenirlik katsayısı kestirilirken, Kendini Geliştirme Yeterlilikleri boyutunda Cronbach alfa değeri (0.66) G katsayısı (0.69) ve Phi katsayısına (0.68) yakın değerler hesaplanmıştır. Ancak bu boyut üç maddeden oluştuğu için düşük güvenirlik katsayısı kestirilmesi beklenen bir durumdur. İş performansı ölçeğinde 2005 yılında, üç değerlendirici arasındaki tutarlılığı saptamak için kullanılan Kendall ın Uyuşum katsayısı 0.95 olarak hesaplanmıştır. Bu durum ise üç değerlendirici arasındaki ilişkinin oldukça yüksek olduğunu göstermektedir.

19 YELBOĞA, TAVŞANCIL / Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin Tablo yılına ait iş performansı ölçeğinde G Kuramı ve Klasik test kuramına göre elde edilen güvenirlik katsayıları Yıl 2006 Boyutlar Yönetsel Yeterlilikler İşe Yönelik Bilgi/Beceri Yeterlilikleri Davranışsal Yeterlilikler Kendini Geliştirme Yeterlilikleri Boyutlar için Er 2 Katsayısı 0.90 Er 2 Katsayısı 0.94 Boyutlar için F 0.90 F Katsayısı 0.94 Boyutlar için Cronbach Alfa Cronbach Alfa Kendall W G Kuramına göre Tablo 7 incelendiğinde, 32 maddeden oluşan ölçeğin çok değişkenli K çalışması ile kestirilen Er 2 katsayısının 0.94 olduğu görülmektedir. Ölçeğe boyutlar düzeyinde bakıldığında çok değişkenli K çalışması ile kestirilen Er 2 katsayısı Yönetsel Yeterlilikler boyutunda 0.90; İşe yönelik Bilgi/Beceri Yeterlilikleri boyutunda 0.88; Davranışsal Yeterlilikler boyutunda 0.86 ve Kendini Geliştirme Yeterlilikleri boyutunda 0.66 olarak hesaplanmıştır. Benzer şekilde iş performansı ölçeğinin çok değişkenli K çalışması ile kestirilen F katsayısının 0.94 olduğu görülmektedir. Ölçeğe boyutlar düzeyinde bakıldığında çok değişkenli K çalışması ile kestirilen F katsayısı Yönetsel Yeterlilikler boyutunda 0.90; İşe yönelik Bilgi/Beceri Yeterlilikleri boyutunda 0.87; Davranışsal Yeterlilikler boyutunda 0.85 ve Kendini Geliştirme Yeterlilikleri boyutunda 0.65 olarak hesaplanmıştır. Klasik test kuramına göre Tablo 7 incelendiğinde 32 maddeden oluşan ölçeğin iç tutarlılık katsayısı olan Cronbach alfa katsayısının 0.92 olduğu görülmüştür. Ölçeğe boyutlar düzeyinde bakıldığında iç tutarlılık katsayısı olan Cronbach alfa katsayısı Yönetsel Yeterlilikler boyutunda 0.89; İşe yönelik Bilgi/Beceri Yeterlilikleri boyutunda 0.81; Davranışsal Yeterlilikler boyutunda 0.86 ve Kendini Geliştirme Yeterlilikleri boyutunda 0.66 olarak hesaplanmıştır. İkinci değerlendiricinin 2006 yılına ilişkin puanlamaları sonucunda iş performansı ölçeğine göre kestirilen güvenirlik katsayılarına bakıldığın-

20 1844 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ da, gerek klasik test kuramı gerekse de G kuramına göre ölçeğin tümünde ve alt boyutlarda birbirine yakın güvenirlik katsayılar kestirildiği görülmektedir. Kendini Geliştirme Yeterlilikleri boyutunda Cronbach alfa değeri (0.66) Er 2 katsayısı (0.66) ve F katsayısından (0.64) şeklinde neredeyse aynı olarak hesaplanmıştır. Ancak bu boyut daha önce de belirtildiği gibi üç maddeden oluştuğu için düşük güvenirlik katsayısı kestirilmesi beklenen bir durumdur. Bu boyuttaki güvenirlik sorununu çözmek için bu boyut altında madde sayısının arttırılması (bkz. Tablo 5) düşünülmelidir. İş performansı ölçeğinde 2006 yılında üç değerlendirici arasındaki tutarlılığı saptamak için kullanılan Kendall ın Uyuşum katsayısı 0.98 olarak hesaplanmıştır. Bu durum ise üç değerlendirici arasındaki ilişkinin oldukça yüksek olduğu şeklinde yorumlanabilir. Genel olarak 2005 ve 2006 yıllarındaki iş performansı ölçeği uygulaması sonucunda Klasik test kuramı ve G Kuramına göre elde edilen güvenirlik katsayılarının birbirleriyle tutarlı oldukları görülmektedir. Tartışma İş performansı ölçeğinin 2005 ve 2006 yıllarındaki uygulaması için, Klasik test kuramı çalışmasıyla elde edilen Cronbach alfa katsayısı, Kendall ın W katsayısı, G kuramı çalışmasıyla Er 2 katsayısı ve F katsayısı ile elde edilen güvenirlik düzeyleri karşılaştırıldığında; a) İş performansı ölçeğinin boyutlar bazında kestirilen Cronbach alfa katsayısı ile Er 2 ve F katsayılarının birbirleriyle tutarlı olduğu, b) İş performansı ölçeğinin birleşik ölçek bazında kestirilen Cronbach ın alfa katsayısı ile Er 2 ve F katsayılarının birbirleriyle tutarlı olduğu, c) İş performansı ölçeğinin boyutlar bazında kestirilen test tekrar test güvenirlik katsayısı ile Er 2 ve F katsayılarının birbirleriyle tutarlı olduğu, d) İş performansı ölçeğinin birleşik ölçek bazında kestirilen test tekrar test güvenirlik katsayısı ile Er 2 ve F katsayılarının birbirleriyle tutarlı olduğu, e) İş performansı ölçeğinin birleşik ölçek bazında kestirilen Kendall W uyuşum katsayısı ile Er 2 ve F katsayılarının birbirleriyle tutarlı olduğu sonuçlarına varılmıştır.

21 YELBOĞA, TAVŞANCIL / Klasik Test ve Genellenebilirlik Kuramına Göre Güvenirliğin Klasik test kuramı, araştırmacıların günümüzde tercih ettiği ve önemini sürdüren bir kuramdır. Ancak tek bir analizle ortak ve tek bir güvenirlik katsayısı, klasik test kuramında elde edilememektedir. Değişik güvenirlik yöntemleri ile kestirilen güvenirlik katsayılarının birbirinden farklı olması ise klasik test kuramının sınırlılıklarını göstermektedir. G kuramı, potansiyel hata kaynaklarının birden fazla olması durumunda güvenirliğin hesaplanmasının tek bir analizle yapılmasını sağlayan, bağıl ve mutlak değerlendirmeler için kapsamlı bir güvenirlik katsayısını kestirebilen bir kuramdır. G kuramı, klasik test kuramının güvenirlik yöntemlerinden olan test tekrar test ve iç tutarlılık yöntemlerini birleştirebilmektedir. Bu araştırma gibi potansiyel hata kaynaklarının birden fazla olduğu ölçme durumları için G kuramı, klasik test kuramına iyi bir alternatif oluşturmaktadır. Bu araştırma ile elde edilen sonuçlar, güçlü bir istatistiksel temele sahip olması ve psikometrik çalışmalarda kullanım kolaylığı getirmesi açısından, G kuramının psikoloji ve eğitim çalışmalarında güvenirlik belirlemede klasik test kuramının yerine kullanılabileceğine dair önceki bazı çalışmaların (Kieffer, 1999) sonuçları ile tutarlılık göstermektedir. Ancak aynı veri grubu ile iki kuramda da farklı güvenirlik kestirimleri ortaya koyan araştırmalar bulunduğu (Crowley, Thompson & Worchol, 1994) göz önünde bulundurulmalıdır. Bu çalışmada ele alınan iki kuramı ileride araştırmalarında kullanmayı düşünen araştırmacılara aşağıdaki öneriler verilebilir; 1. Bu araştırma da kullanılan iş performansı ölçeğinin yüksek güvenirlik katsayılarına sahip olduğu, klasik test kuramı analizleri ile ortaya konmuştur. G kuramı ile bu bulgular teyit edilmiştir. Benzer çalışmaların, farklı güvenirlik katsayılarına sahip ölçekler ile yapılarak, G kuramının ürettiği güvenirlik katsayılarının tutarlılığının test edilmesi psikometrik çalışmalara katkı sağlayacaktır. 2. Güvenirlik düzeyinin kestirilmesinde hangi tekniklerin kullanılacağına, madde puanlarının yapısına, ölçekle ilgili varsayımlara, araştırma koşullarına ve amaca bağlı olarak değiştiği göz önüne alındığında, bu çalışmada klasik test kuramı ve G kuramının benzer sonuçlar ürettiği görülmüştür. Benzer çalışmalar yapacak araştırmacılara, gerek farklı madde ve değerlendirici sayıları ile alternatif analiz yapma kolaylığı gerekse tek bir analizle güvenirlik katsayısına ulaşılabilmesi nedeniyle G kuramını kullanmaları önerilmektedir.

22 1846 KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ 3. Klasik test kuramındaki güvenirlik çalışmaları, G kuramında tek bir analizle yapılabilmektedir. Zaman ve maliyet durumu göz önüne alındığında G kuramının, klasik test kuramına göre daha hızlı analiz yaptığı ve benzer sonuçlar ürettiği söylenebilir. Bu konu ile ilgili değişik ölçek ve araştırma gruplarıyla çalışmalar yapılması önerilmektedir. 4. Bu araştırmada G kuramının K çalışmasında, farklı ölçme senaryoları uygulanmıştır. Bu senaryolara göre farklı madde ve değerlendirici sayısına göre farklı güvenirlik katsayıları kestirilmiştir. Senaryolara göre kestirilen bu güvenirlik sonuçlarının doğruluğuna ilişkin araştırma yapılması, alana katkı sağlayacaktır. 5. Bu araştırma kapsamında güvenirliğin değerlendirilmesinde, G kuramının çok değişkenli b x m x d modeli ile analizi yapılmıştır. Benzer çalışmaların G kuramının değişik modelleri ile incelenmesi alana oldukça yararlı bilgiler sağlayacaktır.

23 CEYHAN / Predictiveness of Identity Status, Main Internet Use Purposes and Gender on The Examination of Reliability According to Classical Test and Generalizability on a Job Performance Scale Atilla YELBOĞA*, Ezel TAVŞANCIL** Abstract In this research, the classical test theory and generalizability theory analyses were carried out with the data obtained by a job performance scale for the years 2005 and The reliability coefficients obtained (estimated) from the classical test theory and generalizability theory analyses were compared. In classical test theory, test retest and Cronbach s alpha reliability coefficient, Kendall s concordance coefficient for interrater reliability; in generalizability theory, G and Phi coefficients with multivariate model were computed and the consistency of these coefficients were examined. As the result of the research, it is seen that for the same measurement condition, the reliability coefficients obtained from the classical test theory and from the multivariate model of generalizability theory generated harmonious results. Key Words Reliability, Generalizability Theory, Classical Test Theory. * Correspondence: Atilla Yelboğa, PhD., Ankara University, Measurement and Evaluation Application and Research Center, Advisory Board Member, Ankara/Turkey. ayelboga@gmail.com ** Prof. Ezel Tavşancıl, Ankara University, Faculty of Educational Sciences, Department of Measurement and Evaluation, Cebeci, Ankara/Turkey. Kuram ve Uygulamada Eğitim Bilimleri / Educational Sciences: Theory & Practice 10 (3) Summer Eğitim Danışmanlığı ve Araştırmaları İletişim Hizmetleri Tic. Ltd. Şti.

24 1848 EDUCATIONAL SCIENCES: THEORY & PRACTICE The essence of Spearman s model was that any observed score could be envisioned as the composite of two hypothetical components (a true score component and a random error component) (Crocker & Algina, 1986). The true score formula can be written as Observed score= True score + Random error. The relationship between true score and observed score as expressed in a mathematical model was explained by Spearman in what has become known as the true score model or classical test theory. Based on the positive or negative influences of the random error component, it is possible for a respondent s observed score to be higher or lower than the same respondent s true score (Anastasi, 1988; Murphy & Davidshoper, 1998; Rust & Golombok, 1992; Tavşancıl, 2002; Thorndike, 1988). The classical test theory partitions observed score variance into only two components, true score variance and random score variance (Guilford, 1954; Gulliksen, 1967; Lord & Novick, 1968). Consequently, it is possible to examine only a single source of measurement error at any given time. This poses a serious dilemma for the researcher, since in reality several types of measurement errors can exist concurrently (Baykul, 2000; Erkuş, 2003). In classical test theory, it possible to consider estimates of measurement error due to inconsistency in forms (equivalence), observers (interrater agreement), sampling the item domain (internal consistency or split-half ), or time (test-retest or stability). Only one measurement error influence can be considered in a given analysis. Each type of reliability estimate can be used to determine the degree to which true scores deviate from observed scores. The problem, however, is that classical test theory is unable to examine inconsistencies in test forms, raters, items, or occasions simultaneously (Brennan, 2001; Shavelson & Webb, 1991). Generalizability theory, which subsumes classical test theory as a special case, also extends classical test theory by recognizing and estimating the magnitude of the multiple sources of error (Brennan, 2001; Crocker & Algina, 1986). Both sources of error variance and interactions among these sources can be considered simultaneously in a single generalizability analysis (Cronbach, Rajaratnam, & Gleser, 1963). Classical test theory admits consideration of only one type of measurement error at a time and does not consider the possible, completely independent, or separate interaction effects of the measurement error variance.