XIV. Ulusal Eitim ilimleri Kongresi Pamukkale Üniversitesi Eitim Fakültesi 28 30 Eylül 2005 DEN&ZL& Ölçek Geli,tirme Çal.,malar.nda Kapsam Geçerlii için Kapsam Geçerlik &ndekslerinin Kullan.lmas. Dr. Halil Yurdugül Hacettepe Üniversitesi Eitim Fakültesi yurdugul@hacettepe.edu.tr Özet: Ölçek geli!tirme çal"!malar"nda deneysel uygulamalar"n olanakl" olmad"" durumlarda kapsam geçerlik oranlar"na ba!vurulur. Kapsam geçerlilik oranlar", uzman görü!lerine dayal" nitel çal"!malar" istatistiksel nicel çal"!malara dönü!türmek için kullan"lan bir yöntemdir. u çal"!mada kapsam geçerlik oranlar" ve kapsam geçerlik indekslerinin kullan"m" tan"t"lm"! ve deneysel uygulama sonuçlar" ile kapsam geçerlik çal"!malar"n"n tutarl"" incelenmi!tir. Anahtar Kelimeler: Ölçek geli!tirme, uzman görü!leri, kapsam geçerlik oranlar", kapsam geçerlik indeksleri Abstract: When developing a scale in which an pilot study is not possible, the content validity ratios are used. The content validity ratio is a method to convert the expert s judgments based on qualitative analysis to statistical quantitative analysis. The purpose of this study is to explore the content validity ratio usage and the content validity index. In addition, in scale development process, the coherent between the results of experimental application and content validity application have been investigated. KeyWords: Scale development, expert judgments, content validity ratio, content validity index Giri, Eitim ve psikolojide ölçek geli!tirme çal"!malar"nda, geli!tirilmek istenilen ölçek ile ölçülmek istenilen özellik aras"ndaki ba"nt"n"n tutarl" olmas" amaçlan"r. u nedenle; ölçei olu!turan maddelerin yüksek düzeyli psikometrik özellikler göstermesi gerekir. Ancak ölçek maddelerinin psikometrik özelliklerini belirlemek için deneme uygulamas"n"n (pilot study) olanakl" olmad"" durumlarda ölçmeye konu olan özellik kapsam"nda uzman görü!lerine ba!vurulur. Uzman görü!leri üzerine yap"lan çal"!malar özünde nitel bir çal"!mad"r. Kapsam geçerlik oranlar" ve kapsam geçerlik indeksleri, uzman görü!lerine dayal" nitel çal"!malar", istatistiksel nicel çal"!malara dönü!türmek amac"yla kullan"lan bir yöntemdir. u çal"!mada kapsam geçerlik oranlar"n"n tutarl"l"" ele al"nm"!t"r. Ölçek Geli tirme Çal malar Ölçek kavram" özünde ölçme sonuçlar"n"n matematiksel niteliklerini göstermekle birlikte (Turgut ve aykul, 992) eitim ve psikoloji gibi davran"! bilimlerinin bir çok alan"nda, hedeflenen ki!i(ler), sistem, konu ya da içerik aç"s"ndan veri/bilgi toplamak amac"yla kullan"l"r. Torgerson (958), ölçekleri uygulan"! biçimine göre iki grupta toplamaktad"r; (a) yan"tlay"c" merkezli ve (b) gözlemleyici merkezli ölçekler. Çoktan seçmeli testler, tutum ölçekleri, anketler gibi ölçme araçlar" yan"tlay"c" merkezli ölçekler kapsam"ndad"r. Dier taraftan gözlemleyici merkezli ölçekler için gözlem formlar", rubrikler vb. örnek olarak verilebilir. Ölçek geli!tirme çal"!malar", genellikle deneysel süreç ya da kuramsal süreçler ile gerçekle!tirilir (EK-). Deneysel süreçte literatür ya da uzman yakla!"mlar" sayesinde aday ölçek formu elde edilir ve hedef kitle ile benzer özellikler ta!"yan bir örneklem grubuna deneme uygulamas" yap"larak ölçek maddelerine ili!kin psikometrik özellikler belirlenerek ideal maddelerden nihai form elde edilir. u sürecin karakteristik özellikleri ise; nicel bir çal"!ma özellii ta!"mas", genellikle faktör analizlerinin kullan"lmas" ve büyük örneklem gerektirmesidir. u sürece ili!kin genel yakla!"m ve bilgiler Tezba!aran (989) ve Torgerson (958) taraf"ndan ayr"nt"l" bir!ekilde aç"klanm"!t"r. Kuramsal süreçte ise; büyük örneklem gruplar"na ula!amama durumlar"nda aday ölçek formundaki maddelere ili!kin uzman görü!leri al"narak nitel çal"!ma yap"lmaktad"r. Nitel çal"!mada uzman görü!leri aras"ndaki uyumluluklar test edilebilmektedir. Ancak kapsam geçerlik oranlar" yard"m" ile bu nitel süreç istatistiksel nicel bir sürece dönü!türebilmektedir (McGartland vd., 2003). Kapsam Geçerlik Oranlar ve ndeksleri ilindii gibi ölçülmek istenilen özellik ile ölçek maddeleri aras"ndaki ba"nt", ölçme arac"n"n geçerliine ili!kindir. Ölçek maddesinin ölçülmesi amaçlanan özellii kapsama (kapsam geçerlii) ya da maddenin ilgili yap"y" yorma (yap" geçerlii) gücünü belirlemek amac"yla önsel çal"!malara ihtiyaç vard"r (McGartland vd., 2003). Yine ölçme arac"n"n geçerliini etkileyen dier faktörler de ölçek geçerlii için göz önüne al"nmas" gereken noktalard"r; ölçek
maddesinin anla!"labilir olmas", hedef-kitleye uygunluu vb. Önsel çal"!malarda elde edilen uzman görü!leri aras"ndaki uyum/uyumsuzluk ayn" zamanda kapsam ya da yap" geçerlii için birer kestirim niteliinde kullan"lmaktad"r. Kapsam geçerlik oranlar", Lawshe (975) taraf"ndan geli!tirilmi!tir. u nedenle Lawshe teknii olarak bilinen bu yakla!"m 6 a!amadan olu!maktad"r. 2 a) Alan uzmanlar" grubunun olu!turulmas" b) Aday ölçek formlar"n"n haz"rlanmas" c) Uzman görü!lerinin elde edilmesi d) Maddelere ili!kin kapsam geçerlik oranlar"n"n elde edilmesi e) Ölçee ili!kin kapsam geçerlik indekslerinin elde edilmesi f) Kapsam geçerlik oranlar"/indeksi ölçütlerine göre nihai formun olu!turulmas" Lawshe tekniinde, en az 5 en fazla ise 40 uzman görü!üne ihtiyaç vard"r. Her bir madde uzman görü!leri madde hedeflenen yap"yor ölçüyor, madde yap" ile ili!kili ancak gereksiz ya da madde hedeflenen yap"y" ölçmez!eklinde derecelendirilmektedir. Kapsam geçerliinin yan" s"ra benzer!ekilde maddenin anla!"labilirlii, hedefkitleye uygunluu vb. amac"yla da uzman görü!leri derecelendirilebilir. una göre, uzmanlar"n herhangi bir maddeye ili!kin görü!leri toplanarak kapsam geçerlik oranlar" elde edilir (Tablo 2). Kapsam geçerlik oranlar" (KGO), herhangi bir maddeye ili!kin Gerekli görü!ünü belirten uzman say"lar"n"n, maddeye ili!kin görü! belirten toplam uzman say"s"na oran"n"n eksii ile elde edilir. N KGO= G () N / 2 urada; N G, maddeye Gerekli diyen uzmanlar" say"s"n" ve N ise maddeye ili!kin görü! belirten toplam uzman say"s"n" göstermektedir. E!itlik e göre; uzmanlar"n yar"s" maddeye ili!kin Gerekli!eklinde görü! bildirdiklerinde KGO=0, yar"s"ndan fazlas" Gerekli!eklinde görü! bildirmi! ise KGO>0 ve uzmanlar"n yar"s"ndan fazlas" Gerekli!eklinde görü! bildirmemi! ise KGO<0 olacakt"r. KGO deerleri negatif ya da 0 deer içeriyorsa böyle maddeler ilk etapta elenen maddelerdir. KGO deerleri pozitif olan maddeler için istatistiksel ölçütler ile anlaml"l"klar" test edilirler. Elde edilen KGO lar"n istatistiksel olarak anlaml"l""n" test etmek için kapsam geçerlik ölçütleri için ilgili literatürde önceleri birikimli normal da"l"mdan yararlan"l"rken, hesaplama kolayl"" aç"s"ndan =0,05 anlaml"l"k düzeyinde KGO lar"n minimum deerleri (kapsam geçerlik ölçütleri) Veneziano ve Hooper (997) taraf"ndan tabloya dönü!türülmü!tür. una göre, uzman say"s"na ili!kin minimum deerler ayn" zamanda maddenin istatistiksel anlaml"l""n" vermektedir. Tablo : =0,05 anlaml"l"k düzeyinde KGO lar" için minimum deerler. Uzman Say.s. Minimum Deer Uzman Say.s. Minimum Deer 5 0.99 3 0.54 6 0.99 4 0.5 7 0.99 5 0.49 8 0.78 20 0.42 9 0.75 25 0.37 0 0.62 30 0.33 0.59 35 0.3 2 0.56 40+ 0.29 Tablo 2 de ise kapsam geçerlik oranlar"n"n elde edilmesine ili!kin örnek uygulama verilmi!tir. Toplam 2 uzman"n maddelere ili!kin belirtmi! olduklar" görü!ler üzerinden, E!itlik ile verilen ifade yard"m" ile kapsam geçerlik oranlar" elde edilmi!tir. Daha sonra, bu oranlar"n istatistiksel olarak anlaml"l"", Tablo de yer alan deerlerle (0,59) kar!"la!t"r"larak belirlenmi!tir. Testin tümüne ili!kin kapsam geçerlik indeksi de yine Tablo deki deerler ile kar!"la!t"r"lm"!t"r. Kapsam geçerlik indeksi (KGQ), =0,05 düzeyinde anlaml" olan ve nihai forma al"nacak maddelerin toplam KGO ortalamalar" üzerinden elde edilir. Eer ölçülmek istenilen özellik birden fazla boyutta toplanm"! ise her bir boyut için KGQ elde edilmelidir. Tablo 2 deki örnekte tek bir boyut söz konusu olduu varsay"m" ile KGQ>0,67 olduundan ölçek istatistiksel olarak anlaml" olduu söylenebilir. KGQ deerleri alt boyutlar için geçerli olup, her bir alt boyut için, alt boyutta yer alan maddeler dikkate al"narak elde edilmektedir.
3 Tablo 2: Uzman görü!lerinin toplanmas" oranlar"n"n elde edilmesi ve kapsam geçerlik Gerekli Yararl"/Yetersiz Gereksiz Kapsam Geçerlik Oranlar" Madde 2 0 0,00 + Madde 2 0 0,67 + Madde 3 8 3 0,33 - : : : : : Madde k 5 3 4-0,67 Uzman Say.s. 2 Kapsam Geçerlik Ölçütü 0,59 Kapsam Geçerlik &ndeksi 0,67 * Kapsam geçerlii konusunda kullan"lan en yayg"n teknik Lawshe teknii olmas"na kar!"n ba!ka tekniklerde geli!tirilmi!tir. unlardan Davis (992) teknii uzman görü!lerini (a) Uygun, (b) Madde hafifçe gözden geçirilmeli, (c) Madde ciddi olarak gözden geçirilmeli ve (d) Madde uygun deil!eklinde dörtlü derecelendirmektedir. u teknikte (a) ve (b) seçeneini i!aretleyen uzmanlar"n say"s" toplam uzman say"s"na bölünerek maddeye ili!kin kapsam geçerlik indeksi elde edilmektedir ve bu deer istatistiksel bir ölçütle kar!"la!t"rmak yerine 0,80 deeri ölçüt olarak kabul edilmektedir. Yöntem u çal"!mada askeri kurumlarda çal"!an personelin verimliliklerine ili!kin deerlendirme ölçeinin geli!tirilmesi ele al"nm"!t"r. Qlgili literatüre ve konu alan" uzmanlar"na dayan"larak 5 alt boyutta toplam 90 adet aday ölçek maddesi üretilmi!tir. Tablo 3: Aday ölçek maddelerinin alt boyutlara göre da"l"m" Alt oyut Madde Say.s. Tak"m Ruhu 8 Sorumluluk 6 Planlama 22 Mesleki Deneyim 6 Problem Çözme ve Yarat"c"l"k 8 Aday ölçek maddeleri öncelikle kapsam geçerlii aç"s"nda uzman görü!lerine ba!vurularak (uzman say"s" 4) her bir madde için kapsam geçerlik oranlar" elde edilerek maddelerin kalitesi belirlenmi!tir. Ancak aday ölçek için, 90 maddeye ili!kin KGO lara dayal" madde analizi yap"lmadan (olumsuz maddeler elimine edilmeyerek) tüm maddeleri içeren ölçek tasla"na yönelik deneme uygulamas"na gidilmi!tir. Elde edilen sonuçlar aykal (994) taraf"ndan eitim alan"na uygulanan yap"sal geçerlik katsay"s" yard"m" ile tutarl"klar" incelenmi!tir. H(X) = log K H(Y) = log K K K N(X) log N(X) N(Y) log N(Y) urada; K, toplam madde say"s"n",, testte tan"mlanan boyut say"s"n", H(X), beklenen belirsizlik deerini ve H(Y) ise gözlenen belirsizlik deerini göstermektedir. N(X) ve N(Y) ise s"ras"yla; tan"mlanan boyutlardaki beklenen ve gözlenen boyut say"lar"d"r. Ayn" zamanda çapraz belirsizlik ise; H(X, Y) = log K K N(X, Y) X= Y= log N(X, Y)
!eklinde ifade edilmektedir. u belirsizlik deerleri uyar"nda yap"sal geçerlik katsay"s" ise; H(X) + H(Y) H(X, Y) g = H(X, Y)!eklinde tan"mlanmaktad"r. Yap"sal geçerlik katsay"s"n"n istatistiksel anlaml"l"" ki-kare (chi-square) test istatistii ile test edilmektedir (aykal, 994). ulgular Kapsam geçerlik oranlar"na dayal" kapsam geçerlik çözümlemesi ve deneme uygulamas" sonucu faktör çözümlemesi ile elde edilen maddelerin ölçein alt boyutlar"na göre da"l"mlar" Tablo 4 te verilmi!tir. 4 Tablo 4: Kapsam geçerlik çözümlemesi ve faktör çözümlemesine göre maddeleri da"l"m" eklenen (Kapsam Geçerlik Çözümlemesi) Tak"m Mesleki Sorumluluk Planlama Yarat"c"l"k Ruhu Deneyim Gözlenen (Faktör Çözümlemesi) Elenen Toplam Maddeler Tak"m Ruhu 2 2 Sorumluluk 2 2 4 Planlama 5 5 Mesleki Deneyim 0 0 Yarat"c"l"k 2 2 4 Elenen Maddeler 2 2 9 25 Toplam 3 4 6 0 4 23 90 Tablo 4 e göre; kapsam geçerlik oranlar" kullan"larak belirlenen maddeler ile faktör analizi yöntemi ile özellikleri saptanan maddelerin da"l"m" ve her iki yakla!"ma ili!kin boyutlarda toplanan maddelerin marjinal da"l"mlar" görülmektedir. u verilere göre elde edilen belirsizlik katsay"lar" ve beklenen ile gözlenen madde/boyut tutarl"klar"na ili!kin yap"sal geçerlik katsay"lar" elde edilmi!tir. Kapsam Geçerlik elirsizlii: H(X)=0,78 Faktör Çözümleme elirsizlii: H(Y)= 0,78 Çapraz elirsizlik: I(X,Y)=0,93 Yap"sal Geçerlik Katsay"s": g=0,69 u bulgulara göre her iki yakla!"m"n birbirleri ile tutarl" olduu gözlenmi!tir. Sonuç ve Öneriler Eitim ve psikoloji alan"ndaki ölçek geli!tirme çal"!malar"nda; deneysel uygulamalar"n olanakl" olmad"" durumlarda, uzman görü!lerine dayal" nitel çal"!malar ile ölçek ve ölçekte yer alan maddelerin kalitesi kestirilmektedir. Kapsam geçerlik çözümlemesi, uzman görü!lerine dayal" nitel çal"!malar" istatistiksel nicel çal"!malara dönü!türen bir süreç olarak ele al"nabilir. u çal"!mada deneysel uygulama yöntemiyle elde edilen maddelerin psikometrik özellikleri ile kapsam geçerlik çözümlemesinden elde edilen özelliklerin tutarl" olduu bulgusuna ula!"lm"!t"r. Son zamanlarda eitim alan"nda süreç ya da ürün deerlendirmeye yönelik olarak gözlemleyici merkezli ölçme araçlar"na ili!kin uygulamalar"n artt"" görülmektedir. Gözlemleyici merkezli yakla!"mlarda ölç(ül)meye konu olan özelliklerin daha özel alanlarda yer almas"ndan ve bu alanda geni! örneklemelere ula!man"n zorluklar" göz önüne al"nd""nda kapsam geçerlik çözümlemelerinin uygulanabilirlii görülmü!tür. Örnein proje tabanl" örenme ürünlerinde proje üye say"lar"n"n çok s"n"rl" olmas", bu konudaki ölçek geli!tirme çal"!malar"nda deneme uygulamalar"n" olanaks"z hale getirmektedir. u gibi durumlarda kapsam geçerlik çözümlemelerinin kullan"m" deneme uygulamas" ile tutarl" sonuçlar verebilecei görülmektedir. Kapsam çözümlemesinin tutarl"/yans"z sonuçlar verebilmesinin bir ölçütü olarak uzmanlar"n nitelii de önem ta!"maktad"r. Kuramsal sürece, bir dier ifade ile uzman görü!lerine dayal" çal"!malarda kapsam geçerlik çözümlemesi, geçerlii yüksek ölçekler geli!tirmede, uzman görü!lerini nicel bulgulara dönü!türmede ve i!lem-zaman kolayl"" aç"s"ndan yararl"d"r.
Kapsam geçerlik çal"!malar", deneysel süreçlerde de uygulanabilirlii gözlenmektedir. u durumda kapsam çözümlemesi; ölçein ölçmeye yöneldii yap"ya ili!kin yap" geçerliini art"rma, önsel madde analizleri ve maddefaktör say"lar"n" kontrol edebilme gibi avantajlar salamaktad"r. 5 Kaynakça aykal, A. (994). Davran ölçümünde yapsal geçerlik göstergesi. Türk Psikoloji Dergisi, 33, 45-50. Davis, L.L.(992). Instrument review: Getting the most from a panel of experts. Applied Nursing Research, 5, 94-97. Lawshe, C. H. (975). A quantitative approach to content validity. Personnel Psychology, 28, 563 575. McGartland, R. D., erg-weger, M., Tebb, S., Lee, E. S., ve Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2), 94-04. Tezba!aran, A. (997). Likert tipi ölçek geli,tirme k.lavuzu. Ankara: Türk Psikologlar Dernei Yay"nlar". Togerson, W.S. (958). Theory and Methods of Scaling, New York: Wiley. Turgut, M. F. ve aykul, Y. (992). Ölçekleme Teknikleri, ÖSYM Yay"nlar", Ankara. Veneziano L. ve Hooper J. (997). A method for quantifying content validity of health-related questionnaires. American Journal of Health ehavior, 2():67-70.
Ölçek Geli,tirme Süreci 6 Ölçek Olu,turma Süreci Psikometrik Özelliklerin elirlenme süreci Deneysel Süreç Ölçülecek Özelliin Uzman Görü!leri ve Literatür Aday Ölçein Elde Edilmesi Ölçek Uygun Örneklemde Deneme Uygulamas"n"n Yap"lmas" Madde/Faktör Analizi ile Deneysel Formun Elde Edilmesi Kuramsal Süreç Ölçülecek Özelliin Alan/Konu Uzmanlar"n"n Görü!leri Aday Ölçein Elde Edilmesi Ölçek Kapsam Geçerlik Oranlar"n"n Kapsam Geçerlik Qndekslerine Göre Kuramsal Formun Elde Edilmesi