Kayıp Değerlere Yaklaşık Değer Atama Yöntemlerinin Ölçme Araçlarının Geçerlik ve Güvenirliği Üzerindeki Etkisi

Transkript

1 Kuram ve Uygulamada Eğitim Bilimleri Educational Sciences: Theory & Practice - 11(1) Kış/Winter Eğitim Danışmanlığı ve Araştırmaları İletişim Hizmetleri Tic. Ltd. Şti. Kayıp Değerlere Yaklaşık Değer Yöntemlerinin Ölçme Araçlarının Geçerlik ve Güvenirliği Üzerindeki Etkisi Ömay ÇOKLUK a Ankara Üniversitesi Murat KAYRI Yüzüncü Y l Üniversitesi Öz Bu çalışmanın genel amacı, bir ölçme aracının yapı geçerliğinin test edilmesi kapsamında, kayıp değerlerin olmadığı koşul ve farklı oranlarda kayıp değerlerin olduğu koşullarda, kayıp değerlere yaklaşık değer atamada kullanılan farklı yöntemler sonucu elde edilen faktör yapılarının, düzeltilmiş madde-toplam korelâsyonlarının ve Cronbach-alfa iç tutarlık katsayılarının karşılaştırmalı olarak incelenmesidir. Temel araştırma niteliğindeki çalışmanın araştırma grubunu Bahar Yarıyılında Ankara Üniversitesi, Eğitim Bilimleri Fakültesi, Sınıf Öğretmenliği bölümünden 200 öğretmen adayı oluşturmaktadır. Veriler Fatalizm Ölçeği ile toplanmış (Şekercioğlu, 2008) ve verilerin analizinde temel bileşenler analizi yöntemine dayalı açımlayıcı faktör analizi kullanılmıştır. Bulgular, çalışma kapsamında yapı geçerliği incelenen ölçme aracının, kayıp değerlerin olmadığı orijinal veri setiyle elde edilen tek faktörlü yapısının, kayıp değerlere farklı yöntemlerle yaklaşık değerlerin atandığı durumlar için de tek faktörlü olarak elde edildiğini, ancak kayıp değerlere yaklaşık değerler atanmasının, açıklanan varyans oranlarında düşüşe yol açtığını ortaya çıkartmıştır. Benzer bir düşüş özdeğerler ve Cronbach-alfa iç tutarlılık katsayılarında da gözlenmektedir. Anahtar Kelimeler Kayıp Değer, Değer, Yapı Geçerliği, Güvenirlik. Pek çok araştırma kapsamında, toplanan verilerde eksiklikler bulunur. Veri setlerindeki bu eksik değerler, kayıp değerler (veriler) olarak adlandırılır ve bu durum birçok araştırmacının karşılaştığı bir problemdir. Her ne kadar araştırmacılar eksiksiz (tam) veri setleri elde etme çabasında olsalar da, özellikle de katımcılardan verilerin kendini ifade etme (self-report) tekniğine dayalı ölçme araçları yoluyla toplandığı durumlarda, bu sorunla daha sık karşılaşıldığını ifade etmek yanlış olmayacaktır. Kayıp veriler farklı nedenlerle ortaya çıkabilir. Örneğin uzun anketlerde katılımcılar kazara bazı soruları boş bırakabilirler; deneysel işlemlerde ya da a Dr. Ömay ÇOKLUK. Eğitim İstatistiği ve Araştırma alanında yardımcı doçenttir. Çalışma alanları arasında eğitim istatistiği, veri analizi, çok değişkenli istatistiksel yöntemler, bilimsel araştırma yöntemleri ve araştırma etiği yer almaktadır. İletişim: Ankara Üniversitesi Eğitim Bilimleri Fakültesi Ölçme ve Değerlendirme Bölümü, Eğitim İstatistiği ve Araştırma Anabilim Dalı. Elektronik Posta: cokluk@education.ankara.edu.tr. Tel: / 3105 Fax: süreçlerde mekanik hatalar verilerin kaydedilmemesine neden olabilir ya da araştırma hassas bir konu (örneğin seksüel davranışlar) ile ilgili olabilir ve katılımcılar bu tür sorulara cevap vermeme haklarını kullanabilirler (Field, 2005). Garson (2008) bu nedenleri yorgunluk, duyarlılık, bilgi eksikliği ve diğer nedenler olarak gruplamaktadır. Ayrıca arşivlerden sağlanan bazı bilgilerde de kayıtların eksik olmasından kaynaklı eksik veriler olabileceğini belirtmektedir. Bu nedenlere Van der Ark ve Vermunt (2007) tarafından ifade edilen, hız testlerinde zaman yetersizliğinden dolayı bazı sorulara erişemeyen yanıtlayıcıların bulunması da eklenebilir. Yine performansın ölçüldüğü testlerde cevaplayıcıların yanıtı bilmemeleri ya da tahmin etmekten çekinmeleri bazı yanıtların boş kalmasına neden olabilir (Finch ve Margraf, 2008). Özetle; bilişsel, duyuşsal ve davranışsal nitelikleri belirlemeyi hedefleyen ölçme araçları yukarıda belirtilen gerekçelerden kaynaklı kayıp değerler içerebilir. Bu durum ise ölçme araçlarından elde edilen puanların geçerlik ve güvenirliğini etkileyebilir. 289

2 K U R A M V E U Y G U L A M A D A E Ğ İ T İ M B İ L İ M L E R İ Van der Ark ve Vermunt (2007) özellikle sosyal bilimlerde verilerin testler, anketler, ölçekler ya da tekrarlı ölçümlerin olduğu (karmaşık içerikli) deneysel ortamlarda toplanmasından dolayı, kayıp değerlerin üzerinde ciddi anlamda durulması, nedenlerinin saptanmaya çalışılması ve hatta kayıp değerlere sahip bireylere ulaşılarak, bu bireylerle nedenlere ilişkin görüşülmesi gerektiğini, aksi takdirde önemli yanlılıklar içeren istatistiksel analiz bulgularının ve sonuçların ortaya çıkacağını ifade etmektedirler. Kayıp değerlerin ne kadar ciddi bir problem oluşturduğu, bir örüntüsünün olup olmamasına, verilerin ne kadarının kayıp değer olduğuna ve niçin kayıp değer olduğuna bağlı olarak değişir. Kayıp değerlerin bir örüntüsünün olması, kayıp değer miktarından çok daha ciddi bir problemdir. Bir diğer deyişle, seçkisiz dağılmayan kayıp değerler miktarı ne olursa olsun, sonuçların genellenebilirliğini etkiler (Tabachnick ve Fidell, 1996; SPSS, 2007). Bu nedenle de, kayıp değerlerin veri matrisi boyunca seçkisiz olarak dağılması, miktarına bağlı olmaksızın daha az önemli bir sorun olarak değerlendirilebilir. Bir veri seti kayıp değer içerdiği zaman öncelikle yapılması gereken seçkisizliği incelemektir. Araştırmacıların kayıp değerlerin bir örüntüsü olup olmadığını görmeye yönelik çeşitli testler uygulaması gerekir. Bunu yapmak için iki kategorili bir kukla (göstermelik) değişken (dummy variable) üretilebilir. Bu değişkenin bir kategorisi söz konusu değişkene ilişkin verileri tam olan denekleri içerirken, diğer kategori kayıp değerlere sahip denekleri içerecek şekilde kodlanır. Örneğin tutumlarla ilgili bir araştırmada deneklere herhangi bir gelirlerinin olup olmadığı sorulabilir. Bu soruya yanıt vermeyen pek çok denek bulunabilir. Bu yanıt verilmeme durumu, araştırmacının o anda bilmediği nedenlerden kaynaklanabilir. Bu soruda gelirini belirtenler yani soruya yanıt verenler 0, vermeyenler ise 1 olarak kodlanmış olsun. Ardından araştırmacı bu iki grubun tutumları arasında fark olup olmadığını belirlemeye yönelik olarak bağımsız örneklemler için t testi uygulayabilir. Eğer fark anlamlı bulunursa, bu durum gelirini belirtenler ile belirtmeyenlerin araştırmaya konu olan tutumlarının farklılaştığının bir göstergesidir. Bir diğer deyişle kayıp değerleri oluşturan yanıtlar bir örüntüye sahiptir (Mertler ve Vannatta, 2005). Eğer geniş veri setlerinde seçkisiz bir örüntü sergileyen az sayıda kayıp değer varsa, sorun çok ciddi değildir ve kayıp değerleri ortadan kaldırmada farklı yöntemlerin kullanılması benzer sonuçlar üretecektir. Ancak küçük ya da orta büyüklükteki veri setlerinde çok sayıda kayıp değer bulunması ciddi sorunlara neden olur. Ne yazık ki, hangi örneklem büyüklüğü için ne kadar kayıp değerin tolere edilebileceğine ilişkin bir ölçüt yoktur (Tabachnick ve Fidell, 1996). Araştırmacılar kayıp değerlerin ele alınmasına yönelik alternatif yöntemler kullanabilirler. Bu yöntemleri üç temel grup altında incelemek mümkündür: Kayıp Değer Yerine Bir ya da Birden Fazla Değer Tanımlanması ve Bu Verilerin Analiz Dışı Bırakılması: Bir verinin bir katılımcı için kayıp değer olduğu bilgisayar programlarında tanımlanabilir. Kayıp değer tanımlama işlemi, değişken kodlama ile çok benzerdir. Kayıp verileri temsil edecek nümerik bir değer (kod) seçilir ve bu değer, bir katılımcının belirli bir değişkene ilişkin kayıtlı bir değerinin olmadığı anlamına gelir. Bilgisayar programları da tanımlanan bu değeri göz ardı eder; bir diğer deyişle yok sayar ve analizlere dâhil etmez. Burada seçilen değerin, veriler içerisinde yer alan bir başka değere karşılık gelmemesi konusunda dikkatli olunmalıdır. Örneğin bilgisayar programına 9 değeri kayıp değerleri ifade etmek üzere kodlandığında, bazı katılımcıların 9 olarak elde edilen puanları, gerçekte kayıp değer olmadığı halde, kayıp değer olarak kabul edilecektir (Field, 2005). Bir değişken için bir kayıp değer tanımlanabileceği gibi, birden fazla da tanımlanabilir. Kayıp değerleri ifade etmek için birden fazla değerin tanımlanmasının nedeni, her bir kayıp değerin farklı bir anlamının olmasından kaynaklanır. Örneğin bir değişkende bir kayıp değer 8 olarak tanımlanabilir ve bu kabul edilemez anlamına gelebilir. Yine aynı değişkende 9 bir başka kayıp değer olarak tanımlanabilir ve bu bilmiyorum yanıtına karşılık gelebilir. 99 olarak kodlanan kayıp değerler ise boş bırakılan yanıtları tanımlamak üzere kullanılabilir (Field, 2005). Kayıp Değer İçeren Denek ya da Değişkenlerin Silinmesi: Kayıp değerlere müdahale etmenin bir diğer yolu, kayıp değer içerdiği için probleme neden olan denekleri ya da değişkenleri silmektir. Kayıp değer içeren her denek veri dosyasından çıkartılır. Eğer çok az sayıda denek kayıp değere sahipse, silme işlemi iyi bir alternatiftir (Mertler ve Vannatta, 2005). Ancak Carpita ve Manisera (2008) kayıp değer içerdiği için probleme neden olan denekleri silmenin bilgi kaybı ile sonuçlanabileceğini ve kayıp değerlerin miktarına bağlı olarak cevap verenler ile vermeyenler arasındaki olası sistematik farklılıklardan dolayı, önemli yanlılıklara neden olabileceğini vurgulamaktadır. 290

3 ÇOKLUK, KAYRI / Kayıp Değerlere Yaklaşık Değer Yöntemlerinin Ölçme Araçlarının Geçerlik ve Güvenirliği... Bir diğer seçenek kayıp değerlerin az sayıda değişkende toplanmış olmasıdır. Bu durumda da eğer değişken/ler araştırma problemi açısından önemli ve temel değişkenler değilse, değişkenlerin silinmesi (veri setinden çıkartılması) düşünülebilir. Ancak eğer kayıp değerler veri seti boyunca dağılmışsa ve çok sayıda ise, deneklerin ve/veya değişkenlerin silinmesi, ciddi veri kayıplarına neden olur. Örneklem büyüklüğü ciddi oranda düşer ve eğer araştırma için gerekli temel analizler gruplar arası karşılaştırmalar içeriyorsa, bazı gruplar analizler için uygun olmayan örneklem büyüklüklerine inerek karşılaştırmaları tehlikeye sokabilir (Mertler ve Vannatta, 2005). Tabachnick ve Fidell (1996) kayıp değerler bazı değişkenlerde yoğunlaşıyorsa ve bu değişkenler analizler açısından kritik değişkenler değilse ya da bir başka değişken ile yüksek korelasyona sahip bir değişken ise, kayıp değer içeren bu değişkenin rahatlıkla veri setinden çıkartılabileceğini ifade etmektedir. Ancak, kayıp değerler denekler ve değişkenler boyunca dağılabilir ve bu değişkenlerin veri setinden çıkartılması önemli denek kayıplarına neden olabilir. Bu durum özellikle deneysel desenlerde yer alan gruplar açısından ciddi problemlere neden olabilir. Çünkü tek bir deneğin bile veri setinden çıkartılması, eşit olmayan n sayılarına ilişkin düzeltme yapılmasını gerektirir. Ayrıca araştırmacı verileri toplamak için ciddi bir zaman ve enerji harcamışsa, bu verilerin silinmesi konusunda istekli olmayacaktır. Ayrıca kayıp değerlere sahip denekler seçkisiz dağılmıyorsa, bu verilerin silinmesi dağılımın çarpılmasına da neden olabilir. Bu nedenlerden dolayı da Fox-Waslylyshyn ve El-Masri (2005) kayıp değerlere yaklaşık değer atamanın, silme işleminin aksine, örneklem büyüklüğünün korunmasına yardımcı olan bir işlem olduğuna dikkat çekmektedirler. Kayıp Değerlere İlişkin Kestirimler Yapma / Yaklaşık Bir Değer (Imputation): Kayıp değerlere müdahale etmenin bir başka yolu, kayıp değerlere ilişkin kestirimler yapmak ve bu değerleri temel analizler sırasında kullanmaktır. Ancak kestirim ya da yaklaşık değer atama işlemi sadece nicel değişkenler için yapılabilecek bir işlemdir. Bu kestirimleri yapmanın en yaygın üç yöntemi geçmiş bilgileri kullanmak, ortalama değer atamak ve regresyondur (Mertler ve Vannatta, 2005; Tabachnick ve Fidell, 1996). Geçmiş bilgileri kullanmak, araştırmacıların daha önceki bilgilerinden yola çıkarak kayıp değerlere yeni değerler atamalarıdır. Bu yöntem yalnızca araştırmacı belirli bir alanda uzun süredir çalışıyorsa ve ele aldığı değişkenlere ya da evrene ilişkin oldukça fazla bilgiye sahipse kullanılmalıdır (Mertler ve Vannatta, 2005). Tabachnick ve Fidell (1996) bu durumu şöyle açıklamaktadır: Geçmiş bilgileri kullanma yöntemi, araştırmacının kayıp değerler için o alanda sahip olduğu bilgi birikimine dayalı olarak iyi tahminlediği değerleri atamasıdır. Eğer araştırmacı bu alanda uzunca bir suredir çalışıyorsa, örneklem büyükse ve kayıp değer sayısı azsa, bu iyi bir yoldur. Araştırmacı genellikle bir denek için bu değerin medyana ya da bir başka ölçüye yakın bir değer olduğu konusunda kendi bilgilerine güvenir. Kayıp değer kestirimine yönelik bir diğer alternatif, elde edilen verilerden yararlanarak ortalama hesaplamak ve kayıp değer içeren değişkenlere bu ortalamaları atamaktır. Bu işlem temel analizlerin gerçekleştirilmesinden önce yapılır. Eğer araştırmacı başka bilgilere sahip değilse, ortalama değer atamak en iyi kestirim yöntemidir. Ancak bu deneklere değer atamakla genel ortalamanın değişmeyeceğini gözden kaçırmamak gerekir ve bu durumda varyansın bir miktar düşmesi söz konusudur; çünkü belki de gerçek değer ortalamaya tam olarak eşit değildir. Çok sayıda kayıp değer olmadığı takdirde, bu önemli bir problem değildir. Bu durumda olası bir kabul, kayıp değerler için genel ortalama yerine grup ortalamasını kullanmaktır. Bu durum özellikle gruplararası karşılaştırmalar içeren analizler yapılmak istendiğinde daha uygun bir işlemdir (Mertler ve Vannatta, 2005). Kayıp verileri ele almanın ya da kestirmenin üçüncü alternatifi ise, regresyon yaklaşımını kullanmaktır. Regresyonda bir ya da birkaç bağımsız değişken, bağımlı değişkenin değerini tahmin etmede kullanılabilecek bir eşitlik geliştirmek üzere işleme alınır. Kayıp değer kestirimi işleminde, kayıp değerler içeren değişken bağımlı değişken olur. Tam ya da eksiksiz verilere sahip denekler bu yordama eşitliğini geliştirmek üzere kullanılır. Bu eşitlik elde edildikten sonra, eksik veri içeren denekler için, bağımlı değişkendeki kayıp değerleri yordamak amacıyla kullanılır. Bu yöntemin avantajı, araştırmacı tarafından yapılan tahminden daha objektif olması ve basitçe bir genel ortalama atamaktan daha fazla bilgi içermesidir (Tabachnick ve Fidell, 1996). Garson (2008) kayıp değerleri olduğu gibi bırakma, kayıp değere sahip bireyleri silme ya da değer atama konusunda basit bir kural olmadığını vurgulayarak geniş örneklemlerde %5 ten daha az kayıp değerin bulunması durumunda, kayıp değere sahip bireylerin silinmesinin çok sorun yaratmayacağını ifade etmektedir. Ayrıca kayıp değerlere yaklaşık değer atamanın da özellikle frekans dağılımı 291

4 K U R A M V E U Y G U L A M A D A E Ğ İ T İ M B İ L İ M L E R İ vb. istatistiklerin elde edilmesinde yanlılıklara neden olacağını vurgulamaktadır. Howell (2009) kayıp değerlerle ilgili alternatif yöntemlerin her birinin avantaj ve dezavantajları olduğunu ve bunların dikkate alınması gerektiğini vurgulamaktadır. Huisman a (2000) göre kayıp değerleri ele almanın çok çeşitli yolları olmakla birlikte, yaklaşık bir değer atamanın bir ölçekte yer alan maddelerdeki kayıp değerlerle ilgilenmenin en popüler stratejilerinden biri olduğunu belirtmektedir. Yaklaşık değer atama işleminde veri setinde yer alan boşluklara kestirilen değerler atanarak boşluklar doldurulur. Ancak kayıp değerlere yaklaşık değer atama işlemi kimi zaman tehlikelidir. Huisman (2000), Dempster ve Rubin in (1983) bu durumu şöyle ifade ettiklerini aktarmaktadır: Yaklaşık değer atama fikri başlangıçta araştırmacılara cazip (seductive) gelen bir fikir olmakla birlikte, aynı zamanda tehlikeli bir fikirdir. Cazipliği araştırmacıyı teskin etmesinden gelmektedir; çünkü verilerin eksiksiz (tam) olması gerektiği yönündeki inanç araştırmacılar üzerinde baskı yaratır. Diğer yandan tehlikelidir ve küçük problemler içeren bu durumlar bir araya geldiğinde problem öbekleri oluşturur; çünkü standart yordayıcıların yaklaşık değerlerin atandığı verilere uygulanması önemli yanlılıklar oluşturabilir. Tehlikeli olması cevap verenler ile vermeyenler arasındaki olası farklılıktan kaynaklanır. Bu farklılık sistematik olduğu zaman, analiz sonuçları yanlı olabilir ve kolaylıkla da yanlış sonuçlar çıkartılabilir. Tehlikesine karşın yaklaşık değer atama popüler bir tekniktir; çünkü araştırmacılara eksiksiz bir veri seti ile çalışma olanağı sunar. Ancak acemice yapılan yaklaşık değer atama işlemleri, hiçbir şey yapılmamasından çok daha kötü sonuçlara neden olabilir. Bu yüzden de dikkatli olunması gerekir (Huisman, 2000). Kayıp değerleri kestirmek için yukarıdaki yöntemlerden biri kullanıldığında, araştırmacılar analizleri tekrar yapmayı düşünmelidir. Bir başka deyişle temel analizler, kayıp değerlerin olduğu ve olmadığı durumlar için tekrarlanmalıdır. Eğer benzer sonuçlar elde edilirse, bu sonuçların doğruluğuna güven duyulabilir. Araştırmacı, bu iki durumdan hangisinin gerçek dünyayı daha iyi temsil ettiğine karar vermeli ve her iki sonucu da raporlamalıdır (Mertler ve Vannatta, 2005). SPSS paket programında kayıp değerler için yaklaşık değer atamanın beş farklı seçeneği bulunmaktadır ve bu çalışma kapsamında da ele alınan yaklaşık değer atama yöntemleri bu beş seçenek ile sınırlandırılmıştır. Bu yöntemler kısaca şöyle özetlenebilir (Mertler ve Vannatta, 2005): 1. Seriler Ortalaması (Series Mean): Tüm deneklerin belirli bir değişkene ilişkin ortalamasıdır ve programda varsayılan / kurulu değer (default) olarak yer almaktadır. 2. Yakın Noktaların Ortalaması (Mean of Nearby Points): Yakındaki değerlerin ortalamasıdır. Çevreleyen değerlerin sayısı, yakın noktaların uzaklığı (span of nearby points) seçeneği kullanılarak belirlenebilir. Programda varsayılan değer olarak 2 değer yer almaktadır. Bir başka deyişle, eksik verilerin altındaki ve üstündeki tam gözlem değerlerinden yararlanarak aritmetik ortalama hesaplanır ve eksik veriler yerine bu değer atanır. 3. Yakın Noktaların Medyanı / Ortancası (Median of Nearby Points): Yakındaki değerlerin ortancasıdır. Çevreleyen değerlerin sayısının kaç olacağı da yine araştırmacı tarafından belirlenebilir. Bir başka deyişle, eksik verilerin altındaki ve üstündeki tam gözlem değerlerinden yararlanarak ortanca hesaplanır ve eksik veriler yerine bu değer atanır. 4. Doğrusal Değer Kestirimi (Linear Interpolation): Bu değer, eksik veriden önceki son tam gözlem değeri ve eksik değerden sonraki ilk tam gözlem değerinin, eksik verilerin yerine atanmasıdır. Eğer serideki ilk gözlem ve son gözlem eksik ise, kayıp değerin yerine herhangi bir değer atanamaz. 5. Noktanın Doğrusal Eğimi (Linear Trend of Point): Değer, mevcut yapının (örneğin değerler ilk denekten, son deneğe doğru yükselme eğilimi gösteriyorsa) sergilediği eğilim (trend) ile uyumlu ya da tutarlı olarak belirlenir. Mevcut serilerin 1 den n e kadar ölçeklendirildiği bir indeks değişkeninde eksik verilere öngörülen değerler yerleştirilir. Yurt dışında kayıp değer sorununa ilişkin yapılmış çalışmalar incelendiğinde, çok sayıda çalışmaya ulaşılabilir. Örneğin; Raymond ve Roberts (1987) seçtikleri bazı araştırmalarda kayıp değerlerin (eksik veri setlerinin) ele alınma yöntemlerini karşılaştırmışlardır. Fichman ve Cummings (2003) çok değişkenli analizlerde çoklu değer atama (multiple imputation), Grung ve Manne (1998); Sanguinetti ve Lawrence (2006); Raiko, Ilin ve Karhunen (2007) temel bileşenler analizinde kayıp değer problemi, Carpita ve Manisera (2008) Likert tipi ölçeklerin kullanıldığı araştırmalarda kayıp değerlere yaklaşık değer atama yöntemleri, Robitzsch ve Rupp (2009) değişen madde fonksiyonunu belirlemede kayıp değerlerin etkisi (Mantel Haenszel ve lojistik reg- 292

5 ÇOKLUK, KAYRI / Kayıp Değerlere Yaklaşık Değer Yöntemlerinin Ölçme Araçlarının Geçerlik ve Güvenirliği... resyon tekniklerinin karşılaştırılması) gibi konularda araştırmalar yapmışlardır. Ancak söz konusu çalışmalarda kayıp değerlerin incelenmesi ya da kayıp değerlere yapılan işlemler, bu çalışmada yapılanlardan farklıdır. Kayıp değerler genellikle aşağıda özetlenen çalışmada olduğu gibi, bir başka deyişle Tamamıyla Rassal Olarak Kayıp (Missing Completely at Random, MCAR), Rassal Olarak Kayıp (Missing at Random, MAR) ve Rassal Olmayan Kayıp (Missing not at Random, MNAR) mekanizmaları şeklinde ele alınmış ve incelenmiştir. Örneğin Shrive, Stuart, Quan ve Ghali (2006) tarafından yapılan bir çalışmada, 1580 katılımcıya 1-4 arası cevaplama biçimine sahip Zung Depresyon Ölçeği uygulanmış ve 40 puanın üzerinde puan alanlar depresif sendromlar sergileyen bireyler olarak nitelendirilmiştir. Kayıp değerler için Tamamıyla Rassal Olarak Kayıp (Missing Completely at Random, MCAR), Rassal Olarak Kayıp (Missing at Random, MAR) ve Rassal Olmayan Kayıp (Missing not at Random, MNAR) mekanizmaları ele alınmış ve altı farklı değer atama yöntemi incelenmiştir. Bu yöntemler çoklu değer atama (multiple imputation), basit regresyon (single regression), bireysel ortalama (individual mean), genel ortalama (overall mean), katılımcının önceki cevabı (participant preceding response) ve 1-4 değerleri arası rastgele bir değerin seçilip atanmasıdır. Sonuç olarak çoklu değer atama (multiple imputation) yönteminin en doğru yöntem olduğuna karar verilmiştir. Ayrıca bireysel ortalama (individual mean) atanmasının da uygun bir yöntem olduğu ve yorumlanmasının kolay olduğu sonucuna ulaşılmıştır. Yurt içinde kayıp değer sorununa ilişkin yapılmış çalışmalar tarandığında, veri madenciliğine ilişkin bazı çalışmalarda (Kızılkaya-Aydoğan, Gencer ve Akbulut, 2008), kayıp değerlerden söz edildiği belirlenmekle birlikte, doğrudan kayıp değer sorununu inceleyen bir çalışmaya rastlanamamıştır. Sadece Oğuzlar (2001) tarafından yapılan bir çalışmada Dünya Bankası nın web sayfasından elde edilen 207 ülkeye ilişkin 54 değişkenlik bir veri tabanından seçilen 7452 gözlem değeri ve sürekli 21 değişkenin ele alındığı çalışmada SPSS de yer alan liste bazında veri silme, çiftler bazında veri silme, EM ve regresyon atıf teknikleri ile incelenmiştir. Kayıp değer mekanizmaları Tamamıyla Rassal Olarak Kayıp (Missing Completely at Random, MCAR), Rassal Olarak Kayıp (Missing at Random, MAR) ve İhmal Edilemez (Nonignorable, NI) şeklinde ele alınmış ve mevcut kayıp değerlerin hangi mekanizmalar kapsamında değerlendirileceği irdelenmiştir. Yukarıdaki tartışmalar ışığında bu çalışmanın problemini bir ölçme aracının yapı geçerliğinin ve güvenirliğinin test edilmesi kapsamında, kayıp değerin sorununun incelenmesi oluşturmaktadır. Genel olarak sosyal bilim araştırmalarında ve özellikle de eğitim ve psikoloji alanında yapılan çalışmalarda sıklıkla ölçme aracı geliştirilmesi, ölçme araçlarının geçerlik ve güvenirlik gibi teknik özellklerinin belirlenmesi ya da mevcut ölçme araçlarının kullanımı yoluyla verilerin toplanması ve araştırma sonuçlarının sunulması, kayıp değerlerin söz konusu işlemleri ne kadar etkilediğinin incelenmesini gerekli kılmaktadır. Yurt içinde sözü edilen alanlarda ve yine söz konusu teknik özellikler çerçevesinde kayıp değer sorununu ele alan herhangi bir çalışmaya rastlanmamış olması, konunun ele alınmasının önemini ortaya çıkartmaktadır. Amaç Bu çalışmanın genel amacı, bir ölçme aracının yapı geçerliğinin test edilmesi kapsamında, kayıp değerin olmadığı koşulda ve farklı oranlarda (yaklaşık %15.00-%20.00 ve %0.00-%50.00 ranjında) kayıp değerlerin olduğu koşullarda, kayıp değerlere yaklaşık değer atamada kullanılan farklı yöntemler (Seriler Ortalaması, Yakın Noktaların Ortalamasını, Yakın Noktaların Meydanını, Doğrusal Değer Kestirimi, Noktanın Doğrusal Eğimi) sonucu elde edilen faktör yapılarının, düzeltilmiş madde-toplam korelasyonlarının ve Cronbach-alfa iç tutarlık katsayılarının karşılaştırmalı olarak incelenmesidir. Yöntem Araştırma Modeli ve Grubu Bu çalışmanın genel amacı, bir ölçme aracının yapı geçerliğinin test edilmesi kapsamında, kayıp değerin olmadığı koşulda ve farklı oranlarda kayıp değerlerin olduğu koşullarda, kayıp değerlere yaklaşık değer atamada kullanılan farklı yöntemler sonucu elde edilen faktör yapılarının, düzeltilmiş madde-toplam korelasyonlarının ve Cronbach-alfa iç tutarlık katsayılarının karşılaştırmalı olarak incelenmesidir. Bu nedenle çalışma, bilgi üretmeye yönelik kuramsal çalışmaları tanımlayan temel araştırma niteliğindedir. Çalışmanın araştırma grubunu Bahar Yarıyılı nda Ankara Üniversitesi Eğitim Bilimleri Fakültesi Sınıf Öğretmenliği bölümünde öğrenim görmekte olan ve ölçeği eksiksiz dolduran 200 öğretmen adayı oluşturmaktadır. Araştırmaya üçüncü ve dördüncü sınıflardan çalışmaya katılmaya gönüllü öğrenciler alınmıştır. Öğrencilerin 85 i üçüncü sınıf, 115 i dördüncü sınıf öğrencisidir. 293

6 K U R A M V E U Y G U L A M A D A E Ğ İ T İ M B İ L İ M L E R İ Veri Toplama Aracı Bu araştırmanın verileri Fatalizm Ölçeği ile toplanmıştır. Şekercioğlu (2008) tarafından geliştirilmiş olan Fatalizm Ölçeği bireylerin kadercilik (yazgıcılık) düzeylerini ölçmektedir. Bir başka deyişle, bireylerin bütün olguların, olayların, durumların önceden belirlendiği ve değiştirilemeyeceğine ilişkin inanç düzeylerini ölçmek amacıyla geliştirilmiş bir ölçektir. Ölçeğin geçerlik ve güvenirlik çalışmaları Ankara Üniversitesi Eğitim Bilimleri Fakültesi Rehberlik ve Psikolojik Danışmanlık Bölümü nde, 1-4. sınıflarda öğrenim görmekte olan toplam 200 öğretmen adayı üzerinde yapılmıştır. Öğrencilerin 128 i (%64.00) kız, 72 si (%36.00) erkektir. Fatalizm Ölçeği tek faktör altında toplanan 10 maddeden oluşmaktadır. Ayrıca açımlayıcı faktör analizi ile elde edilmiş olan bu tek faktörlü yapının, doğrulayıcı faktör analizi ile de doğrulandığı belirlenmiştir. Beşli likert tipi cevaplama biçimine sahip olan ölçek, hiç uygun değil (1), kısmen uygun (2), uygun (3), oldukça uygun (4) ve tamamen uygun (5) şeklinde puanlanmaktadır. Böylelikle ölçekten alınan yüksek puan, yüksek fatalistik düşünce düzeyine sahip olmayı ifade etmektedir. Fatalizm Ölçeği nin Cronbach-alfa iç tutarlık katsayısı.81 olarak bulunmuştur. 40 kişilik bir grup üzerinde dört hafta arayla yapılan iki uygulama sonucu elde edilmiş olan testtekrar test güvenirliği ise r=.88 olarak bulunmuştur. Verilerin Analizi Bu çalışmada bir ölçme aracının yapı geçerliğinin kayıp değerlere ilişkin farklı koşullar altında test edilmesi amacıyla temel bileşenler analizi yöntemine dayalı açımlayıcı faktör analizi uygulanmıştır. Ayrıca farklı koşullar için madde-toplam korelasyonları ve Cronbach-alfa iç tutarlık katsayıları da kestirilmiştir. İşlem Araştırmanın amacının gerçekleştirilmesi için öncelikle kayıp değerlerin olmadığı orijinal veri seti (n=200) ile temel bileşenler analizi yöntemine dayalı açımlayıcı faktör analizi uygulaması yapılmıştır. Ardından veri setinden bazı verilerin seçkisiz olarak silinmesi suretiyle, kayıp değerler içeren iki veri seti elde edilmiştir. İlk veri seti, değişkenlere (maddelere) ilişkin yaklaşık %15.00 ile %20.00 ranjında değişen kayıp değerler içermektedir. İkinci veri seti ise değişkenlere (maddelere) ilişkin %0.00 ile %50.00 ranjında değişen kayıp değerler içermektedir. Her iki veri setinde de kayıp değerlerin değişkenler boyunca seçkisiz olarak dağıldığı varsayılarak, farklı yöntemlerle (Seriler Ortalaması, Yakın Noktaların Ortalamasını, Yakın Noktaların Meydanını, Doğrusal Değer Kestirimi, Noktanın Doğrusal Eğimi) yaklaşık değer atama işlemleri gerçekleştirilmiştir. Bulgular Bu bölümde öncelikle birinci veri setinden (%15.00 ile %20.00 ranjında değişen kayıp değerler içeren veri seti) ve ardından ikinci veri setinden (%0.00 ile %50.00 ranjında değişen kayıp değerler içeren veri seti) elde edilen bulgulara yer verilmiştir. Her iki veri setinde de kayıp değerin olmadığı koşul ve kayıp değerlere farklı yaklaşık değer atama işlemlerinin gerçekleştirildiği koşullarda ortaya çıkan faktörler, özdeğerler, açıklanan varyans oranları ve maddelere ilişkin faktör yük değerleri karşılaştırmalı olarak incelenmiştir. Ardından düzeltilmiş madde-toplam korelasyonları ve Cronbach- Alfa iç tutarlık katsayılarının karşılaştırılmasına ilişkin bulgular sunulmuştur. Her iki veri setinden elde edilen faktör analizi bulgularının sunulduğu tablolarda, karşılaştırmaya olanak vermesi açısından, kayıp değerin olmadığı orijinal veri setiyle elde edilen faktör yapısı aynen sunulmuştur. Bir başka deyişle Tablo 1 de kayıp değer yok koşulu altında yer alan faktör yapısı, Tablo 5 de aynı koşul için tekrar sunulmuştur. Birinci Veri Setine İlişkin Bulgular Tablo 1 de, %15.00 ile %20.00 ranjında değişen kayıp değerler içeren birinci veri setinden elde edilen faktör analizi sonuçları sunulmaktadır. Tablo 1 incelendiğinde, öncelikle ölçme aracının tek faktör altında toplanan 10 maddeden oluştuğu görülmektedir. Birinci koşulda verilerde kayıp değer yoktur. Bu, ölçme aracının uygulanmasından elde edilen orijinal veri setidir. Bu durumda maddelerin faktör yük değerleri.49 ile.76 arasında değişmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip maddeler 5. ve 9. maddelerdir. Bu koşul altında faktöre ilişkin özdeğer 4.19, açıklanan varyans oranı ise %41.90 dır. Seriler Ortalaması nın atandığı koşul altında, maddelerin faktör yük değerleri.40 ile.74 arasında değişmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.65, açıklanan varyans oranı ise %36.54 dür. 294

7 ÇOKLUK, KAYRI / Kayıp Değerlere Yaklaşık Değer Yöntemlerinin Ölçme Araçlarının Geçerlik ve Güvenirliği... Tablo 1. Kayıp Değerlere Uygulanan Farklı İşlem Koşulları Altında Gerçekleştirilen Faktör Analizlerine İlişkin Sonuçlar Maddeler Faktör Yük Değerleri Kayıp Değer Yok Seriler Ortalamasını Yakın Noktaların Ortalamasını Yakın Noktaların Ortancasını Doğrusal Değer Kestirimi Özdeğer Açıklanan Varyans (%) Noktanın Doğrusal Eğimi Yakın Noktaların Ortalaması nın atandığı koşul altında, maddelerin faktör yük değerleri.31 ile.73 arasında değişmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.53, açıklanan varyans oranı ise %35.26 dır. Yakın Noktaların Ortancası nın atandığı koşul altında, maddelerin faktör yük değerleri.32 ile.72 arasında değişmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.49, açıklanan varyans oranı ise %34.88 dir. Doğrusal Değer Kestirimi koşulu altında maddelerin faktör yük değerleri.29 ile.72 arasında değişmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.47, açıklanan varyans oranı ise %34.68 dir. Doğrusal Değer Kestirimi koşulu altında 6. maddeye ilişkin faktör yük değerinin.29 olduğu da dikkat çekmektedir. Faktör yük değerleri için.30 alt sınırı benimsendiğinde, bu maddenin ölçme aracından çıkartılması gerekmektedir. Bu nedenle de söz konusu maddenin çıkartılması ile bu koşula ilişkin faktör analizi tekrarlanmıştır ve bulgular Tablo 2 de sunulmaktadır. Tablo 2 de sunulan, doğrusal değer kestirimi koşulu için 6 no lu madde atıldıktan sonra tekrarlanan faktör analizi sonucu incelendiğinde, en düşük faktör yük değerine sahip maddenin 10. madde, en yüksek faktör yük değerine sahip maddenin ise 5. madde olduğu görülmektedir. Bu koşul altında faktöre ilişkin özdeğer 3.41, açıklanan varyans oranı ise %37.84 dür. Görüldüğü gibi 6. maddenin çıkartılması ile açıklanan varyans oranı %34.68 den, %37.84 e yükselmiştir. Tablo 1 e ilişkin incelemeye devam edildiğinde, Noktanın Doğrusal Eğimi koşulu altında maddelerin faktör yük değerlerinin.40 ile.73 arasında değiştiği görülmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.76, açıklanan varyans oranı ise %37.62 dir. Tablo 1 ve 2 de sunulan bulgular genel olarak değerlendirildiğinde, kayıp değerlerin olmadığı ve kayıp değerlere farklı yöntemlerle yaklaşık değerlerin atandığı koşullarda, en düşük faktör yük değerine sahip madde 6. maddedir. Doğrusal Değer Kestirimi koşulu altında 6. maddenin.30 dan düşük faktör yük değeri verdiği ve bu nedenle ölçekten çıkartıldığı bilgisi gözardı edilmemelidir. En yüksek faktör yük değerine sahip madde ise tüm koşullarda 5. maddedir. Kayıp değerin olmadığı orijinal veri setinde 9. madde de 5. madde ile eşit ve en yüksek faktör yük değerine sahipken, diğer hiçbir koşul altında bir daha bu durum gözlenmemektedir. Özdeğerler ve açıklanan varyans oranları değerlendirildiğinde ise, en yüksek değerlerin kayıp değerin 295

8 K U R A M V E U Y G U L A M A D A E Ğ İ T İ M B İ L İ M L E R İ Tablo 2. Doğrusal Değer Kestirimi Koşulu Altında Madde Atıldıktan Sonra Tekrarlanan Faktör Analizi Sonucu Maddeler Faktör Yük Değerleri Doğrusal Değer Kestirimi Özdeğer 3.41 Açıklanan Varyans (%) olmadığı koşulda elde edildiği görülmektedir. Kayıp değerlere yaklaşık değerlerin atanması, varyans oranlarında düşüşe yol açmaktadır. Kayıp değerlere yaklaşık değerlerin atandığı durumda en düşük varyansın açıklandığı koşul, Doğrusal Değer Kestirimi koşulu iken, en yüksek varyansın açıklandığı koşul, Noktanın Doğrusal Eğimi koşuludur. Ancak Doğrusal Değer Kestirimi koşulunda 6. madde çıkartıldığında, en düşük açıklanan varyans oranının Yakın Noktaların Ortancasını koşulu altında ortaya çıktığı görülmektedir. Tablo 3 de kayıp değerlere uygulanan farklı işlem koşullarında maddelere ilişkin düzeltilmiş maddetoplam korelasyonları ve Cronbach-Alfa iç tutarlık katsayıları sunulmaktadır. Tablo 3 incelendiğinde, verilerde kayıp değerin olmadığı birinci koşulda, düzeltilmiş madde-toplam korelasyonları.38 ile.65 arasında değişmektedir. En düşük düzeltilmiş madde-toplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren maddeler ise 5. ve 9. maddelerdir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.83 dür. Seriler Ortalaması nın atandığı koşul altında, düzeltilmiş madde-toplam korelasyonları.29 ile.61 arasında değişmektedir. En düşük düzeltilmiş madde-toplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.79 dur. Yakın Noktaların Ortalaması nın atandığı koşul altında, düzeltilmiş madde-toplam korelasyonları.22 ile.60 arasında değişmektedir. En düşük düzeltilmiş madde-toplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.78 dir. Yakın Noktaların Ortancası nın atandığı koşul altında, düzeltilmiş madde-toplam korelasyonları.23 ile.59 arasında değişmektedir. En düşük düzeltilmiş madde-toplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.78 dir. Doğrusal Değer Kestirimi koşulu altında, düzeltilmiş madde-toplam korelasyonları.20 ile.59 arasında değişmektedir. En düşük düzeltilmiş maddetoplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.78 dir. Doğrusal Değer Kestirimi koşulu altında, 6. maddenin araçtan çıkartılması ile tekrarlanan faktör yapısı için elde edilen madde-toplam korelasyonları ve Cronbach-Alfa iç tutarlık katsayısı Tablo 4 de sunulmaktadır. Tablo 4 incelendiğinde, düzeltilmiş madde-toplam korelasyonlarının.42 ile.58 arasında değiştiği görülmektedir. En düşük düzeltilmiş madde-toplam korelasyonu veren madde 10. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.78 dir. Bu maddenin çıkartılması ile Cronbach-Alfa iç tutarlık katsayısında bir değişme olmamıştır. Tablo 3 e ilişkin incelemelere devam edildiğinde, Noktanın Doğrusal Eğimi koşulu altında düzel- 296

9 ÇOKLUK, KAYRI / Kayıp Değerlere Yaklaşık Değer Yöntemlerinin Ölçme Araçlarının Geçerlik ve Güvenirliği... Tablo 3. Kayıp Değerlere Uygulanan Farklı İşlem Koşulları Altında Maddelere İlişkin Düzeltilmiş Madde-Toplam Korelasyonları ve Cronbach-Alfa İç Tutarlık Katsayıları Maddeler Düzeltilmiş Madde-Toplam Korelasyonları ve Cronbach-Alfa İç Tutarlık Katsayıları Kayıp Değer Yok Seriler Ortalaması Yakın Noktaların Ortalamasını Yakın Noktaların Ortancasını Doğrusal Değer Kestirimi Cronbach-Alfa Noktanın Doğrusal Eğimi tilmiş madde-toplam korelasyonları.30 ile.61 arasında değişmektedir. En düşük düzeltilmiş maddetoplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.80 dir. Tablo 3 de sunulan bulgular toplu olarak değerlendirildiğinde, en düşük düzeltilmiş madde-toplam korelasyonları ranjının.20 ile.38 arasında değiştiği; en yüksek düzeltilmiş madde-toplam korelasyonları ranjının ise.59 ile.79 arasında değiştiği görülmektedir. Ancak Doğrusal Değer Kestirimi koşulu altında, 6. maddenin araçtan çıkartılması ile tekrarlanan faktör yapısı için elde edilen madde-toplam korelasyonları dikkate alınarak ranj değerlendirildiğinde, en düşük düzeltilmiş madde-toplam korelasyonları ranjının.22 ile.42 arasında değiştiği, en düşük ve en yüksek düzeltilmiş madde-toplam korelasyonuna sahip maddelerin, yine en düşük ve en yüksek faktör yük değerine sahip maddeler olduğu görülmektedir. Cronbach-Alfa iç tutarlık katsayıları ranjı ise.78 ile.85 arasında değişmektedir. Kayıp değerlere yaklaşık değerlerin atanması, özdeğerler ve varyans oranlarında olduğu gibi, Cronbach-alfa iç tutarlılık katsayılarında da düşüşe yol açmaktadır. İkinci Veri Setine İlişkin Bulgular Tablo 5 de, %0.00 ile %50.00 ranjında değişen kayıp değerler içeren ikinci veri setinden elde edilen kayıp değerin olmadığı koşul ve farklı yaklaşık değer atama yöntemleri kullanılarak değerler atanması koşulları gibi farklı işlem koşulları altında elde edilen faktör analizi sonuçları sunulmaktadır. Tablo 5 incelendiğinde, birinci koşul, daha önce Tablo 1 de de sunulmuş olan kayıp değerin olmadığı, orjinal veri seti ile gerçekleştirilen faktör analizi sonucudur. Bu durumda maddelerin faktör yük değerleri.49 ile.76 arasında değişmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip maddeler ise 5. ve 9. maddelerdir. Bu koşul altında faktöre ilişkin özdeğer 4.19, açıklanan varyans oranı ise %41.90 dır. Seriler Ortalaması nın atandığı koşul altında, maddelerin faktör yük değerleri.34 ile.71 arasında değişmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.42, açıklanan varyans oranı ise %34.22 dir. Yakın Noktaların Ortalaması nın atandığı koşul altında, maddelerin faktör yük değerleri.26 ile.69 arasında değişmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.48, açıklanan varyans oranı ise %34.75 dir. Yakın Noktaların Ortancası nın atandığı koşul altında, maddelerin faktör yük değerleri.29 ile.69 arasında değişmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.51, açıklanan varyans oranı ise %35.11 dir. 297

10 K U R A M V E U Y G U L A M A D A E Ğ İ T İ M B İ L İ M L E R İ Tablo 4. Doğrusal Değer Kestirimi Koşulu Altında Madde Atıldıktan Sonra Elde Edilen Düzeltilmiş Madde-Toplam Korelasyonları ve Cronbach-Alfa İç Tutarlık Katsayısı Maddeler Düzeltilmiş Madde-Toplam Korelasyonları ve Cronbach-Alfa İç Tutarlık Katsayısı Doğrusal Değer Kestirimi Cronbach-Alfa.78 Doğrusal Değer Kestirimi koşulu altında maddelerin faktör yük değerleri.27 ile.70 arasında değişmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.39, açıklanan varyans oranı ise %33.91 dir. Yakın Noktaların Ortalaması nın, Yakın Noktaların Ortancası nın atandığı koşullar ile Doğrusal Değer Kestirimi koşulu altında 6. maddeye ilişkin faktör yük değerlerinin.30 dan düşük olduğu görülmektedir. Bu nedenle de söz konusu maddenin çıkartılması ile bu koşullara ilişkin faktör analizleri tekrarlanmış ve bulgular Tablo 6 da sunulmuştur. Tablo 6 incelendiğinde, Yakın Noktaların Ortalaması nın atandığı koşul altında, maddelerin faktör yük değerlerinin.56 ile.68 arasında değiştiği görülmektedir. En düşük faktör yük değerine sahip madde 10. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.43, açıklanan varyans oranı ise %38.07 dir. Yakın Noktaların Ortancası nın atandığı koşul altında, maddelerin faktör yük değerleri.53 ile.69 arasında değişmektedir. En düşük faktör yük değerine sahip madde 10. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.45, açıklanan var- Tablo 5. Kayıp Değerlere Uygulanan Farklı İşlem Koşulları Altında Gerçekleştirilen Faktör Analizlerine İlişkin Sonuçlar Maddeler Faktör Yük Değerleri Kayıp Değer Yok Seriler Ortalamasını Yakın Noktaların Ortalamasını Yakın Noktaların Ortancasını Doğrusal Değer Kestirimi Özdeğer Açıklanan Varyans (%) Noktanın Doğrusal Eğimi

11 ÇOKLUK, KAYRI / Kayıp Değerlere Yaklaşık Değer Yöntemlerinin Ölçme Araçlarının Geçerlik ve Güvenirliği... Tablo 6. Yakın Noktaların Ortalaması, Yakın Noktaların Ortancası ve Doğrusal Değer Kestirimi Koşulları için Madde Atıldıktan Sonra Tekrarlanan Faktör Analizi Sonucu Maddeler Faktör Yük Değerleri Yakın Noktaların Ortalamasını Yakın Noktaların Ortancasını Özdeğer Açıklanan Varyans (%) Doğrusal Değer Kestirimi yans oranı ise %38.33 tür. Doğrusal Değer Kestirimi koşulu altında maddelerin faktör yük değerleri.56 ile.70 arasında değişmektedir. En düşük faktör yük değerine sahip madde 10. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.34, açıklanan varyans oranı ise %37.10 dur. Tablo 5 e ilişkin incelenmeye devam edildiğinde, Noktanın Doğrusal Eğimi koşulu altında maddelerin faktör yük değerlerinin.34 ile.72 arasında değiştiği görülmektedir. En düşük faktör yük değerine sahip madde 6. madde iken, en yüksek faktör yük değerine sahip madde, 5. maddedir. Bu koşul altında faktöre ilişkin özdeğer 3.59, açıklanan varyans oranı ise %35.85 tir. Tablo 5 ve 6 da sunulan bulgular genel olarak değerlendirildiğinde, tüm koşullarda 6. madde en düşük faktör yük değerine sahip madde iken, en yüksek faktör yük değerine sahip madde ise 5. maddedir. Ancak Yakın Noktaların Ortalaması nın atandığı koşul altında, Yakın Noktaların Ortancası nın atandığı koşul altında ve Doğrusal Değer Kestirimi koşulu altında 6. maddeye ilişkin faktör yük değerlerinin.30 dan düşük olduğu ve ölçekten çıkartıldığı bilgisi de göz ardı edilmemelidir. Bu koşullar için analizler tekrar edildiğinde, tüm koşullarda 10. madde en düşük faktör yük değerine sahip madde iken, en yüksek faktör yük değerine sahip madde ise yine 5. maddedir. Özdeğerler ve açıklanan varyans oranları değerlendirildiğinde ise, en yüksek değerlerin kayıp değerin olmadığı koşulda elde edildiği görülmektedir. Kayıp değerlere yaklaşık değerlerin atanması, varyans oranlarında düşüşe yol açmaktadır. En düşük varyansın açıklandığı koşul, Doğrusal Değer Kestirimi koşulu iken, en yüksek varyansın açıklandığı koşul, Noktanın Doğrusal Eğimi koşuludur. Ancak 6.maddenin çıkartılması ile Yakın Noktaların Ortalaması, Yakın Noktaların Ortancası ve Doğrusal Değer Kestirimi koşulu altında analizler tekrarlandığında, en düşük varyansın artık seriler ortalaması nın atandığı koşul altında olduğu görülmektedir. Tablo 7 de kayıp değerlere uygulanan farklı işlem koşulları altında maddelere ilişkin düzeltilmiş madde-toplam korelasyonları ve Cronbach-Alfa iç tutarlık katsayıları sunulmaktadır. Tablo 7 incelendiğinde, verilerde kayıp değerin olmadığı birinci durumda, düzeltilmiş maddetoplam korelasyonları.38 ile.65 arasında değişmektedir. En düşük düzeltilmiş madde-toplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren maddeler ise 5. ve 9. maddelerdir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.83 dür. Seriler Ortalaması nın atandığı koşul altında, düzeltilmiş madde-toplam korelasyonları.25 ile.59 arasında değişmektedir. En düşük düzeltilmiş madde-toplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.79 dur. Yakın Noktaların Ortalaması nın atandığı koşul altında, düzeltilmiş madde-toplam korelasyonları.19 ile.56 arasında değişmektedir. En düşük düzeltilmiş madde-toplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam kore- 299

12 K U R A M V E U Y G U L A M A D A E Ğ İ T İ M B İ L İ M L E R İ Tablo 7. Kayıp Değerlere Uygulanan Farklı İşlem Koşulları Altında Maddelere İlişkin Düzeltilmiş Madde-Toplam Korelasyonları ve Cronbach-Alfa İç Tutarlık Katsayıları Maddeler Kayıp Değer Yok Düzeltilmiş Madde-Toplam Korelasyonları ve Cronbach-Alfa İç Tutarlık Katsayıları Seriler Ortalamasını Yakın Noktaların Ortalamasını Yakın Noktaların Ortancasını Doğrusal Değer Kestirimi Noktanın Doğrusal Eğimi Cronbach-Alfa lasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.78 dir. Yakın Noktaların Ortancası nın atandığı koşul altında, düzeltilmiş madde-toplam korelasyonları.21 ile.56 arasında değişmektedir. En düşük düzeltilmiş madde-toplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.78 dir. Doğrusal Değer Kestirimi koşulu altında, düzeltilmiş madde-toplam korelasyonları.19 ile.56 arasında değişmektedir. En düşük düzeltilmiş maddetoplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.77 dir. Yakın Noktaların Ortalaması nın, Yakın Noktaların Ortancası nın atandığı koşullar ile Doğrusal Değer Kestirimi koşulu altında 6.maddeye ilişkin faktör yük değerlerinin.30 dan düşük olduğu için ölçekten çıkartılmasından sonra elde edilen faktör yapısı için tekrarlanan madde-toplam korelasyonları ve Cronbach-Alfa iç tutarlık katsayısı Tablo 8 de sunulmaktadır. Tablo 8 incelendiğinde, Yakın Noktaların Ortalaması nın atandığı koşul altında, düzeltilmiş madde-toplam korelasyonları.45 ile.55 arasında değişmektedir. En düşük düzeltilmiş maddetoplam korelasyonu veren maddeler 3. ve 10. maddeler, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.79 dur. Yakın Noktaların Ortancası nın atandığı koşul altında, düzeltilmiş madde-toplam korelasyonları.42 ile.55 arasında değişmektedir. En düşük düzeltilmiş madde-toplam korelasyonu veren madde 10. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.79 dur. Doğrusal Değer Kestirimi koşulu altında, düzeltilmiş madde-toplam korelasyonları.43 ile.56 arasında değişmektedir. En düşük düzeltilmiş maddetoplam korelasyonu veren madde 3. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.78 dir. Tablo 7 ye ilişkin incelemelere devam edildiğinde, Noktanın Doğrusal Eğimi koşulu altında düzeltilmiş madde-toplam korelasyonları.25 ile.59 arasında değişmektedir. En düşük düzeltilmiş maddetoplam korelasyonu veren madde 6. madde, en yüksek düzeltilmiş madde-toplam korelasyonu veren madde ise 5. maddedir. Bu koşul altında faktöre ilişkin Cronbach-Alfa iç tutarlık katsayısı.79 dur. En yüksek ve en düşük düzeltilmiş madde-toplam korelasyonuna sahip maddeler, yine en düşük ve en yüksek faktör yük değerine sahip maddelerdir. Düzeltilmiş madde-toplam korelasyonları ve Cronbach-Alfa iç tutarlık katsayılarına ilişkin bulgular toplu olarak değerlendirildiğinde, 6.madde- 300

13 ÇOKLUK, KAYRI / Kayıp Değerlere Yaklaşık Değer Yöntemlerinin Ölçme Araçlarının Geçerlik ve Güvenirliği... Tablo 8. Kayıp Değerlere Uygulanan Farklı İşlem Koşulları Altında Maddelere İlişkin Düzeltilmiş Madde-Toplam Korelasyonları ve Cronbach-Alfa İç Tutarlık Katsayıları (Madde Atıldıktan Sonra Elde Edilen Katsayılar) Maddeler Düzeltilmiş Madde-Toplam Korelasyonu ve Cronbach-Alfa İç Tutarlık Katsayıları Yakın Noktaların Ortalamasını Yakın Noktaların Ortancasını Cronbach-Alfa Doğrusal Değer Kestirimi nin çıkartılmasından önce, en düşük düzeltilmiş madde-toplam korelasyonları ranjının.19 ile.51 arasında değiştiği, 6.maddenin çıkartılmasından sonra ise.25 ile.51 ranjında değiştiği görülmektedir. En yüksek düzeltilmiş madde-toplam korelasyonları ranjının ise 6.maddenin ölçekte yer alması ya da çıkarılması durumunda farklılaşmadığı ve.56 ile.90 ranjında değiştiği görülmektedir. Cronbach-Alfa iç tutarlık katsayıları incelendiğinde ise,.77 ile.91 arasında değiştiği, 6.maddenin çıkartılması ile bu ranjda da bir değişiklik olmadığı görülmektedir. Tartışma ve Sonuç Bu çalışmanın genel amacı, bir ölçme aracının yapı geçerliğinin test edilmesi kapsamında, kayıp değerin olmadığı koşulda ve farklı oranlarda (yaklaşık %15.00-%20.00 ve %0.00-%50.00 ranjında) kayıp değerlerin olduğu koşullarda, kayıp değerlere yaklaşık değer atamada kullanılan farklı yöntemler (Seriler Ortalaması, Yakın Noktaların Ortalamasını, Yakın Noktaların Meydanını, Doğrusal Değer Kestirimi, Noktanın Doğrusal Eğimi) sonucu elde edilen faktör yapılarının, düzeltilmiş madde-toplam korelasyonlarının ve Cronbach-alfa iç tutarlık katsayılarının karşılaştırmalı olarak incelenmesidir. Bulgular genel olarak değerlendirildiğinde, bu çalışma kapsamında yapı geçerliği incelenen ölçme aracının, kayıp değerlerin olmadığı orijinal veri setiyle elde edilen tek faktörlü yapısının, kayıp değerlere farklı yöntemlerle yaklaşık değerlerin atandığı durumlar için de tek faktörlü olarak elde edildiği belirlenmiştir. Birinci veri seti %15.00 ile %20.00 ranjında değişen kayıp değerler içermektedir. Bu veri seti ile yapılan analizlerde Doğrusal Değer Kestirimi koşulu altında bir madde, düşük faktör yük değeri verdiği için ölçme aracından çıkartılarak analiz tekrarlanmıştır. Dolayısıyla da bu koşul altında 10 maddelik ölçme aracının 9 madde ile çalıştığı saptanmıştır. İkinci veri seti %0.00 ile %50 ranjında değişen kayıp değerler içermektedir. Bu veri seti ile yapılan analizlerde birinci veri setinde Doğrusal Değer Kestirimi koşulu altında çalışmayan bir maddenin, ikinci veri setinde Yakın Noktaların Ortalaması, Yakın Noktaların Ortancası ve Doğrusal Değer Kestirimi olmak üzere üç koşul altında düşük faktör yük değeri verdiği için ölçme aracından çıkartılması gerektiğine karar verilmiştir. Her iki veri setiyle yapılan analizlere ilişkin dikkat çekilmesi gereken önemli bir nokta bulunmaktadır. Her ne kadar bu çalışmada ölçek geliştirmek gibi bir amaç güdülmüyor olsa da, burada ölçme aracından madde çıkartılmasına karar verilmesinin nedeni, farklı koşullar altında ölçme aracının faktör yapısında meydana gelen değişimleri vurgulamaktır. Söz konusu değişimleri gözleyebilmek adına da araştırmanın amaçları doğrultusunda ölçme aracından madde çıkartılarak faktör analizlerinin tekrarlanmasının gerekli olduğu düşünülmüştür. Farklı oranlarda kayıp değer içeren iki veri seti ile gerçekleştirilen temel bileşenler analizi yöntemine dayalı açımlayıcı faktör analizlerine ilişkin bulgular genel olarak değerlendirildiğinde, en düşük ve en yüksek faktör yük değeri veren maddelerin neredeyse tüm koşullarda tutarlılık gösterdiği ifade edilebilir. Benzer bir durum madde-toplam korelasyonlarında da söz konusudur. Bu çalışma- 301

14 K U R A M V E U Y G U L A M A D A E Ğ İ T İ M B İ L İ M L E R İ da yapılan yapı geçerliği incelemelerinde gözlenen en önemli durumun, kayıp değerlere yaklaşık değer atamanın, açıklanan varyans oranlarında düşüşe yol açmasıdır. Alanyazında Mertler ve Vannatta (2005) tarafından ortalama atanmasına ilişkin olarak belirtilen bu durumun, bu çalışmada tüm yaklaşık değer atama koşullarında gözlendiği ifade edilebilir. Ayrıca aynı durum özdeğerler ve Cronbach-alfa iç tutarlılık katsayılarında da gözlenmektedir. Bir diğer deyişle yaklaşık değer atama, söz konusu değerlerde de düşüşe yol açmaktadır. Verilerde kayıp değerin az olması durumunda, bu verilerin silinmesi örneklemin evreni temsil gücünü fazla etkilemeyebilir. Ancak, veri setinde yüksek oranlarda kayıp değer bulunması durumunda, bu verilerin gözden çıkartılması modelin yapısının ve modele ilişkin tahminlerin güvenirliğini düşürebilir (Satıcı ve Kadılar, 2009). Alanyazında kayıp gözlemlere değer atamada; ortalama değer atama, başka bir değişken yardımıyla veri türeterek değer atama, yakın komşu ile veri türeterek değer atama ve ağırlıklandırılmış yöntemler kullanılmaktadır (Satıcı, 2009). Bu çalışmada, ortalama değer atama, başka bir değişken yardımıyla (ortanca, mod) veri türeterek değer atama, yakın komşu ile veri türeterek değer atama yöntemleri kullanılarak kayıp gözlemlere yaklaşık değer ataması yapılmıştır. Bu yolla yapılan değer atamalarında hem açıklanan varyans oranında, hem de güvenirlik ölçülerinde düşüşlerin meydana geldiği gözlenmiştir. Alanyazında bu yöntemlerin sistematik hatalara yol açtığı bildirilmiştir (Satıcı, 2009). Bu çalışmada, sistematik hataların doğrudan ölçme aracının yapı geçerliğini ve dolaylı olarak da güvenirliğini olumsuz yönde etkilediği düşünülebilir. Donders, Heijden, Stijnen ve Moons (2006), yakın komşu ilişkisine göre veri türetme yönteminin yanlı ya da sapmalı bulgulara yol açabileceğini bildirmiştir. Eksik gözlemlerin, yakın komşuların özelliklerine bürünmesi bazı durumlarda tutarlı sonuçlar üretilmesini sağlarken, bazen de gerek bireyin diğer tam gözlemleri ile, gerekse eksik verisi olmayan komuşu bireylerin özellikleri ile uyuşmayan verilerin üretilmesine neden olabilir (Donders ve ark., 2006). Bu çalışmada, yaygın bir şekilde kullanılan yaklaşık değer atama yöntemlerinin etkililiği incelenmiştir. Alanyazında, bu yöntemlerden daha etkili ve gerçeğe daha yakın değerler üretebilen yöntemlerin olduğu tartışılmaktadır. Son yıllarda etkisi incelenen Hot Deck Atfı (Hot Deck Imputation), EM (Expectation Maximization) ve Regresyon Yöntemi ile veri türetmenin klasik yöntemlerden daha etkili olduğunu belirten çalışmalara rastlanmaktadır (Kayaalp ve Polat, 2001; Satıcı ve Kadılar, 2009; Özel ve Ata, 2007). Klasik yöntemlerin yanlı bulgulara yol açabilme olasılıklarının daha yüksek olduğu noktasından hareketle, alanyazında önerilen diğer değer atama yöntemlerinin kullanıldığı çalışmalar yapılması ve yöntemlerin karşılaştırmalı olarak incelenmesi, bu yöntemlerin kullanımına katkı sağlayacak ve yaygınlaştıracak nitelikte olacaktır. Ayrıca bundan sonraki çalışmalarda benzer nitelikte incelemelerin çok faktörlü ölçme araçlarından elde edilen veriler üzerinde tekrarlanması düşünülebilir. 302

15 Kuram ve Uygulamada Eğitim Bilimleri Educational Sciences: Theory & Practice - 11(1) Winter Eğitim Danışmanlığı ve Araştırmaları İletişim Hizmetleri Tic. Ltd. Şti. The Effects of Methods of Imputation for Missing Values on the Validity and Reliability of Scales Ömay ÇOKLUK a Ankara University Murat KAYRI Yüzüncü Y l University Abstract The main aim of this study is the comparative examination of the factor structures, corrected item-total correlations, and Cronbach-alpha internal consistency coefficients obtained by different methods used in imputation for missing values in conditions of not having missing values, and having missing values of different rates in terms of testing the construct validity of a scale. The research group of the study, which is of a basic research, consists of 200 teacher candidates who attended the Department of Elementary Education at Ankara University, Faculty of Educational Sciences during the Academic Year s spring term. The data were gathered by the Fatalism Scale (Şekercioğlu, 2008), and exploratory factor analysis based on principal component analysis method was used. The findings showed that the single factor structure of the scale, whose construct validity was examined in the context of the study, was also found as single factor when it was obtained by the original data set having no missing values in situations of imputation for missing values with different methods whereas it also caused decrease in explained variance for imputation for missing values. A similar decrease was also seen in eigenvalues and Cronbach-alpha internal consistency coefficients. Key Words Missing Value, Imputation, Construct Validity, Reliability. There are incomplete data in many study contexts. These empty or unanswered values in data sets are named missing values (data), and are of a problem most researchers face. Even though researchers try to get complete data sets, it would not be wrong to imply that this problem is frequently faced in situations that participants data are gathered by scales based on the self-report technique. Missing data may occur from various reasons. For instance, accidentally, participants might leave some questions unanswered in long questionnaires; mechanical failures may cause unrecorded data in experimental processes or procedures or the research may be about a sensitive issue (for instance, sexual behavior), and the participants may use their right not to answer these sorts of a Correspondence: Assist. Prof. Ömay ÇOKLUK. Ankara University, Educational Sciences Faculty, Department of Measurement and Evaluation. Cebeci Campus, ANKARA. cokluk@ education.ankara.edu.tr. Phone: / 3105 Fax: questions (Field, 2005). Garson (2008) groups these reasons as fatigue, sensitivity, lack of knowledge, and other reasons, adding that there can also be missing data caused by missing records in some information obtained from archives. In addition to these reasons, as stated by Van der Ark and Vermunt (2007), there might be respondents who cannot get to some questions in speed tests because of the lack of time. Additionally, the respondents may leave some questions unmarked for they may not know the answer or avoid predicting in the performance tests (Finch & Margraf, 2008). To sum up, scales aiming to determine the cognitive, affective, and behavioral qualities might include missing values based on the reasons mentioned above which may affect the validity and reliability of the scores obtained from such scales. The seriousness of the missing value problem varies depending on the fact that it has a pattern or not, to what extent the data have missing values, and why they appear as missing. It is a more serious problem for the missing values to have a pattern 303

16 E D U C A T I O N A L S C I E N C E S : T H E O R Y & P R A C T I C E than the amount of the missing values (SPSS, 2007; Tabachnick & Fidell, 1996). If there are few missing values performing a random pattern in large data sets, the problem is not so serious and using different methods in removing missing values will cause similar results. However, having many missing values in small and medium size data sets causes serious problems. Unfortunately, there is not a criterion in the situations when deciding how many missing values will be tolerated for which sample sizes (Tabachnick &Fidell, 1996). Researchers may use alternative methods in handling missing values. It is possible to study these methods under three basic groups: Defining one or More Value(s) instead of the Missing Value, and Excluding These Data from Analysis: It can be defined in computer programs that a datum is a missing value for a participant. Therefore, computer programs ignore this value defined; in other words, they do not include them into the analyses (Field, 2005). Deleting Subjects and Variables Including Missing Value: Another way to interfere into missing values is to delete the subjects or variables causing problems for they have missing values. Each subject including a missing value is excluded from the data file. If only a few subjects have missing values, then deleting is a good alternative (Mertler & Vannatta, 2005). However, Carpita and Manisera (2008) emphasize that deleting the subjects causing problems for including missing values may result in data loss, and depending on the amount of missing values, it may also cause important bias because of the likely systematic differences between those who answer and those who do not. Another option is that the missing values have grouped in few variables. In this situation, if the variable(s) is/are not important and basic variables in terms of research problem, it can be considered to delete (exclude from the data set) variables. However, if the variables are distributed throughout the data set and there are numerous, deleting subjects and/or variables cause serious data loss (Mertler & Vannatta, 2005). Tabachnick and Fidell (1996) state that this situation may cause serious problems particularly for the groups in experimental patterns, because excluding even one subject from the data set will require corrections related to the unequal n numbers. Moreover, if the subjects who have missing values do not distribute randomly, deleting these data may result in skewness of the distribution as well. For these reasons, Fox-Waslylyshyn and El-Masri (2005) point out that, unlike the deleting process, imputation for missing values is a process that helps sample size protected. Predictions of Missing Values/Imputation: Another way to interfere into missing values is to make predictions of missing values and use these values in basic analyses. However, predictions and imputation processes can only be applied for quantitative variables. Three most common methods to make these predictions (imputation) are prior knowledge, average (mean) value imputation, and regression (Mertler & Vannatta, 2005; Tabachnick & Fidell, 1996). Using prior knowledge is researchers imputation of new values into missing values based on previous knowledge (Mertler & Vannatta, 2005). Another alternative related to missing value estimation is to calculate the mean using data obtained, and imputing these means for variables that have missing values. This process is applied before the basic analyses. If the researcher does not have other information, average value imputation is the best way of estimation. The third alternative to deal with or estimate the missing values is to use the regression approach. In regression, one or more independent variables are taken into process in order to develop an equation that can be used in imputing the dependent variable s value. A variable that has missing values in missing value estimation process becomes the dependent variable. Subjects who have complete data are used to develop this estimation equation. Once the equation is obtained, it is used to estimate the missing values in dependent variable for subjects who have missing data (Tabachnick & Fidell, 1996). Garson (2008) states that there is not a simple rule in unintervention of missing values, deleting individuals who have missing values or imputation expressing deleting individuals that have missing values will not be a problem in case there are missing values less than 5% in large samples. Howell (2009) emphasizes that there are both advantages and disadvantages of each of method related to missing values, and that these should be taken into consideration. According to Huisman (2000), there are many different ways to discuss missing values, and imputation is one of the most popular strategies in dealing with missing values in the items in a scale. In imputation process, empty data in the data set is filled with estimated values. However, imputation for missing values is sometimes 304

17 ÇOKLUK, KAYRI / The Effects of Methods of Imputation for Missing Values on the Validity and Reliability of Scales dangerous. Huisman (2000) states that Dempster and Rubin (1983) express this situation as follows: At first, imputation seems to be a seductive idea for researchers, yet it is also a dangerous. It is seductive because it relieves the researcher for the belief that the data should be complete is a pressure on the researchers. On the other hand, it is dangerous since analysis results might be biased in case there are systematic differences between those who answer and those who do not, therefore there can easily be wrong results. Despite its danger, imputation is a popular technique because it gives the researchers the opportunity to work with a complete data set. However, imputation processes which are inexpertly conducted may cause much worse results than doing nothing. For this reason, one should be aware (Huisman, 2000). There are five different options of imputation in SPSS, and the imputation methods handled in this study are limited to these five options. These methods can be briefly summarized as (Mertler & Vannatta, 2005): 1. Series Mean: It is the mean of all subjects related to a certain variable, and it is the default value in the program. 2. Mean of Nearby Points: It is the mean of nearby (surrounding) values. The number of nearby values can be found by using span of nearby points option. The default value in the program appears as 2 digits. In other words, arithmetical mean is calculated by using complete observation values under and above the missing data, and this value is imputed instead of the missing data. 3. Median of Nearby Points: It is the median of the nearby (surrounding) values. The researcher can also determine the number of the surrounding values. In other words, median is calculated by using complete observation values under and above the missing data, and this value is imputed instead of the missing data. 4. Linear Interpolation: This value is the imputation of the last complete observation value before the missing data and the first complete observation value after the missing value instead of the missing data. If the first and last observations are missing in the set, there cannot be any values imputed instead of the missing value. 5. Linear Trend of Point: The value is consistently determined in accordance with the trend the current structure (for instance, if the values tend to increase from the first subject to the last) performs. Missing data are placed into the values decided in an index variable where the sets are scaled from 1 to n. When studies in other countries on missing value issue are examined, many of them are available. For example, Raymond and Roberts (1987) compared handling methods for missing values (missing data sets) in some selected studies. Fichman and Cummings (2003) studied multiple imputation in multivariate analysis, Grung and Manne (1998); Sanguinetti and Lawrence (2006); Raiko, Ilin and Karhunen (2007) studied missing value issue in principal component analysis, Carpita and Manisera (2008) studied missing value imputation in research with Likert type scales, and Robitzsch and Rupp (2009) studied the effect of missing values on determining differential item functioning (comparison of Mantel Haenszel and logistic regression techniques). However, in those studies, the examination of missing values or missing value procedure was different from those in the present study. As described below, missing values were generally considered and examined as Missing Completely at Random-MCAR, Missing at Random-MAR and Missing not at Random-MNAR mechanisms. For instance, in a study by Shrive, Stuart, Quan and Ghali (2006), 1580 participants were given the Zung Depression Scale, which was answered from 1 to 4 and those with scores higher than 40 were described as individuals with depressive syndromes. For missing values, Missing Completely at Random- MCAR, Missing at Random-MAR and Missing not at Random-MNAR mechanisms were examined and six different imputation methods were studied. These methods were multiple imputation, single regression, individual mean, overall mean, participant s preceding response and random imputation from 1 to 4. As a result, multiple imputation method was the best to use. Also, it was concluded that individual mean imputation was an eligible method and easy to interpret. When studies in Turkey on missing value issue are examined, it is clear that there is no direct research on missing value issue although missing values have been mentioned in some data mining research (Kızılkaya-Aydoğan, Gencer, & Akbulut, 2008). Only in a study by Oğuzlar (2001) where 7452 observation values and 21 constant variables from a 54-variable-data base about 207 countries on the World Bank webpage were included, listwise data deletion, pairwise data deletion, EM, regression imputation techniques and missing 305

18 E D U C A T I O N A L S C I E N C E S : T H E O R Y & P R A C T I C E value mechanisms in SPSS were examined. Missing value mechanisms were discussed as MCAR, MAR and Nonignorable-NI and what mechanisms were to include the available missing values were defined. In the light of the above mentioned discussions, examining missing value issue constitutes the problem of this study in terms of testing construct validity and reliability of a scale. Generally, in social science research and especially educational and psychological studies, frequently developed scales, data collection by defining technical qualities of scales such as validity and reliability or using the available scales and presentation of results show that it is essential to examine to what extent missing values affect the procedure. The fact that there is no research in Turkey on missing value issue in related fields within the framework of technical qualities highlights the need for proper examination. Aim General aim of this study is the comparative examination of the corrected item-total correlations, Cronbach-alpha internal consistency coefficients and the factor structures obtained by the different methods (Series Mean Imputation, Mean of Nearby Points Imputation, Median of Nearby Points Imputation, Linear Interpolation, Linear Trend of Point) used in imputation for missing values in the condition where there are not any missing values and in the conditions where there are missing values of different rates (ranged approximately 15.00%-20.00% and 0.00%-50.00%) in terms of testing the construct validity of a scale. Method Research Model and Group The research is about the comparison of exploratory factor analysis results obtained by the principal components analysis method used in determining factor structures of scales under conditions of imputation for missing values by different methods. For this reason, the study is a basic research defining theoretical studies on information production. The research group consists of 200 teacher candidates who attended the Department of Elementary Education at Ankara University Faculty of Educational Sciences during the Academic Year s spring term. Instrument Data of this study were gathered by the Fatalism Scale. The Fatalism Scale, whose validity and reliability studies were conducted on a group of teacher candidates by Şekercioğlu (2008), consists of 10 items grouped under a single factor. Besides, it was found that this single-factor structure obtained by the exploratory factor analysis was also confirmed by the confirmatory factor analysis. The scale, which has a 5-point Likert-type format, is scored as completely inappropriate (1) to completely appropriate (5). Therefore, higher scores define higher fatalistic thinking level. The Cronbach-alpha internal consistency coefficient of the Fatalism Scale was found.81. The test-retest reliability obtained by two applications conducted on a group of 40 people within four weeks was found as r =.88 (p<.01). Analysis Exploratory factor analysis based on principal components analysis method was applied in order to test the construct validity of a scale under different conditions related to missing values in this study. Moreover, item-total correlations and Cronbach-alpha internal consistency coefficients for different conditions were also estimated. Procedure First, exploratory factor analysis application based on principal components analysis method was applied with the original data set (n=200) that did not have missing values in order to achieve the aim of the research. Afterwards, by random deleting of some data from the data set, a data set that had missing values was obtained. The first data set includes missing values varying approximately between ranges of 15.00% and 20.00% related to the variables (items) whereas the second data set includes missing values varying approximately between ranges of 0.00% and 50% related to the variables (items). Before the imputation processes were realized assuming that the missing values were randomly distributed throughout the variables in both data sets. Findings Findings of the First Data Set The first data set includes missing values varying between ranges of 15.00% and 20.00%. When the 306

19 ÇOKLUK, KAYRI / The Effects of Methods of Imputation for Missing Values on the Validity and Reliability of Scales findings of factor analysis realized by this data set were generally evaluated, the item with the lowest factor loading was the 6 th item in condition where there were not missing values and where there were imputed for missing values by different methods. It should be remembered that the 6 th item showed a factor loading less than.30 under the Linear Interpolation condition, and it was excluded from the scale for this reason. The item with the highest factor loading under all conditions was the 5 th item. The 9 th and the 5 th items had equal and highest factor loadings in the original data set without missing values whereas this situation was not seen again under any conditions. When the eigenvalues and explained variances were evaluated, it was seen that the highest values were obtained in the condition without the missing values. Imputation for missing values caused a decrease in variance rates. The condition where the lowest variance was explained was the Linear Interpolation condition whereas the condition where the highest variance was explained was the Linear Trend of Point condition. However, when the 6 th item in the Linear Interpolation condition was excluded, it was seen that the lowest explained variance rate appeared under the Median of Nearby Points Imputation condition. When findings of corrected item-total correlations and Cronbach-alpha internal consistency coefficient estimated by the first data set were evaluated, it was seen that the lowest range of the corrected item-total correlations varied between.20 and.38, and the highest range of the corrected item-total correlations varied between.59 and.79. However, when the range was evaluated with the item-total correlations obtained for the factor structure repeated in order to exclude item 6 from the scale under Linear Interpolation condition, it was seen that the lowest range of the corrected item-total correlations varied between.22 and.42. Cronbach-alpha internal consistency coefficients range varied between.78 and.85. Imputation for missing values caused a decrease in Cronbachalpha internal consistency coefficients as it did in eigenvalues and variance rates. Findings of the Second Data Set The second data set includes missing values varying between ranges of 0.00% and 50.00%. When the findings of factor analysis realized by this data set were generally evaluated, the item with the lowest factor loading was the 6 th item under all conditions whereas the item with the highest factor loading was the 5 th item. However, it should be remembered that the 6 th item showed a factor loading less than.30 under the imputed Mean of Nearby Points and Median of Nearby Points, and Linear Interpolation conditions, and it was excluded from the scale. When the analyses were repeated for these conditions, the item with the lowest factor loading was the 10 th item under all conditions whereas the item with the highest factor loading was the 5 th item, again. When the eigenvalues and explained variance values were evaluated, it was seen that the highest values were obtained in the condition without the missing values. Imputation for missing values caused a decrease in variance rates. The condition where the lowest variance was explained was the Linear Interpolation condition whereas the condition where the highest variance was explained was the Linear Trend of Point condition. However, when the analyses were repeated under Mean of Nearby Points, Median of Nearby Points, and Linear Interpolation conditions with the exclusion of the 6 th item, it was seen that the lowest explained variance rate appeared under the Series Mean imputation condition. When findings of corrected item-total correlations and Cronbach-alpha internal consistency coefficient were evaluated, it was found that the lowest range of the corrected item-total correlations varied between.19 and.51 before the 6 th item was excluded, and.25 and.51 after the exclusion. It was also seen that the highest range of the corrected item-total correlations did not become different according to the 6 th item s inclusion or exclusion, yet varied between ranges.56 and.90. When Cronbach-alpha internal consistency coefficients were examined, it was found that they varied between.77 and.91, and that there was no difference seen in this range after the exclusion of the 6 th item. Discussion and Results In this study, a comparative examination was conducted on the factor structures obtained by the different methods (Series Mean Imputation, Mean of Nearby Points Imputation, Median of Nearby Points Imputation, Linear Interpolation, Linear Trend of Point) used in imputation for missing values in the condition where there were not any missing values and in the conditions where there were missing values of different rates in terms of 307

20 E D U C A T I O N A L S C I E N C E S : T H E O R Y & P R A C T I C E testing the construct validity of a scale. Moreover, corrected item-total correlations and Cronbachalpha internal consistency coefficients related to the factor structures obtained under different conditions in both data sets having different rates of missing values were found. When the findings were evaluated, it was seen that the examined scale s single-factor structure obtained by the original data set without missing values was also obtained as single-factor for the conditions of imputation for missing values by using different methods. The first data set included missing values varying between ranges of 15.00% and 20.00%. In the analyses realized on this data set, an item under the Linear Interpolation condition was excluded from the scale for it showed low factor loading. Therefore, it was found that the 10-item scale performed with 9 items under this condition. The second data set included missing values varying between ranges of 0.00% and 50.00%. In the analyses realized on this data set, it was determined that an item that did not work under the Linear Interpolation condition in the first data set would be excluded from the scale since it showed low factor loading under Mean of Nearby Points, Median of Nearby Points, and Linear Interpolation conditions. There was an important point in analyses with both data sets. Although the study did not attempt to develop a scale, the reason for item exclusion from the scale was to emphasize the changes in factor structure of the scale under different conditions. It was thought that factor analysis needed to be repeated following the item exclusion from the scale to observe such changes in accordance with the aim of the study. When the findings of exploratory factor analyses based on principal components analysis method realized by the two data sets having different missing value rates are generally evaluated, it can be stated that the items having lowest and highest factor loadings show consistency in almost all conditions. A similar situation is at hand in corrected item-total correlations. The most important situation observed in the construct validity examinations conducted in this study is that imputation for missing values cause decrease in explained variance rates. It can be pointed out that this situation, which has been emphasized as being related to the mean imputation by Mertler and Vannatta (2005) in literature, was observed in all imputation conditions. Besides, same situation is observed in eigenvalues and Cronbach-alpha internal consistency coefficients. In other words, imputation causes a decrease in aforementioned values. In case of a low number of missing values in data, data deletion might not affect the sample power to represent the population. However, when there is a high percentage of missing values in the data set, disregarding such data may reduce the reliability of model structure and model estimations (Satıcı and Kadılar, 2009). In the literature, there are methods such as missing value imputation, series mean imputation, imputation for data production by another variable, nearby points imputation and weighted methods (Satıcı, 2009). In this study, missing value imputation was performed by using series mean imputation, imputation for data production by another variable (median, mode), imputation by data production, and imputation by nearby data production methods. It was observed that factor structure of the scale was degenerated in such imputations and there were decreases in both explained variance and reliability criteria. In the literature, it was reported that the methods led to systematic errors (Satıcı, 2009). For the study, it might be thought that systematic errors had a direct effect on construct validity of the scale and an indirect effect on reliability. Donders, Heijden, Stijnen and Moons (2006) suggested that data production by neighborhood might lead to biased or deviant findings. Missing observations similar to nearby observations occasionally lead to consistent outcome production and they sometimes cause data production inconsistent with both within-case complete observations and complete data set cases. The study examined effectiveness of commonly used imputation methods. In the literature, there have been arguments that there are more effective methods to produce more realistic results. Over the recent years, there have been studies which claim that data production by the examined Hot Deck Imputation, EM (Expectation Maximization) and Regression Method is more effective than data production by classical methods (Kayaalp & Polat, 2001; Özel & Ata, 2007; Satıcı & Kadılar, 2009). When higher prospect of biased data production by classical method is considered, further research where other imputation methods are used as suggested in the literature is recommended and a comparative study of these methods will contribute to the use and extension of the methods. 308