Normalizasyon Yöntemlerinin Çok Ölçütlü Karar Verme Sürecine Etkisi Moora Yöntemi İncelemesi

EGE AKADEMİK BAKIŞ / EGE ACADEMIC REVIEW Cilt: 4 Sayı: Nisan 04 ss. 83-94 Normalizasyon Yöntemlerinin Çok lü Karar Verme Sürecine Etkisi Moora Yöntemi İncelemesi The Effects of The Normalization Methods to Multi Criteria Decision Making Process Moora Method Review Aşkın ÖZDAĞOĞLU ÖZET İşletmeler çok sayıda değerlendirme ölçütünü bir arada gözönüne alarak alternatifler arasında seçim yapmak durumundadırlar. Bu değerlendirme ölçütlerinin ölçüm birimlerinin aynı olması durumu ise gerçek hayatta hemen hemen imkansızdır. Ölçüm birimleri farklı olan ölçütleri birarada incelemek için kullanılan yöntemler çok ölçütlü karar verme yöntemleri adıyla anılmaktadır. Çok ölçütlü karar verme yöntemlerinde ölçüm birimleri farklı olan ölçütleri incelemek için kullanılan çeşitli normalizasyon yöntemleri mevcuttur. Farklı çok ölçütlü karar verme yöntemleri farklı normalizasyon yöntemleri kullanmakta hatta aynı yöntem için literatürde farklı normalizasyon yöntemlerinin kullanıldığı bile görülmektedir. Bu çalışmanın amacı farklı normalizasyon yöntemlerinin alınan kararda bir değişiklik yaratıp yaratmadığını incelemektir. Bu amaçla veri setleri türetilerek Moora çok ölçütlü karar verme yöntemi için farklı normalizasyon yöntemleri uygulanmış ve tercih sırasının değişip değişmediği incelenmiştir. Anahtar Kelimeler: Üretim yönetimi, çok ölçütlü karar verme, normalizasyon, moora ABSTRACT Companies have to make a choice among alternatives by taking into consideration many different evaluation criteria together. In real world, same measurement units of the evaluation criteria are impossible. The methods used for analysing the evaluation criteria which have got different measurement units are called multi criteria decision making methods. There have been different normalization methods used for analysing the evaluation criteria which have got different measurement units in the multi criteria decision making methods. The different multi criteria decision making methods have used different normalization methods. Moreover, the different normalization methods can be used in the same multi criteria decision making method. The purpose of this study is to analyse the effects of the different normalization methods in the decision. For this purpose, the data sets have been derived. Then, the preference rankings have been analysed for Moora multi criteria decision making method by applying different normalization methods for the data sets. Keywords: Production management, multi criteria decision making, normalization, moora. GİRİŞ İşletmeler faaliyetlerini sürdürürken çok sayıda alternatif arasında bir seçim yapma problemiyle sıklıkla karşı karşıya kalmaktadırlar. Üstelik bu alternatifler arasında seçim yapılması sürecinde bir çok farklı faktörü bir arada düşünmek zorundadırlar. Bu faktörlerin ise aynı ölçüm birimine sahip olması gerçek hayatta hemen hemen hiç gerçekleşmemektedir. Hatta servis kalitesi, tedarikçinin güvenilir olması gibi bazı faktörlerde bir ölçüm cihazı ile ölçüm yapmak bile mümkün olmamaktadır. Ancak sağlıklı bir karar verme sürecinin gerçekleşebilmesi için nitel faktörlerin ölçülememesi nedeniyle değerlendirme sürecinden çıkarılması gibi bir durum da sözkonusu olamayacaktır. Herhangi bir ölçüm cihazı vasıtasıyla ölçüm yapılsa bile bunların birimleri aynı olmayacağından bu veriler de doğrudan kullanılamayacaktır. Çok ölçütlü karar verme yöntemleri bu tür sorunların üstesinden gelebilmek için normalizasyon yöntemlerinden yararlanmaktadır. Bu normalizasyon yöntemleri mevcut bulunan değerleri birimi olmayan değerlere dönüştürerek birlikte incelenmelerine olanak sağlamaktadır. Bu noktada farklı çok ölçütlü karar verme yöntemlerinin değerlendirme sürecinde yararlandıkları belirgin bir normalizasyon yöntemi mevcuttur. Örnek vermek gerekirse Topsis yöntemi çoğunlukla vektörel normalizasyondan yararlanmakta ve ideal çözüme uzaklığı bulmaktadır. normalizasyon yöntemininin tercih edildiği çok ölçütlü karar verme yöntemleri de bulunmaktadır. Fakat doğrusal normalizasyon için de dört farklı yöntem mevcuttur. Ayrıca literatür incelendiğinde aynı çok ölçütlü karar verme yönteminin uygulandığı farklı makalelerde farklı normalizasyon yöntemleri seçilmekte ve bir standarta sahip olmamaktadır. Örnek vermek gerekirse Moora yöntemi için doğrusal Yrd. Doç. Dr., Dokuz Eylül Üniversitesi, İşletme Fakültesi, İşletme Bölümü, askin.ozdagoglu@deu.edu.tr 83

Aşkın ÖZDAĞOĞLU normalizasyon ve vektörel normalizasyon yöntemi kullanılan çalışmalara rastlamak mümkündür. Bu noktada bir soru ortaya çıkmaktadır. Acaba normalizasyon yöntemi verilen kararı etkiler mi? Bu çalışmada farklı normalizasyon yöntemleri seçilmiş olan bir çok ölçütlü karar verme yöntemi için farklı veri setlerine uygulanacak ve alternatiflerin tercih sırasında belirgin değişiklikler olup olmadığı korelasyon analizi ile incelenecektir. Verilerin gerçek işletme durumlarını daha iyi yansıtabilmesini de sağlamak amacıyla bu değerlendirme ölçütlerinden sonuncusu için zaman ve maliyet gibi değerin en küçük olmasının en iyi durumu gösterdiği düşünülerek işlemler gerçekleştirilecektir.. NORMALİZASYON YÖNTEMLERİ Normalizasyon yöntemleri üç ana başlıkta toplanabilmektedir. Vektör Normalizasyonu Normalizasyon Monoton Olmayan Normalizasyon Bu normalizasyon yöntemlerinden doğrusal normalizasyon da farklı şekillerde uygulanabilmektedir. Yöntemlerin uygulanışına ilişkin formüller sunulmadan önce değişkenlerin tanıtılması yerinde olacaktır. Bir çok ölçütlü karar verme probleminde normalizasyon işlemine tabi olacak değişkenler aşağıdaki gibi gösterilsin (Shih vd., 007: 805). A i :i. alternatif i=,,,m C :. değerlendirme ölçütü =,,,n i =. değerlendirme ölçütü açısından i. alternatifin değeri Bu değişkenlere göre oluşan karar matrisi Eşitlik de gösterilmiştir. A. A. D= A....... A. 3 n 3 n 3 3 3 33 3n m m m m3 mn Eşitlik. Normalizasyon yöntemlerinin bu değişkenler doğrultusunda uygulanması Eşitlik -0 aralığında sunulmuştur. Vektör normalizasyonu i ri =, i=,,..., m; =,,..., n. Eşitlik. m i= i normalizasyon () i r = i i=,,..., m; =,,..., n; ( ) = mai i (ölçüt için en iyi durum maksimizasyon ise). Eşitlik 3. ri = i=,,..., m; =,,..., n; = mini ( i ) i (ölçüt için en iyi durum minimizasyon ise). Eşitlik 4. normalizasyon () i ri = mai i (ölçüt için en iyi durum maksimizasyon ise). Eşitlik 5. i ri = mai i (ölçüt için en iyi durum minimizasyon ise). Eşitlik 6. = i=,,..., m; =,,..., n; ( ) = i=,,..., m; =,,..., n; ( ) normalizasyon (3) i ri = i=,,..., m; =,,..., n; = mai ( i ), = min (ölçüt için en iyi durum maksimizasyon ( ) i i ise). Eşitlik 7. i ri = i=,,..., m; =,,..., n; ( ) = mai i = min (ölçüt için en iyi durum minimizasyon, i ( i ) ise). Eşitlik 8. normalizasyon (4) r =, i=,,..., m; =,,..., n. Eşitlik 9. i i m i= i Monoton olmayan normalizasyon 0 : ölçütüne ilişkin en uygun değer ó : ölçütüne ilişkin değerlerin standart sapması ( /), e z z 0 = i ó Eşitlik 0. 3. LİTERATÜR İNCELEMESİ Literatür incelendiğinde çok ölçütlü karar verme yöntemi kullanılarak alternatifler arasında seçim yapılan bir çok çalışma ile karşılaşılmaktadır. Çalışmada kullanılan çok ölçütlü karar verme yöntemi ile normalizasyon yöntemlerine ilişkin kısa bir liste Tablo de verilmiştir. 84

Normalizasyon Yöntemlerinin Çok lü Karar Verme Sürecine Etkisi Moora Yöntemi İncelemesi Tablo : Çalışmada Kullanılan Çok lü Karar Verme ve Normalizasyon Yöntemleri Kullanılan Çok lü Karar Verme Yöntemi Topsis - Topsis Eprom Copras - Topsis Moora Multimoora Moora Kullanılan Normalizasyon Yöntemi Vektör Normalizasyonu Normalizasyon () Normalizasyon () Normalizasyon (3) Normalizasyon (4) Monoton Olmayan Normalizasyon Normalizasyon (3) Normalizasyon (4) Vektör Normalizasyonu Vektör Normalizasyonu Çalışma Peng vd., 0; Huang ve Huang, 0; Sun vd., 0; Sadeghzadeh ve Salehi, 0; Aalami vd., 00; Ayala, 0; Kiran vd., 0; Lozano-Minguez vd., 0 - Ouattara vd., 0 Chatteree ve Chakraborty, 0 Das vd., 0; Chatteree vd., 0; Kaklauskas vd., 00; Kaklauskas vd., 007 - Mela vd., 0; Dai ve Wang, 0 Karande ve Chakraborty, 0 Balezentis vd., 0; Streimikiene vd., 0 Chakraborty, 0 Electre ve Promethee gibi bazı çok ölçütlü karar verme yöntemlerinde ikili karşılaştırmalar yapıldığından ayrıca normalizasyon yöntemi uygulanmasına gerek kalmadığından listede bu çok ölçütlü karar verme yöntemlerine ilişkin örnekler mevcut değildir. Wsm ve Wpm yöntemleri de her bir değerlendirme ölçütünün aynı ölçeğe sahip olduğu durumlarda kulllanılabildiğinden bu listede bir örneği bulunmamaktadır. Tablo deki örnek çalışmalardan da görüleceği üzere, farklı çok ölçütlü karar verme yöntemlerinde farklı normalizasyon yöntemleri kullanılmaktadır. Üstelik Topsis ve Moora gibi çok ölçütlü karar verme yöntemleri için standart bir normalizasyon yönteminin de olmadığı görülmektedir. Copras yöntemi için normalizasyon (4) şeklinde standart bir tercih yapıldığı görülürken, Topsis ve Moora yöntemlerinde hem doğrusal normalizasyon hem de vektör normalizasyonu uygulanabilmektedir. İzleyen kısımda farklı normalizasyon yöntemleri kullanılmasının seçim kararını nasıl etkileyeceğini görmek üzere literatür incelemesinde de belirtildiği gibi üzerinde mutabakat sağlanmayan çok ölçütlü karar verme yöntemlerinden Moora yöntemi ile denemeler yapılacağından dolayı Moora yönteminin işleyişi gösterilecektir. 4. MOORA YÖNTEMİ MOORA (Multi-Obective Optimization on the basis of Ratio Analysis) yöntemi (çok ölçütlü ya da çok nitelikli olarak ta ifade edilebilmektedir.) iki veya daha fazla çakışan niteliği veya amacı belirli kısıtlar altında eş zamanlı olarak optimize etme sürecidir. MOORA yöntemi çeşitli nitelikler ya da amaçlara ilişkin farklı alternatiflerin performansını gösteren Eşitlik deki karar matrisi ile başlar (Brauers ve Zavadskas, 009; Chakraborty, 0: 56-57). X n m m mn n = Bu karar matrisinde, i= alternatif = nitelik yada ölçüt m = toplam alternatif sayısı n = toplam nitelik yada ölçüt sayısı Eşitlik. i =i. Alternatifin. ölçüt açısından performans ölçüm değeri olarak ifade edilmektedir. Daha sonra, normalizasyon işlemi gerçekleştirilir. Normalizasyon için kullanılan yöntemler Eşitlik de gösterilen vektör normalizasyonu ve Eşitlik 9 da sunulan doğrusal normalizasyon (4) tür. Bu işlem i ile gösterilen i. Alternatifin. ölçüt açısından performans ölçüm değerini verir. Buradaki i değeri yada nitelik açısından i. Alternatifin normalize edilmiş performansını temsil eden [0,] aralığında yer alan birimi bulunmayan bir sayıdır. Çok amaçlı optimizasyon için, bu normalize edilmiş performans değerleri (faydalı nitelikler için) maksimizasyon durumunda eklenip, (faydasız nitelikler için) minimizasyon durumunda çıkarılarak her bir alternatif için tek bir değer bulunur. Bu durumda optimizasyon problemi numaralı denklemdeki gibi oluşur. g n i = i i = = g+ Eşitlik. y Bu eşitlikte, n= enbüyüklenecek nitelik ya da ölçüt sayısı n-g = enküçüklenecek nitelik ya da ölçüt sayısı y i = tüm nitelik ya da ölçütler açısından i. Alternatife ilişkin normalize edilmiş değer. 85

Aşkın ÖZDAĞOĞLU Çoğu durumda, belirli nitelik ya da ölçütlerin diğerlerine göre daha önemli olduğu görülmektedir. Bir nitelik ya da ölçüte daha fazla önem vermek için ilgili oran o nitelik ya da ölçüte ait ağırlık değeri (önem katsayısı) ile çarpılabilir. Niteliklerin ağırlıkları göz önüne alındığında numaralı denklem, 3 numaralı denklem şekline dönüşmektedir. g n i i i = = g+ y = w w ( =,,,n) Eşitlik 3. w =. Nitelik ya da ölçütün ağırlık (önem) katsayısı y i değeri karar matrisindeki enbüyüklerin (faydalı nitelik ya da ölçütler) ve enküçüklerin (faydasız nitelik ya da ölçütler) toplamlarına bağlı olarak pozitif veya negatif değer alabilir. y i değerlerinin sıralaması nihai öncelikleri gösterir. En iyi alternatif en yüksek y i değerine sahip olan iken, en kötü alternatif en düşük y i değerine sahip olan alternatiftir. 5. UYGULAMA Bu çalışmada uygulama kapsamında on alternatif ve beş farklı değerlendirme ölçütüne göre on farklı veri seti oluşturulmuş ve Moora yöntemi için tüm normalizasyon yöntemleri denenerek sıralama sonuçları karşılaştırılmıştır. Örnek veri seti içinde değerlendirme ölçütü 5 için mümkün olan en küçük değerin en iyi durumu temsil ettiği düşünülerek hesaplamalar gerçekleştirilmiştir. Veri setlerinin oluşturulmasında MS Ecel programından yararlanılmıştır. Her bir değerlendirme ölçütü açısından farklı değer aralıkları ile incelemeler gerçekleştirilmiştir. Değerlendirme ölçütlerine göre on farklı alternatif ve on farklı veri seti yaratılmasında kullanılan fonksiyonlar Tablo de gösterilmiştir. Tablo : Değer Oluşturmada Kullanılan Fonksiyonlar Değerlendirme ü Değerlendirme ü Değerlendirme ü Değerlendirme ü 3 Değerlendirme ü 4 Değerlendirme ü 5 Ecel fonksiyonu =RANDBETWEEN(500;000) =RANDBETWEEN(0;00) =RANDBETWEEN(50;00) =RANDBETWEEN(00;70) =RANDBETWEEN(540;850) Bu fonksiyonların kullanımı neticesinde elde edilen veri setleri Tablo 3 te verilmiştir. Verilerin gerçek işletme durumlarını daha iyi yansıtabilmesini de sağlamak amacıyla bu değerlendirme ölçütlerinden sonuncusu için zaman ve maliyet gibi değerin en küçük olmasının en iyi durumu gösterdiği düşünülerek işlemler gerçekleştirilmiştir. Bu sebeple Tablo 3 içerisinde ölçüt numaralarının belirtildiği hücrelerin altında ifadesi yazılı iken son ölçüt için minimum ifadesi yazılıdır. Veri Seti Veri Seti Veri Seti 3 Veri Seti 4 Tablo 3: Veri Setleri 3 4 5 minimum Alternatif 733 46 88 5 640 Alternatif 995 50 30 3 588 Alternatif 3 673 3 00 8 776 Alternatif 4 53 8 97 35 564 Alternatif 5 869 89 67 6 833 Alternatif 6 946 6 54 63 66 Alternatif 7 78 4 36 46 88 Alternatif 8 85 89 48 8 808 Alternatif 9 878 7 77 06 603 Alternatif 0 594 87 40 64 56 Alternatif 87 97 65 4 848 Alternatif 685 5 09 6 778 Alternatif 3 679 74 50 47 590 Alternatif 4 55 33 08 30 847 Alternatif 5 90 55 09 06 765 Alternatif 6 744 54 69 6 594 Alternatif 7 653 68 7 5 655 Alternatif 8 747 85 43 49 606 Alternatif 9 540 57 3 03 65 Alternatif 0 577 3 89 8 66 Alternatif 66 3 43 580 Alternatif 65 83 56 40 830 Alternatif 3 67 36 97 63 653 Alternatif 4 709 74 93 07 845 Alternatif 5 504 38 90 69 546 Alternatif 6 70 7 3 35 674 Alternatif 7 586 97 57 07 587 Alternatif 8 970 8 74 55 75 Alternatif 9 879 36 4 06 55 Alternatif 0 736 38 67 3 736 Alternatif 843 60 5 37 637 Alternatif 646 4 7 48 630 Alternatif 3 96 87 77 76 Alternatif 4 646 97 84 04 778 Alternatif 5 59 47 05 5 848 Alternatif 6 98 0 97 6 75 Alternatif 7 577 84 39 3 706 Alternatif 8 7 0 63 4 669 Alternatif 9 773 4 57 05 73 Alternatif 0 944 45 98 9 784 86

Normalizasyon Yöntemlerinin Çok lü Karar Verme Sürecine Etkisi Moora Yöntemi İncelemesi Veri Seti 8 Veri Seti 7 Veri Seti 6 Veri Seti 5 3 4 5 Alternatif 7 5 55 4 779 Alternatif 9 59 37 574 Alternatif 3 793 5 99 66 834 Alternatif 4 600 35 67 5 580 Alternatif 5 786 58 56 65 567 Alternatif 6 937 7 03 5 77 Alternatif 7 639 53 78 38 597 Alternatif 8 968 9 08 9 746 Alternatif 9 936 4 67 00 597 Alternatif 0 984 95 73 0 83 Alternatif 854 84 87 34 60 Alternatif 65 00 4 64 544 Alternatif 3 56 7 93 70 76 Alternatif 4 984 7 93 744 Alternatif 5 889 88 07 64 788 Alternatif 6 566 76 50 08 764 Alternatif 7 945 43 49 740 Alternatif 8 857 6 35 80 Alternatif 9 76 49 74 07 797 Alternatif 0 6 6 57 67 790 Alternatif 650 46 59 5 560 Alternatif 900 38 45 40 705 Alternatif 3 870 34 53 64 74 Alternatif 4 685 47 9 67 693 Alternatif 5 50 87 58 60 77 Alternatif 6 909 97 68 34 569 Alternatif 7 546 77 7 0 597 Alternatif 8 535 89 00 34 69 Alternatif 9 770 47 94 05 548 Alternatif 0 899 58 73 39 87 Alternatif 50 60 53 59 785 Alternatif 93 65 05 36 658 Alternatif 3 703 58 39 59 547 Alternatif 4 58 8 70 46 64 Alternatif 5 94 78 55 50 66 Alternatif 6 63 7 98 49 84 Alternatif 7 59 7 75 58 7 Alternatif 8 563 83 66 7 793 Alternatif 9 957 8 7 67 659 Alternatif 0 753 86 8 44 696 Veri Seti 9 Veri Seti 0 3 4 5 minimum minimum Alternatif 649 54 8 37 733 Alternatif 743 5 3 05 835 Alternatif 3 887 74 84 38 55 Alternatif 4 853 54 40 77 Alternatif 5 760 50 6 4 573 Alternatif 6 698 86 46 6 687 Alternatif 7 989 00 664 Alternatif 8 665 69 7 0 666 Alternatif 9 666 57 37 49 769 Alternatif 0 730 00 77 4 75 Alternatif 76 89 7 8 807 Alternatif 553 9 0 595 Alternatif 3 758 43 38 45 73 Alternatif 4 970 48 74 38 784 Alternatif 5 65 7 7 47 60 Alternatif 6 56 8 75 39 659 Alternatif 7 567 78 8 03 746 Alternatif 8 858 35 86 65 705 Alternatif 9 656 76 6 0 639 Alternatif 0 93 55 7 8 609 Bu veri setlerine tüm normalizasyon yöntemleri denenerek Moora yöntemi ile y i değerleri hesaplanmıştır. Elde edilen y i değerleri Tablo 4 te sunulmuştur. Tablo 4 ün ilk satırında yer alan y i değerlerinin Tablo 3 teki veriler kullanılarak hesaplanması aşağıda gösterilmiştir. Vektör normalizasyonuna göre ilk olarak numaralı denklem kullanılmıştır. 733 733 + 995 + 673 + + 594 = 0,9395 Ardından 3 numaralı denklemden yararlanılır. Bu denklemde tüm ölçütlerin eşit öneme sahip olduğu düşünülerek 0, değeri kullanılmıştır. (0,) (0,9395) + (0,) (0,38788) + (0,) (0,40) + (0,) (0,97703) - (0,) (0,945) = 0,8776 Son ölçüt için değerin en küçük olması en iyi durumu gösterdiğinden dolayı ilk dört değer toplanmış iken sonuncusu çıkarılmıştır. normalizasyon () yöntemine göre ilk dört ölçüt için 3 numaralı denklem, son ölçüt için ise 4 numaralı denklemden yararlanılır. 87

Aşkın ÖZDAĞOĞLU 733 ma 733; 995; 673; ;594 = 0,736683 { } Ardından 3 numaralı denklemden yararlanılır. (0,)(0,736683)+(0,)(0,56854)+(0,)(0,9543 5)+(0,)(0,7695)+(0,)(0,876563)=0,7693 normalizasyon () yöntemi ölçüt için en iyi durumun maksimizasyon veya minimizasyon olmasına göre farklı denklemlerden yararlandığından dolayı son ölçüt için çıkarma işlemine gerek kalmamaktadır. 5 için yapılan normalizasyon işlemindeki farklılık aşağıda gösterilmiştir. min{ 640; 588; 776; ;56} = 0,876563 640 normalizasyon () yöntemine göre ilk dört ölçüt için 5 numaralı denklem, son ölçüt için ise 6 numaralı denklemden yararlanılır. 733 ma 733; 995; 673; ;594 = 0,736683 { } Ardından 3 numaralı denklemden yararlanılır. (0,)(0,736683)+(0,)(0,56854)+(0,)(0,9543 5)+(0,)(0,7695)+(0,)(0,3693)=0,640348 normalizasyon () yöntemi ölçüt için en iyi durumun maksimizasyon veya minimizasyon olmasına göre farklı denklemlerden yararlandığından dolayı son ölçüt için çıkarma işlemine gerek kalmamaktadır. 5 için yapılan normalizasyon işlemindeki farklılık aşağıda gösterilmiştir. 640 = 0, 3693 ma 640; 588; 776; ;56 { } normalizasyon (3) yöntemine göre ilk dört ölçüt için 7 numaralı denklem, son ölçüt için ise 8 numaralı denklemden yararlanılır. 733 min{ 733; 995; 673; ;594} { } { } = 0, 4345 ma 733; 995; 673; ;594 min 733; 995; 673; ;594 Ardından 3 numaralı denklemden yararlanılır. (0,)(0,4345)+(0,)(0,40959)+(0,)(0,950 00)+(0,)(0,37586)+(0,)(0,709559)=0,56446 normalizasyon (3) yöntemi ölçüt için en iyi durumun maksimizasyon veya minimizasyon olmasına göre farklı denklemlerden yararlandığından dolayı son ölçüt için çıkarma işlemine gerek kalmamaktadır. 5 için yapılan normalizasyon işlemindeki farklılık aşağıda gösterilmiştir. ma{ 640; 588; 776; ;56} 640 { } { } = 0,709559 ma 640; 588; 776; ;56 min 640; 588; 776; ;56 normalizasyon (4) yöntemine göre tüm ölçütler için tek bir denklem mevcuttur. Hesaplamalar için 9 numaralı denklemden yararlanılır. 733 733 + 995 + 673 + + 594 = 0,09366 Ardından 3 numaralı denklemden yararlanılır. (0,) (0,09366) + (0,) (0,08585) + (0,) (0,3088) + (0,) (0,0959) - (0,) (0,09367) = 0,06308 için en iyi durumun maksimizasyon veya minimizasyon olmasına farketmeksizin tek bir denklemden yararlanıldığından dolayı son ölçüt için çıkarma işlemi yapılması gerekmektedir. Monoton olmayan normalizasyon yöntemine göre 0 numaralı denklemden yararlanılır. 733 ma{ 733; 995; 673; ;594} standartsapma{ 733; 995; 673; ;594} = e 0, 8385 Ardından 3 numaralı denklemden yararlanılır. (0,) (0,8385) + (0,) (0,358) + (0,) (0,97030) + (0,) (0,5567) + (0,) (0,78485) = 0,494973 0 numaralı denklemden yer alan değeri ölçüt için en iyi durumun maksimizasyon veya minimizasyon olmasına göre farklılaştığından dolayı son ölçüt için çıkarma işlemine gerek kalmamaktadır. 5 için yapılan normalizasyon işlemindeki farklılık aşağıda gösterilmiştir. 640 min{ 640; 588; 776; ;56} standartsapma{ 640; 588; 776; ;56} = e 0, 78485 Açıklanan işlemlerin tüm veri setleri ve alternatiflere uygulanması sonucu elde edilen değerleri Tablo 4 te sunulmuştur. 88

Normalizasyon Yöntemlerinin Çok lü Karar Verme Sürecine Etkisi Moora Yöntemi İncelemesi Tablo 4: Alternatiflerin Değerleri Vektör Normalizasyonu Veri Seti 4 Veri Seti 3 Veri Seti Veri Seti Normalizasyon () Normalizasyon () Normalizasyon (3) Normalizasyon (4) Monoton Olmayan Normalizasyon Alternatif 0,8776 0,7693 0,640348 0,56446 0,06308 0,494973 Alternatif 0,967 0,78556 0,65363 0,605 0,06363 0,54560 Alternatif 3 0,4009 0,59495 0,464050 0,367 0,03794 0,0304 Alternatif 4 0,3607 0,8557 0,7877 0,675876 0,0754 0,6656 Alternatif 5 0,36 0,80374 0,685680 0,530055 0,0779 0,50653 Alternatif 6 0,7549 0,750974 0,658 0,63089 0,057080 0,63468 Alternatif 7 0,39330 0,66545 0,5838 0,36948 0,045866 0,86977 Alternatif 8 0,0399 0,798847 0,665988 0,50466 0,069055 0,40038 Alternatif 9 0,6355 0,630667 0,49980 0,34875 0,0474 0,3603 Alternatif 0 0,4469 0,857035 0,734 0,7630 0,075498 0,664893 Alternatif 0,97803 0,777894 0,638743 0,539999 0,0667 0,54375 Alternatif 0,886 0,69377 0,4946 0,49488 0,04033 0,3574 Alternatif 3 0,754 0,73887 0,599667 0,57873 0,058646 0,544909 Alternatif 4 0,87 0,60544 0,46636 0,4496 0,039808 0,36788 Alternatif 5 0,69585 0,7467 0,579998 0,46874 0,05676 0,358709 Alternatif 6 0,4008 0,853979 0,753 0,787663 0,074549 0,79997 Alternatif 7 0, 0,833839 0,69905 0,68879 0,074047 0,669970 Alternatif 8 0,36950 0,8709 0,734565 0,76865 0,07940 0,76979 Alternatif 9 0,54899 0,67676 0,54964 0,370793 0,0590 0,3484 Alternatif 0 0,7549 0,77080 0,590940 0,500838 0,057543 0,4379 Alternatif 0,3884 0,650639 0,55085 0,43469 0,04567 0,366593 Alternatif 0,09346 0,784 0,65408 0,5075 0,07735 0,4656 Alternatif 3 0,5998 0,684405 0,566 0,46595 0,05379 0,376754 Alternatif 4 0,57997 0,6657 0,5387 0,4789 0,054699 0,03855 Alternatif 5 0,5599 0,68576 0,556486 0,468889 0,0586 0,440943 Alternatif 6 0,8038 0,6336 0,50079 0,369995 0,0474 0,58747 Alternatif 7 0,646 0,8394 0,688977 0,570467 0,07795 0,56989 Alternatif 8 0,665 0,9053 0,78373 0,80979 0,08880 0,80655 Alternatif 9 0,6878 0,709768 0,589 0,47858 0,05649 0,4954 Alternatif 0 0,7408 0,75989 0,59348 0,47867 0,0580 0,348985 Alternatif 0,6998 0,787 0,574789 0,57678 0,057094 0,538759 Alternatif 0,96866 0,7805 0,63466 0,65097 0,06636 0,595743 Alternatif 3 0,4533 0,8700 0,74949 0,6783 0,08358 0,6457 Alternatif 4 0,78947 0,7859 0,56745 0,3678 0,0684 0,70877 Alternatif 5 0,4950 0,604367 0,455783 0,9657 0,04907 0,09760 Alternatif 6 0,4665 0,6876 0,537850 0,5488 0,048443 0,47670 Alternatif 7 0,05487 0,7789 0,6333 0,54508 0,07034 0,46594 Alternatif 8 0,485 0,6336 0,475 0,4763 0,040409 0,36707 Alternatif 9 0,7060 0,7608 0,579 0,46490 0,05896 0,385969 Alternatif 0 0,09450 0,8034 0,655704 0,59807 0,070789 0,4790 89

Aşkın ÖZDAĞOĞLU Veri Seti 8 Veri Seti 7 Veri Seti 6 Veri Seti 5 Alternatif 0,0934 0,537373 0,40499 0,46644 0,030366 0,0985 Alternatif 0,04655 0,7960 0,656400 0,634434 0,06840 0,56454 Alternatif 3 0,7466 0,80664 0,670653 0,577664 0,07975 0,53045 Alternatif 4 0,85776 0,744 0,60758 0,53965 0,0643 0,54697 Alternatif 5 0,749 0,736938 0,600967 0,58959 0,0575 0,530088 Alternatif 6 0,89999 0,7530 0,6806 0,5338 0,063376 0,460844 Alternatif 7 0,53484 0,676064 0,54949 0,44937 0,0506 0,35736 Alternatif 8 0,09676 0,7954 0,66346 0,577343 0,070063 0,506 Alternatif 9 0,9087 0,75483 0,675 0,553798 0,063844 0,5669 Alternatif 0 0,8065 0,7335 0,595533 0,4958 0,06040 0,46387 Alternatif 0,9805 0,7704 0,640985 0,593040 0,0677 0,57056 Alternatif 0,3635 0,86509 0,730770 0,7307 0,080879 0,7447 Alternatif 3 0,060 0,8000 0,670079 0,57955 0,07559 0,55755 Alternatif 4 0,69680 0,7590 0,59649 0,5639 0,05644 0,455000 Alternatif 5 0,084 0,798584 0,665945 0,60757 0,07 0,587 Alternatif 6 0,6866 0,69948 0,560898 0,37937 0,05805 0,30794 Alternatif 7 0,737 0,7857 0,594 0,498735 0,058463 0,45 Alternatif 8 0,30936 0,63707 0,50886 0,383 0,04300 0,38598 Alternatif 9 0,64369 0,695583 0,568 0,373590 0,0558 0,335646 Alternatif 0 0,07694 0,5768 0,438899 0,84455 0,03649 0,38756 Alternatif 0,7690 0,7356 0,6045 0,476799 0,05888 0,434659 Alternatif 0,8394 0,74898 0,60937 0,5387 0,06050 0,465609 Alternatif 3 0,86346 0,763370 0,6340 0,565739 0,06733 0,56335 Alternatif 4 0,58780 0,699590 0,5779 0,46685 0,0556 0,37978 Alternatif 5 0,56589 0,687357 0,556464 0,379874 0,05096 0,39975 Alternatif 6 0,60095 0,9694 0,794385 0,839700 0,08648 0,8638 Alternatif 7 0,53665 0,679388 0,549659 0,380949 0,054 0,353553 Alternatif 8 0,75985 0,73399 0,595633 0,43309 0,05870 0,35480 Alternatif 9 0,0739 0,79073 0,65793 0,569805 0,0678 0,560760 Alternatif 0 0,54408 0,6936 0,559 0,40785 0,050 0,34337 Alternatif 0,698 0,78774 0,598877 0,434765 0,0593 0,36840 Alternatif 0,83743 0,77764 0,6594 0,54776 0,0603 0,4975 Alternatif 3 0,9708 0,864 0,679857 0,66544 0,06998 0,58456 Alternatif 4 0,97380 0,83865 0,6876 0,57594 0,06487 0,506350 Alternatif 5 0,975 0,89855 0,764743 0,764 0,0756 0,700599 Alternatif 6 0,537 0,70587 0,57304 0,39374 0,049754 0,34895 Alternatif 7 0,88684 0,793 0,666754 0,559905 0,06894 0,59045 Alternatif 8 0,7976 0,7684 0,637979 0,38567 0,05969 0,353800 Alternatif 9 0,653 0,7365 0,609 0,597766 0,053700 0,55646 Alternatif 0 0,79537 0,76884 0,64708 0,487748 0,05955 0,38608 90

Normalizasyon Yöntemlerinin Çok lü Karar Verme Sürecine Etkisi Moora Yöntemi İncelemesi Veri Seti 9 Veri Seti 0 Alternatif 0,66876 0,6867 0,5608 0,39604 0,05680 0,05805 Alternatif 0,0936 0,534858 0,4088 0,438 0,030394 0,04508 Alternatif 3 0,03465 0,78743 0,649767 0,64384 0,06993 0,55037 Alternatif 4 0,096459 0,55499 0,4905 0,38863 0,0393 0,04 Alternatif 5 0,87686 0,74730 0,67754 0,5765 0,0637 0,4769 Alternatif 6 0,8490 0,89560 0,69460 0,630505 0,07857 0,5339 Alternatif 7 0,9469 0,759347 0,63434 0,67379 0,06453 0,50443 Alternatif 8 0,76836 0,703093 0,57806 0,404093 0,06079 0,4854 Alternatif 9 0,77937 0,7935 0,585440 0,436808 0,060556 0,306584 Alternatif 0 0,47604 0,85933 0,7680 0,63430 0,08579 0,504669 Alternatif 0,6888 0,837850 0,690390 0,55307 0,07775 0,598 Alternatif 0,30374 0,640939 0,493480 0,400000 0,043506 0,409588 Alternatif 3 0,77036 0,7356 0,596 0,58695 0,059499 0,4574 Alternatif 4 0,0858 0,80874 0,66088 0,65378 0,070079 0,554709 Alternatif 5 0,365 0,84398 0,69559 0,69799 0,07555 0,7037 Alternatif 6 0,640 0,709945 0,566047 0,49586 0,05507 0,45833 Alternatif 7 0,579 0,66099 0,5659 0,74455 0,05960 0,448 Alternatif 8 0,65638 0,73937 0,5704 0,55595 0,05507 0,477804 Alternatif 9 0,57487 0,68049 0,535900 0,383 0,053735 0,38594 Alternatif 0 0,788 0,785 0,5880 0,557377 0,05808 0,53063 MOORA yöntemi için tüm normalizasyon yöntemleri kullanılarak elde edilen değerlerinin arasındaki ilişkiyi incelemek amacıyla ikili olarak korelasyon analizleri gerçekleştirilmiştir. Korelasyon analizi gerçekleştirilmeden önce sonuçların parametrik testlere uygunluğunu test etmek amacıyla, veri setinin normal dağılıma uygunluğu varsayımı incelenmiştir (Newbold vd., 003, 55). Bu inceleme için değerler SPSS 8 programına girilmiş ve Tablo 5 teki sonuçlar elde edilmiştir. Tablo 5: Normal Dağılıma Uygunluk Testi Değer Kolmogorov-Smirnov Serbestlik derecesi P-değeri Değer Shapiro-Wilk Serbestlik derecesi P-değeri Vektör Normalizasyonu,06 00,00,989 00,57 Normalizasyon () Normalizasyon () Normalizasyon (3) Normalizasyon (4) Monoton Olmayan Normalizasyon,05 00,00,99 00,809,057 00,00,99 00,773,063 00,00,989 00,550,067 00,00,988 00,488,065 00,00,989 00,553 ( Not: Normal dağılıma uygunluk hipotezinin reddedilmediği durumlar) Hem Kolmogorov-Smirnov testine göre hem de Shapiro-Wilk testine göre değerleri normal dağılıma uygunluk testini geçtiğinden, parametrik korelasyon analizi (Pearson), korelasyon hesaplamaları için uygundur. Korelasyon değerlerinin hesaplanması için SPSS 8 programında Pearson Korelasyon işlemi seçilerek Tablo 6 daki sonuçlara ulaşılmıştır Tablo 6 da satır ile sütunun kesişiminde yer alan değer ilgili hücrenin bulunduğu satır ve sütundaki normalizasyon yöntemlerinin değişkenleri temsil etti- 9

Aşkın ÖZDAĞOĞLU ği korelasyon işleminin sonucunu vermektedir. Örnek vermek gerekirse, vektörel normalizasyon satırı ile doğrusal normalizasyon (3) sütunu kesişimindeki %86,4 değeri vektörel normalizasyon değişkeni ile doğrusal normalizasyon (3) değişkenlerini içeren korelasyon analizinin sonucudur. Tablo 6: Normalizasyon Yöntemlerine göre Sonuçlar Arasındaki Korelasyon Değerleri Normalizasyon () Normalizasyon () Normalizasyon (3) Normalizasyon (4) Monoton Olmayan Normalizasyon Vektörel Normalizasyon 0,980 0,976 0,864 0,998 0,84 Normalizasyon () 0,996 0,905 0,966 0,884 Normalizasyon () 0,900 0,96 0,874 Normalizasyon (3) 0,84 0,964 Normalizasyon (4) 0,88 Korelasyon katsayısı sonuçlar arasındaki ilişkinin gücünü göstermektedir. %0-%5 arası korelasyon değeri ilişkinin çok zayıf olduğunu, %6-%49 arası korelasyon değeri ilişkinin zayıf olduğunu, %50-%69 arası korelasyon değeri ilişkinin orta seviyede olduğunu, %70-%89 arası korelasyon değeri ilişkinin yüksek olduğunu, %90-%00 arası korelasyon değeri ise ilişkinin çok yüksek olduğunu ifade etmektedir (Kalaycı, 00; 6). Vektörel normalizasyon sonuçları incelendiğinde doğrusal normalizasyon (4) olarak adlandırılan yöntem ile elde edilen sonuçlar arası ilişki %99,8 olarak görülmektedir. Bu değer, iki yöntemden elde edilen sonuçların neredeyse aynı olduğunu ifade etmektedir. Yine doğrusal normalizasyon () sonuçları ve doğrusal normalizasyon () olarak adlandırılan yöntem ile elde edilen sonuçlar arası ilişki de %99,6 bulunmuştur ki bu da sonuçların hemen hemen aynı olduğunu göstermektedir. Bu da sonuçların neredeyse birbirine eşit olduğunu göstermektedir. Tablo 6 daki değerler incelendiğinde, monoton olmayan normalizasyon ve doğrusal normalizasyon (3) olarak adlandırılan yöntemlerin diğer normalizasyon yöntemleri ile ilişkisi orta düzeyde kalmakta ve farklı alternatiflerin tercih edilmesi sonucunu doğurabilmektedir. Bu iki yöntemin kendi aralarındaki ilişki düzeyi ise %96,4 ile oldukça yüksektir. Bu ilişki katsayılarına göre normalizasyon yöntemlerini iki ana kategoride toplamak mümkün görünmektedir. Çok sayıda değerlendirme ölçütünü birarada inceleyip alternatifler arasında doğru seçim yapabilmek amacıyla normalizasyon yöntemlerinden elde edilen değerler arasındaki korelasyon değerlerinin mümkün olduğunca %00 değerine yaklaşması gerektiğinden %95 korelasyon değeri bir sınır olarak düşünülmüş ve iki farklı kategori oluşturulmuştur. Buna göre ilk kategoride yer alan normalizasyon yöntemlerinden herhangi birinin Moora hesaplamalarında kullanımında sakınca yokken, ikinci kategoride yer alan normalizasyon yöntemlerinin kullanımı önerilmemektedir. Normalizasyon Yöntemleri. Kategori (Korelasyon değerleri %95 ve üstü) Vektörel Normalizasyon Normalizasyon () Normalizasyon () Normalizasyon (4) Normalizasyon Yöntemleri. Kategori (Korelasyon değerleri %95 in altında) Normalizasyon (3) Monoton Olmayan Normalizasyon 6. SONUÇ VE ÖNERİLER Bu çalışma kapsamında ilk olarak normalizasyon yöntemlerine değinilmiş ve çok ölçütlü karar verme yöntemlerinde hangi normalizasyon yöntemlerinin tercih edildiğine dair bir inceleme yapılmıştır. Ardından üzerinde uygulanan normalizasyon yöntemi açısından fikir birliği bulunmayan çok ölçütlü karar verme yöntemlerinden biri olan Moora yönteminin işleyişi açıklanmış ve MS Ecel programındaki fonksiyonlardan yararlanarak oluşturulan on alternatif ve beş değerlendirme ölçütüne göre on farklı veri seti için tüm normalizayon yöntemlerinin kullanımı ile Moora sonuçları belirlenmiştir. Tablo 4 te yer alan tercih sıraları incelendiğinde özellikle vektör normalizasyonu, doğrusal normalizasyon (), doğrusal normalizasyon () ve doğrusal normalizasyon (4) ile elde edilen sonuçların hemen hemen aynı olduğu görülmektedir. Özellikle monoton olmayan normalizasyonda elde edilen sonuçlardaki farklılıklar daha belirgindir. Tablo de sunulan literatür bilgisi de hatırlanacak olursa monoton olmayan normalizasyon yöntemi kullanılmış bir çok ölçütlü karar verme yöntemi çalışması da bulunamamıştır. Normalizasyon yöntemlerinin açıklandığı bazı çalışmalarda da bu konuya vurgu yapılmakta ve literatürde monoton olmayan normalizasyon yönteminin nadiren kullanıldığı ifade edilmektedir (Shih vd., 007: 805). Bu noktada dikkat edilmesi gereken diğer bir nokta doğrusal normalizasyon (), 9

Normalizasyon Yöntemlerinin Çok lü Karar Verme Sürecine Etkisi Moora Yöntemi İncelemesi doğrusal normalizasyon (), doğrusal normalizasyon (3) ve monoton olmayan normalizasyon yöntemlerinin işleyişinde değerin münkün olduğunca küçük olmasının istendiği değerlendirme ölçütleri için yapılan normalizasyon işlemi en iyi sonuca yakınlığı gösteren performans değerlerini verdiğinden Moora yönteminin işleyişinde gösterilen Eşitlik ve Eşitlik 3 işlemlerindeki faydasız ölçütler için yapılan çıkarma işlemine gerek kalmamaktadır. Vektör normalizasyonu ve doğrusal normalizasyon (4) yöntemlerinde ise orinal işleyişe uyulması gerekmektedir. Buna göre Moora yönteminin adımları aşağıdaki gibi düzenlenebilir. Durum : Vektör Normalizasyonu veya Normalizasyon (4) kullanılıyor ise; Adım : Eşitlik de gösterilen karar matrisinin oluşturulması Adım : Vektör normalizasyonu yapılacaksa Eşitlik, Normalizasyon 4 yapılacaksa Eşitlik 9 kullanılarak Normalizasyon işlemlerinin yapılması Adım 3: ağırlıkları birbirine eşit ise Eşitlik, ölçüt ağırlıkları birbirinden farklı ise Eşitlik 3 kullanılarak her bir alternatif için tek bir değerin bulunması Durum : normalizasyon (), doğrusal normalizasyon (), doğrusal normalizasyon (3) veya monoton olmayan normalizasyon yöntemlerinden biri kullanılıyor ise; Adım : Eşitlik de gösterilen karar matrisinin oluşturulması Adım : Normalizasyon () yapılacaksa Eşitlik 3 ve Eşitlik 4, Normalizasyon () yapılacaksa Eşitlik 5 ve Eşitlik 6, Normalizasyon (3) yapılacaksa Eşitlik 7 ve Eşitlik 8, monoton olmayan normalizasyon yapılacaksa Eşitlik 0 kullanılarak Normalizasyon işlemlerinin yapılması Adım 3: ağırlıkları birbirine eşit ise aşağıda belirtilen Eşitlik 4, ölçüt ağırlıkları birbirinden farklı ise aşağıda sunulan Eşitlik 5 kullanılarak her bir alternatif için tek bir değerin bulunması n y i = i = Eşitlik 4.. = enbüyüklenmesi veya en küçüklenmesi farketmeksizin nitelik ya da ölçüt g yi = w i ( =,,,n) Eşitlik 5. = W =. Nitelik ya da ölçütün ağırlık (önem) katsayısı Durum de sunulan adımlar tamamlandığında elde edilen y i değeri karar matrisindeki enbüyüklerin (faydalı nitelik ya da ölçütler) ve enküçüklerin (faydasız nitelik ya da ölçütler) toplamlarına bağlı olarak sadece pozitif değer alacak negatif olmayacaktır. y i değerlerinin sıralaması nihai öncelikleri gösterir. En iyi alternatif en yüksek y i değerine sahip olan iken, en kötü alternatif en düşük y i değerine sahip olan alternatiftir. Bu çalışma kapsamında normalizasyon yöntemlerinin çok ölçütlü karar verme yönteminden elde edilen sonuçlara nasıl bir etkide bulunduğunu görmek amacıyla 0 alternatif ve 5 değerlendirme ölçütü içeren 0 farklı veri seti oluşturulmuş ve bu veri setlerine tüm normalizasyon yöntemleri birer birer denenerek sonuçlar korelasyon analizine tabi tutulmuştur. Veri setlerinin gerçek işletme problemlerini daha iyi yansıtabilmesini sağlamak amacıyla veri seti türetilirken farklı sayı aralıklarında ölçekler oluşturulmuş ve olası değişik senaryoları inceleyebilmek için de değerlendirme ölçütlerinden biri açısından en küçük değerin en iyi durumu gösterdiği göz önüne alınarak hesaplamalar gerçekleştirilmiştir. Elde edilen sonuçlar korelasyon analizine tabi tutulduğunda yöntemlerin iki ana kategoride toplandığı görülmektedir. Birinci kategori olarak ifade edilebilecek olan Vektörel Normalizasyon, Normalizasyon (), Normalizasyon () ve Normalizasyon (4) yöntemlerinin ikili korelasyon değerlerinin hepsi %95 değerinin üzerindedir. İkinci kategoride kalan Normalizasyon (3) ve Monoton Olmayan Normalizasyon yöntemleri ise Moora yönteminin oriinal yapısında uygulandığı literatür araştırması sonucunda ortaya çıkan vektörel normalizasyon ve doğrusal normalizasyon (4) yöntemleri ile karşılaştırıldığında korelasyon değeri düşük kalmaktadır. Bu nedenle ikinci kategori olarak ifade edilen Normalizasyon (3) ve Monoton Olmayan Normalizasyon yöntemlerinin Moora yöntemi için kullanımı önerilmemektedir. İlk kategoride yer alan, Vektörel Normalizasyon, Normalizasyon (), Normalizasyon () ve Normalizasyon (4) yöntemlerinin herhangi biri Moora yöntemi ile karar verme sürecinde rahatlıkla kullanılabilir. 93

Aşkın ÖZDAĞOĞLU KAYNAKLAR Aalami, H.A., Moghaddam, M.P. ve Yousefi, G.R. (00) Modeling and Prioritizing Demand Response Programs in Power Markets Electric Power Systems Research, 80: 46 435. Ayala, J.G. (0) Selecting Irrigation Water Pricing Alternatives Using A Multi-Methodological Approach Mathematical and Computer Modelling, 55: 86 883. Balezentis, A. Balezentis, T. ve Brauers, W.K.M. (0) Personnel Selection Based on Computing with Words and Fuzzy MULTIMOORA Epert Systems with Applications, 39: 796 7967. Brauers, W.K.M. ve Zavadskas, E.K. (009) Robustness of The Multi-Obective MOORA Method with A Test for The Facilities Sector Technological and Economic Development of Economy: Baltic J on Sustainability, 5: 35-375. Chakraborty, S. (0) Applications of The MOO- RA Method for Decision Making in Manufacturing Environment Int J Adv Manuf Technol, 54: 55 66. Chatteree, P., Athawale, V.M. ve Chakraborty, S. (0) Materials Selection Using Comple Proportional Assessment and Evaluation of Mied Data Methods Materials and Design, 3: 85 860. Chatteree, P. ve Chakraborty, S. (0) Material Selection Using Preferential Ranking Methods Materials and Design, 35: 384 393. Dai, L. ve Wang, J. (0) Evaluation of The Profitability of Power Listed Companies Based on Entropy Improved TOPSIS Method Procedia Engineering, 5: 478 473. Das, M.C., Sarkar, B. ve Ray, S. (0) A Framework To Measure Relative Performance of Indian Technical Institutions Using Integrated Fuzzy AHP and COPRAS Methodology Socio-Economic Planning Sciences, -. (Baskıda makale). Huang, W. ve Huang, Y.Y. (0) Research on The Performance Evaluation of Chongqing Electric Power Supply Bureaus Based on TOPSIS Energy Procedia, 4: 899 905. Kaklauskas, A., Zavadskas, E.K., Naimaviciene, J., Krutinis, M., Plakys, V. ve Venskus, D. (00) Model for A Comple Analysis of Intelligent Built Environment Automation in Construction, 9: 36 340. Kaklauskas, A., Zavadskas, E.K. ve Trinkunas, V. (007) A Multiple Criteria Decision Support On-Line System for Construction Engineering Applications of Artificial Intelligence, 0:63 75. Kalaycı, Ş. (00) SPSS Uygulamalı Çok Değişkenli İstatistik Teknikleri, Ankara, Asil Yayın Dağıtım. Karande, P. ve Chakraborty, S. (0) Application of Multi-Obective Optimization on The Basis of Ratio Analysis (MOORA) Method for Materials Selection Materials and Design, 37: 37 34 Kiran, C.P., Clement, S. ve Agrawal, V.P. (0) Coding, Evaluation and Optimal Selection of A Mechatronic System Epert Systems with Applications, 38: 9704 97. Lozano-Minguez, E., Kolios, A.J. ve Brennan, F.P. (0) Multi-Criteria Assessment of Offshore Wind Turbine Support Structures Renewable Energy, 36: 83-837. Mela, K., Tiainen, T. ve Heinisuo, M. (0) Comparative Study of Multiple Criteria Decision Making Methods for Building Design Advanced Engineering Informatics, (baskıda makale) Newbold, P., Carlson, W.L. ve Thorne, B. (003) Statistics For Business And Economics, New Jersey, Prentice Hall Inc. Ouattara, A., Pibouleau, L., Azzaro-Pantel, C., Domenech, S., Baudet, P. ve Yao, B. (0) Economic and Environmental Strategies for Process Design Computers and Chemical Engineering, 36: 74 88. Peng, Y., Zhang, Y., Tang, Y. ve Li, S. (0) An Incident Information Management Framework Based on Data Integration, Data Mining, and Multi-Criteria Decision Making Decision Support Systems, 5: 36 37. Sadeghzadeh, K. ve Salehi, M.B. (0) Mathematical Analysis of Fuel Cell Strategic Technologies Development Solutions in The Automotive Industry by The TOPSIS Multi-Criteria Decision Making Method International Journal of Hydrogen Energy, 36: 37-380. Shih, H-S., Shyur, H-J. ve Lee, E.S. (007) An Etension of TOPSIS for Group Decision Making Mathematical and Computer Modelling, 45: 80 83. Streimikiene, D., Balezentis, T., Krisciukaitien, I. ve Balezentis, A. (0) Prioritizing Sustainable Electricity Production Technologies: MCDM Approach Renewable and Sustainable Energy Reviews, 6: 330 33. Sun, Y.F., Liang, Z-S., Shan, C.J., Viernstein, H. ve Unger, F. (0) Comprehensive Evaluation of Natural Antioidants and Antioidant Potentials in Ziziphus Juuba Mill. Var. Spinosa (Bunge) Hu E H. F. Chou Fruits Based on Geographical Origin by TOPSIS Method Food Chemistry, 4: 6 69. 94