Üç Boyutlu Serpilme (Saçılım) Grafikleri 3D Scatterplot of boy vs kol vs bacak 90 boy 0 70 0 90 70 00 0 bacak 0 0 90 kol 3D Scatterplot of kol vs omuz vs kalca 90 kol 0 70 00 kalca 0 0 0 0 00 omuz
Merkez ve Derinlik Kavramları Bir boyutlu veri için ortanca sıra istatistiklerine dayalı bir kavram olmak üzere, veri kümesinin merkezi olarak da adlandırılabilir. Merkez noktasına (ortancaya) ulaşmak için izlenebilecek bir yol aşağıdaki serpilme çizitinde görüldüğü gibidir. Her iki uçtaki iki değer atılır (veri soyulur) ve böyle devam edilerek en sonunda bir nokta kalmışsa bu merkezdir, iki nokta kalmışsa buların ortalaması merkezdir (ortancadır). ortalama m Ortanca gibi ortalama da bir veri kümesi için merkez olarak adlandırılabilir. Đki boyutlu veri için merkez kavramı: m Çok boyutlu verilerde sıralama yapılamadığı için sıra istatistiklerine dayalı ortanca da söz konusu değildir. Bir boyutlu veride yapıldığı gibi dıştaki verileri soya soya en son kalan tek noktaya veya en son kalan iki yada üç noktanın ortalamasına merkez diyebiliriz.
Çok Değişkenli Dağılımlarda Merkez ve Derinlik Kavramları Bir boyutlu olasılık dağılımlarında uçlardaki noktalardan ortancaya doğru gittikçe, dağılımda daha derine doğru gidiyoruz sezgisine dayalı olarak bir derinlik kavramı tanımlanabilir. Örneğin, yüzdeliği (quantile) k olan bir noktanın derinliği 0.5 0.5 k olarak tanımlanırsa, böyle bir derinlik kavramı için birinci çeyreklik ile üçüncü çeyreklik aynı derinliğe sahip ve en derin nokta ortanca olacaktır. En derin noktaya merkez denirse, derinlik kavramına dayalı olarak bir merkez kavramı tanımlanmış olur. x R d, verilen bir nokta ve F, d boyutlu X rasgele vektörünün R d de tanımlı dağılım fonksiyonu olmak üzere, x noktasının F nin merkezine yakınlığının bir ölçüsü derinlik kavramına dayanılarak yapılabilir. Bunun örneklem karşılığı, x R d noktasının, X, X,..., X n gözlem kümesinin (bulutunun) merkezine yakınlığının ölçüsü olarak ifade edilebilir. Mahalanobis Derinliği (Mahalanobis Depth): F, d boyutlu X rasgele vektörüne ait dağılım fonksiyonu, µ F ortalama (beklenen değer) vektörü, Σ F varyans-kovaryans matrisi ve x R d bir nokta olmak üzere, MD(F; x) = [ +(x µ F ) Σ (x F µf )] değerine x noktasının F dağılım fonksiyonuna göre Mahalanobis Derinliği denir. Mahalanobis Derinliğinin örneklem karşılığı, µ F yerine X örnek ortalaması ve Σ F yerine S örneklem varyans-kovaryans matrisinin konulmasıyla, şeklinde yazılır. Burada, MD ˆ (F; x) = + (x X ) (S ) (x X ) n X k= k n X = n S ij = n ( X k= ik X i ) (X jk X j ), i, j =,,..., d S = (S ij ) d d dir. Konveks Katman Derinliği (Convex Hull Peeling Depth): Bir çok değişkenli dağılımdan alınan gözlem değerlerini içeren en küçük konveks küme bir çokyüzlü olmak üzere bu konveks kümenin köşe noktaları eldeki gözlemlerin birinci katmanı, ilk katman gözlemleri kaldırılıp geriye kalan gözlemlerin birinci katmanı gözlemler için ikinci katman olarak adlandırılsın ve takip eden katmanlarda aynı şekilde oluşturulsun. Buna göre X, X,..., X n örneğinde X k noktasının bu veri kümesine göre derinliği, X k noktasının dahil olduğu katmanın düzeyi (katman sıra sayısı), olarak adlandırılır. Gözlemin, dahil olduğu katman sıra sayısı büyüdükçe derinliği artıyor demektir. Sadece örneklem için düşünülen bu derinliğin sürekli kitle dağılımları için karşılığı tanımsızdır. Derinliği en büyük olan noktaya derinlik merkezi ya da kısaca merkez denir. En büyük derinliğe sahip birden çok nokta bulunduğunda bunların ortalaması merkez olarak alınmaktadır. Derinlik sıralamasında, eşderinlikli gözlemlerin olması halinde sıra istatistiklerinde olduğu gibi işlem yapılmaz; aynı derinliğe sahip olan gözlemlere birbirlerini takip eden derinlik sıra numarası verilir (gözlem sayısı kadar derinlik sıra numarası söz konusu dur).
Kutu Çizitinin Đki Değişkenli Verilere Genişletilmesi Tukey tarafından belirtildiği gibi kutu çizitleri, beş tane istatistik değeri ile verilerin görsel bir betimlemedir. Bu beş istatistik ; ortanca (median) alt ve üst menteşeler (hinges) ile uç değerlerdir. Kutu çizitlerinin çok değişik biçimleri sözkonusudur. En yaygın olarak Box-and-whiskers kutu çiziti kullanılır. Bu çizitin kutusunun yan kenarları, birinci ve üçüncü çeyreklik ( Q ve Q 3) ve içindeki çizgi ortanca ( Q ) değerinde olmak üzere kutu dışındaki çizgiler (wishkers) sıra dışı (outlier) değerlerin en uç olanlarına kadar uzanmaktadır. Sol taraftaki sıradışı değerler Q + ( Q Q ) (lower fence) değerinden küçük olan gözlemler ve sağ taraftaki sıradışı değerler Q + ( Q Q ) (upper fence) değerinden büyük olan gözlemlerdir. 3 Belli bir derinlik ölçüsüne göre sıralanmış iki boyutlu gözlemlerin merkeze yakın olan %50 sini içeren konveks çokgene çanta denir. Çanta, tek boyutlu verilerin betimlenmesindeki kutunun karşılığıdır. Çantanın çevre noktalarının merkeze olan uzaklıklarını 3 ile çarpıp merkezden uzaklaştırarak çit (fence) elde edilir. Çitin dışında kalan noktalar sıra dışı gözlem olarak nitelendirilir. Sıra dışı gözlemler dışındaki gözlemleri içeren en küçük konveks çokgen yastık (bolster) olarak adlandırılır. Çanta koyu, etrafındaki yastık daha açık olarak renklendirilir ve çit görüntülenmeyebilir. Olasılık yoğunluk fonsiyonun grafiği Şekil- de solda olan dağılımdan üretilen 50 birimlik bir örneklem için serpilme diyagramı aynı şeklin sağında olmak üzere, katman derinliğine göre çanta çiziti Şekil- de soldadır. Çanta sınırından bir gözleme olan uzaklık, merkezden çanta sınırına olan uzaklığın 3 katından fazla olduğunda bu gözlem bir sıra dışı gözlem olarak nitelendirilir. Böyle bir gözlem, merkez ile birleştirilmiş çizginin ucundaki gözlemdir. Şekil- in sağında çeyreklik çizgileri yer almaktadır. En içteki çeyreklik çizgisi gözlemlerin %5 ini, ortadaki %50 sini ve dıştaki %75 ini içermektedir (Rousseeuw, Peter J., Ruts, I. and Tukey, John W. (999). The bagplot: A bivariate boxplot, The American Statistician, Vol. 53, N0., 3-37). Şekil- Şekil-
DD-Çizitleri d R üzerinde iki dağılımın dağılım fonksiyonları F, G ve D (.) bir derinlik ölçüsü olmak üzere, DD( F, G) = {( D( F; x), D( G; x)) : x R } kümesinin R deki grafiğine DD-çiziti denir. Bunun örneklem karşılığı, DD ˆ ˆ ( F, G) = {( Dˆ ( F; x), Dˆ ( G; x)) : x { X, X,..., Xn} { Y, Y,..., Ym }} dır. Burada, {,,..., } X X X n kümesi F den ve { Y, Y,..., Y m } kümesi G den birer örneklemdir. DD-çizitleri uyum iyiliği sınamalarında kullanılabilir. DD ˆ ˆ ( F, G) = {( Dˆ ( F; x), Dˆ ( G; x)) : x { X, X,..., Xn} { Y, Y,..., Ym }} DD ˆ ( F, G) = {( Dˆ ( F; x), D( G; x)) : x { X, X,..., X n }} DDˆ ( F, G) = {( D( F; x), Dˆ ( G; x)) : x { Y, Y,..., Y m }} olmak üzere, örneğin: aynı dağılımdan üretilen iki örneklem için DD ˆ ˆ ( F, F )-çiziti Şekil-3, konum parametresi farklı olan iki dağılımdan üretilen iki örneklem için DD ˆ ˆ ( F, G) -çiziti Şekil-, ölçek parametresi farklı olanlar için DD ˆ ˆ ( F, G) -çiziti Şekil-5 ve çarpıklığı farklı olanlar için DD ˆ ˆ ( F, G) - çiziti Şekil- daki gibi olabilmektedir (Liu, Regina Y., Parelius, J. M., and Singh, K.(999). Multivariate analysis by data depth: Descriptive statistics, graphics and inference(with dicussions), The Annals of Statistics, Vol. 7, No. 3, 73-5). d Şekil-3 Şekil- Şekil-5 Şekil- Bir boyutlu veriler için var olan ve kolayca kavranan histogram ve kutu çiziti gibi betimsel istatistiklerin iki boyutlu verilere genişletilmesi veri analizinde yararlı görsel bilgi elde edilmesini sağlamaktadır. Bir boyutlu veriler için doğal tanımlaması olan sıra istatistiklerinin iki ve daha yüksek boyutlara doğrudan bir genişletilmesi yapılamamakla birlikte, derinlik gibi bazı kavramlar yardımıyla sıra istatistiklerine benzer istatistikler tanımlanabilmektedir.
Örnek: Mahalonobis Uzaklığı: >> veri=mvnrnd([0 0],[9 5;5 ],00); >> plot(veri(:,),veri(:,),'.') 0 0 >> ort=mean(veri) ort = 0.75 0.57 >> hold on; >> plot(0.75,0.57,'') >> plot(0,0,'r') 0 0
% Mahalonobis Uzaklığı: MahUzak = ( x µ ) Σ ( x µ ) >> x=[5 5]; >> MahUzak=(x-[0 0])pinv([9 5;5 ])(x-[0 0])' MahUzak =. >> x=[0 5]; >> MahUzak =(x-[0 0])pinv([9 5;5 ])(x-[0 0])' MahUzak = 0.55 >> plot(0,5,'g') >> plot(5,5,'k') 0 0 >> S=cov(veri) S = 9.73 5.39 5.39.33 % Mahalonobis Uzaklığı: >> MahUzak=([0 5]-ort)pinv(S)([0 5]-ort)' MahUzak = 9.9073 >> MahUzak =([5 5]-ort)pinv(S)([5 5]-ort)' MahUzak = 5.957 MahUzak = ( x X ) ( S ) ( x X ) >> mahal([5 5],veri) ans = 5.957 >> mahal([0 5],veri) ans = 9.9073
Mahalonobis Derinliği: [ ] MD(F; x) = +(x µ ) Σ (x µf ) F F MD ˆ (F; x) = + (x X ) (S ) (x X ) X = n n X k= k S ij = n n ( X ik X i ) (X jk X j ), i, j =,,..., d k= S = (S ij ) d d Maholonobis Uzaklığı Mahalonobis Derinlikleri >> MahUz_veri=mahal(veri,veri) >> MD=(+MahUz_veri).^(-) >> [MD_sort indis]=sort(md) MahUz_veri = MD = MD_sort = indis = 3.395 3.0.33 5.0 3.05 3.9.3 0.0.37 5.5 3.7.933 0.759.5359.53 0.37 0.570 0.577.77 0.57 0.37.37 0.99 0.35.077.55.007. 0.0030.00.399.53..379 0. 0.0.070.79 3.35 0.037.755.07.359.303 5.9 0.73 0.95.90.9909.5.39 0.9.33 3.3.973 0.7 0.377 5.553 0.37 0.75 0.9 0.35 0.553 0.39 0.03 0.39 0.7 0.5 0.0 0.3 0.59 0.53 0.393 0.79 0.775 0.37 0. 0.30 0. 0.759 0.9 0.55 0.757 0.3 0. 0.335 0.77 0.9970 0.90 0.90 0.090 0.3059 0.0 0.77 0.30 0.9 0.337 0.0 0.9 0.90 0.939 0.05 0.39 0.50 0.5733 0.5990 0.35 0.5 0.3539 0.5 0.937 0. 0.9 0.33 0.735 0.759 0.59 0.73 0.0993 0. 0.5 0.90 0.39 0.50 0.59 0.553 0.0 0.7 0. 0.90 0.9 0.03 0.035 0.9 0.75 0.0 0.9 0.337 0.3 0.37 0.39 0.59 0.53 0.0 0. 0.7 0.77 0.79 0. 0.939 0.95 0.303 0.3059 0.3 0.335 0.33 0.30 0.35 0.39 0.3539 0.35 0.337 0.33 0.30 0.393 0.090 0.05 0.0 0. 0.5 0.5 0.9 0. 0.9 0.3 0. 0.90 93 9 5 5 0 00 3 37 9 39 5 5 5 7 3 70 9 5 5 9 7 33 5 7 55 9 7 50 3 3 3 9 3 3 53 5 9 75 7 97 7 30
0.095.353 0.975 0.7 9.0737.9 0.7.9 3.75.3.7770 0.77 0.793 0.55.39.330 0.0557 0.05.07 0.35 0.357 0.07 0.097.79 0.057 3.97 0.957.90 0.00 0.0 0.73.93 0.53 7.99 0. 0.03 3.950.0.7 0.5.05 0.90 0.0 0.5059 0.7007 0.0993 0. 0. 0.303 0.337 0.95 0. 0.590 0.559 0.37 0.9 0. 0.973 0.95 0. 0.70 0. 0.0 0.90 0.33 0. 0.37 0.50 0.53 0.7 0.5 0.507 0.30 0.33 0. 0.39 0.5 0.035 0.3 0.7 0.9 0.7 0.5059 0.50 0.55 0.559 0.507 0.53 0.5733 0.590 0.5990 0. 0.0 0.5 0. 0.37 0.37 0. 0.735 0.39 0.5 0. 0.7007 0.7 0.775 0.73 0.757 0.759 0.759 0.70 0.77 0.30 0. 0.7 0.33 0.9 0.937 0.90 0.973 0.95 0.9 0.90 0.9970 3 7 90 3 7 7 0 95 7 73 5 9 9 0 3 59 57 79 35 3 9 99 5 7 77 0 0 9 Merkezdeki gözlem (en derin): >> veri(9,:) ans = 0.305 0.03 En uzak gözlem): >> veri(,:) ans =..97 0 0
Mahalonobis derinliğine dayalı DD-çizitleri DD ˆ ˆ ( F, G) = {( Dˆ ( F; x), Dˆ ( G; x)) : x { X, X,..., Xn} { Y, Y,..., Ym }} DD ˆ ( F, G) = {( Dˆ ( F; x), D( G; x)) : x { X, X,..., X n }} DDˆ ( F, G) = {( D( F; x), Dˆ ( G; x)) : x { Y, Y,..., Y m }} >> veri=rand(50,)0+5ones(50,); >> figure >> hold on >> plot(veri(:,),veri(:,),'.') >> plot(veri(:,),veri(:,),'.r') >> veri3=mvnrnd([0 0],[9 5;5 ],50); >> figure >> hold on >> plot(veri(:,),veri(:,),'.') >> plot(veri3(:,),veri3(:,),'.r') 0 0 0 >> DD=[mahal(veri,veri);mahal(veri,veri)]; >> DD=[mahal(veri,veri);mahal(veri,veri)]; >> figure;plot(dd,dd) 0 0 >> DD=[mahal(veri,veri);mahal(veri3,veri)]; >> DD=[mahal(veri,veri3);mahal(veri3,veri3)]; >> figure;plot(dd,dd) 0 0 9 7 5 0 0 5 0 5 0 5 30 35 3 0 0 3 5 7 9 0