Đstatistiksel Hesaplamada Grafikler

Transkript

1 . Ders Đstatistiksel Hesaplamada Grafikler Serpilme Diyagramı ve Histogram >> x=randn(,); >> [x(:,) x(:,) x(:,) x(:,) x(:,) ] ans = >> plot(x, zeros(,), '.' ). -. >> figure; hist(x) >> [frekans sinifortasi]=hist(x) frekans = sinifortasi = >> hold on ; plot(sinifortasi,frekans) ; plot(sinifortasi,frekans,'r')

2 >> edges=-:: ; >> histc(x,edges) ans = >> bar(edges,ans,'histc')

3 Đki Boyutlu Veriler için Çubuk Grafiği, Serpilme Diyagramı ve Histogram Çubuk grafikleri, isimlendirme (nominal), sıralama (ordinal), oran, aralık ölçme düzeyinde gözlenen ve kitle dağılımı kesikli olan verilere uygulanır. Bilindiği gibi çubuk grafiklerinde yatay eksende ölçülen özelliğin gözlenen değerleri, düşey eksende de bunların frekansları bulunmaktadır. Çubuk grafiğini iki boyutlu verilere genişletmek mümkün olabilmektedir. Đki boyutlu veriler için çubuk grafiği, üç boyutlu bir koordinat sisteminde, yatay düzlemde veriler için hazırlanan çapraz tablo ve düşey eksende göze frekansları olacak şekilde kolayca görüntülenebilir. Aşağıdaki çapraz tablo için çubuk grafiği d dedir ,,, 3,,, 7 (a) (b) 3 3 3,,, 3,, (c) (d) Bir boyutlu veriler için histogram ile frekans poligonu örneklemin alındığı dağılımın olasılık yoğunluk fonksiyonunun biçimi hakında fikir vermektedir. Histogramlar, aralık ile oran ölçme düzeyinde (interval level of measurement, ratio level of measurement) gözlenen ve kitle dağılımı sürekli olan verilere uygulanır. Bir boyutlu verilerde histogram; sınıf aralıkları üzerinde yükseklikleri o sınıfın frekansı olan bitişik dikdörtgenlerden oluşmaktadır. Đki boyutlu veriler için histogram; tabanda eşit uzunluklu sınıf aralıklarının kartezyen çarpımı olan dikdörtgenler üzerinde, yükseklikleri o dikdörtgenin frekansı olan prizmalardan

4 oluşturulabilir. Bu prizmaların üst yüzeylerinin konumları görsel etkiyi yaratmaktadır. Ayrıca, bilgisayar grüntülerine renk etkisi de katılabilir. Bir boyutluda frekans poligonu; histogramdaki yanyana olan dikdörtgenlerin üst kenarlarının orta noktalarını birleştiren kırık çizgi olmak üzere, iki boyutluda; birbirine değen (taban kenarları ortak olan) dört prizmanın üst yüzeylerinin orta noktalarını birleştiren doğru parçalarının oluşturduğu çatı olarak gerçekleştirilebilir. Bunu, sadece çıtaları bulunan kiremitsiz bir çatıya benzetebiliriz. Bu çatı, verilerin alındığı iki boyutlu dağılımın olasılık yoğunluk fonksiyonunun biçimi hakkında görsel bilgi verir. Genelde, histogram ve poligonlar dagılımın olasılık yoğunluk fonksiyonu hakında görsel bilgi vermekle birlikte, olasılık yoğunluk fonksiyonu tahmini oldukça derin bir istatistik teorisi gerektiren çekirdek tahmin yöntemleri ile yapılmaktadır. Đki boyutlu standart normal dağılımdan üretilen n = birimlik bir örneklem için serpilme diyagramı a da, iki boyutlu veri için SPSS de çizilen histogram d dedir. Diğer iki histogram bireysel değişkenlerin gözlenen değerlerinin histogramları olup marjinal dağılımlar hakkında fikir vermektedirler. 3,,,, -, -, -3, -, -3, -, -,, (a),, 3,, -, -3, -, -,, (b),, 3, -3, -, -,,,, 3,, (c) (d) Yukarıdaki şekiller aşağıdaki MATLAB programı ile de gerçekleştirilebilir.

5 n=; veri=randn(,n); figure;plot(veri(,:),veri(,:),'.') [frx,sx]=hist(veri(,:),); [fry,sy]=hist(veri(,:),); for i=: for j=: x=sx(i)-(sx()-sx())/ ; x=sx(i)+(sx()-sx())/ ; y=sy(j)-(sy()-sy())/ ; y=sy(j)+(sy()-sy())/ ; frekans=; for ii=:n if veri(,ii)<x if veri(,ii)>=x if veri(,ii)<y if veri(,ii)>=y frekans=frekans+; end,end,end,end end frpolig(i,j)=frekans; x=[x x]; y=[y y]; meshgrid(x,y); z=frekansones(,); mesh(y,x,z); hold on end end figure;meshgrid(sx,sy);mesh(sy,sx,frpolig); Serpilme diyagramı,

6 histogram (prizmaların düşey çizgileri çizilmemiş), ve frekans çokyüzeylisi (frekans poligonu),

7 >> Y=randn(,); >> hist3(y) Örneklem Dağılım Fonksiyonu (Empirical Cumulative Distribution Function, ecdf) pp-çizitleri ve qq-çizitleri Matlab: Statistics Toolbox Graphical Descriptions Quantiles and Percentiles Probability Density Estimation Empirical Cumulative Distribution Function >> x=normrnd(,3,,) x =

8 >> cdfplot(x) Empirical CDF F(x) >> [a b]=cdfplot(x) b = min:.3 max:.9 mean:.33 median:.9 std:.3 >> ecdf(x) x

9 >> [a b]=ecdf(x) a = b = >> figure;qqplot(x) >> aa=:.:; >> q=norminv(aa);figure;plot(q,b,'.') QQ Plot of Sample Data versus Standard Normal Quantiles of Input Sample Standard Normal Quantiles

10 >> y=exprnd(,3,); >> qqplot(x,y) Y Quantiles - - X Quantiles >> v=exprnd(,,); >> qqplot(y,v) 3 Y Quantiles X Quantiles

11 >> x=normrnd(,3,,) x = >> cdfplot(x) Empirical CDF F(x) x Kutu Çiziti Tukey tarafından belirtildiği gibi kutu çizitleri, beş tane istatistik değeri ile verilerin görsel bir betimlemedir. Bu beş istatistik ; ortanca (median) alt ve üst menteşeler (hinges) ile uç değerlerdir. Kutu çizitlerinin çok değişik biçimleri sözkonusudur. En yaygın olarak Box-and-whiskers kutu çiziti kullanılır. Bu çizitin kutusunun yan kenarları, birinci ve üçüncü çeyreklik ( Q ve Q 3) ve içindeki çizgi ortanca ( Q ) değerinde olmak üzere kutu dışındaki çizgiler (wishkers) sıra dışı (outlier) değerlerin en uç olanlarına kadar uzanmaktadır. Sol taraftaki sıradışı değerler Q + ( Q Q ) (lower fence) değerinden küçük olan gözlemler ve sağ taraftaki sıradışı değerler Q + ( Q Q ) (upper fence) değerinden büyük olan gözlemlerdir. 3

12 Merkez ve Derinlik Kavramları Bir boyutlu veri için ortanca sıra istatistiklerine dayalı bir kavram olmak üzere, veri kümesinin merkezi olarak da adlandırılabilir. Merkez noktasına (ortancaya) ulaşmak için izlenebilecek bir yol aşağıdaki serpilme çizitinde görüldüğü gibidir. Her iki uçtaki iki değer atılır (veri soyulur) ve böyle devam edilerek en sonunda bir nokta kalmışsa bu merkezdir, iki nokta kalmışsa buların ortalaması merkezdir (ortancadır). ortalama m Ortanca gibi ortalama da bir veri kümesi için merkez olarak adlandırılabilir. Đki boyutlu veri için merkez kavramı:

13 Çok boyutlu verilerde sıralama yapılamadığı için sıra istatistiklerine dayalı ortanca da söz konusu değildir. Bir boyutlu veride yapıldığı gibi dıştaki verileri soya soya en son kalan tek noktaya veya en son kalan iki yada üç noktanın ortalamasına merkez diyebiliriz. m Çok Değişkenli Dağılımlarda Merkez ve Derinlik Kavramları Bir boyutlu olasılık dağılımlarında uçlardaki noktalardan ortancaya doğru gittikçe, dağılımda daha derine doğru gidiyoruz sezgisine dayalı olarak bir derinlik kavramı tanımlanabilir. Örneğin, yüzdeliği (quantile) k olan bir noktanın derinliği.. k olarak tanımlanırsa, böyle bir derinlik kavramı için birinci çeyreklik ile üçüncü çeyreklik aynı derinliğe sahip ve en derin nokta ortanca olacaktır. En derin noktaya merkez denirse, derinlik kavramına dayalı olarak bir merkez kavramı tanımlanmış olur. x R d, verilen bir nokta ve F, d boyutlu X rasgele vektörünün R d de tanımlı dağılım fonksiyonu olmak üzere, x noktasının F nin merkezine yakınlığının bir ölçüsü derinlik kavramına dayanılarak yapılabilir. Bunun örneklem karşılığı, x R d noktasının, X, X,..., X n gözlem kümesinin (bulutunun) merkezine yakınlığının ölçüsü olarak ifade edilebilir. Mahalanobis Derinliği (Mahalanobis Depth): F, d boyutlu X rasgele vektörüne ait dağılım fonksiyonu, µ F ortalama (beklenen değer) vektörü, Σ F varyans-kovaryans matrisi ve x R d bir nokta olmak üzere,

14 MD(F; x) = [ +(x µ ) F Σ (x F µf )] değerine x noktasının F dağılım fonksiyonuna göre Mahalanobis Derinliği denir. Mahalanobis Derinliğinin örneklem karşılığı, µ F yerine X örnek ortalaması ve Σ F yerine S örneklem varyans-kovaryans matrisinin konulmasıyla, şeklinde yazılır. Burada, MD ˆ (F; x) = + (x X ) (S ) (x X ) n X k= k n X = n S ij = n ( X ik X i ) (X jk X j ), i, j =,,..., d k= dir. S = (S ij ) d d Yarı Uzay Derinliği (Half-space Depth): x R d göre yarı düzlem derinliği, noktasının F dağılımına d { } HD( F; x) = inf P( H ) : H, R de x i içeren kapalı bir yarı hiperdüzlem H olarak tanımlanır (Liu, Regina Y., Parelius, J. M., and Singh, K.(999). Multivariate analysis by data depth: Descriptive statistics, graphics and inference(with dicussions), The Annals of Statistics, Vol. 7, No. 3, 73-). Yarı uzay derinliğinin örneklem karşılığı, ˆ s{ X ; } ( ; ) inf i X i H ;, d HD F x = H R de x i içeren kapalı bir yarı hiperdüzlem H n biçimindedir (s(a), A kümesinin eleman sayısını göstermektedir). Konveks Katman Derinliği (Convex Hull Peeling Depth): Bir çok değişkenli dağılımdan alınan gözlem değerlerini içeren en küçük konveks küme bir çokyüzlü olmak üzere bu konveks kümenin köşe noktaları eldeki gözlemlerin birinci katmanı, ilk katman gözlemleri kaldırılıp geriye kalan gözlemlerin birinci katmanı gözlemler için ikinci katman olarak adlandırılsın ve takip eden katmanlarda aynı şekilde oluşturulsun. Buna göre X, X,..., X n örneğinde X k noktasının bu veri kümesine göre derinliği, X k noktasının dahil olduğu katmanın düzeyi (katman sıra sayısı), olarak adlandırılır. Gözlemin, dahil olduğu katman sıra sayısı büyüdükçe derinliği artıyor demektir. Sadece örneklem için düşünülen bu derinliğin sürekli kitle dağılımları için karşılığı tanımsızdır. Yukarıda verilen derinlik ölçülerinin bazılarında derinlik değerleri [,] aralığındadır. Derinliği en büyük olan noktaya derinlik merkezi ya da kısaca merkez denir. En büyük derinliğe sahip birden çok nokta

15 bulunduğunda bunların ortalaması merkez olarak alınmaktadır. Derinlik sıralamasında, eşderinlikli gözlemlerin olması halinde sıra istatistiklerinde olduğu gibi işlem yapılmaz; aynı derinliğe sahip olan gözlemlere birbirlerini takip eden derinlik sıra numarası verilir (gözlem sayısı kadar derinlik sıra numarası söz konusu dur). D( F; x ) herhangi bir derinlik ölçüsü olmak üzere, t [,] için = t kümesine t derinlikli kontur veya seviye kümesi denir. { x : D( F; x) } R( t) { x : D( F; x) t} üzere, C = { R( t) : P( R( t)) p} = > kümesi t derinlikli kontur ile çevrili bölge olmak p kümesine p. merkezi bölge denir. Bunun C ˆ p t örneklem karşılığı, np tamsayı olduğunda np tane, olmadığında np + tane en derin gözlemi kapsayan en küçük konveks kümedir. Kutu Çizitinin Đki Değişkenli Verilere Genişletilmesi Belli bir derinlik ölçüsüne göre sıralanmış iki boyutlu gözlemlerin merkeze yakın olan % sini içeren konveks çokgene çanta denir. Çanta, tek boyutlu verilerin betimlenmesindeki kutunun karşılığıdır. Çantanın çevre noktalarının merkeze olan uzaklıklarını 3 ile çarpıp merkezden uzaklaştırarak çit (fence) elde edilir. Çitin dışında kalan noktalar sıra dışı gözlem olarak nitelendirilir. Sıra dışı gözlemler dışındaki gözlemleri içeren en küçük konveks çokgen yastık (bolster) olarak adlandırılır. Çanta koyu, etrafındaki yastık daha açık olarak renklendirilir ve çit görüntülenmeyebilir. Olasılık yoğunluk fonsiyonun grafiği Şekil- de solda olan dağılımdan üretilen birimlik bir örneklem için serpilme diyagramı aynı şeklin sağında olmak üzere, katman derinliğine göre çanta çiziti Şekil- de soldadır. Çanta sınırından bir gözleme olan uzaklık, merkezden çanta sınırına olan uzaklığın 3 katından fazla olduğunda bu gözlem bir sıra dışı gözlem olarak nitelendirilir. Böyle bir gözlem, merkez ile birleştirilmiş çizginin ucundaki gözlemdir. Şekil- in sağında çeyreklik çizgileri yer almaktadır. En içteki çeyreklik çizgisi gözlemlerin % ini, ortadaki % sini ve dıştaki %7 ini içermektedir (Rousseeuw, Peter J., Ruts, I. and Tukey, John W. (999). The bagplot: A bivariate boxplot, The American Statistician, Vol. 3, N., 3-37).

16 Şekil- Şekil- DD-Çizitleri d R üzerinde iki dağılımın dağılım fonksiyonları F, G ve D (.) bir derinlik ölçüsü olmak üzere, DD( F, G) = {( D( F; x), D( G; x)) : x R } kümesinin R deki grafiğine DD-çiziti denir. Bunun örneklem karşılığı, DD ˆ ˆ ( F, G) = {( Dˆ ( F; x), Dˆ ( G; x)) : x { X, X,..., Xn} { Y, Y,..., Ym }} dır. Burada, { X, X,..., X n } kümesi F den ve { Y, Y,..., Y m } kümesi G den birer örneklemdir. d DD-çizitleri uyum iyiliği sınamalarında kullanılabilir. DD ˆ ˆ ( F, G) = {( Dˆ ( F; x), Dˆ ( G; x)) : x { X, X,..., Xn} { Y, Y,..., Ym }} DD ˆ ( F, G) = {( Dˆ ( F; x), D( G; x)) : x { X, X,..., X n }} DDˆ ( F, G) = {( D( F; x), Dˆ ( G; x)) : x { Y, Y,..., Y m }} olmak üzere, örneğin: aynı dağılımdan üretilen iki örneklem için DD ˆ ˆ ( F, F )- çiziti Şekil-3, konum parametresi farklı olan iki dağılımdan üretilen iki örneklem için DD ˆ ˆ ( F, G) -çiziti Şekil-, ölçek parametresi farklı olanlar için

17 DD ˆ ˆ ( F, G) -çiziti Şekil- ve çarpıklığı farklı olanlar için DD ˆ ˆ ( F, G) - çiziti Şekil- daki gibi olabilmektedir (Liu, Regina Y., Parelius, J. M., and Singh, K.(999). Multivariate analysis by data depth: Descriptive statistics, graphics and inference(with dicussions), The Annals of Statistics, Vol. 7, No. 3, 73-). Şekil-3 Şekil- Şekil- Şekil- Bir boyutlu veriler için var olan ve kolayca kavranan histogram, frekans poligonu ve kutu çiziti gibi betimsel istatistiklerin iki boyutlu verilere genişletilmesi veri analizinde yararlı görsel bilgi elde edilmesini sağlamaktadır. Maalesef, bu kavramları daha yüksek boyutlara genişletmek görsel olarak bir fayda getirmemektedir. Bir boyutlu veriler için doğal tanımlaması olan sıra istatistiklerinin iki ve daha yüksek boyutlara doğrudan bir genişletilmesi yapılamamakla birlikte, derinlik gibi bazı kavramlar yardımıyla sıra istatistiklerine benzer istatistikler tanımlanabilmektedir. Burada teorik esaslara inilmeden yapılan kısa özetlemelerden görüldüğü gibi, iki boyutlu verilerin betimlenmesi oldukça çetin bir matematik altyapıya ve bilgisayar görüntüleme imkânlarına dayalı olduğu söylenebilir.

18 Örnek: Mahalonobis Uzaklığı: >> veri=mvnrnd([ ],[9 ; ],); >> plot(veri(:,),veri(:,),'.') >> ort=mean(veri) ort =.7.7 >> hold on; >> plot(.7,.7,'') >> plot(,,'r')

19 % Mahalonobis Uzaklığı: MahUzak = ( x µ ) Σ ( x µ ) >> x=[ ]; >> MahUzak=(x-[ ])pinv([9 ; ])(x-[ ])' MahUzak =. >> x=[ ]; >> MahUzak =(x-[ ])pinv([9 ; ])(x-[ ])' MahUzak =. >> plot(,,'g') >> plot(,,'k')

20 >> S=cov(veri) S = % Mahalonobis Uzaklığı: >> MahUzak=([ ]-ort)pinv(s)([ ]-ort)' MahUzak = >> MahUzak =([ ]-ort)pinv(s)([ ]-ort)' MahUzak =.97 MahUzak = ( x X ) ( S ) ( x X ) >> mahal([ ],veri) ans =.97 >> mahal([ ],veri) ans = Mahalonobis Derinliği: MD(F; x) = [ +(x µ ) Σ (x µf ) F F ] MD ˆ (F; x) = + (x X ) (S ) (x X )

21 n X k= k n X = n S ij = n ( X k= ik X i ) (X jk X j ), i, j =,,..., d S = (S ij ) d d Maholonobis Uzaklığı >> MahUz_veri=mahal(veri,veri) Mahalonobis Derinlikleri >> MD=(+MahUz_veri).^(-) >> [MD_sort indis]=sort(md) MahUz_veri = MD = MD_sort = indis =

22 Merkezdeki gözlem (en derin): >> veri(9,:) ans =.3.3 En uzak gözlem): >> veri(,:) ans =..97

23 Mahalonobis derinliğine dayalı DD-çizitleri DD ˆ ˆ ( F, G) = {( Dˆ ( F; x), Dˆ ( G; x)) : x { X, X,..., Xn} { Y, Y,..., Ym }} DD ˆ ( F, G) = {( Dˆ ( F; x), D( G; x)) : x { X, X,..., X n }} DDˆ ( F, G) = {( D( F; x), Dˆ ( G; x)) : x { Y, Y,..., Y m }} >> veri=rand(,)+ones(,); >> figure >> hold on >> plot(veri(:,),veri(:,),'.') >> plot(veri(:,),veri(:,),'.r') >> veri3=mvnrnd([ ],[9 ; ],); >> figure >> hold on >> plot(veri(:,),veri(:,),'.') >> plot(veri3(:,),veri3(:,),'.r')

24 >> DD=[mahal(veri,veri);mahal(veri,veri)]; >> DD=[mahal(veri,veri);mahal(veri,veri)]; >> figure;plot(dd,dd) >> DD=[mahal(veri,veri);mahal(veri3,veri)]; >> DD=[mahal(veri,veri3);mahal(veri3,veri3)]; >> figure;plot(dd,dd)

25 Değişken Sayısı= Birim sayısı= >> veri =[ ] >> plot(veri) %paralel koordinatlar >> plot(veri')

26 %Andrews eğrileri clc ; clear all ; close all veri =[ ]; v=veri(,:); syms t A=[/sqrt() sin(t) cos(t) sin(t) cos(t) sin(3t) cos(3t) sin(t) cos(t) sin(t) cos(t) sin(t)]; figure; hold on for j=: v=veri(j,:); Av=sum(v.A); deltat=.; t=; for i=:fix(pi/deltat) AW(i)=eval(Av); t=t+deltat; end tt=:deltat:fix(pi/deltat); plot(aw) end

27 Đzdüşümler: clc;clear all;close all veri=mvnrnd([ ],[9 ; ],); plot(veri(:,),veri(:,),'.') ort=mean(veri);s=cov(veri) n=size(veri,);p=size(veri,); veriortsap=(eye(n)-ones(n,)pinv(ones(n,)))veri; veristand=veriortsap./kron(ones(n,),(diag(s))'); [veri veriortsap veristand] figure;hold on;plot(veri(:,),veri(:,),'.') plot(veriortsap(:,),veriortsap(:,),'.g') plot(veristand(:,),veristand(:,),'.r') figure;plot(veriortsap(:,),veriortsap(:,),'.g') figure;plot(veristand(:,),veristand(:,),'.r') figure; hold on plot(veriortsap(:,),veriortsap(:,),'.g') %dğrultu ;alfa=pi/; dog=[cos(alfa); sin(alfa)]; % izdüşüm matrisi;p=dogpinv(dog); t=-:.:; plot(tcos(alfa),tsin(alfa)) Pveri=veriOrtSapP; plot(pveri(:,),pveri(:,),'.r') alfa=pi/;dog=[cos(alfa); sin(alfa)]; P=dogpinv(dog); t=-:.:; plot(tcos(alfa),tsin(alfa)) Pveri=veriOrtSapP; plot(pveri(:,),pveri(:,),'.r') % figure;hold on;plot(veriortsap(:,),veriortsap(:,),'.g') for i=: alfa=pii/; dog=[cos(alfa); sin(alfa)]; P=dogpinv(dog); t=-:.:; plot(tcos(alfa),tsin(alfa)) Pveri=veriOrtSapP; h=plot(pveri(:,),pveri(:,),'.r');set(h,'erasemode', 'none'); drawnow; end % figure;hold on; plot(veriortsap(:,),veriortsap(:,),'.g') for i=:3 alfa=pii/3; dog=[cos(alfa); sin(alfa)]; P=dogpinv(dog); t=-:.:; plot(tcos(alfa),tsin(alfa)) Pveri=veriOrtSapP; h=plot(pveri(:,),pveri(:,),'.r');set(h,'erasemode', 'none'); drawnow; end

28

29

30

31 clc;clear all;close all veri=mvnrnd([ ],[9 ; 9 ; ],); subplot(,,);plot(veri(:,),veri(:,),'.') subplot(,,);plot(veri(:,),veri(:,3),'.') subplot(,,3);plot(veri(:,),veri(:,3),'.') subplot(,,);scatter3(veri(:,),veri(:,),veri(:,3)) n=size(veri,); veriortsap=(eye(n)-ones(n,)pinv(ones(n,)))veri; >> figure;scatter3(veriortsap(:,),veriortsap(:,),veriortsap(:,3),'.')

32 figure; hold on scatter3(veriortsap(:,),veriortsap(:,),veriortsap(:,3),'.') for i=: alfa=pii/; for j=: gama=pii/; % doğrultu dog=[cos(alfa)cos(gama) sin(alfa)cos(gama) sin(gama)]'; % izdüşüm matrisi P=dogpinv(dog); Pveri=veriOrtSapP; h=scatter3(pveri(:,),pveri(:,),pveri(:,3),'.r'); set(h,'erasemode', 'None'); drawnow; end,end