Yrd. Doç. Dr. A. Burak İNNER

Transkript

1 Yrd. Doç. Dr. A. Burak İNNER Kocaeli Üniversitesi Bilgisayar Mühendisliği Yapay Zeka ve Benzetim Sistemleri Ar-Ge Lab.

2 Bir veri tablosuna en uygun fonksiyonu bulma sürecine regresyon analizi denir. Regresyon analizi kavramsal olarak değişkenler arasındaki fonksiyonel ilişkiyi araştırmak için kullanılan istatistiksel bir yöntemdir. Örnek olarak bir evin satış fiyatını konum,bina yaşı,cephe gibi özellikler ile ilişkilendirebilmek verilebilir. Regresyon analizi genellikle bir problemin tanımlanması ile başlar. Bağımlı ve bağımsız değişkenlerin uygunca belirlenmesi gerekir. Bağımsız (Independent) değişkenler bağımlı değişkenlerin tahmininde kullanılır.

3 Regresyon analizi elimizdeki değişken sayısına göre farklı modellere sahip olabilir. Tek değişkenli(one variable) lineer model h θ (x) = θ 0 + θ 1 x 1 Tek değişkenli polinomal model h θ (x) = θ 0 + θ 1 x 1 + θ 2 x 1 2 Tek değişkenli kareköksel model h θ (x) = θ 0 + θ 1 x 1 + θ 2 x 1 Çok değişkenli (multi veriable) lineer model h θ (x) = θ 0 + θ 1 x 1 + θ 2 x 2 + θ 3 x θ n x n

4 Korelasyon, iki yada daha fazla veri arasındaki anlamlı ilişkiyi gösteren ifadedir. Korelasyon veriler arasındaki ilişkinin gücünü ve bu ilişkinin yönünü gösterir.korelasyon 1 ve -1 arasında değerler alır. 1 ve -1'e yaklaştıkça ilişkinin gücü artar, 0'a yaklaştıkça ilişkinin gücü azalır. "" ve "-" korelesyonun yönünü belirtir. "+" işaretli ise pozitif yönlü ilişki, "-" ise negatif yönlü bir ilişkiyi anlatır. İki değişken(biri bağımlı, biri bağımsız) arasındaki korelasyon düşünülürse; pozitif yönlü korelasyon iki veriden bir artarken diğerininde artış gösteriyor olmasını gösterir, negatif yönü korelasyon ise bir değişkeni artış gösterirken diğerinin azaldığını işaret eder.

5 Pearson korelasyon sayısı istatistikte çok geniş kullanım alanın sahiptir. Hesaplaması şu şekilde yapılır. r xy = σ x i y i n ഥx ഥy (n 1)s x s y = n σ x i y i σ x i σ y i n σ x i 2 σ x i 2 n σ y i 2 σ y i 2 r = Pearson r korelasyonu N = Data setindeki değerlerin sayısı xy = x ve y değerlerinin çarpımlarının toplamı x = x lerin toplamı y = y lerin toplamı x2= x lerin kareleri toplamı y2= y lerin kareleri toplamı Etki aralığı(effect size).10 ile.29 aralığı az birliktelik(small association).30 ile.50 aralığı orta birliktelik(medium association).50 ve üzeri yüksek birliktelik (large association) gösterir Kaynak:

6

7 cor(women$height,women$weight, method = "pearson") plot(women) abline(lm(weight ~height, data=women)) cor(women$height,women$weight,method = pearson ) [1]

8 Hipotez y i = β 0 + β 1 x i + ε i, (i = 1,2,,n) Regresyon modeli aşağıdaki hata fonksiyonunu minimize etmeyi amaçlar S(β 0, β 1 ) = σ n i=1 ε 2 i = σ n i=1 (y i β 0 β 1 x i ) 2

9 Parametrelere göre kısmi türev alırsak Bu türevler 0 a eşit olmalı S(β 0, β 1 ) β 0 S(β 0, β 1 ) β 1 = 2σ n i=1 (y t β 0 β 1 x i ) = 2σ n i=1 (y i β 0 )β 1 x i )x i. S(β 0, β 1 ) β 0 = 0 S(β 0, β 1 ) β 1 = 0

10 Bu çözümlerin sonucunda b 0 = ഥy - b 1 ഥx b 0 of β 0 and b 1 of β 1 b 1 = s xy s xx s xy ve s xx s xy = σ n i=1 (x i ഥx ) (y i ഥy ), s xx = σ n i=1 (x i ഥx ) 2, ഥx = 1 σ n i=1 n Elde edilir. x i, ഥy = 1 σ n i=1 n Kaynak: SimpleLinearRegressionAnalysis.pdf y i

11 Bazı durumlarda tüm verileri ideal bir doğrusal işlev ile tanımlamak her zaman mümkün değildir, bu durumda veri bir eğri işlevi ile ifade edilebilir. y= α 0 +α 1 x+α 2 x 2 +ε En küçük kareler işlemi,yüksek dereceli polinomlarla verilere eğri uydurma için kullanılabilecek şekilde kolayca genişletilebilir.

12 Artıkların karelerinin toplanması durumunda S T = σ y i a 0 + a 1 x i + a 2 x i 2 2 olur. Elde ettiğimiz bu eşitliğin polinomun bilinmeyen katsayılarının her birine göre türevini alalım: S r 2 = -2 σ y a i a 0 + a 1 x i + a 2 x i 0 S r 2 = -2 σ x a i y i a 0 + a 1 x i + a 2 x i 1 S r = -2 σ x 2 2 a i y i a 0 + a 1 x i + a 2 x i 2

13 Bu denklemler sıfıra eşitlenebilir ve yeniden düzenlenerek aşağıdaki normal denklemler elde edilebilir. n a o + σ x i a 1 + σ x i 2 a 2 = σ y i σ x i a o + σ x i 2 a 1 + σ x i 3 a 2 = σ x i y i σ x i 2 a o + σ x i 3 a 1 + σ x i 4 a 2 = σ x i 2 y i Buradaki tüm toplamlar i=1 den n ye kadardır. Dikkat ederseniz yukarıdaki üç denklem doğrusaldır ve üç bilinmeyeni vardır:a 0, a 1 ve a 2. Bilinmeyenlerin katsayıları,gözlenmiş verilerden doğrudan hesaplanabilir., Bu durumda, gördüğünüz gibi bir en küçük kareler,ikinci derece polinomu belirleme problemi, eşzamanlı üç doğrusal denklem sisteminin çözümüne eşdeğerdir.

14 İki boyutlu durum kolaylıkla, aşağıdaki gibi m inci dereceden polinoma genelleştirilebilir. y = a 0 + a 1 x + a 2 x a m x m + e Yukarıdaki analiz buradaki daha genel duruma kolaylıkla genişletilebilir. Böylece, m inci dereceden bir polinomun katsayılarının belirlenmesi hemen söyleyebileceğimiz gibi, m+1 eşzamanlı doğrusal denklem sisteminin çözümüne eşdeğerdir. Bu durumda, standart hata aşağıdaki şekilde formülleştirilebilir. Sy x = S r n m+1

15 Bu değer S r yi hesaplamak için m + 1 adet veri kaynaklı katsayı -a 0, a 1,, a m kullanıldığı için n (m + 1) e bölünmüştür; böylece m + 1 dereceden serbestliği kaybetmiş oluyoruz.

16 Örnek: Tablonun ilk iki sütunundaki verilere ikinci dereceden bir polinom uydurun. x i y i y i ഥy 2 y i a 0 a 1 x i a 2 x i Tablo 1.1 : İkinci dereceden en küçük karelerin hata analizi için hesaplamalar

17 Çözüm: Verilerden: m = 2 σ x i = 15 σ x i 4 = 979 n = 6 σ y i = σ x i y i = x ҧ = 2.5 σ x 2 i = 55 σ x 2 i y i = തy = σ x i 3 = 225 bulunur. Dolayısıyla, eşzamanlı doğrusal denklemler şu şekilde elde edilir a 0 a 1 a 2 =

18 Çözüm devamı: Gauss eleme tekniği kullanarak bu sistemin çözümünden a 0 = a 1 = a 2 = Böylece bu problem için ikinci dereceden denklem Olur. y = x x 2

19 Çözüm devamı: Regresyon polinomuna dayalı olarak tahminin standart hatası şöyledir: Determinasyon katsayısı ise: Sy x = = 1.12 r 2 = =

20 Çözüm devamı: Korelasyon katsayısı r = dir. Bu sonuçlar orijinal belirsizliğin yüzde nin modelle açıklandığını göstermektedir ve ikinci dereceden denklemin mükemmel bir uyum verdiği yorumunu destekler.

21 Doğrusal regresyonun kullanışlı bir uzantısı, y nin iki veya daha çok bağımsız değişkenin doğrusal fonksiyonu olduğu durumdur. Örneğin, y aşağıdaki gibi x 1 ve x 2 nin doğrusal fonksiyonu olabilir. y = a 0 + a 1 x 1 + a 2 x 2 + ε Bu tür bir denklem, incelenen değişkenin genellikle diğer iki değişkenin bir fonksiyonu olduğu durumda deneysel eğri uydurmak için özellikle kullanışlıdır. Bu iki boyutlu durum için regresyon doğrusu bir düzleme dönüşür.

22 Şekil 1.1: y; x 1 ile x 2 nin doğrusal fonksiyonu olduğunda, çoklu doğrusal regresyonunun grafik açıklaması

23 Daha önceki durumlarda olduğu gibi, katsayıların en iyi değeri, artıkların karelerinin toplamı yardımıyla belirlenir. n S r = σ 2 i=1 y i a 0 a 1 x 1i a 2 x 2i Bilinmeyen katsayıların her birine göre türev alınarak bulunur. S r = 2 σn a i=1 0 y i a 0 a 1 x 1i a 2 x 2i S r = 2 σ n a i=1 x 1i y i a 0 a 1 x 1i a 2 x 2i 1 S r = 2 σ n a i=1 x 2i y i a 0 a 1 x 1i a 2 x 2i 2

24 Artıkların karelerinin toplamını minimum yapan katsayılar, kısmi türevlerin sıfıra eşitlenmesi ve sonucunda aşağıdaki gibi matris formunda ifade edilmesiyle elde edilir. n σ x 1i σ x 2i σ x 1i σ 2 x 1i σ x 1i x 2i σ x 2i σ x 1i x 2i σ 2 x 2i a 0 a 1 a 2 = σ y i σ x 1i y i σ x 2i y i

25 Örnek: Aşağıdaki veriler y = 5 + 4x 1 3x 2 denkleminden hesaplanmıştır: x 1 x 2 y Bu verilere bağıntı uydurmak için çoklu doğrusal regresyon kullanın.

26 Çözüm: Matris formunda elde etmemiz için ilk önce gerekli hesaplamaları aşağıdaki tabloda yaparız. toplam

27 a 0 a 1 a 2 = Matris formunu bu şekilde elde ederiz. Bu sistem Gauss eleme gibi bir yöntemle çözülürse a 0 = 5 a 1 = 4 a 2 = 3 bulunur. Bu değerler verilerin türetildiği orijinal denklemle tutarlıdır.

28 DO i = 1, order+1 DO j = 1, i sum = 0 DO k = 1,n sum=sum+x i 1,k x j 1,k END DO a i,j = sum a j,i = sum END DO sum = 0 DO k = 1,n sum = sum+y k x j 1,k END DO a i,order+2 = sum END DO»

29 Çoklu regresyon modeli için hiptez h θ (x) = θ 0 + θ 1 x 1 + θ 2 x 2 + θ 3 x θ n x n Örneğin bir evin temel değeri, evin büyüklüğü(m 2 ), kat sayısı, oda sayısı,.. vb değişkenler ile evin değerinin tahmin edilmesi düşünülebilir. Matris çarpımı şeklinde gösterimi h θ (x) = θ 0 θ 1 θ 0 x1 x 0 = θ T x x n

30 Çok değişkenli lineer regresyonun parametrelerinin hesaplama yöntemlerinden bir tanesi normal hesaplama yöntemi (Normal Equation) şu şekilde θ = (X T X) 1 X T y

31 Burada X T X ifadesinin tersini almada problem yaşanabilir. Bu matrisin tersinin alınabilmesi için kare matris olması gerek. Fakat kare matris olmayabilir. Bu durumu çözmek için farklı matematiksel yöntemler mevcut. Matlab eğer tersi alınamayan bir fonksiyon ise hata verecektir. Bunun için matlab daki pinv() fonksiyonu bizim için bu problemi ortadan kaldıracaktır. θ = (X T X) 1 X T y

32 Doğrusal regresyon verilere en iyi doğruyu uydurmak için güçlü bir tekniktir. Ancak, bağımlı ve bağımsız değişken arasındaki bağıntının doğrusal olduğu gerçeğine dayanmaktadır. Bu her zaman geçerli değildir ve herhangi bir regresyon analizinin ilk adımı, verilerin grafiğini çizmek ve doğrusal bir modelin uygulanıp uygulanamıyacağı görsel olarak incelemek olmalıdır.

33 (a)üstel denklem,(b) üslü denklem,(c)doymuş büyüme oranı denklemi.(d),(e) ve (f) bu denklemlerin doğrusallaştırılmış hali.

34 y = a 1 e b 1x Burada a 1 ve b 1 sabitlerdir. Bu model, mühendisliğin birçok alanında kendi büyüklükleri ile orantılı bir hızda artan veya azalan nicelikleri karakterize etmek için kullanılır. Örneğin, nüfus artış oranı veya radyoaktif bozunma bu tür davranışa örnek gösterebilir.yukarıdaki (a) numaralı şekilde gösterildiği gibi, denklem, y ve x arasında doğrusal olmayan bir bağıntıyı ifade etmektedir.

35 Örneğin bir önceki sayfada bulunan denklem doğal logaritması alınmak suretiyle doğrusallaştırılabilir. Ancak ln e = 1 olacağı için ln y = ln a 1 + b 1 x ln e ln y = ln a 1 + b 1 x olacaktır. Böylece x e göre ln y nin çizimi,eğimi b 1 ve kesme noktası ln a 1 olan düz bir doğru verecektir.

36 Dersin Sonu Kocaeli Üniversitesi Bilgisayar Mühendisliği Yapay Zeka ve Benzetim Sistemleri Ar-Ge Lab.