Bilgisayar Mühendisli inde Matematik Uygulamalar Ders Notlar Prof.Dr. Adnan Kavak

Transkript

1 Bilgisayar Mühendisli inde Matematik Uygulamalar Ders Notlar Prof.Dr. Adnan Kavak

2

3 çindekiler Bölüm 5. Ortagonal Alt Uzaylar zdü³üm Matrisi(Projection Matrix) Vektör zdü³ümü Ev Ödevi Sorusu Gram-Schmidt Dikle³tirme Prosedürü Ev Ödevi Sorusu Örnek Range Space Of A Matrix(Bir Matrisin De er Uzay ) Bo³ Uzay(NULL Space) Baz Önemli Matris Ayr³trmalar A=mxm ise A->mxn matris ise m>n LU Matris ayr³trmas Cholesky Matris ayr³trmas QR ayr³trmas EigenValue Decomposition (EVD) Veya Singular Value Decomposition (SVD) LU Ayr³trmas Ve Denklem Sistemi Çözümü Bölüm LU Ayr³trmas Pivot Seçme le LU Ayr³trmas Bölüm 2. EigenValue Decomposition(Özde er Ayr³trmas) Özde er Ve ÖzVektör Nasl Bulunur? ÖzVektörlerin(EigenVectors)Lineer Ba mszl? Matrisin Ayr³trlmas Özde er Ve Özvektörlerden Matris Olu³turma Self-Adjoint Matrislerin Kö³egenle³tirilmesi

4 .5 EVD Uygulamalar Korelasyon Matrisi Özellikleri Bölüm4 4. QR Ayr³trmas Niçin QR? HouseHolder Dönü³ümü: QR Yöntemi le Denklem Sistemi Çözümü Matlab Örne i Bölüm Optimizasyon(En yileme) Ko³ullu (Constraint) Optimizasyon Ara Snav Çözümleri

5 Bölüm Bölüm. Ortagonal Alt Uzaylar ekil.: Ortagonal Alt Uzay X X = X 2 X S S = R V S V = W W = V 5

6 X ve W ortagonal altuzaylardr. X vektoru S'de bir vektordur. X v V altuzayinda X in izdü³üm vektörüdür. X w W altuzayinda X in izdü³üm vektörüdür... zdü³üm Matrisi(Projection Matrix) P, P 2, P P n V altuzayn tarayan ( span ) vektörleri olsun X v = C P + C 2 P 2 + C P + + C n P n A m n = [ P P 2 P P n ] P v = A m n (A H m na m n ) A H m n> izdü³üm matrisi..2 Vektör zdü³ümü [ ] a = x = 2 a x =? [ ] y = [ ] < a, x >= a T x = [ 2 ] [ ] =

7 [ ] a x = x = a y =? < a, y >= a T y = [ 2 ] [ ] = 2 [ ] a y = 2 y = 2 < a, x >= a x cos(θ) = a cos(θ) yandaki ifadede x = dir... Ev Ödevi Sorusu Ev ödevi sorusu a³a daki gibidir : ekil.2: Ev Ödevi Sorusu V A v = [ P P 2 ] P Av = W A w = [ P 2 P ] P Aw = X v = P Av X X w = P Aw X

8 .2 Gram-Schmidt Dikle³tirme Prosedürü a ve b'yi kullanarak birbirine dik vektörler nasl olu³turulur? q =, q 2 = - b nin q üzerindeki bile³eni 2- e b nin 'den fark vektörü - q 2 e 'in normalize edilmi³ hali Algoritma: T = P, P 2,, P n vektörleri için birbirine dik olan T = q, q 2,, q k k n < q i, q j >= q T i q j = δ ij δ ij = { i=j ise i j ) q = p p p = (p T p ) 2

9 2) 2 =< p 2, q > q 2 p 2nin q üzerindeki izdü³ümü e 2 = p 2 2 q 2 = e 2 e 2. k.admda e k = p k k i= < p k, q i > q i q k = e k e k.2. Ev Ödevi Sorusu 4 P = 2, P 2 = 4, P =, P 4 = P,P 2,P ve P 4 'ü kullanarak Gram-Schmidt yöntemiyle birbirine dik olan vektörleri bulunuz?

10 .2.2 Örnek < x(t), y(t) >= 2T x(t)y(t)dt x(t) = (< x(t), x(t) >) 2

11 . Range Space Of A Matrix(Bir Matrisin De- er Uzay ) A = [ P P 2 P m ] x x 2 A x = y x =. x m Rm y = x P + x 2 P x m P m x Örnek: A = x = x 2 x x A x = x + x 2 + x = = y x + x y vektörü, vektörlerinin lineer birle³imidir. R(A)= span{, },R(A) de er uzaydr.

12 .. Bo³ Uzay(NULL Space) = Ax = i³lemini sa layan x vektörüne A'nn bo³ uzay(null space) denir.n(a) ile gösterilir. Örnek: Yukardaki A matrisi için : x x 2 = x x =, x + x = x = x 2 herhangi bir α de eridir N(A) = span{ α }.4 Baz Önemli Matris Ayr³trmalar Ax = b denklem sistemi için.4. A=mxm ise Klasik yöntem:x = A b Baz durumlarda A almak oldukça zor ve karma³k bir i³lem. O(m ) polinom derecesi en fazla m olan sayda (+)ve (*) i³lemi gerekir..4.2 A->mxn matris ise m>n Ax = b (A H n m A m n )x n = A H n mb m x = (A H A) A H b (A H A) A H A : A'nn pseduo-inxers

13 .4. LU Matris ayr³trmas A:m m kare matris,a = L U x L = = Lower-Triangular(alt üçgensel) x.... x... x m m x x x x x x x U = = Upper-Triangular(üst üçgensel).... x... x m m Uygulamas:Ax = b denklem sistemi çözümünde kullanlr.(e er A:m*m ise).4.4 Cholesky Matris ayr³trmas A= simetrik, pozitif-denite bir matris ise A m m x T Ax > x R n vektör ise A pozitif denite bir matris < x, Ax >= x T Ax y = Ax x A = LDL H x,d kö³egen D = x Cholesky ayr³trmas a³a daki gibidir: { A = UDU H A = LDL H Uygulamas:Kestirim ve Kalman ltresi problemlerinin çözümünde.4.5 QR ayr³trmas A : m n kare olmayan bir matris ise A m n x n = b m A = QR Q unitary bir matris Q H Q = I = R = üst-üçgense bir matris ancak kö³egendeki de erler de il

14 Ax = b Q R x = b Q H Q } {{ } Rx = QH b }{{} I R x= c çözümü Ax = b ' ye göre daha kolay.5 EigenValue Decomposition (EVD) Veya Singular Value Decomposition (SVD) A : m m kare = EVD A : m n kare de il = SVD SVD: A = U V H Λ Λ 2 = Λ n n n Λ i : singular(tekil)de erler U = m n= unitary U H U = I n n V H = m n= unitary V V H = I n n Uygulama:Sinyal i³leme, haberle³me, kestirim vs

15 Kullanc yönü Q i i =, 2,, N.6 LU Ayr³trmas Ve Denklem Sistemi Çözümü A m m x m = b m A = L U LUx = b Ux = y Ly = b = y = x l y b l 2 l 22 y = b 2. l m l m2 l mm y m b m y = b l l = y = b l 2 y + l 22 y 2 = b 2 y 2 = b 2 l2 y = b 2 l2 y l 22 = l 22 ( y j = b j ) j i= l ji y i j = 2,, 4,, m forward substitution (ileri yerine koyma) Ux = y u u 2 u u m u 22 u 2 u 2m u u m u mm x m = y m u mm x m =. x x 2 x. x m = u m m (y m x m u m,m ) y y 2 y. y m

16 x j = ( y j ) m k=j+ u (u jk x k ) Backward substitution(geriye yerine jj koyma) O( m2 2 ) i³lem gerektirir ve x = A b yöntemine göre daha az i³lem yükü gerektirir. Zorluk: -) u ii 'lerin olmas 2-) u ii 'ler pivot olarak adlandrlr.

17 Bölüm 2 Bölüm2 2. LU Ayr³trmas A U L Gauss Elimination Satr i³lemlerini saklayarak (Birim Satr ³lemleri ) a T satr a T 2 satr2 A = =.. a T satrm m m m m m Birim Satr ³lemi(B.S. )= satr i α satr i +β satr j α, β R Örnek: A = 6 8 A = LU?, L =?, U =? 4 8 Amaç BS ile kö³egen altndaki de erleri sfrlamak )S 2 S 2 S = a 2 a A = 4 6 = 6 8 Orjinal A matrisi )S S 2S 2 = a a A 2 = 4 6 = 4 6 updated(bir önceki update edilmi³ A) 7

18 )S S 4S 2 4 = a 2 a A = 4 6 = U = 57 4 önceki update edilmi³ A) updated(bir 6 7 U matrisi olu³turuldu. L'yi bulmak için : U = E E 2 E A = A = E E2 E U E A = A E 2 E A = A 2 L = E E E =, E2 =, E 2 E E2 E = = L A = L U 2 E = Pivot Seçme le LU Ayr³trmas Amaç : Pivot(kö³egen) elemanlarnn o sütunda en büyük de er alacak ³ekilde satr yerlerinin de i³tirilmesi (pivoting) Örnek: )a max olacak ³ekilde S S 2 Bunun anlam orjinal A matrisini yer de i³tirme matrisi (P 2 ) ile soldan çarpmak demektir. P 2 = Yukardaki P 2 matrisi birim matristeki 2.satrn yer de i³tirilmi³ halidir.

19 I = P 2 = A = P 2 A = = ) a 2 'i sfrlamak için katsay = a 2 a E a 'i sfrlamak için katsay 2 = a a E 2 A 2 = A E 2 E P 2 A 6 8 A 2 = 4 6. sütundaki a in altndaki elemanlar sfrland. 4 ) 2.sütun için en son admda güncellenmi³ olan A 2 matrisinin a 22 eleman için pivot seçilir. 4 > 4 oldu undan S 2 S (A 2de) ya da S S 2 (A 2de) A 2yi göz önünealrsak : 6 8 P 2 = A = P 2 A 2 = 4 6 4

20 6 8 A = 4 a 2 'yi sfrlamak için katsay = ) A 4 = E A = E P 2 E 2 E P 2 A A = P 2 A A 2 = E 2 E P 2 A A = P 2 E 2 E P 2 A 4 4 = E A 4 = 4 = } {{ } - - E U U = E P 2 E 2 E P 2 A = A = P2 E E2 P2 E } {{ } U - V P 2 = = P2 = E = E = P2 E = E 2 = E2 = 2 2 E2 P2 E = = 2 2 E = E = E E2 P2 E = = 2 2

21 P 2 = = P2 P2 E E2 P2 E = = = V 2 2 A = P2 E E2 P2 E } {{ } U - V L = P 2 P 2 V = P 2 P 2 P2 E E2 P2 E - = P 2 P2 } {{ } E E2 P 2 P2 } {{ } E - I I - = E E2 E L = 2 Pivot seçme yönteminde A = V U P A = LU P 2 P 2 I birim matrisine e³ittir

22

23 Bölüm Bölüm. EigenValue Decomposition(Özde er Ayr³trmas) Fark denklemi (*): y (t + ) = y (t).5y 2 (t) y 2 (t + ) = [.5y (t) + ] y 2 (t) y (t + ) y 2 (t + ) = y(t) = y 2 (t [ + ) ].5 = y(t + ) =.5 [ ] y (t) =? y 2 (t) y(t) = y(t + ) = Ay(t) } {{ } - A Çözüm: y (t) = λ t x y 2 (t) = λ t x 2 λ t+ x = λ t x.5λ t x 2 λ t+ x 2 =.5λ t x + λ t x 2 [ ] [ ] x x = A = λ x 2 x 2 }{{} }{{} - x x = Ax = λx ( ) (**)denklem siteminin çözümü ayn zamanda (*) denklem sisteminin çözümüdür. x : eigenvector(özvektör) λ:eigenvalue(özde er) 2

24 .. Özde er Ve ÖzVektör Nasl Bulunur? Ax = λx Genel olarak : A : n n x : n λ : = Ax = λx (A λi)x = χ A (λ) = det(a λi) = A λi karakteristik polinom χ A (λ) = det(a λi) = çözümü λ de erlerini verir. Örnek: [ ].5 A =.5 [ ].5 A λi =.5 [ ] λ = λ [ λ ].5.5 λ χ A (λ) = det(a λi) = ( λ)( λ) (.5)(.5) λ 2.25 = (λ.5)(λ +.5) = λ =.5 λ 2 =.5 buldu umuz bu λ de erlerini (A λi)x = 'da yerine koyarsak :

25 [ ] λ.5 λ =.5 x.5 λ = } {{ } - B x vektörü [ ] B'nin null space'ini olu³turur [ ] α x = α = x α = x = α 2 + α 2 = 2α x = x x = 2 [ ] λ 2 =.5 (A λ 2 I)x 2 = x = } {{ } - C x 2 C'nin [ null-space'idir. ] α x 2 = x α 2 = 9α 2 + α 2 = α x 2 = Özde er ÖzVektör λ =.5 x = 2 2 λ 2 =.5 x 2 = Denklem sistemi çözümü : [ ] y (t) y (t) = = λ y 2 (t) t x = (.5) t 2 2 [ ] y (t) y 2 (t) = = λ y 2 (t) t 2x 2 = (.5) t Hem y (t) hem de y 2 (t) orjinal denklem sist. çözümünü sa lyor. Sistem linear bir sistem oldu undan toplam çözüm: y t (t) = C λ t x + C 2 λ t 2x 2

26 Denklem sisteminde ba³langç ko³ullar verilirse C ve C 2 bulunabilir...2 ÖzVektörlerin(EigenVectors)Lineer Ba mszl? x = 2 x 2 = 2 < x, x 2 >= x T x 2 = x x 2 = 4 2 = 4 [ 2 2 = ] 2 = 2 2 Lema: n n boyutlu A matrisinin tüm özde erleri birbirinden farkl ise A matrisinin özvektörleri brbirinden lineer ba mszdr. k x + k 2 x 2 = k Ax + k 2 Ax 2 = k λ x + k 2 λ 2 x 2 = (*) k λ 2 x + k 2 λ 2 x 2 = (**) ( ) ( ) k (λ λ 2 )x = λ λ 2, x k = olmal ayn ³ekilde λ λ 2 için k = olmal..2 Matrisin Ayr³trlmas A : n n Özvektörleri : x, x 2, x,, x n - Özde erleri : λ, λ 2,, λ n Ax [ i = λ i x n i =, 2, n Ax Ax 2 Ax Ax n ]n n = [ ] λ x λ 2 x 2 λ x λ n x n - λ [ A n n x x 2 x x n ]n n } {{ } = [ ] x x 2 x x n λ 2 n n } {{ } λ n n n } {{ } - S S λ AS = Sλ k x + k 2 x 2 = denklemi λ 2 ile çarplrak elde edildi n n

27 E er eigenvector'ler lineer ba msz iseler, S matrisi full rank ve tersi alnabilirler. A } SS{{ } = S S - I ASS = S S veya S AS = Eigenvalue Decomposition(EVD) A n nasl bulunur? ASS = S S A 2 = S S} {{ S} = S 2 S - I A = S 2 S} {{ S} = S S - I. A k = S k S λ = λ 2 λ n k = λ k λ k 2 λ k n e er eigenvector'ler lineer ba msz ise e At nasl bulunur? e x = i= e At = i= x i i! A i t i i!. Özde er Ve Özvektörlerden Matris Olu³turma λ i, x i i =, 2,, n x H i x j = olsun (i j) n = 2 ele alalm. x i = S = [ [ ] ] x x x 2 = x 2 S S = I

28 [ ] [ ] x H [x ] x x H x 2 x H 2 2 = x 2 x H 2 x x 2 2 = S = S H [ ] A = S S = S S H = [ ] [ ] [ ] λ x x x H 2 λ 2 x H = [ λ 2 x λ 2 x 2 ]2 2 [ x H ] x H 2 A = λ x x H + λ 2 x 2 x H 2 Genel olarak,özde erleri(λ i ) ve özvektörleri(x i ) verilen bir matris için, e er x H i x j = ise bu matris ³u ³ekilde olu³turulabilir: A = λ x x H + λ 2 x 2 x H λ n x n x H n = A = n i= λ ix i x H i P i = x i x H i Örnek: λ = λ 2 = λ = x =, x 2 = 2, x = 2 A matrisini olu³turunuz? Cevap: A = olmal. Örnek: λ = [ 5, λ] = [ ] 4 x = x 4 2 = 2 2 A =? [ ] [ ] 4 x H x 2 = = x 4 x 2 u = x [ ] [ ] 4 x = u = 5 [ ] [ ] [ ] P = u u H = 25 4 =

29 P 2 = u 2 u H 2 = 25 A = λ P + λ 2 P 2 = 5 [ ] = A = [ ] 4 [ 4 ] = 25 ] 25 [ Not:A simetrik bir matris. [ 6 ] [ Self-Adjoint Matrislerin Kö³egenle³tirilmesi Self adjoint matris < Ax, x >=< x, A H x > - - x H Ax = x H Ax ] * A matrisinin elemanlar reel de erler ise Self adjoint matrise simetrik matris denir ve A T = A * A matrisinin elemanlar kompleks de erler ise Self adjoint matrise hermitian matris denir ve A T = A Özellikleri: - Self adjoint matrisin (A H = A ise) eigenvalue'lar reel de erliklidir. ispat:< Ax, x >=< λx, x >= λ < x, x >= λx H x < x, A H x >= λ < x, x >= λ x H x λx H x = λ x H x λ = λ için λ reel de erlikli olmal. 2- Self adjoint(simetrik veya hermitian)matrisler için birbirinden farkl eigenvalue'lara kar³lk gelen eigenvektörler birbirine diktir. ispat:< Ax, x 2 >=< x, A H x 2 >=< x, λ 2 x 2 >= λ 2 < x, x 2 >= λ 2 x H x 2 ayn zamanda < Ax, x >=< λ x, x 2 >= λ x H x 2 (λ x H x 2 λ 2 x H x 2 ) = (λ λ 2 )(x H x 2 ) =

30 λ λ 2 ise x x 2 olmal. Teorem: n n boyutu A matrisi hermitian bir matris ise (A H = A ise) A matrisinin EVD açlm : A = U U H = n i= λ iu i U H i ³eklinde yazlr. Bu arada U matrisi U = [ ] U U 2 U U n unitary bir matristir..5 EVD Uygulamalar x = X X 2. X M a (Θ i ) a 2 (Θ i ) a(θ) =. = steering vector at θ i a M (Θ i ) x = a(θ )α S + a(θ 2 )α 2 S a(θ k )α k S k Korelasyon matrisi:r R = E{xx H } M>K R EV D λ i, U i

31 λ λ 2 λ =... λ r... Dominant eigenvalue says r, ortamda r adet kullanc vardr. EVD MUSIC,ESPRIT, vs high resolution algoritmalarla Q i 'ler bulunabilir..6 Korelasyon Matrisi Özellikleri ) R hermitian bir matris örnek: x(t) = e jwt kompleks sinusoid t =,,, M e jw x = e j2w. e j(m )w R = E{xx H } = N N i= x(i)xh (i) R = E{ e jw e j2w. e j(m )w [ e jw e j2w e j(m )w] }

32 e jw e j2w e j(m )w e jw e jw e j2w e j(m )w = E{ e j2w e jw e j(m )w e j(m )w e j(m )w R hermitian bir matris m m } 2) R'nin eigenvalue'lar reel ve pozitif de erlerden olu³ur. λ λ 2 λ m > ) R'nin eigenvektörleri biribirine diktir.(q i q j ) q, q 2,, q m q H i q j 4) R k matrisinin eigenvalue'lar λ k, λ k 2,, λ k m ispat? (ödev) λ λ 2 5) Q = [ ] q q 2 q m Q H RQ = λ =... λ r... λm Unitary similarity transformation 6) tr[r] = M i= λ i spat?

33 Bölüm 4 Bölüm4 4. QR Ayr³trmas A = QR Q:unitary matris R:üst üçgensel matris Unitary matris: Q H Q = I E er Q'nun sadece gerçek de erlikli elemanlar varsa Q'ya ortogonal matris denir. Lema: y = Qx y = x y R m, x R m Lema2: Y = QX, Y ve X birer matris Y F = X F Not: F matris Frobenius norm X F = ( m n i= j= X2 ij ) 2 = (tr(x H X)) 2 Örnek: [ ] [ ] a b a c X =, X c d H = [ ] [ ] b d [ ] a b a c a X H X = = 2 + c 2 ab + cd c d b d ab + cd b 2 + d 2 tr(x H X) = a 2 + b 2 + c 2 + d 2 = ( 2 2 i= j= X2 ij )

34 4.2 Niçin QR? A m n x n = b m çözümˆx = (A H A) A H } {{ } b - A :pseduo-inverse -bu çözüm Ax b 2 2 minimize eden bir çözümdür. -ayn zamanda least squares(en küçük kareler) çözümü olarakda adlandrlr. Ax b 2 = (Ax b) H (Ax b) = (x H A H b H )(Ax b) J(x) = x H A H Ax x H A H b b H Ax + b H b maliyet fonksiyonu vektörel türev J(x) x = AH Ax + A H Ax A H b A H b = 2A H Ax 2A H b = x = (A H A) A H b LS çözüm pucu: x (xh A) = A, x = Örnek: x x 2 x, c = (Ax) = AH x c c 2 c x H c = [ ] x c + x 2 c 2 + x c x H c = c, x x x = c = c 2 = c x 2 c x x 2 x H c = c 2, [ ] R A m n = Q m m R m n = Q m > n R : n n, : (m n) n x x H c = c A m n x n = b m ( )

35 QRx = b Q H Q } {{ } Rx = QH b I Rx = Q H b Q H m m b m = Rx [ = Q H b R ] x = [ ] c d [ ] c c : n d : (m n) d R n n x n = c n ( ) (*) ve (**) denklemlerinin çözümü ayn x vektörüdür. (**) kolaylkla çözülebilir çünkü R üst üçgensel bir matrisdir. not: m < n ise QR kullanlamaz! QR Ayr³trmas: Gram Scmidt algoritmas, Householder dönü³ümü veya Givens rotation yöntemlerinden birisi kullanlarak yaplabilir. 4. HouseHolder Dönü³ümü: x v : x vektörünün v vektörü üzerine izdü³ümü x v : (x x v ) yani x'in x v 'ye dik olan bile³eni H v x : x vektörünün x v 'ye göre yanstlm³(döndürülmü³ü)

36 P v = x v = P v x x v = V V H (V H V ) V V H (V H V ) x v v 2, V =. x v = P v x, P v = I = P v = I V V H x v = (I V V H v n (V H V ) )x = x x v (V H V ) H v = I 2 V V H (V H V ) Householder dönü³üm matrisi x'in yalnzca V vektörü üzerindeki bile³enin yönünü de i³tirir. H v = I V V H V V H (V H V ) (V H V ) } {{ } = Pv P v H v x = Pv x P v x = x v x v = x v + ( x v ) Hv 2 = I Hv H = H v Ödev: H v.h v = I oldu unu gösteriniz. V Nasl seçilir? X X 2 X =. X n n Amaç,bu X vektörünü öyle bir H v ile çarpmak ve sonuçta x 2 = x = = x n = yapmak. Amaç: α H v x = = α = αe.. n n

37 [ I 2 V V H (V H V ) ] x = αe x 2 (V H x)v (V H V ) = αe x αe = 2 (V H H x) (V x) V (2 = kabul edersek) (V H V ) (V H V ) (Not:H v x = αe H v x = αe H v :ünitary. x = α) x αe = V x ± x e = V V = x + sign(x ) x e x x x A = x x x x x x x x x Step α x x H A = x x x x x x H : 4 4 genel olarak A m n, m > n

38 H = Q = I 2 v v H v 2 v = x + sign(x ) x e 4 e = [] T V : 4 Step2 H 2 : H 2 = I 2 v 2v H 2 v 2 2 v 2 = y + sign(y ) y e V 2 : [ ] Q 2 = Step: H : 2 2 T T H α x x = Q 2 Q A = α 2 x H = I 2 v v H v 2 v = z + sign(z ) z e 2 V : 2 T Q = T H = [ ] Sonuçta : Q Q 2 Q A = R Q H Q } {{ } Q 2Q A = Q H R I Q H 2 Q 2 } {{ } Q A = Q H 2 Q H R I Q H Q } {{ } A = QH Q H 2 Q H R I A = Q H Q H 2 Q H } {{ } R - Q A = QR Q = Q H Q H 2 Q H, Q H = Q Q 2 Q Denklem sistemi Ax = b QRx = b x x α x x Q Q 2 Q A = α 2 x α = R

39 Rx = Q H b = [ ] c d Problem R X = C sistemi çözümüne indirgenmi³tir. R üst üçgensel bir matris oldu undan çözüm geri yerine koyma yöntemiyle kolaylkla bulunabilir. Not: 2. ve. admdaki Q 2 ve Q 'ler [ 2 Ṽ2] H Q = I 2Ṽ2Ṽ Ṽ 2 = Ṽ2 2 H Q 4 4 = I 2ṼṼ Ṽ = Ṽ 2 Ṽ 4 4

40 4.4 QR Yöntemi le Denklem Sistemi Çözümü Matlab Örne i A = [788; 862; 7; 7; 695] A = b = [ ] b = [m, n] = size(a) m = 5 n = function v = makehouse(x) % % Make the Householder vector v such that Hx has zeros in % all but the rst component % % function v= makehouse(x) % % x= vector to be transformed % % v= Householder vector % c 999 by Todd K. Moon v = x(:); nv = norm(v); if(abs(x()) == nv) v = v; else if(v())

41 v() = v() + sign(v()) nv; else v() = v() + nv; end end. >> v = makehouse(a(:, )); v = a = A(:, ) 7 8 a = 6 na = (a a).5 na = e = [] e = [] e = na e e = [ ] e = e e = v = a + e v =. 6. eye(5, 5)

42 ans = H = eye(5, 5) 2 v v /(v v) H = Q = H Q = A = Q A A = a = A (2 : 5, 2) a = v 2 = a (sqrt(a a )) [] v 2 = H 2 = eye(4, 4) 2 v 2 v 2/(v 2 v 2 ) H 2 = Q 2 = zeros(5, 5)

43 Q 2 = Q 2 = Q 2 (2 : 5, 2 : 5) = H Q 2 = A 2 = Q 2 A A 2 = a = v = a (sqrt(a a )) [ ] 6.96 v = H = eye(, ) 2 v v /(v v ) H = Q = zeros(5, 5) Q = Q( : 2, : 2) = eye(2, 2)

44 Q = Q( : 5, : 5) = H.. Q = A = Q A A = U = A ( :, :) U = Q h = Q Q 2 Q Q h = b b = Q h Q h = z = Q h b

45 z = c = m = ; x() = c()/u(, ) x = [.]... Geri yerine koyma Matlab kodu: m=; x(m)=c(m)/u(m,m); for j=m-:-:; tmp=; for k=j+:m; tmp=tmp+u(j,k)*x(k); end x(j)=(/u(j,j))*(c(j)-tmp); end... yukardaki kod kullanlabilir veya manual olarak tek tek ³u ³ekilde hesaplanabilir: >> x(2) = (/U(2, 2)) (c(2) U(2, ) x()) x = 2.. >> x() = (/U(, )) (c() [U(, 2) x(2) + U(, ) x()]) x =. 2..

46

47 Bölüm 5 Bölüm5 5. Optimizasyon(En yileme) Tanm kümesi Ω : {x : x } x :kesin lokal minimum x 2 : maksimum x : lokal minimum f(x) x x=x =, f(x) x x=x 2 =, f(x) x x=x = 2 f(x) x 2 x=x >, 2 f(x) x 2 x=x2 <, 2 f(x) x 2 x=x > Tanm: f : R n R ε > ve x R x x < ε için f(x) f(x ) sa layan x R noktasna lokal minimum noktas denir. E er f(x) > f(x ) x için x noktasna kesin lokal minimum denir. 47

48 Tüm x R kümesi içinde f(x) f(x ) sa layan x R noktasna global minimum denir. Gradyan Operatörü: ( x ) x x 2 x =. x n x f(x) = f(x) x f(x) x 2. f(x) x n n f(x) : R n R Hessian Matrisi(H) 2 f x x 2 f H = x f(x) = x 2 x. 2 f x n x Minumum çin Gerekli Ko³ul: 2 f x x 2 2 f x 2 x f x n x 2 2 f x x n 2 f x 2 x n. 2 f x n x n. E er x f fonksiyonun Ω tanm kümesinde lokal minimum noktas ise, n n [ f(x )] T d d, x noktasndaki uygulanabilir yön vektörü. 2. f(x ) = o. Verilen x noktas için Hessian matrisi pozitif semidenite bir matris olmal < 2 f(x ) } {{ } d, d >= dt 2 f(x )d - H Örnek: x = [x x 2 ] T

49 f(x) = x 2 + 2x x 2 + x 2 2x + 4x 2 x x 2 için minimum noktas? f = 6x + 2x 2 2 x f f(x) = x f = x] 2 f x 2 = 2x + 6x [ ] 6x + 2x 2 2 = 2x + 6x [ ] [ [ ] x Çözüm: x = 4 x = 2 2 f(x ) = f(4, 2) = 44 x ko³ulunu sa lamyor. x x 2 snrlandrmalar(constraint) [ ] [ gözönüne alrsak : x ] minimum nokta x = 2 fonksiyonun ] lokal minimumu f(, ) =, ] ] x = [ [ 6. için f(x ) = = [ 2 o:global minimum x:snrlandrlm³(constraint)minimum

50 d dx (f(g(x))) = f (g(x))g (x) Örnek: f(x, y) = x 2 y g(x, y) = y 2 x h(x, y) = x 2y F (x, y) = f(g(x, y), h(x, y)) = (y 2 x) 2 (x 2y) F =? x F =? y v = g(x, y),w = h(x, y) u = f(v, w) = v 2 w F = u = u v + u w = x x v x w x u x = 2vw = 2g(x, y).h(x, y) = 2(y2 x)(x 2y) = 6x 2 y 2 2xy v x = y2 u w = v2 = (y 2 x) 2 = 9x 2 y 4 w = x F = x (6x2 y 2 2xy )y 2 + 9x 2 y 4 = 8x 2 y 4 6xy 5 + 9x 2 y 4 = 27x 2 y 4 6xy 5 Genel olarak x, x 2,, x n ba msz de i³kenler g (x, x 2,, x n ), g 2 (x, x 2,, x n ),, g m (x, x 2,, x n ) F (x, x 2,, x n ) = f(g, g 2,, g n ) F x j = m i= D ifg i D i : i. argümann türevi = f g g x j + f g 2 g 2 x j + + f g m gm x j Örnek: f(x, x 2 ) = x x 2 2x 2 x x f :? H =? x =, x 2 = f x 6x x 2 4x x 2 2 x f = = x =,x 2 = = 9x 2 x 2 2 2x 7 f x 2

51 Hessian matrisi H = Örnek: x x f x 2 x f x x 2 f x 2 x 2 f 6x 2 4x 2 8x x 2 2 4x = 8x x 2 2 4x 8x 2 x 2 x =,x 2 = 2 4 = 4 8 Ölçüm de erleri : (x, y ), (x 2, y 2 ),, (x n, y n ) y = ax + b a =?, b =? least squares çözümü a ve b'yi verir? model:y = ax + b ölçüm x i, y i.ölçüm:e = y y = (ax + b) y 2.ölçüm:e 2 = y y 2 = (ax 2 + b) y 2. n.ölçüm:e n = y y n = (ax n + b) y n Amaç: hatalarn karelerinin ortalamasn minimize eden a ve b de erlerini bulmak. J(a, b) = n n i= e2 i hatalarn karelerinin ortalamas(mean squared error- MSE) J = J a J b = [ ] MSE'yi minimum yapan de er Minimum Mean Squ- ared Error(MMSE) -Least Squares(LS)

52 Ödev: y = ax + b J(a, b) y = ax 2 + bx + c J(a, b, c) 5.2 Ko³ullu (Constraint) Optimizasyon Problem tanm:minf(x) Ko³ul h (x) = h 2 (x) = e³itlik ko³ullar. h m (x) = h = (h, h 2,, h m ) g (x) g 2 (x). g p (x) e³itsizlik ko³ullar ḡ = (g, g 2,, g p ) x Ω, Ω R n Yukardaki problem tekrar yazlrsa minf( x) h( x) = ḡ( x) x R n

53 E³itlik ko³ulu: Teorem: (E³itlik snrlamas için gerekli ko³ul) x noktas f fonksiyonunun h( x) = ko³ulu altnda lokal ekstremum noktas için a³a daki ko³ulu sa lamas gerekir. f( x ) + h( x ).Λ = Λ R m says lagrange çarpan olarak adlandrlr. f( x ) + m i= h i( x ).Λ i = Lagrange fonksiyonu: L( x, Λ) = f( x) + h( x) T. Λ x L( x, Λ) = Λ L( x, Λ) min veya max oldu unu bulmak için 2.derece ko³ullar: F n n ( x, Λ) = m k= 2 hk ( x) x i x j x k H matrisinin (i,j). eleman H n n ( x) = 2 f( x) x i x j F matrisinin (i,j). eleman L( x ) = H( x ) + F ( x, Λ) L( x ) pozitif semidenite bir matris ise bulunan x noktas minimum noktasdr. Örnek: f(x, x 2 ) = x 2 + 4x x x 2 8x 2 6x Snrlama:h (x, x 2 ) = x + x 2 9 =

54 verilen ko³ulda f'yi minimize eden de eri(x =?, x 2 =?) çözüm: x = [x x 2 ] T, Lagrange çarpan Λ L( x Λ ) = f( x) + Λ h ( x) x L = [ L x L x 2 ] L( x, Λ ) = (x 2 + 4x x x 2 8x 2 6x ) + Λ (x + x 2 9) L x = 6x + 6x Λ ( ) L x 2 = 8x 2 + 6x 8 + Λ ( ) bilinmeyenli denklem. L Λ = x + x 2 9( ) ( ) ( ) 2x 2 2 = x 2 = ( ) x = 8 (*)'de x ve x 2 yerine yazlrsa Λ = 48 [ ] [ ] x x = 8 = x 2 Örnek: Bir önceki örnekte h ( x) = x 2 + x = verilirse x, x 2 =? Örnek: üstteki örnekte h (x, x 2 ) = x 2 + x = h (x, x 2 ) = 2x x 2 4 = L( x, Λ) = f( x) + Λ h ( x) + Λ 2 h 2 ( x) } x =? x 2 =?

55 5. Ara Snav Çözümleri

56 b)matlab A(2 :, : 2 : 4) = c)b(,:)*a(:,) d)b(2,:)*a(:,) [ 9 ] 5 2 α 2) x = x 2 = 2 a) < x, x 2 >= x T. x 2 = [α 2] = α = α = b) x x 2 oldu undan ē ve ē 2 'yi bulurken normlarna bölmemiz yeterli x = x 2 T. x = [ 2] = 4 2 ē = x x 4 2 x 2 = x 2 T 2. x 2 = [ ] = ē 2 = x 2 x 2 c) ȳ = 2 ȳ ȳ 2 =? 4 < ȳ, ē >= [ 2 ] = 5 4

57 < ȳ, ē 2 >= [ 2 ] = 6 = ) A = ȳ = 5 4 ē + 2 ē 2 a) without pivoting L =? a 2 = a, = 2 2 a a A = A = 5 a 2 2 = = 25 a A 2 = A = 5 L = b) pivoting E 2 =? a > a S S P = 2 A = P A = a = 2 E 2 = 2 a