Doğrusal Denklemler Sis./Sys. of Linear Equations Uygulama alanı: Lineer olan her sistem Notation: Ax 1 = b Augmented [A l b] Uniqueness A = 0, A nxa Bu şekilde yazılan sistemler Overdetermined (denklem sayısı bilinmeyen sayısından çok, sıfır çözüm), Underdetermined (bilinmeyen sayısı denklem sayısından çok, sonsuz çözüm), veya tek (unique) çözümlü olabilirler. Kare sistemlerde A nın determinantı sıfır (singular) ise sonsuz çözüm vardır. Ill conditioned, neredeyse singular A A ; A e = ( i j A ij ) 1/2 or other norms
Matrix condition number cond(a) = A A 1
Doğrusal Denklemler Sistemi Ill conditioned, neredeyse singular olma durumu; teorik olarak singular değil yani unique çözüm var ama pratikte sorunlu A e = ( i j A A A ij ) 1/2 or other norms Alternatif olarak ill-conditioned olma durumuna matrix condition number kullanılarak da bakılabilir cond(a) = A A 1 Bu değer ne kadar büyükse sistem/problem o kadar ill-conditioned, 1 e ne kadar yakınsa sistem o kadar sağlıklı (well-conditioned) olur
Doğrusal Denklemler Sistemi Ill conditioned sistemler için örnek 2x + y = 3 2x + 1.001y = 0 x = 1501.5 y = 3000 A = 0.002 ill conditioned 2x + 1.002y = 0 x = 751.5 y = 1500 Direkt metodlar A 1 b i sonucunu analitik olarak veren yöntemlerdir Indirect/iterative methods ise analitik çözüm yerine sayısal çözümler verirler, ve bir ilk tahminden başlayarak yavaş yavaş çözüme ilerlerler.
Direkt Metodlar Üç tane direkt metod göreceğiz: -Gauss Eleme -LU Çözümlemesi (decomposition) -Choleski Çözümlemesi Gauss Eleme A x = b sistemi su hale getirilir U x = c U : upper triangle Eleme Aşaması :Eq.(i) Eq.(i) λ Eq.(j), Örneğin x 1 2x 2 + x 3 = 11 2x 1 + x 2 2x 3 = 16 x 1 2x 2 + x 3 = 17
Direkt Metodlar: Gauss Eleme Yöntemi 2 1 11 2 2 16 1 2 17 2 1 11 0 6 3 21 0 0 12 36. 2. satır 1. sütün elemesi için 2. satır -2 ile çarpılır ve birinci satır ikinc satırdan çıkarılarak 2. satır yerine yazılır. Benzer işlemler diğer satır ve sütünlar için tekrarlanır.
Gauss Eleme için Genel Algoritma A 1,1 A 1,2 A 1,n b 1 A 2,1 A 2,2 A 2,n b 2....... A m,1 A m,2 A m,n b n 1. sütün için, i. satır A i,1 /A 1,1 ile çarpılır ve kendisinden çıkarılarak yerine yazılır. U 1,1 U 1,2 U 1,n c 1 0 U 2,2 U 2,n c 2....... 0 U m,2 U m,n c n Daha sonra bütün sütünlar için tekrar edilir.
Direkt Metodlar LU Çözümlemesi (Decomposition) A = LU ; tek bir çözümleme seçeneği yoktur, onun için belli bir şart kullanılır, örneğin Doolittle şartı Doolittle L ii = 1 A = 1 0 0 L 2,1 1 0 L 3,1 L 3,2 1 U 1,1 U 1,2 U 1,3 0 U 2,2 U 2,3 0 0 U 3,3 = U 1,1 U 1,2 U 1,3 U 1,1 L 2,1 U 2,2 L 2,1 + U 2,2 U 1,3 L 2,1 + U 2,3 U 1,1 L 3,1 U 1,2 L 3,1 + U 2,2 L 3,2 U 1,3 L 3,1 + U 2,3 L 3,2 + U 3,3
LU Çözümlemesi L ve U değerlerini bulmak için A ya Gauss Eleme uygulayalım ; 1st P ass row2 row2 L 21 row1(a 21 elenmesi) row3 row3 L 31 row1(a 21 elenmesi) 2ndP ass row3 row3 L 32 row2(a 32 elenmesi)
LU Çözümlemesi 1. Aşama A = U 1,1 U 1,2 U 1,3 0 U 2,2 U 2,3 0 U 2,2 L,3,2 U 2,3 L 3,2 + U 3,3 2. Aşama A =U = U 1,1 U 1,2 U 1,3 0 U 2,2 U 2,3 0 0 U 3,3 O zaman: A ya Gauss Eleme uygulanır, sonuçta kalan U, aradığımız U olur; ve kullandığımız katsayılar L yi oluşturmak için kullanılır
Direkt Metodlar Choleski Çözümlemesi A = LL T. A : Positive definite and simetrik olmalı A 11 A 12 A 13 A 21 A 22 A 23 A 31 A 32 A 33 = L 11 0 0 L 11 L 21 0 L 31 L 32 L 33 L 11 = A 11, L i1 = A i1 /L 11, L jj = L ij = (A ij j 1 k=1 L 11 L 21 L 31 0 L 22 L 32 0 0 L 33 A jj j 1 k=1 (L jk ) 2 L ik L jk )/L jj, j = 2, 3,..., n 1, i = j + 1, J + 2,..., n
Direkt Metodlar LU Çözümleme Örneği A = 2 2 2 2 2 11 Burada ilk satırı -0.5 ile çarpıp ikinci satırdan çıkarıp ikinci satırın yerine yazarız. Benzer şekilde ilk satırı 0.5 ile çarpıp üçüncü satırdan çıkarıp üçüncü satıra yazarız. Böylece ilk sütün tamamlanmış olur. Daha sonra ikinci sütün için ikinci satırı -3lle çarpıp üçüncü satırdan çıkarıp üçüncü satıra yazarız. Elimizde kalan U, U olur. Ve Çarptığımız sayılar, yani -0.5, 0.5 ve -3 L yi oluşturur. L = 1 0 0 0.5 1 0 U = 0.5 3 1 2 2 0 1 3 0 0 1
Direkt Metodlar Choleski Örneği L 11 = A = 1 2 3 2 5 7 3 7 1 A 11 = 1; L 21 = A 21 /L 11 ; L 31 = A 31 /L 11 ; L 22 = A 22 (L 21 ) 2 = 1, L 32 = A 32 L 31 L 21 /L 22 = 1; L 33 = A 33 (L 31 ) 2 (L 32 ) 2 = 2 L = 1 0 0 2 1 0 ; A = L.L T 3 1 2
İteratif Metodlar İteratif metodlar için birkaç önemli nokta vardır. (i) Doğru çözüme converge etme. (ii) Converge etme hızı ve (iii) ilk değerden mümkün olduğunca bağımsız converge etme. Gauss-Siedel A x = b A 11 x 1 + A 12 x 2 +... + A 1n x n genel terim: x i = 1 A ii (b 1 x 1 = b 1 (A 12 +... + A 1n x n ) A 11 n j=1,j i A ij x j ) i = 1,.., n
Gauss Seidel Örnek x 1 = 11 + 2x 2 x 3 x 1 2x 2 + x 3 = 11 2x 1 + x 2 2x 3 = 16 x 1 2x 2 + x 3 = 17, x 2 = 2x 1 + 2x 3 16, x 3 = 17 x 1 + 2x 2 0,0,0 ilk tahminimiz olsun x 1 = 11 = 2.75, x 2 = 5.5 16 = 2.62, x 3 = 17 11 21 = 2.25 x 1 = 11 21 9 = 0.625, x 2 = 1.25+.5 16 = 2.5625, x 3 = 17 0.625 5.125 = 2.8125 x 1 = 11 5.150 2.8125 = 0.76, x 2 = 17 0.625 16 = 2.21, x 3 = 17 0.76.2 = 2.95......
Conjugate Gradient Metodu Burada problemi doğrudan çözmek yerine dolaylı yoldan çözüyoruz. Şöyle bir fonksiyon tanımlayıp minimimunu bulmaya çalışalım. f(x) = 1 2 xt Ax b T x Bu fonksiyonun minimumunu türev alıp sıfıra eşitleyerek bulabiliriz. Türev: Ax b = 0 Minimumu bulma işlemi ise CGM ile yapılır. CGM için iki önemli parça vardır: (i) arama yönü (search direction) ve (ii) adım miktarı (step size. Bunlar CGM için şu şekilde bulunur. x k+1 = x k + x k s k A(x k + x k s k ) = b, Ax k + αas k = b, α = st k (b Ax k) s T k As k S k = f = r k (steepest descent) veya S k+1 = r k+1 + β k s k (CGM) β şu şekilde hesaplanır S T k+1 As k = 0 ( r T k+1 + β ks T k )AS k = 0 β k = rt k+1 AS k S T k AS k
Conjugate Gradient Metodu: Örnek α 0 = st 0 r 0 s T 0 AS 0 [A b] = r 0 = b Ax 0 = 1 1 12 1 2 1 1 2 5 12 1. s 0 = 12 1 5 5 = 0.201 x 1 = x 0 + 0.201 12 1 5 = 2.2 0.2 1
Conjugate Gradient Metodu: Örnek (devam) örnek devam r 1 = b Ax 1 = 1.12.23 1.88. β 0 = rt 1 Ab s T 0 as 0 = 0.133. s 1 = r 1 +β 0 s 0 = 2.72.1 1.1....... x 2 = x 1 + xs 1 = s 2 = r 2 + β 1 s 1 = α 1 = st 1 r 1 s t 1 As 1 = 0.26 3.07 0.79, r 2 = b Ax 2 = [ 0.230.30.63 ], β 1 = 0.025 0.72 0.5 0.73, α 2 = rt 2 s 2 1.36 s T 2 AS 2 = 0.6 2.999, x 3 = 0.999 0.99