HESSİEN MATRİS QUADRATİK FORM MUTLAK ve BÖLGESEL MAKS-MİN NOKTALAR Kısıtlı ve kısıtsız fonksiyonlar için maksimum veya minimum (ekstremum) noktalarının belirlenmesinde diferansiyel hesabı kullanarak çeşitli metotlar geliştirilmiştir. Geliştirilen bu metotların etkin sayısal hesaplamalara uygun sonuçlar vermesi her zaman mümkün olmayabilir. Bununla birlikte bu temel teori çoğu doğrusal olmayan programlama algoritmalarının tasarlanmasının esasını oluşturur. Bu bölümde kısıtsız ve ekstremum problemlerinin çözümünde gerek ve yeter şartları ifade eden Hessien Matris ve Quadratik Formlar tanımlanarak, eşitlik kısıtlarına sahip problemler için Jacobi ve Lagrarge Metodları tanıtılacak ve eşitsizlik kısıtlarına sahip problemler için Kuhn Tucker şartlarını belirtecektir. HESSİEN MATRİS Tanım: Çok değişkenli bir f(x 1, x,, x n ) fonksiyonun ekstremumlarının incelenmesinde yeter şartların yerine getirilmesini sağlamak için Hessien Matris ten yararlanılacaktır. Bir f(x 1, x,, x n ) fonksiyonu ve bu fonksiyonun. mertebeden kısmi türevleri tanımlı ise bu fonksiyon herhangi bir (x 1, x,, x n ) noktasına karşılık gelen. mertebeden türevlerinin değerlerinden oluşan matrisine Hessien Matris adı verilir. x x n H = x x x x n [ x n x n x x n ² ] Bu matrisin asal minörleri olan determinantlar (sol üst köşeden başlayan determinantlar) ise şu şeklinde tanımlanır. f x x n 1 = f x, x f = 1,, n = f x x 1 x x x n [ x x ² ] [ x n x n x x n ² ]
KUADRATİK FORM Tanım: x 0 şartını sağlayan x 1 a 11 a 1 a 1n x 1 x a 1 a a n x x = ( ) ve A = [ ] [ ] x n a n1 a n a nn x n matrislerinden oluşan aşağıdaki ifadeye Kuadratik Form adı verilir. n i=1 n j=1 Q(x) = X T. A. X = a ij x i x j Böylece tanımlanan Q(x) fonksiyonu açık olarak şu şekilde yazılabilir. a 11 a 1 a 1n x 1 a Q(X) = (x 1 x x n ) 1 a a n x [ ] [ ] a n1 a n a nn x n Çarpım işlemleri yapıldığında Q(x) = a 11 x 1 ² + a 1 x 1 x + + a 1n x 1 x n +a 1 x x 1 + a x ² + + a n x x n + a n1 x n x 1 + a n x n x + + a nn x n ² ifadesi ortaya çıkar. Burada Schwartz Teoremi gereğince kısmi türevlerin sırası önemli değildir ve x i x j = x j x i olmalıdır. Bu takdirde A simetriktir. Böylece tanımlanan kuadratik form şu özelliklere sahiptir; 1. Tüm x 0 için Q(x) 0 ise kuadratik form pozitif definittir (tanımlıdır).. Tüm x ler için Q(x) 0 ise ve Q(x) = 0 yapan bir x 0 varsa kuadratik form pozitif yarı definittir. 3. -Q(x) pozitif definit ise kuadratik form negatif definittir. 4. -Q(x) pozitif yarı definit ise kuadratik form negatif yarı definittir. 5. Bu durumların hiçbirisi sağlanmıyorsa kuadratik form tanımsızdır.
Buna göre, diğer bir deyişle, kuadratik formu oluşturan A matirisinin asal minörleri 1,,, n ise; i. 1 > 0, > 0,, n > 0 yani bütün asal minörler pozitif ise Q(x) pozitif definittir. ii. 1 0, 0,, n 0 iseler Q(x) pozitif yarı definittir. iii. 1 < 0, > 0, 3 < 0, 4 > 0 iseler Q(x) negatif definittir. [(-1) k işaretine sahip. Tekler negatif, çiftler pozitif] iv. 1 0, 0, 3 0, 4 0 iseler negatif yarı definittir. Ve Q(x) i oluşturan A matrisi Q(x) ile aynı özelliktedir. Bu durumda A matrisi bir Hessien Matrisi H oluşturuyor ise; Hessien Matrisi pozitif definit (tanımlı) ise bu matrisi oluşturan f(x 1, x,, x n ) fonksiyonu tam konveks tir. Hessien matrisi pozitif yarı definit ise f(x 1, x,, x n ) fonksiyonu konveksdir. Hessien matrisi negatif definit ise f(x 1, x,, x n ) fonksiyonu tam konkav dır. Hessien matrisi negatif yarı definit ise f(x 1, x,, x n ) fonksiyonu konkavdır. KONVEKS VE KONKAV FONKSİYONLAR Doğrusal fonksiyonlarda değişkenin değeri ile foksiyonun değeri oransal olarak artmaktadır. Örneğin x 1 ile ifade edilen faaliyetin miktarı x 1 den x 1 e çıktığında kâr örneğin 0 den 40 a çıkıyorsa doğrusallıktan bahsedilir. Ancak bazı durumlarda, ekonomik şartlardan dolayı kar oransal olarak artmayabilir veya azalmayabilir. Örneğin faaliyet miktarı kat arttığında kar 45 e çıkıyorsa konveks bir fonksiyon, 35 e iniyorsa konkav bir fonksiyon söz konusudur. Fonksiyonun iki değerinden doğrusal enterpolasyon yapıldığında ilgili noktadaki fonksiyonun gerçek değerini aşıyorsa bu konveks fonksiyondur. Buna göre y ve z olmak üzere iki nokta ele aldığımızda f(y) ve f(z) i birleştiren doğru parçası fonksiyonun üzerinde kalıyorsa bu fonksiyon konvekstir. Tanım: Her y ve z değeri ve 0 λ 1 için aşağıdaki şart sağlanıyorsa f(x) fonksiyonu konvekstir. f[λy + (1 λ)z] λf(y) + (1 λ)f(z) Her y ve z değeri ve 0 < λ < 1 için aşağıdaki şart sağlanıyorsa f(x) fonksiyonu tam konvekstir. f[λy + (1 λ)z] < λf(y) + (1 λ)f(z)
Konkav fonksiyon konveks fonksiyonun negatif halidir. Fonksiyonun iki değerinden doğrusal enterpolasyon yapıldığında ilgili noktadaki fonksiyonun gerçek değerinin altında kalıyorsa bu konkav fonksiyondur. Şekil. a) Konveks fonksiyon, b) Konkav fonksiyon, c) Konveks veya konkav olmayan fonksiyon Tanım: Her y ve z değeri ve 0 λ 1 için aşağıdaki şart sağlanıyorsa f(x) fonksiyonu konkavdır. f[λy + (1 λ)z] λf(y) + (1 λ)f(z) Her y ve z değeri ve 0 < λ < 1 için aşağıdaki şart sağlanıyorsa f(x) fonksiyonu tam konkavdır. f[λy + (1 λ)z] > λf(y) + (1 λ)f(z) Diğer bir açıdan konveks ve konkavlık özellikleri set kavramı ile ve şekiller yardımıyla açıklanabilir. İncelendiğinde yukardaki ilk üç şekilde belirtilen setlerin içersindeki herhangi iki nokta birleştirildiğinde ortaya çıkan doğru setin sınırları içersinde kaldığından bu üç set birer konveks set tanımlarlar. Dördüncü şekilde belirtilen setin içersindeki herhangi iki noktayı birleştiren doğru setin sınıları içersinde kalmadığından bu set bir konveks set tanımlanamaz.
Konveks ve konkav fonksiyonun belirlediği konveks set Konkav fonksiyonun belirlediği konveks set Konveks fonksiyonun belirlediği konveks set Konveks olmayan set KISITSIZ EKSTREMUM PROBLEMLERİNİN TEMELLERİ Bir f(x) fonksiyonunun ekstremum noktası bu fonksiyonun ya maksimum ya da bir minimumunu tanımlar. Matematik olarak bir x 0 (x 1,, x j,, x n ) noktası ele alındığında eğer, f(x 0 + h) f(x 0 ) şartı tüm j ler için yeteri kadar küçüklüğe sahip bütün h j ler için sağlanıyorsa x 0 noktası maksimum noktadır. Diğer bir ifadeyle eğer x 0 ın komşuluğunda bulunan her bir noktadaki f in f(x 0 ) dan büyük kalmıyorsa x 0 bir maksimum noktadır.
Benzer şekilde, yukarda tanımlanan h için x 0 noktası eğer, f(x 0 + h) f(x 0 ) şartını sağlıyorsa x 0 minimumdur. Aşağıdaki şekil tek değişkenli bir y = f(x) fonksiyonunun [a, b] aralığındaki maksimum ve minimumunu gösterir. Burada a x b aralığı f(x) in sınırını belirleme anlamına gelmez. Burada x 1, x,, x 3, x 4 ve x 6 noktaları f(x) in tüm ekstremumlarını ifade ederler. Bunlardan x 1, x 3 ve x 6 maksimum x ve x 4 ise minimum özelliği gösterirler. Maksimumlar içerisinde en maksimum özelliğe sahip olan f(x 6 ) = maks { f(x 1 ), f(x 3 ), f(x 6 )}
f(x 6 ) değerine global veya mutlak maksimum, (x 6 ) ya mutlak maksimum nokta, f(x 1 ) ve f(x 3 ) değerlerine ise bölgesel (yerel, lokal veya rölatif) maksimum, (x 1 )(x 3 ) e bölgesel maksimum nokta adı verilir. Benzer şekilde en minimum değer olan f(x ) = min{f(x ), f(x 4 )} f(x ) değerine global veya mutlak minimum, f(x 4 ) değerine ise bölgesel minimum adı verilir. Şekildeki x 1 maksimum bir nokta olmasına karşılık diğer x 3 ve x 6 maksimum noktalarından farklıdır. x 1 in komşuluğundaki en az bir noktadaki f değeri f(x 1 ) e eşittir. Bu durumda x 1 zayıf maksimum nokta x 3 ve x 6 ise kuvvetli maksimum nokta olarak adlandırılır. Benzer şekilde x 4 zayıf minimum noktadır. Genel olarak eğer f(x 0 + h) f(x 0 ) ise x 0 zayıf maksimum, f(x 0 + h) < f(x 0 ) ise x 0 kuvvetli maksimumdur. Diğer taraftan eğer f(x 0 + h) f(x 0 ) ise x 0 zayıf minimum, f(x 0 + h) > f(x 0 ) ise x 0 kuvvetli minimumdur. Buradaki ekstremumlar hakkındaki diğer bir özellik, f in 1. Mertebeden türevi (eğimi)nin sıfır olmasıdır. Fakat bu özellik ekstremum için yegane bir özellik de değildir, eyer (semer) noktası olan x 5 için de geçerlidir. 1. Mertebeden türevi (eğimi, gradyanı) sıfır olan bir nokta şayet bir maksimum veya minimum nokta değilse bu nokta eyer (semer) noktasıdır. TEOREM 1: f (x) fonksiyonunun extramum noktası olması gereken x 0 için gerek şart şudur: f (x 0 ) = 0 Bu şart aynı zamanda eyer (semer) noktaları için de geçerli olduğundan f (x 0 ) = 0 çözümünden elde edilen noktaları stasyoner noktalar olarak ifade etmek daha uygun olacaktır. x 0 noktasının ekstremum olması için yeter şarta da bakılmalıdır. TEOREM : Bir x 0 stasyoner noktasının ekstremum olması için yeter şart, H Hessien Matrisinin x 0 daki değerine göre matris aşağıdaki şartları sağlamalıdır: i. x 0 minimum nokta ise H pozitif definit, ii. x 0 maksimum nokta ise H negatif definittir. İSPAT: Taylor teoremine göre 0 < Ø < 1 için f(x 0 + h) f(x 0 ) = f(x 0 ) + h ( 1 ) ht Hh x 0 + Øh idi. x 0 bir stasyoner nokta olduğundan, TEOREM 1 den f(x 0 ) = 0 dır. Buradan f(x 0 + h) f(x 0 ) = ( 1 ) ht Hh x 0 + Øh olur. x 0 minimum nokta kabul edilirse, bu taktirde tanımdan, bütün h 0 farkları için f(x 0 + h) f(x 0 ) yazılabilir. Buradan ( 1 ) ht Hh x 0 + Øh 0 olmalıdır. Bunun yanında. Kısmı türevler sürekli olmalı ve
( 1 ) ht Hh x 0 + Øh in x 0 ve x 0 + h daki değerleri aynı işarete sahip olmalıdır. h T Hh x 0 bir quadratik form tanımlandığından eğer H x 0 pozitiftir. Bu demektirki x 0 stasyoner noktasının minimum olması için yeter şart Hessien Matrisin bu noktada pozitif definit olmasıdır. Benzer ispat maksimizasyon durumu içinde yapılabilir ve bu durum için de yeter şart Hessien matrisin bu noktada negatif definit olması gerektiği gösterilebilir. Örnek 1: f(x 1, x, x 3, ) = x 1 + x 3 + x x 3 x 1 x x 3 ² fonksiyonunu ele alalım. Bu fonksiyonun ekstremum noktaları için gerek şart f(x 0 ) = 0 dan aşağıdaki ifadeler yazılabilecektir. f = 1 x 1 = 0 f x = x 3 x = 0 f x 3 = + x x 3 = 0 Birinci ifadeden x 1 = 1 elde edilir. İkinci ifadeden x 3 = x yazılabilir ve bu üçüncü ifadede kullanılırsa; + x 4x = 0 => x = elde edilir. Bu durumda x 3 3 = 4 olacaktır. 3 O halde bu denklem sisteminin ortak çözümü aşağıdaki gibidir. X 0 = ( 1, 3, 4 3 ) Bulunan bu stasyoner noktasının ekstremum olmasında yeter şart için hessien matris ele alınırsa; H X0 = x ( x 3 1 = f = x x x 3 x x 3 x x 3 x 3 )X0 0 0 = ( 0 1 ) 0 1
, x = 1 x, f =, 0 = ( ) ( ) 0 0 = 4 0, x x Birinci satıra göre açarak aşağıdaki determinantı bulabiliriz; 0 0 3 = 0 1 = 1 1 0 0 1 + 0 0 0 0 1 0 1 3 = [( ) ( ) (1 1)] = 6 H x 0 ın asal minör determinant değerleri sırasıyla 1 =, = 4, 3 = 6 dır. Böylece H x 0 negatif definit olacak, bu durumda da x 0 = ( 1,, 4 ) noktasının maksimum nokta 3 3 olduğu belirlenecektir. Bu örnekte f(x 1, x ) yerine f(x 1, x ) alınırsa x 0 = ( 1,, 4 ) noktası minimum nokta 3 3 olacaktır. Çünkü bu durumda hessien matris pozitif definittir. Genellikle eğer H x 0 definit değilse x 0 semer noktası olmalıdır. Bu durumun kesin belirlenememesi halinde x 0 ekstremum nokta olabilir veya olmayabilir ve Taylor açılımındaki yüksek mertebeden terimlerin belirlenmesi gerekeceğinden ancak böylece yeter şart oluşturulmuş olur. Böylesi durumda H- Hessien Matrisinin diyagonalleştirilmesi ile daha kesin bilgilere ulaşılabilir. Örnek: f(x 1, x ) = 8 x 1 x + 3x ² fonksiyonunu ele alalım. Burada gerek şart için; f (x 1, x ) = ( f, f x ) = (8x, 8x 1 + 6x ) = (0,0) dır. f = 8x = 0 f x = 8x 1 + 6x = 0 x 0 = (0, 0) dır. Bu bize problemin bir stasyoner noktasını verir. Yeter şart için x 0 daki Hessien matris H = ( 0 8 8 6 ) 1 = 0 = 0 8 = 0 6 (8 8) = 64 8 6 Bu matrisin özelliği kesin belirli değildir. Çünkü tüm asal minör determinantlar pozitif değil dolayısıyla pozitif-definit değil; 1. asal minör determinantı 0 olmakla birlikte. Asal minör determinantı 0 değil dolayısıyla negatif-definit değildir. Bir diyagonalleştirme (köşegenleştirme) metodu yardımıyla Hessien Matrisin diyagonali
H t = 5,55 0 0 11,55 şeklindedir. H t nin asal minörleri incelendiğinde 1 = 33.3 6 5.55, = 64 den H t veya H definit değildir. Böylece x 0 ın bir eyer (semer) noktası olduğu kesinleşir. Teorem ile oluşturulan yeter şart aynı zamanda tek değişkenli fonksiyona da uygulanır. Verilen x 0 stasyoner noktası için; 1. x 0 maksimum ise f"(x 0 ) < 0 yeter şarttır.. x 0 minimum ise f"(x 0 ) > 0 yeter şarttır. Eğer tek değişkenli durumda f"(x 0 ) = 0 ise yüksek mertebeden türevler aşağıdaki teoremde görüldüğü gibi incelenmelidir. Teorem 3: Eğer f(x) in bir x 0 stasyoner noktasında ilk (n-1) türevi = 0 ve f (n) (x) 0 ise bu takdirde (n > için ) x = x 0 da f(x) 1. N tek ise bir büküm noktasına sahiptir.. N çift ise bir ekstremum noktasına sahiptir. Eğer f (n) (x 0 ) < 0 ise ekstremum nokta maksimum, f (n) (x 0 ) > 0 ise minimum noktadır. İspat için aşağıdaki örneği ele alabiliriz. Örnek: f(x) = x 4 ve g(x) = x 3 fonksiyonlarını ele alalım. f(x) = x 4 için, f (x) = 4x 3 = 0 x 0 = 0 stasyoner noktası elde edilir. Şimdi f (0) = f (0) = f (3) (0) = 0 dır. Fakat f (4) (0) = 4 > 0 dan x 0 = 0 minimum noktadır. g(x) = x 3 için, g (x) = 3x = 0 stasyoner bir nokta olarak x 0 = 0 ı verir. N=3 te g (3) (0) = 6 0 olduğundan x 0 = 0 noktası bir büküm noktasıdır. Minimum nokta Büküm (eyer) noktası
Açıklama: H = ( 0, 8 ) Hessien Matrisinin Köşegen-Diyagonal Matrisi köşegen elemanları 8, 6 özdeğerlerinden oluşan matris olarak elde edilir. Özdeğerler şağıdaki gibi bulunur: H L I = ( L 8 8 6 L ) = L 6 L 64 = 0 ==> Özdeğerler: L1= -5.55, L= 11.55 Buradan H Hessien Matrisinin Köşegen (diyagonal) i H t = 33.3/6 0 0 63.3/6 5.55, 0 0, 11.55 şeklindedir. Çalışma Soruları 1. f(x 1, x, x 3, ) = 3x 1 + x 1 + 4x + x x 1 x fonksiyonunun Hessien matrisini oluşturarak, definit durumları ve maksimumminimum noktaların varlığını araştırınız.. f(x 1, x ) = 16 x 1 x + 6x ² fonksiyonunun Hessien matrisini oluşturarak, definit durumları ve maksimumminimum noktaların varlığını araştırınız. Kaynaklar 1. Wayne Winston, Operations Research Applications and Algorithms 4th. Edition, 003. Yöneylem Araştırması, Hamdy Taha, 6.Basımdan çeviri. 3. MATLAB: Yapay Zeka ve Mühendislik Uygulamaları, Prof. Dr. C.Kubat, Beşiz Yayınları-1.Basım, Aralık 01.