Kısıtsız Optimizasyon OPTİMİZASYON Kısıtsız Optimizasyon

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "Kısıtsız Optimizasyon OPTİMİZASYON Kısıtsız Optimizasyon"

Aysu Atalar
5 yıl önce
İzleme sayısı:

OPTİMİZASYON Bu bölümde çok değişkenli kısıtsız optimizasyon problemlerinin çözüm yöntemleri incelenecektir. Bu bölümde anlatılacak yöntemler, kısıtlı optimizasyon problemlerini de çözebilmektedir.

Çözüm yöntemleri eğim tabanlı ve eğim tabanlı olmayan arama yöntemleri olarak ikiye ayrılabilir.

Yöntemi Nelder-Mead Algoritması Tek değişkenli bir fonksiyon için, türevinin fonksiyonun optimum noktasında kaybolduğunu ve ikinci türevinin fonksiyonun minimumunda sıfırdan büyük olduğunu

1 OPTİMİZASYON Bu bölümde çok değişkenli kısıtsız optimizasyon problemlerinin çözüm yöntemleri incelenecektir. Bu bölümde anlatılacak yöntemler, kısıtlı optimizasyon problemlerini de çözebilmektedir. Bunun için kısıtların ihlal edilmesi durumunda amaç fonksiyonuna bir ceza terimi ekleyecek bir düzenleme yapmak gerekmektedir. Çözüm yöntemleri eğim tabanlı ve eğim tabanlı olmayan arama yöntemleri olarak ikiye ayrılabilir. 2 Eğim Tabanlı Yöntemler En Hızlı İniş Yöntemi Newton Yöntemi Düzeltilmiş Newton Yöntemi Marquardt Yöntemi Eşlenik Eğim Yöntemi DFP Yöntemi BFGS Yöntemi Yöntemleri Direkt Arama Yöntemleri Powell Yöntemi Nelder-Mead Algoritması Tek değişkenli bir fonksiyon için, türevinin fonksiyonun optimum noktasında kaybolduğunu ve ikinci türevinin fonksiyonun minimumunda sıfırdan büyük olduğunu tartışmıştık. Benzer bir durum çok değişkenli fonksiyonlar için de geçerlidir. x* ın minimum olması için gerek şart: ve değerinin pozitif tanımlı olmasıdır. Bunun sağlanması için H nin özdeğerleri pozitif olmalıdır. 3 4 İki değişkenli bir fonksiyonu ele alalım Gradienti: Gradienti sıfıra eşitlersek, optimum (1,0) noktasında oluşur. Bu fonksiyon için Hessian pozitif tanımlıdır. Böylece (1,0) noktası fonksiyonun minimumu olur. Fonksiyonun yüzey kontur plotu bu durumu göstermektedir. Fonksiyonun yüzey kontur plotları 5 6 1

Örneğin xi, çok değişkenli fonksiyonu minimize etmek için tasarım değişkenlerinin başlangıç noktası ise ve Si arama yönü ise, fonksiyonunu minimize edecek α nın skaler büyüklüğünün belirlenmesi

2 İki değişkenli bir fonksiyon için optimum (0,0) noktasında oluşur. Hessian: C1=2>0, H=-4<0 BU durumda (0,0) eyer noktasıdır. Tek Yönlü Arama Çok değişkenli bir fonksiyon değerinin belirli bir yön boyunca minimize edilmesidir. Örneğin xi, çok değişkenli fonksiyonu minimize etmek için tasarım değişkenlerinin başlangıç noktası ise ve Si arama yönü ise, fonksiyonunu minimize edecek α nın skaler büyüklüğünün belirlenmesi gerekir. Bu fonksiyonun minimumundaki α değeri α* ile gösterilir. Bu bir tek değişkenli optimizasyon problemidir ve altın oran tekniğiyle minimize edilir. 7 8 Tek yönlü aramayı Rosenbrock fonksiyonunda, farklı başlangıç noktaları ve farklı arama yönleri için yapalım. Sonuçlar tabloda ve grafikte gösterilmiştir. En Hızlı İniş Yöntemi (Steepest Descent Method) Arama yönü Si, fonksiyon değerini iniş yönünde azaltır Eğim (gradient) yönü boyunca fonksiyonun değerinde maksimum değişim vardır. Böylece, negatif gradient boyunca, fonksiyonun değeri en fazla azalır. Negatif gradient yönüne en hızlı iniş yönü denir. Ardışık iterasyonlarda, tasarım değişkenleri aşağıdaki eşitlikle güncellenebilir 9 10 En dik iniş yöntemi, her iterasyonda fonksiyon değerinde bir azalma sağlar. Başlangıç noktası minimumdan uzaksa, gradient daha yüksek olacak ve fonksiyon azaltımı her iterasyon için maksimize edilecektir Çünkü fonksiyonun gradyan değeri değişir ve optimum yakınında küçük bir değere azalır. Fonksiyonun azalması dengesizdir ve yöntem, minimum yakınında durgunlaşır (yavaş yakınsama). Bu nedenle, yöntem, başka gradyan tabanlı algoritmalar için bir başlangıç olarak kullanılabilir

En hızlı iniş algoritmasıyla 15 adımda minimum değere ulaşılmıştır. Test problemi Newton Yöntemi Bu yöntemde arama yönü birinci ve ikinci türev bilgisini temel alır. H: Hessian matrisidir.

3 En hızlı iniş algoritmasıyla 15 adımda minimum değere ulaşılmıştır. Test problemi Newton Yöntemi Bu yöntemde arama yönü birinci ve ikinci türev bilgisini temel alır. H: Hessian matrisidir. Matris pozitif tanımlıysa, Si iniş yönünde olacaktır. Aynı durumun optimum nokta yakınında da doğru olduğu varsayılır. Başlangıç noktası optimumdan uzaksa, arama yönü daima iniş olmayabilir. Bu sorunu önlemek için farklı başlangıç noktalarıyla yöntemi yeniden uygulamak gereklidir Newton yönteminin kuadratik fonksiyonlarda tek iterasyonla yakınsadığı bilinmesine rağmen, uygulamada kuadratik probleme nadiren rastlanır. Newton yöntemi diğer yöntemlerle birlikte bir hibrid yöntem olarak kullanılır Newton Yöntemi Test probleminin başlangıç noktası (-3,2) için çözümü

Düzeltilmiş Newton Yöntemi x=(1,1) noktası için yeniden çözümü 19 20 Rosenbrock Fonksiyonu Başlangıç noktası x=(-3,2) noktasına göre çözüm (1,1) noktasında minimum bulunmuştur.

4 Düzeltilmiş Newton Yöntemi x=(1,1) noktası için yeniden çözümü Rosenbrock Fonksiyonu Başlangıç noktası x=(-3,2) noktasına göre çözüm (1,1) noktasında minimum bulunmuştur. Grafikte * ile gösterilmektedir. Başlangıç noktası (-1.5, 1.5) alınarak farklı çözüm yöntemleriyle çözülmüştür Farklı çözüm yöntemlerinin Rosenbrock fonsiyonu çözümü için performanslarının karşılaştırılması

5 En hızlı iniş yönteminin Rosenbrock fonksiyonundaki davranışı 25 5

Benzer belgeler

Tek Değişkenli Optimizasyon OPTİMİZASYON. Gradient Tabanlı Yöntemler. Bisection (İkiye Bölme) Yöntemi

Tek Değişkenli Optimizasyon OPTİMİZASYON. Gradient Tabanlı Yöntemler. Bisection (İkiye Bölme) Yöntemi OPTİMİZASYON Gerçek hayatta, çok değişkenli optimizasyon problemleri karmaşıktır ve nadir olarak problem tek değişkenli olur. Bununla birlikte, tek değişkenli optimizasyon algoritmaları çok değişkenli