OPTİMİZASYON Gerçek hayatta, çok değişkenli optimizasyon problemleri karmaşıktır ve nadir olarak problem tek değişkenli olur. Bununla birlikte, tek değişkenli optimizasyon algoritmaları çok değişkenli yöntemlerin temel taşıdır. Bu algoritmalar çok değişkenli problemlerin alt problemlerini şekillendirir. Literatürde çok sayıda yöntem vardır, her birinin diğerlerine göre eşsiz üstünlükleri bulunmaktadır. 2 Yöntemleri Gradient Tabanlı Yöntemler Eğim (Gradient) Tabanlı Teknikler Bisection Yöntemi Newton-Raphson Yöntemi Secant Yöntemi Kübik Polinomial Yöntemi ÇÖZÜM TEKNİKLERİ Direkt Arama Teknikleri Altın Kesim Yöntemi Fibonacci Araması Yöntemi Diğer Yöntemler Adından da anlaşılacağı gibi, gradyan tabanlı algoritmalar türev bilgisi gerektirir. Bu yöntemler, türevlerin kolayca hesaplanabileceği problemlere uygulanırlar. Bu algoritmaların arama işlemlerinde, fonksiyonun türevi sıfıra çekilir. Algoritma, fonksiyonun türevi sıfıra çok yakın olduğunda sona erer ve karşılık gelen x, fonksiyonun minimum olduğu nokta (x * = x) olarak bildirilir. 3 4 Bisection (İkiye Bölme) Yöntemi Bir fonksiyonun maksimum veya minimumum noktasının f (x) = 0 noktasında olduğunu biliyoruz. Bu tür problemlerde minimizasyon yönlü tek modlu bir fonksiyonu incelediğimiz için, gradient (eğim) fonksiyonun minimum noktasında kaybolur. Gradient fonksiyonu optimum nokta yakınında işaret değiştirir. Eğer f (x1) ve f (x2) fonksiyonun x1 ve x2 noktasında hesaplanan türevleri ise, f (x1)f (x2) < 0 olduğunda fonksiyonun minimumu x1 ve x2 arasında olur. Bu şart temel alındığında, arama uzayının belirli bölgeleri ortadan kaldırılabilir. Bisection (İkiye Bölme) Yöntemi Algoritması 5 6 1
Newton-Raphson Yöntemi Bu algoritmada a ve b, fonksiyonun sınırlarıdır ve Δx türevin hesaplanması için merkezi fark formülünde kullanılır ve ε, a b < ε olduğunda algoritmayı sonlandırmak için gereken küçük bir sayıdır. Isaac Newton, bir denklemin kökünü bir dizi polinomial kullanarak değerlendirdi. Bu formdaki yöntem, 1960 yılında Joseph Raphson tarafından, bir iterasyon formunda verilen x'e ardışık yaklaşım ile oluşturulmuştur. Newton Raphson yöntemi denklemin kökünün f (x) = 0 da olduğunu değerlendiren bir kök bulma tekniğidir. 7 8 Newton-Raphson Yönteminin Algoritması Newton-Raphson Yönteminin Dezavantajları Yakınsama ilk tahmine duyarlı. Bazı başlangıç tahminleri için, yöntem farklı eğilimler gösterebilir. Gradient değeri sıfıra yakın olduğunda yakınsama yavaşlar. Fonksiyonun ikinci türevi mevcut olmalıdır. Newton Raphson metodu, fonksiyonun ikinci türevini gerektirir ve bu yöntemin yakınsaması, iyi bir ilk tahmine dayanır. 9 10 Secant Yöntemi İkiye ayırma yönteminde, türevinin işareti, f (x) ın sıfırını bulmak için kullanıldı. Sekant yönteminde, f (x) sıfırını bulmak için hem büyüklük hem de türevin işareti kullanılır. Sekant yöntemindeki ilk adım, ikiye ayırma yöntemindeki ile aynıdır. Yani, eğer f (x1) ve f (x2) fonksiyonun x1 ve x2 noktasında hesaplanan türevleri ise, f (x1)f (x2) < 0 olduğunda fonksiyonun minimumu x1 ve x2 arasında olur. Ayrıca, f (x) in x1 ve x2 noktaları arasında doğrusal olarak değiştiği varsayılmaktadır. İki nokta x1 ve x2 arasında bir sekant çizgisi çizilir. Sekant çizgisinin x eksenini geçtiği nokta α, bir sonraki iterasyonda iyileştirilmiş nokta olarak alınır Daha sonra, x1 veya x2 noktalarından biri, daha önce bahsedilen türev koşulu kullanılarak elimine Böylece ya (x1, α) ya da (α, x2) bölgesi bir sonraki iterasyon için korunur. İterasyon f (α) sıfıra yaklaşıncaya kadar devam eder. 11 12 2
Secant Yöntemi Algoritması Kübik Polinomial Uyum Bu yöntemde, minimize edilecek f (x) fonksiyona, bir kübik polinom P (x) ile yaklaşılır. F (x) fonksiyonu dört farklı noktada değerlendirilirse, o zaman polinom katsayıları a0, a1, a2 ve a3, dört eşzamanlı lineer denklem çözülerek değerlendirilebilir. Alternatif olarak, fonksiyonun ve türevlerinin değeri iki noktada mevcut ise, polinom katsayıları yine de değerlendirilebilir. Fonksiyon için bir polinom yaklaşıldığında, minimum nokta polinom katsayıları kullanılarak değerlendirilebilir. 13 14 Kübik Polinomial Uyum Yöntemi Algoritması Direkt Arama Yöntemleri Bazı optimizasyon problemleri için, x değişkeni gerçek olmayabilir, fakat sadece belirli ayrık, kesikli değerler alabilir. Böyle süreksiz fonksiyonlar için, gradient bilgileri her noktada mevcut olmayacaktır. Arama algoritması, fonksiyonun minimum seviyesine ulaşmak için fonksiyon değerlendirmelerini kullanarak ilerlemelidir. Altın oran yöntemi, bu tür problemler için çok etkili bir çözüm yöntemidir. Altın oran yöntemi sürekli fonksiyonlara da uygulanabilir. Dichotomous arama, aralık yarılama yöntemi ve Fibonacci yöntemi gibi diğer doğrudan arama yöntemleri vardır. 15 16 Altın Oran Yöntemi Bu şart sağladığında p ve q sayıları altın oranlıdır. Bu kuadratik denklemin çözümünden aşağıdaki değer elde Bu sayıya altın oran denir ve estetikte önemlidir. Örneğin; Mısır piramitleri vs. 17 Altın oran yönteminde, arama sadece belirli bölgelerdeki fonksiyon değerlendirmelerine dayanarak belirli bölgeler elimine edilerek rafine Altın oran yönteminde gradient hesaplama gerekmez. Bu yöntemin, diğer bölge eleme teknikleri üzerinde iki önemli avantajı vardır: Her adımda sadece bir yeni fonksiyon değerlendirmesi gereklidir. Her adımda sabit bir azaltma faktörü vardır. 18 3
Altın Oran Yöntemi Algoritması Çözüm Yöntemlerinin Karşılaştırılması Bir fonksiyonun minimumunu bulmak için bir takım çözüm yöntemleri tanımladıktan sonra, belirli bir problem için hangi çözüm yönteminin kullanılacağını sormak doğaldır. Cevap oldukça basittir: her türlü problem için tek bir yöntem kullanılamaz. Farklı problemler için farklı yöntemler denenebilir. Test problemi kullanarak her bir yöntemin verimliliğini inceleyelim. 19 20 Yöntemleri test etmek için aşağıdaki fonksiyon kullanılmıştır. Test problemi için maliyet fonksiyonu 21 Farklı çözüm yöntemlerinin karşılaştırılması 22 Tablo 1, fonksiyonun minimum seviyesine ulaşmasında her yöntemin gerektirdiği fonksiyon değerlendirmelerinin sayısını özetlemektedir. Altın oran, kübik polinomiyal uyum ve Newton Raphson yöntemleri, fazlasıyla çarpık olan fonksiyonu dışındaki tüm test problemleri için iyi sonuç verir. Newton Raphson metodu, yakınsama için iyi bir ilk tahmin gerektirir. İlk tahmin x = 5 ile yakınsama için 275 fonksiyon değerlendirmesini gerektirir. Yöntem x <5 ile yakınsama için daha az fonksiyon değerlendirmesini gerektirir. Ancak, x> 10 için yöntem sapar. Kübik polinomiyal uyum bu özel fonksiyon için yakınsamaz. Bütün test fonksiyonları için altın oran ve bisection yöntemleri yakınsadı. 23 24 4
Tablo 1: Farklı problemler için farklı çözüm tekniklerinin karşılaştırılması 25 5