6. Ders. Lineer Olmayan Optimizasyon Lineer Olmayan Regresyon Analizi. (Nisan2012)

Transkript

1 6. Ders Lineer Olmayan Optimizasyon Lineer Olmayan Regresyon Analizi (Nisan0) Matematikte matematiksel programlama ya da optimizasyon terimi; bir gerçel fonksiyonu minimize ya da maksimize etmek amacı ile gerçek ya da tamsayı değerlerini tanımlı bir aralıkta seçip fonksiyona yerleştirerek sistematik olarak bir problemi incelemek ya da çözmek işlemlerini ifade eder.örneğin bu problem şöyle olabilir: Verilen: f fonksiyonu: A'dan R ye tanımlı. (R:Reel Sayılar) Aranan : A'da öyle bir x 0 var mı ki; tüm x değerleri için f( x 0 ) f( x )ifadesini sağlasın ("minimizasyon") veya f( x 0 ) f( x ) ifadesini sağlasın ("maksimizasyon"). Böylesi bir formulasyona optimizasyon problemi ya da matematiksel programlama problemi denir ( terimin bilgisayar programlama ile direkt bir ilgisi yoktur, ama yine de lineer programlamada kullanılan bir ifadedir). Pek çok gerçek ve teorik problemler bu genel çerçevede modellenebilir. Bu teknik kullanılarak formüle edilen problemlere fizik biliminin ilgi alanından bir örnek verilecek olursa, bilgisayar monitörlerinin enerji minimizasyonundan söz edilebilir. O halde, yukarıdaki f fonksiyonu modellenen sistemdeki enerjiyi temsil edecektir. Bu tür problemlerde "A kümesi" genellikle, bir takım daraltıcı kısıtları, eşitlikleri ve n eşitsizlikleri sağlayan öklidyen uzayın ( R ) bir alt kümesidir. f fonksiyonunun tanım kümesi olan A'ya arama uzayı", elemanlarına ise çözüm adayları ya da olası (olabilir, uygun, feasible) çözümler denir. f fonksiyonuna amaç fonksiyonu, maliyet fonksiyonu, fayda fonksiyonu, enerji fonksiyonu,.. denmektedir. Amaç fonksiyonunu minimum (maximum) yapan çözüme "optimal çözüm" denir.

2 Olabilir çözümlerin kümesi ve amaç fonksiyonu dışbükey (konveks) olmadığında birden çok yerel "minimum" ve "maksimum" noktalarına rastlanabilir. x A ve δ > 0 olmak üzere, x x < δ olan tüm x'ler için sağlanıyorsa ( x* civarındaki yerlerde fonksiyonun tüm değerlerinin, bu noktadaki değerden büyük veya o'na eşit olduğu söylenebiliyorsa) bu nokta bir "Yerel Minimum" noktasıdır. (Yerel Maksimum da benzer şekilde ifade edilebilir). Dışbükey olmayan problemlerin çözümünde pek çok algoritma kullanılmasına rağmen yerel optimal noktalar ve gerçek (global) optimal noktalar arasındaki farkların ayırt ve tespit edilmesinde yetersiz kalınmaktadır. Konu başlıkları [gizle] Başlıca alt dalları Teknikler 3 Kullanım alanları 4 Tarihçe 5 Ayrıca bakınız o 6 Kaynakça 7 Dış bağlantılar 5. Problem Çözücüler Başlıca alt dalları [değiştir] Doğrusal Programlama : f amaç fonksiyonu doğrusal olduğu ve A kümesinin yalnızca doğrusal eşitlik veya eşitsizlikler ile ulaşılabilir olduğu durumlarda bu isim kullanılır. Böylesi bir A kümesine, sınırlandırılmamış ise polihedron, sınırlı ile politop denir. Tamsayı Programlama : Doğrusal programların bir ya da daha çok değişkeni tamsayı ile ifade edildiği durumlarda kullanılır. Kuadratik Programlama: A değeri doğrusal eşitlik veya eşitsizlikler ile gösterilmek kaidesi ile; objektif fonksiyonun kuadratik değerler almasına müsaade eder. Doğrusal olmayan Programlama: Amaç fonksiyonu ya da kısıtların doğrusal olmadığı genel durumları inceler. Konveks Programlama amaç fonksiyon ve kısıtın bükey bir fonksiyon biçminde ifade edilebileceği durumları inceler. Non-Lineer programlaman özel bir hali olarak düşünülebilir. Đkinci Derece Koni Programlama (SOCP). Yarı-Belirli Programlama (SDP) Değişkenleri yarı tanımlı olacak şekilde, Bükey optimizasyonun bir alt dalıdır. Lineer ve Konveks Kuadratik programlaman genel bir halidir.

3 Stokastik Programlama: Kısıt ve parametrelerin rastgele değişkenler'e bağlı olduğu durumları inceler. Robust Optimizasyonu/Programlama: Optimizasyon problemindeki belirsiz bilgiyi yakalamaya çalışan bir tür stokastik programlamatır. Stokastik programlama gibi, belirsiz bilgiye dayalı olarak çalışmaz ancak problemi girilen bilginin rastgele etkinliği ve şans temelinden kopmadan çözemez. Tümleşik Optimizasyon : Olası çözüm kümesi içeren problemlerin mümkün ise daha kolay çözülebilir bir şekle indirgenmesi esasına dayanır. Sonsuz-Boyutlu Optimizasyon : Olası çözüm kümesinin (Fonksiyonlar kümesi gibi) sonsuz boyutlu bir uzaya ait olup, olmadığını araştırır. Kısıt Sağlaması f fonskiyonun sabit olup, olamayacağını araştırır (Bu metod yapay zekâ alanında kullanılır, özellikle de otomatikleşmiş ilişkilendirme konusunda yardımcı olur).ayırıcı Programlama kullanularak, seçilen ve önem adledilen (en az) bir kısıtın sağlanması temin edilmesi esasına dayanır. Yörünge Optimizasyonu: Hava ve uzay araçları için kullanılan özel bir optimizasyon türüdür. Altdallara göre farklılık gösterecek şekilde, çeşitli teknikler dizayn edilmiştir: Değişkenler Hesabı Objektif fonksiyonun zaman aralıklarından seçilen değişik noktalara nasıl reaksiyon verdiğinin incelenmesi ile kullanılan yöntemdir. Optimal Kontrol Teorisi değişkenler hesabının çeşitli genellemelerinin toplanmış halidir. Dinamik Programlama Büyük parçaların daha küçük boyutlara indirgenmesi optimizasyon stratejisini yöneten metottur.bu tür alt problemler ile ilgili olan eşitliklere Bellman eşitliği denir. Teknikler [değiştir] Đki kez diferansiyeli alınabilen fonksiyonlar için, kısıt bulundurmayan problemler objektif fonksiyonun gradyan'ının sıfır'a eşit olduğu noktaların (istasyon noktaların) yeri tespit edilip, Hessian matrix ile her noktanın sınıfı belirlenerek çözülebilir.eğer Hessian pozitif tanımlı ise bu nokta "Yerel Minimum", negatif tanımlı ise "Yerel Maksimum"'dur.Şayet tanımsız ise de bir tür saddle point olduğu söylenebilir. Ancak, her zaman türev almak olası değildir. Objektif fonksiyonun düzgünlüğüne göre metodların ana sınıflandırması şöyle yapılabilir: Tümleşik Metodlar Türeve-Serbest Metodlar Birinci Derece Metodlar Đkinci Derece Metodlar Bazı metodlar özel isimleri ile de yukarıdaki dört gruptan birine denk gelecek şekilde listenebilir: Gradyan Đniş ya da Dik iniş metodu. Nelder-Mead Metodu ya da the Amoeba metodu. Alt-Gradyan Metodu - Gradyan metodunun, gradyan bulunmayan durumlar için kullanılan hali. 3

4 Tekyönlü Metod Elipsoid Metod Yğın Metodu Newton Metodu Kazi-Newton Metodu Dahili Nokta Metodu Birleşik Gradyan Metodu Hat Araması - tek boyulu optimizasyon için kullanılan bir teknik, genellikle başka bir tekniğe yardımcı olması için kullanılır. Kısıt problemleri genellikle Lagrange Çarpanı ile kısıttan bağımsız bir forma getirilir. Birkaç popüler metod daha: Tepe Tırmanışı Benzetimli Tavlama Kuantum Benzetimli Tavlama Tabu Araması Kiriş Araması Genetik Algoritmalar Karınca Sürüsü Optimizasyonu Evrim Stratejisi Stokastik Tünel Diferansiyel Evrim Sürü Parçacıkları Armoni Araması Arı Algoritması Kullanım alanları [değiştir] Yapı-Araç Đskeleti dinamiği'ne ilişkin problemler sıklık ile matematiksel programlama teknikleri gerektirmektedir.yapı-araç Đskeleti, manifold ile kısıtlanmış bir basit diferansiyel denklem'in çözümüne ihtiyaç duyan bir yönelim olarak değerlendirilebilir.bu durumda kısıtlar non-lineer olmayan gemotetrik çeşitliliktedir, öneğin "bu iki nokta daima temas etmeli", "bu alan diğerine etki etmemeli" ya da "bu nokta her zaman bu eğri üzerinde olmalı" gibi.ayrıca temas halindeki kuvvetlere ilişkin problemler de lineer uyumluluk çatısı altında çözüldüğünden, buna da bir tür QP (Kuadratir Programlama) Problemi gözüyle bakılabilir. Pek çok dizayn problemi de optimizasyon programları ile çözülmektedir.bu tür uygulamalara dizayn optimizasyonu denir.bu alanda bilinen ve büyümekte olan bir alt kol çok disiplinli dizayn optimizasyonu'dur.bu tür, pek çok problemde kullanışlı olduğu gibi aynı zamanda da uzay mühendisliği sahasına uyarlanabilmektedir. Ekonomi de matematiksel programlamaya ağır bir bağımlılık duyar.mikroiktisat'da sık karşılaşılan bir problem olan marjinal fayda ve bundan kaynaklanan ikilik olan harcamaları minimize etme problemi iktisadî bir optimizasyon problemidir. Tüketiciler ve firmalar fayda/kar oranlarını maksimize etmek durumundadırlar.ticaret teorisi de milletler arası ticari ortaklığın izahında optimizasyona sık sık başvurur. 4

5 Sabit genel giderli zaman maliyet problemleride önemli bir optimizasyon problemidir. Özellikle inşaat ve endüstri mühendisliğinde bu problemle sıkça karşılaşılır. Doğrusal programlama, sezgisel ve üst sezgisel yöntemler bu problem türünün optimizasyonu için kullanılmaktadır. Optimizasyon tekniklerinin sıkça kullanıldığı bir diğer alan da operasyon araştırması'dır. Tarihçe [değiştir] Dik Đniş adıyla bilinen ilk optimizasyon tekniğinin tarihi Gauss'a dek uzanır. Tarihi olarak, 940'larda George Dantzig tarafından ortaya atılan Lineer Programlama kuramı en yaşlı optimizasyon terimidir. Programlama terimi bu bağlamda Bilgisayar Programcılığı'nı ifade etmez.program teriminin kullanımı ABD Ordusunun, kendi içtimai ve lojistik takvimini belirlemede konteyner kullandığı "program" terimi ile ilişkilidir.(daha sonra ise "program" terimi devlet bütçesinin düzenlenmesinde kullanılmış ve günümüzde de yüksek teknolojik araştırmaların sahasına da geçmiştir.) Optimizasyon Alanına Katkı Sağlayan Diğer Önemli Matematikçiler: John von Neumann Leonid Vitalyevich Kantorovich Naum Z. Shor Leonid Khachian Boris Polyak Yurii Nesterov Arkadii Nemirovskii Michael J. Todd Richard Bellman Hoang Tuy Ayrıca bakınız [değiştir] arg max Oyun Teorisi Operasyon Araştırma Đşlem Optimizasyonu Fuzzy logic Rastgele Optimizasyon Değişkenler Eşitsizliği Değişkenler Hesabı Tek Yönlü Algoritma Dahili Nokta Metodu Radyal Temelli Fonksiyon Brachistochrone Optimizasyon Yazılımı Optimizasyon Problemi Dinamik Programlama 5

6 Problem Çözücüler [değiştir] NAG Numerical Libraries-NAG kütüphanesi çeşitli problem ve durumlardan oluşan optimizasyona dair geniş bir arşiv sunuyor. NPSOL - Non-Lineer progralama problemlerinin çözümü için geliştirilmiş bir Fortran paketi. OpenOpt - Pyhton dilinde yazılmış ücretsiz çözücüleri sağlayan bir araç-kutusu IPOPT - Açık kaynak kodlu ilkel-ikincil dahli metodlar ile çalışan bir NLP çözücü. KNITRO - Non-Lineet problemler için bir çözücü. CPLEX Mathematica Kaynakça [değiştir] Mordecai Avriel (003). Nonlinear Programming: Analysis and Methods. Dover Publishing. ISBN Stephen Boyd and Lieven Vandenberghe (004). Convex Optimization, Cambridge University Press. ISBN Panos Y. Papalambros and Douglass J. Wilde (000). Principles of Optimal Design : Modeling and Computation, Cambridge University Press. ISBN Jorge Nocedal and Stephen J. Wright (006). Numerical Optimization, Springer. ISBN

7 Matlab Yazılımında: Examples that Use Standard Algorithms Optimization Example Unconstrained Minimization Example Nonlinear Inequality Constrained Example Constrained Example with Bounds Constrained Example with Gradients Equality Constrained Example Nonlinear Equations with Analytic Jacobian Nonlinear Equations with Finite-Difference Jacobian Large-Scale Examples Nonlinear Equations with Jacobian Nonlinear Minimization with Gradient and Hessian Nonlinear Minimization with Equality Constraints Nonlinear Minimization with a Dense but Structured Hessian and Equality Constraints Quadratic Minimization with Bound Constraints Linear Least-Squares with Bound Constraints Linear Programming with Equalities and Inequalities Optimization Tool Examples Optimization Tool with the fmincon Solver Optimization Tool with the lsqlin Solver Bazı Matlab Komutları: fminunc, fminsearch, fmincon, fminbnd, fseminf, linprog, quadrprog, fgoalattain 7

8 fminunc: Kısıtsız optimizasyon için hazırlanan Matlab programı (kodu,fonksiyonu,aracı) >> help fminunc FMINUNC finds a local minimum of a function of several variables. X=FMINUNC(FUN,X0) starts at X0 and attempts to find a local minimizer X of the function FUN. FUN accepts input X and returns a scalar function value F evaluated at X. X0 can be a scalar, vector or matrix. X=FMINUNC(FUN,X0,OPTIONS) minimizes with the default optimization parameters replaced by values in the structure OPTIONS, an argument created with the OPTIMSET function. See OPTIMSET for details. Used options are Display, TolX, TolFun, DerivativeCheck, Diagnostics, FunValCheck, GradObj, HessPattern, Hessian, HessMult, HessUpdate, InitialHessType, InitialHessMatrix, MaxFunEvals, MaxIter, DiffMinChange and DiffMaxChange, LargeScale, MaxPCGIter, PrecondBandWidth, TolPCG, PlotFcns, OutputFcn, and TypicalX. Use the GradObj option to specify that FUN also returns a second output argument G that is the partial derivatives of the function df/dx, at the point X. Use the Hessian option to specify that FUN also returns a third output argument H that is the nd partial derivatives of the function (the Hessian) at the point X. The Hessian is only used by the large-scale method, not the line-search method. X = FMINUNC(PROBLEM) finds the minimum for PROBLEM. PROBLEM is a structure with the function FUN in PROBLEM.objective, the start point in PROBLEM.x0, the options structure in PROBLEM.options, and solver name 'fminunc' in PROBLEM.solver. Use this syntax to solve at the command line a problem exported from OPTIMTOOL. The structure PROBLEM must have all the fields. [X,FVAL]=FMINUNC(FUN,X0,...) returns the value of the objective function FUN at the solution X. [X,FVAL,EXITFLAG]=FMINUNC(FUN,X0,...) returns an EXITFLAG that describes the exit condition of FMINUNC. Possible values of EXITFLAG and the corresponding exit conditions are Magnitude of gradient smaller than the specified tolerance. Change in X smaller than the specified tolerance. 3 Change in the objective function value smaller than the specified tolerance (only occurs in the large-scale method). 0 Maximum number of function evaluations or iterations reached. - Algorithm terminated by the output function. - Line search cannot find an acceptable point along the current search direction (only occurs in the medium-scale method). [X,FVAL,EXITFLAG,OUTPUT]=FMINUNC(FUN,X0,...) returns a structure OUTPUT with the number of iterations taken in OUTPUT.iterations, the number of function evaluations in OUTPUT.funcCount, the algorithm used in OUTPUT.algorithm, the number of CG iterations (if used) in OUTPUT.cgiterations, the firstorder optimality (if used) in OUTPUT.firstorderopt, and the exit message in OUTPUT.message. [X,FVAL,EXITFLAG,OUTPUT,GRAD]=FMINUNC(FUN,X0,...) returns the value of the gradient of FUN at the solution X. [X,FVAL,EXITFLAG,OUTPUT,GRAD,HESSIAN]=FMINUNC(FUN,X0,...) returns the value of the Hessian of the objective function FUN at the solution X. 8

9 Examples: FUN can be specified x= where myfun is a MATLAB function such as: function F = myfun(x) F = sin(x) + 3; To minimize this function with the gradient provided, modify the function myfun so the gradient is the second output argument: function [f,g]= myfun(x) f = sin(x) + 3; g = cos(x); and indicate the gradient value is available by creating an options structure with OPTIONS.GradObj set to 'on' (using OPTIMSET): options = optimset('gradobj','on'); x = fminunc(@myfun,4,options); FUN can also be an anonymous function: x = fminunc(@(x) 5*x()^ + x()^,[5;]) If FUN is parameterized, you can use anonymous functions to capture the problem-dependent parameters. Suppose you want to minimize the objective given in the function myfun, which is parameterized by its second argument c. Here myfun is an M-file function such as function [f,g] = myfun(x,c) f = c*x()^ + *x()*x() + x()^; g = [*c*x() + *x() ; *x() + *x()]; % function % gradient To optimize for a specific value of c, first assign the value to c. Then create a one-argument anonymous function that captures that value of c and calls myfun with two arguments. Finally, pass this anonymous function to FMINUNC: c = 3; options = optimset('gradobj','on'); % define parameter first % indicate gradient is provided x = fminunc(@(x) myfun(x,c),[;],options) See also optimset, fminsearch, fminbnd, inline. Reference page in Help browser: doc fminunc 9

10 fminunc, fminsearch, fmincon, fminbnd, fseminf, linprog, quadrprog, fgoalattain gibi Matlab komutları kendi içinde optimizasyon algoritmaları bulundurmaktadır. Newton-Raphson Algoritması STA695 Spring 00 Newton Raphson Algorithm Let f(x) be a function (possibly multivariate) and suppose we are interested in determining the maximum of f and, often more importantly, the value of x which maximizes f. The most common statistical application of this problem is finding a Maximum Likelihood Estimate (MLE). The document discusses two methods of numerical maximization, the Newton Raphson method and a genetic algorithm called Differential Evolution. Motivation Newton Raphson maximization is based on a Taylor series expansion of the function. Specifically, if we expand about a point, where is the gradient vector and is the hessian matrix of second derivatives. This creates a quadratic approximation for f. We know how to maximize a quadratic function (take derivatives, set equal to zero, and solve) The Newton Raphson process iterates this equation. Specifically, let be a starting point for the algorithm and define successive estimates recursively through the equation If the function is quadratic, then of course the quadratic ``approximation'' is exact and the Newton Raphson method converges to the maximum in one iteration. If the function is concave, then the Newton Raphson method is gauranteed to converge to the correct answer. If the function is convex for some values of, then the algorithm may or may not converge. The NR algorithm may converge to a local maximum and not the global maximum, it might converge to a local minimum, or it might cycle between two points. Starting the algorithm 0

11 near the global maximum is the best practical method for helping convergence to the global maximum. Fortunately, loglikelihoods are typically approximately quadratic (the reason asymptotically normality occurs for many random variables). Thus, the NR algorithm is an obvious choice for finding MLEs. The starting value for the algorithm is often a ``simpler'' estimate (in terms of ease of computation) of the parameter, such as a method of moments estimator. Example Let estimate of. The loglikelihood is and suppose we want the joint maximum likelihood Solving for the MLE analytically requires solving the equations These two equations cannot be solved analytically (the Gamma function is difficult to work with). The two equations do provide us with the gradient The hessian matrix is The starting values of the algorithm may be found using the method of moments. Since. and, the method of moment estimators are and Suppose we have data (in truth actually generated with and ) such that n=000,,, and. The algorithm begins at

12 and. After 3 iterations, the NR algorithm stabilizes at and. Note that there is no need to treat this situation as a multivariate problem. The partial derivative for may be solved in terms of. Thus, for each value of, the maximum of is attained at reduce the problem to the one-dimensional problem of maximizing. Thus, we can This is called the profile loglikelihood. The first and second derivatives are Again starting the algorithm at after???? iterations., the algorithm converges to About this document... Newton Raphson Algorithm This document was generated using the LaTeXHTML translator Version 96. (Feb 5, 996) Copyright 993, 994, 995, 996, Nikos Drakos, Computer Based Learning Unit, University of Leeds. The command line arguments were: latexhtml -split 0 -show_section_numbers nummax.tex. The translation was initiated by Kert Viele on Fri Jan 8 :43:07 EST 00 Kert Viele Fri Jan 8 :43:07 EST 00

13 Örnek: Đki Normal Dağılımın Karması x µ σ =, f( x) exp πσ f( x) exp πσ =, x x µ σ < olmak üzere, bu olasılık yoğunluk fonksiyonlarına sahip iki normal dağılımın p (0<p<) oranında karması olan dağılımın olasılık yoğunluk fonksiyonu, < x µ x µ f ( x ; p, µ, µ, σ, σ ) = p exp + ( p) exp, < x < πσ σ πσ σ olmak üzere, olabilirlik fonksiyonunun logaritması n n ln L( θ ) = ln f ( xi ) = ln( pf( xi ) + ( p) f( xi ) i= i= dir. p, µ, µ, σ, σ ye göre kısmi türevler alınarak sıfıra eşitlenirse, normal denklemler p j f j ( xi ; µ j, σ j ) n ln L p j= = = 0 p i= p f ( ;, ) j= j j xi µ j σ j ( ;, ) n ln L µ = = 0 µ j i= p j f j xi µ j σ j j j= p j f j ( xi ; µ j, σ j ) j=, j=, p j f j ( xi; µ j, σ j ) n ln L σ j j= σ j i= p j f j ( xi ; µ j, σ j ) j= = = 0 olarak elde edilir. Gradiyent vektörünün bileşenleri 3

14 n ln L f( xi ; θ) f( xi ; θ) = = p pf ( x ; θ ) + ( p) f ( x ; θ ) i= i i p ( f ( x ; θ )) ln µ ( ; θ ) + ( ) ( ; θ ) n i L µ = = i= pf xi p f xi ( p) ( f ( x ; θ )) ln µ ( ; θ ) + ( ) ( ; θ ) n i L µ = 3 = i= pf xi p f xi ln L = = n 4 σ i= p ( f ( xi ; θ)) σ pf ( x ; θ ) + ( p) f ( x ; θ ) i i ln L = = n 5 σ i= ( p) ( f ( xi ; θ)) σ pf ( x ; θ ) + ( p) f ( x ; θ ) i i olup, burada, x µ ( f( xi; θ)) = f( x ; θ) i µ σ ( x µ ) σ ( f( x ; θ)) ( ; θ) i = f x 4 i σ σ dır. ( x µ ) σ ( f( x ; θ)) ( ; θ) i = f x 4 i σ σ 4

15 = matrisi elde edilir. vektörünün parametrelere göre yeniden türevleri alınarak Hessian matrisi (H) p µ θ µ = σ σ başlayarak, parametre vektörü için ( 0 p ) ( 0 ) µ ( 0) ( 0) θ = µ ( 0 ) σ ( 0 ) σ gibi bir başlangıç değerden (vektörden) ( k ) ( k ) ( k ) ( k θ = θ H ( θ ) ( θ ) ), k =,,3,... Newton-Raphson algoritması yazılır. Buradaki ( k ( θ ) ) ifadesi, gradiyent vektörünün ( k θ ) daki değer ve ( k H ( θ ) ) matrisi, Hessian matrisinin ( k θ ) daki değeridir. Algoritmanın sonlandırılması için uygun bir durdurma kuralı oluşturulmalıdır. Newton-Raphson yöntemi uygulamada bir çok sıkıntılarla karşılaşabilir. Hessian matrisi ile ilgili hesaplamalarda zayıf koşulluluk problemi ortaya çıkabilir. Türevlerin bulunması bazen çok zaman ve işlem gerektirebilir. Newton-Raphson yöntemi hızlı bir yöntem olmakla birlikte başlangıç değerlerine hassas bağımlı bir yöntemdir. Başlangıç değerlerin çok dikkatli seçilmesi gerekir. 5

16 6

17 7

18 clc; close all clear all; % Simülasyon verisi x=(:5); n=size(x,); for i=:n y(i)=5/(+x(i)^); end y=y+randn(,n)*.; plot(x,y,. ) % teta başlangıç değerler teta=[; ] teta=teta(,); teta=teta(,); f=@(teta,teta,xx) teta/(teta+xx^); df_dteta=@(teta,teta,xx) /(teta+xx^); df_dteta=@(teta,teta,xx) -teta/((teta+xx^)^); % k indisi iterasyon sayısı, başka durdurma kuralları deneyiniz for k=:5 for i=:n Z(i,)=df_dteta(teta,teta,x(i)); Z(i,)=df_dteta(teta,teta,x(i)); r(i)=y(i)-f(teta,teta,x(i)); end teta=teta+inv(z'*z)*z'*r' teta=teta(,); teta=teta(,); end teta teta 8

19 nlm {stats} R Documentation Non-Linear Minimization Description This function carries out a minimization of the function f using a Newton-type algorithm. See the references for details. Usage nlm(f, p,..., hessian = FALSE, typsize = rep(, length(p)), fscale =, print.level = 0, ndigit =, gradtol = e-6, stepmax = max(000 * sqrt(sum((p/typsize)^)), 000), steptol = e-6, iterlim = 00, check.analyticals = TRUE) Arguments f the function to be minimized. If the function value has an attribute called gradient or both gradient and hessian attributes, these will be used in the calculation of updated parameter values. Otherwise, numerical derivatives are used. deriv returns a function with suitable gradient attribute. This should be a function of a vector of the length of p followed by any other arguments specified by the... argument. p starting parameter values for the minimization.... additional arguments to f. hessian if TRUE, the hessian of f at the minimum is returned. typsize an estimate of the size of each parameter at the minimum. fscale an estimate of the size of f at the minimum. print.level this argument determines the level of printing which is done during the minimization process. The default value of 0 means that no printing occurs, a value of means that initial and final details are printed and a value of means that full tracing information is printed. ndigit the number of significant digits in the function f. gradtol a positive scalar giving the tolerance at which the scaled gradient is considered close enough to zero to terminate the algorithm. The scaled gradient is a measure of the relative change in f in each direction p[i] divided by the relative change in p[i]. stepmax a positive scalar which gives the maximum allowable scaled step length. stepmax is used to prevent steps which would cause the optimization function to overflow, to prevent the algorithm from leaving the area of interest in parameter space, or to detect divergence in the algorithm. stepmax would be chosen small enough to prevent the first two of these occurrences, but should be larger than any anticipated reasonable step. steptol A positive scalar providing the minimum allowable relative step length. iterlim a positive integer specifying the maximum number of iterations to be performed before the program is terminated. 9

20 check.analyticals a logical scalar specifying whether the analytic gradients and Hessians, if they are supplied, should be checked against numerical derivatives at the initial parameter values. This can help detect incorrectly formulated gradients or Hessians. Details Note that arguments after... must be matched exactly. If a gradient or hessian is supplied but evaluates to the wrong mode or length, it will be ignored if check.analyticals = TRUE (the default) with a warning. The hessian is not even checked unless the gradient is present and passes the sanity checks. From the three methods available in the original source, we always use method which is line search. The functions supplied must always return finite (including not NA and not NaN) values. Value A list containing the following components: minimum the value of the estimated minimum of f. estimate the point at which the minimum value of f is obtained. gradient the gradient at the estimated minimum of f. hessian code the hessian at the estimated minimum of f (if requested). an integer indicating why the optimization process terminated. : relative gradient is close to zero, current iterate is probably solution. : successive iterates within tolerance, current iterate is probably solution. 3: last global step failed to locate a point lower than estimate. Either estimate is an approximate local minimum of the function or steptol is too small. 4: iteration limit exceeded. 5: 0

21 maximum step size stepmax exceeded five consecutive times. Either the function is unbounded below, becomes asymptotic to a finite value from above in some direction or stepmax is too small. iterations the number of iterations performed. References Dennis, J. E. and Schnabel, R. B. (983) Numerical Methods for Unconstrained Optimization and Nonlinear Equations. Prentice-Hall, Englewood Cliffs, NJ. Schnabel, R. B., Koontz, J. E. and Weiss, B. E. (985) A modular system of algorithms for unconstrained minimization. ACM Trans. Math. Software,, See Also optim and nlminb. constroptim for constrained optimization, optimize for one-dimensional minimization and uniroot for root finding. deriv to calculate analytical derivatives. For nonlinear regression, nls may be better. Examples f <- function(x) sum((x-:length(x))^) nlm(f, c(0,0)) nlm(f, c(0,0), print.level = ) utils::str(nlm(f, c(5), hessian = TRUE)) f <- function(x, a) sum((x-a)^) nlm(f, c(0,0), a=c(3,5)) f <- function(x, a) { res <- sum((x-a)^) attr(res, "gradient") <- *(x-a) res } nlm(f, c(0,0), a=c(3,5)) ## more examples, including the use of derivatives. ## Not run: demo(nlm)