Doğrusal Olmaya Kısıtlı Programlama ile Yapay Siir Ağlarıı Eğitilmesi Sabri ERDEM 1 ve Şe ÇAKIR 2 1 Dokuz Eylül Üiv. İşletme Fak., İg. İşletme Bölümü, İzmir, Türkiye sabri.erdem@deu.edu.tr 2 Dokuz Eylül Üiv. Müh. Fak., Bilgisayar Müh. Bölümü, İzmir, Türkiye se@cs.deu.edu.tr ÖZET Bu çalışmada, ileri beslemeli yapay siir ağıı (YSA) öğreme sürecide doğrusal olmaya optimizasyo metoduu (spesifik olarak geelleştirilmiş idirgemiş gradiyetler metoduu (GİG)) kullaılabileceği gösterilmektedir. YSA ı eğitilme problemi, sigmoidal veya hiperbolik taat kısıtları ola bir doğrusal olmaya optimizasyo problemi olarak taımlaabilir. YSA ı eğitimide, her bir eğitim girdi vektörüü gösterdiği beklee çıktı değeri, eğitim setii doğrusal olmaya programlamada, her bir kısıtıı oluşturmasıı sağlamaktadır. Verile bir problemde adet pater varsa, öerile model adet kısıt foksiyou ola bir doğrusal olmaya optimizasyo modeli ortaya çıkaracaktır. Değişke değerlerii iteratif olarak yeilemesi kısıtları işlemesi esasıda gerçekleşmektedir. Öerile yötem veri seti (paterler) üzeride, YSA hata geri yayılımlı algoritmasıa alteratif olarak, daha az iterasyo ve ara öro sayısıda dahi kabul edilebilir öğreme gerçekleştirmektedir. Burada öerile yötemi, XOR problemie uygulamasıa da çalışma içide yer verilmektedir. Aahtar Kelimeler: YSA; Öğreme; Doğrusal Olmaya Optimizasyo ABSTRACT I this study, it is proposed to be able to use a oliear GRG (Geeralized Reduced Gradiet) method to trai feed forward ANNs amed as. The ANN traiig problem is writte as a geeral oliear optimizatio problem with oliear sigmoidal or hyperbolic taget costraits. Costraits are made up of traiig data i that each expected output must be equal to its traied value. If ay give problem has data poits (i.e., patter), the techique decomposes the problem ito costraied oliear programmig problem. The update of the variables are performed by executig the costraits. As a alterative to backpropogatio algorithm, eve this method resulted i acceptable outputs uder the coditio that less iteratios ad less hidde euros for early learig the ANN o traied data. Here the problem preseted for proposed method is that a applicatio of XOR problem. Keywords: ANN; Traiig; Noliear Optimizatio
1. GİRİŞ İleri beslemeli yapay siir ağlarıı (YSA) eğitilme problemi kısıtlı bir doğrusal olmaya problemi olarak görülebilir [3]. İyi bilie geriye yayılım algoritması [5] YSA yı çevrim içi eğitmek içi avatalı bir yapı sağlar. Geriye yayılım algoritması azaltılmış gradyet tekiğidir ve eğitim hatalarıı yerel miimumua yavaş biçimde yakısar. Burada yola çıkıldığıda, ileri beslemeli YSA ları eğitilmeside doğrusal olmaya model yaklaşımıda Geelleştirilmiş Azala Gradyeler yötemi kullaılabilir. Bu çalışmada öerile yötem, ileri beslemeli YSA ları eğitilmeside hiperbolik taat veya sigmoid foksiyolarıı aktivasyo foksiyou olarak kullaıldığı bir doğrusal optimizasyo modelii kurulabileceğii göstermeyi amaçlar. Doğrusal optimizasyou başarımıda, Geelleştirilmiş Azala Gradyeler yötemii optimizasyo çözücüsü tarafıda araç olarak kullaılmaktadır [6]. Diğer bir deyişle ileri beslemeli YSA ı eğitilme problemi, sigmoidal ya da hiperbolik taat aktivasyo foksiyoua sahip kısıtları buluduğu doğrusal olmaya optimizasyo problemidir. Kısıtlar, eğitim setideki vektörlerde (patterlerde) oluşmaktadır. Yötemi etkiliği çalışmaı aa amçları arasıda olmamakla birlikte, kısıtları eş alı işleye yötem, kabul edilebilir bir iterasyo sayısı, bellek gereksiimi ve zama dilimi içide olurlu çözümü bulmayı garati etmekle kalmayıp ayı zamada her bir iterasyou hesaplama kompleksitesii de azaltabilmektedir. 1.1. Doğrusal Olmaya Optimizasyo Problemlerii Geel Yapısı Deklem 1 de doğrusal olmaya optimizasyo problemlerii geel yapısı görülmektedir. mi f(x) h(x) = 0 g(x) 0 burada f : R R,h : R R m, ve g : R R p (1) Bu tür problemler mühedislik uygulamalarıda sık kullaılmaktadır [1]. Öreği, kısıtlı sigmoidal/hiperbolik taat problemleri bu tür problemleri özel örekleridir. Acak burada kullaıla yötem sadece Deklem 2 deki gibi eşitlik kısıtları içermektedir. mi f(x) h(x) = 0 burada f : R R,h : R R m (2)
Acak burada h(x) foksiyou, eğitim setideki her bir girdi vektörü içi gerçek çıktı değeri ile modelde elde edile çıktı değeri arasıdaki farkı temsil etmektedir. Dolayısıyla beklee öğreme oraı çok istisai durumlar dışıda hiçbir zama tam olmayıp kabul edilebilir bir yaklaşık değer etrafıda seyredecektir. Bu duruma göre Deklem 2, Deklem 3 te görüldüğü gibi yeide düzelemektedir. mi f ( ε ) y - yˆ burada f( ε ) : R ε R, ε [ 0,1] (3) YSA ları eğitilmeside temel ilgi kousu buradaki spesifik yapıdır. Bu bölümde, Deklem 3 te geel yapısı verile model içi geliştirile yötem ve soraki bölümde de bu durumu YSA ları eğitim problemie asıl uyguladığı alatılmaktadır. Eğer tasarlaa YSA da yei bir vektör daha ekleirse YSA ı eğitilmesi, doğrusal olmaya optimizasyo problemie yei bir kısıt eklemek alamıa geleceğide, so çözüm vektörü yei durum içi başlagıç değerleri olarak kabul edilebilir ve bu da problemi çözüme ulaşmadaki kompleksitesii azaltmaya katkıda buluur. YSA toplulukları, bu tür hızlı öğreme, yei duruma hızlı adapte olmalarıı çevrim içi öğreme olarak taımlamaktadır [3]. Geel olarak, bu tür eğitim metodları içi var ola problemler büyük miktarlardaki veri seti içi uygudur. Amaç foksiyou ise eğitim setideki çıktı değerleri ile doğrusal optimizasyo modelideki hesaplaa sağ taraf değerleri arasıdaki fark kareler toplamıda oluşmaktadır. Eğer ele alıa problemde adet eğitim vektörü varsa, yötem buu tae doğrusal olmaya (sigmoidal ya da hiperbolik taat) kısıta döüştürmektedir. Değişke değerlerii gücellemesi kısıtları işlemesiyle gerçekleşmektedir [5]. Klasik yötemlere göre bu yötemi avataları arasıda zama, bellek gereksiimi ve souçları duyarlılığı sayılabilir. Yötemi bellek ihtiyacı temel olarak YSA daki tasarlaa ara öro sayısı ve kısıtları sayısıa bağlıdır. Yötemi bir diğer avataı ise geriye yayılımlı YSA metodua göre hızlı biçimde optimum souca yakısayabilmesidir. Diğer tarafta yötem, çevrimiçi uygulamalarda verii o a içi buluabilir olmadığı durumlarda yei veri setii adapte etmek içi çok daha az iterasyoa ihtiyaç duymaktadır.
Geelleştirilmiş azala gradyeler algoritması, doğrusal olmaya problemleri çözümüde, Ms Excel Solver (Excel Yazılımı Microsoft Corp. Tescilli ürüü ve markasıdır, Solver, Frotlie Systems i tescilli markası ve ürüüdür) büyeside ve diğer optimizasyo çözücüleri içeriside bulumaktadır. 2. YSA NIN EĞİTİLMESİ Bu çalışmada, ileri beslemeli YSA mimarisi göz öüe alımıştır. Buu alamı, örolarda çıka bütü bağlatılar bir soraki katmadaki örolara gitmektedir ve geriye doğru ya da ayı katmalar arasıda bağlatı mümkü olmamaktadır. Buradaki mimari, çok katmalı YSA olarak da aılmaktadır. Tipik olarak çok katmalı, ileri beslemeli YSA, girdi katmaı, gizli katma ve çıktı katmaıda oluşmaktadır [4]. Geliştirile YSA eğitim yötemi, çok katlı ara katmaa sahip mimariler içi de kolaylıkla uygulaabilir. Çözülecek ola problem tipik bir öğretmeli YSA eğitimidir. Verile bir girdi vektör seti ve olara karşılık gele çıktı değerie karşılık, hesaplaa çıktı değerleri ve beklee çıktı değerlerii birbirie yakılaşmasıı sağlayacak ola örolar arası optimum bağlatı ağırlıkları bu yötemi ulaşmayı hedeflediği problemdir. İterasyolara arası optimum bağlatı ağırlıkları belirli bir bekleee çıktı ve hesaplaa çıktı fark duyarlılığıda birbirlerie yaklaştıklarıda, YSA ı öğrediği soucua varılmaktadır. Bu tür öğretmeli YSA ağlarıı eğitilmeside klasik yaklaşımlar Werbos [5] tarafıda ortaya koula, hataı geriye doğru yayılımıı kullamaktadırlar. Bu yaklaşım gerçek ve hesaplaa çıktı değerii oluştuğu çıktı katmaıdaki hata değerii geriye doğru yaymaya başlayarak ve her aşamada hatayı bir öceki katmaa yayarak ağı ağırlıklarıı iteratif bir biçimde gücelleştirir. Gücelleştirilmiş ağırlıklar azala gradye yötemi kullaılarak türetilmektedir. Quasi-Newto yötemii kullaa tekikler de öerile diğer tekikler arasıdadır [2]. Geriye yayılım algoritması oldukça iyi souçlar verebilmekte ve hala algoritmaı gücü ve geçerliliği içi bir kıyaslama algoritması olarak kullaılmaktadır [5]. Yie de, geriye doğru yayılım algoritması, uzu eğitim zamaları gerektirmekte, dolayısıyla hızlı eğitim zamalarıa ihtiyaç duya çevrim içi uygulamalarda çok da uygu bir yötem olamamaktadır [5]. Bu çalışmada suula yötem, çevrim içi uygulamalarda da, çok katmalı ve öğretmeli YSA larda hızlı souç verebilecek bir yapıya sahiptir. Öerile yötem, çok katmalı öğretmeli eğitim problemii kısıtlı bir doğrusal olmaya optimizasyo problemi olarak taımlamakta ve döüştürmektedir. Kısıtlarda geellikle sigmoidal ya da hiperbolik
taat foksiyoları kullaılabilir. Hagisii kullaılacağı, çok katmalı öğretmeli YSA ı uygulamasıda kullaıla aktivasyo foksiyou ile ilgilidir. Dolayısıyla YSA da kullaıla aktivasyo foksiyou doğrusal olmaya modelde aye yasımalıdır. İleri beslemeli YSA ı eğitilmeside kullaıla doğrusal olmaya model Deklem 4 te görülmektedir. m h x ik = 1 y yˆ mi Z = ε = 1 ε 2 vi = yk, m h ykw = yˆ k = 1 k = 1,2,...,m (4) Burada h foksiyou YSA ı kulladığı aktivasyo foksiyouu temsil etmekte, kısıt sayısı ve m ara katmadakı gizli öro sayısıı göstermektedir. Aktivasyo foksiyou sigmoidal olduğuda h foksiyou Deklem 5, hiperbolik taat olduğuda Deklem 6 daki gibidir. 1 h(x) = x 1+ e (5) x x e e h(x) = tah(x) = (6) x x e + e Yie burada e küçük karelerle yapılmış hata foksiyou yerie mutlak hatalar toplam foksiyou da kullaılabilir. Mutlak hataları toplam foksiyou e küçüklemesii amaç foksiyou olarak kullaılması, optimum soucu değiştirmemekle birlikte, amaç foksiyouu doğrusal bir forma döüştürülmesi bakımıda bir avata olarak görülebilir. 2. AÇIKLAYICI ÖRNEK 2.1. XOR Problemi Yötemi daha iyi alaşılabilmesi içi XOR problemi ve ou Şekil 1 de verile YSA Modeli içi üretile Deklem 7 deki doğrusal olmaya modeli çözümü soucuda elde edile YSA ağırlıkları hiperbolik taat foksiyou içi Şekil 2 de, sigmoidal foksiyo içi Şekil 3 te görülmektedir.
Tablo 1: XOR Doğruluk Tablosu X1 X2 Y 0 0 0 0 1 1 1 0 1 1 1 0 Şekil 1: XOR içi YSA Modeli y yˆ ik = 1 mi Z = ε = 1 m tah x ε 2 vi = yk, m tah ykw = yˆ k = 1 k = 1,2,...,m (7) burada; : 4 (kısıt sayısı) m: 2 (ara katmadakı gizli öro sayısıı göstermektedir) t1: girdi değerleri içi eşik vektörüdür ve değeri her zama 1 dir. Bütü v i ve w değerleri başlagıç olarak 1 seçilerek doğrusal olmaya optimizasyo problemi çözüldüğüde aşağıdaki YSA ağırlıkları, verile girdi ve çıktı değerlerii e iyi biçimde temsil edecek biçimde kabul edilebilir bir hata payı ile bulumuştur.
Şekil 2: Hiperbolik Taat Doğrusal Olmaya Optimizasyo Problemi Olarak Çözüm Soucuda Bulua Ağ Ağırlıkları Optimizasyo problemii Taat Hiperbolik aktivasyo foksiyou kullaılarak Ms Excel Solver ile gerçekleştirile çözümüde ε 1= -8.2E-4, ε 2= 9.42E-5, ε 3= 2.7E-4, ε 4= -2.1E- 4, z=8e-7 olarak bulumuştur ve souç 1E-3 duyarlık ve 1E-2 yakısama derecesi ile optimumdur. Ms Excel Solver doğrusal olmaya optimizasyo problemlerii çözümüde GİG yötemii kullamaktadır[6]. Şekil 3: Sigmoidal Doğrusal Olmaya Optimizasyo Problemi Olarak Çözüm Soucuda Bulua Ağ Ağırlıkları Optimizasyo problemii Sigmoid aktivasyo foksiyou kullaılarak Ms Excel Solver ile gerçekleştirile çözümüde ε 1= 2.23E-6, ε 2= 2.92E-9, ε 3= 2.98E-5, ε 4= 7.46E-5, z=6.46e-9 olarak bulumuştur ve souç 1E-3 duyarlık ve 1E-2 yakısama derecesi ile optimumdur.
3. SONUÇ VE ÖNERİLER Bu çalışmada çok katmalı ileri beslemeli YSA ile modelleebile gerçek hayat problemlerii çözümüde; YSA ı gerçek hayat problemii betimleyebilmesi ve eğitilebilmeside hataı geriye yayılımı yerie YSA ı doğrusal olmaya optimizasyo modeli olarak çözümleerek ağırlıkları bulumasıı iyi bir alteratif olabileceği alatılmaya çalışılmaktadır. YSA Modellemeside aktivasyo foksiyou olarak hem Hiperbolik Taat hem de Sigmoid foksiyou kullaılabileceği düşüülmektedir. Yötemi daha alaşılabilir olması içi verile açıklayıcı XOR çözümlemeside, tasarlaa YSA içi bahsedile her iki aktivasyo foksiyou da kullaılmış ve belirlee duyarlılıklar içeriside her iki aktivasyo foksiyouyla da optimum souca ulaşıldığı görülmüştür. Çözümlere bakıldığıda Sigmoid aktivasyo foksiyou ile kurula modeli soucuu; hataları çok daha küçük olmasıda dolayı daha iyi olduğu söyleebilir. Acak bu durumu tüm YSA modellemeleri içi geellemesi doğru görülmemektedir. Burada yötemi uygulaabilir olup olmadığı araştırıldığıda, öerile yötemi etkilik araştırması bu çalışmaı kapsamı dışıda tutulmuştur. Çözüm aşamasıda Ms Excel Solver ve Lido (Lido Yazılımı, Ligo Systems firmasıı tescilli ürüüdür) çözücüleri kullaılmıştır. Bua dayaarak yötemi gerektirdiği iterasyo sayısı, bellek ve zama gereksiimi, ele alıa öreklerde tatmi edici görülse de geelleme yapmak mümkü değildir ve bu durum gelecekte farklı çalışmalara kou olabilir. YSA ı doğrusal olmaya programlama ile eğitilmesi sürecide farklı başlagıç oktalarıı, bezer duyarlıkta ve yakısamada farklı so çözümler ortaya çıkarabileceği olasıdır. Bu durumda ortaya çıkabilecek ola, yeterli öğremeyi sağladığı varsayıla bir etkilik bölgesii aalizi buda soraki araştırmalara temel olabilir. Burada kullaıla yötem ve öerilerle, e iyi öğreme içi, tasarlaa YSA modellerideki e uygu ara katma sayısı ve katmalardaki gizli öro sayıları içi de yei yaklaşımlar geliştirilebilir. So olarak, çok katmalı ve ileri beslemeli YSA ile modellee her gerçek hayat problemii bir doğrusal olmaya optimizasyo modeli karşılığıı olacağı hipotezii de araştırılması da gelecekte farklı açılımlara yol açabilir.
4. KAYNAKLAR 1. Bazaraa M.S., Sherali H.D., Shetty C.M., Noliear Programmig: Theory ad Algorithms, Joh Wiley ad Sos Publishig, ISBN 0-471-55793-5, N.Y, 1993 2. Battiti R., First ad Secod-Order Methods for Learig Betwee Steepest Descet, ad Newto s Method, Neural Computatio, Vol. 4, 141 166, 1992 3. Hayki, S., Neural Networks: A Comprehesive Foudatio, MacMilla Publishig Compay, N.Y., 1994 4. Oztemel, Erca, Yapay Siir Ağları, Papatya Yayıcılık, ISBN 975-67-97-39-8, İstabul, 2003 5. Trafalis, T.B. ad N.Couella, A Icremetal Noliear Primal-Dual Algorithm ad Applicatios to Artificial Neural Networks Traiig, Proceedigs of LSS 98, preprits, Volume II, 1053-1059, 1998 6. http://www.solver.com/techology4.htm, 15 Ekim 2005 tarihide ziyaret edildi