PARÇACIK SÜRÜSÜ OPTİMİZASYON ALGORİTMASI VE BENZETİM ÖRNEKLERİ

Transkript

1 PARÇACIK SÜRÜSÜ OPTİMİZASYON ALGORİTMASI VE BENZETİM ÖRNEKLERİ Seçkn TAMER, Chan KARAKUZU Kocael Ünverstes, Müh. Fak., Elektronk ve Haberleşme Mühendslğ Bölümü İzmt/KOCAELİ ÖZET Bu bldrde kuş sürülernn davranışlarından esnlenlerek ortaya çıkarılmış, populasyon tabanlı br optmzasyon teknğ olan Parçacık Sürüsü Optmzasyon Algortması anlatılmıştır. Sürü davranışlarının benzetm, algortmanın yapısı ve çeştl uygulamaları sunulmuştur. Yapılan benzetmlerde algortmanın fonksyon optmzasyonunda ve yapay snr ağlarının eğtmnde kullanılableceğ görülmüştür. Anahtar Kelmeler: parçacık sürüsü, optmzasyon algortmaları, yapay snr ağı eğtm. GİRİŞ Günümüzde byolojk sstemlerden esnlenlerek ortaya çıkarılmış brçok yöntem hesaplama problemlernn çözümünde kullanılmaktadır. Örneğn yapay snr ağları nsan beynnn bastleştrlmş br modeldr, genetk algortma se nsan evrmnden esnlenlerek ortaya çıkarılmıştır. Byolojk sstemlern başka br çeşd olan sosyal sstemler, özellkle breyn çevresyle ve dğer breylerle olan etkleşmn ve kollektf (ortak) davranışlarını ncelemektedr. Bu davranışlar sürü zekası olarak adlandırılmaktadırlar. Hesaplama alanında kullanılan ve sürülerden esnlenlerek ortaya konulan k popular metot vardır. Bunlar "karınca kolon optmzasyonu"(kko) ve "parçacık sürü optmzasyonu" (PSO) dur. KKO karıncaların davranışlarından esnlenlerek ortaya konmuş br yöntemdr ve ayrık optmzasyon problemlernde başarılı uygulamaları vardır [. PSO kavramı esasında sosyal yaşamın bastleştrlmş br benzetmdr. Daha sonra bu benzetm br optmzasyon yöntem olarak kullanılmaya başlanmıştır. Parçacık Sürüsü (partcle swarm) Optmzasyonu (PSO); 995 yılında J.Kennedy ve R.C.Eberhart tarafından; kuş sürülernn davranışlarından esnlenlerek gelştrlmş populasyon tabanlı stokastk optmzasyon teknğdr [. Doğrusal olmayan problemlern çözümü çn tasarlanmıştır. Çok parametrel ve çok değşkenl optmzasyon problemlerne çözüm bulmak çn kullanılmaktadır. PSO, genetk algortmalar gb evrmsel hesaplama teknkleryle br çok benzerlk gösterr. Sstem rasgele çözümler çeren br populasyonla başlatılır ve nesller güncelleyerek en optmum çözümü araştırır. PSO da parçacık olarak adlandırılan olası muhtemel çözümler, o andak optmum parçacığı zleyerek problem uzayında dolaşırlar. PSO nun klask optmzasyon teknklernden en öneml farklılığı türev blgsne htyaç duymamasıdır. PSO yu uygulamak, algortmasında ayarlanması gereken parametre sayısının az olması sebebyle oldukça basttr. PSO; fonksyon optmzasyonu, bulanık sstem kontrolü, yapay snr ağı eğtm gb br çok alanda başarıyla uygulanablmektedr [3, 4, 5, 6.. PARÇACIK SÜRÜSÜ OPTİMİZASYON ALGORİTMASI Öncek bölümde de bahsedldğ gb PSO kuş sürülernn davranışlarının br benzetmdr. Kuşların uzayda, yern blmedkler yyeceğ aramaları, br probleme çözüm aramaya benzetlr. Kuşlar yyecek ararken yyeceğe en yakın olan kuşu takp ederler. Parçacık olarak adlandırılan her tekl çözüm, arama uzayındak br kuştur. Parçacık hareket ettğnde, kend koordnatlarını br fonksyona gönderr ve böylece parçacığın uygunluk değer ölçülmüş olur. (Yan yyeceğe ne kadar uzaklıkta olduğu ölçülmüş olur.) Br parçacık, koordnatlarını, hızını (çözüm uzayındak her boyutta ne kadar hızla lerledğ), şmdye kadar elde ettğ en y uygunluk değern ve bu değer elde ettğ koordnatları hatırlamalıdır. Çözüm uzayındak her boyuttak hızının ve yönünün her sefernde nasıl değşeceğ, komşularının en y koordnatları ve kend kşsel en y koordnatlarının br brleşm olacaktır. Çözüm uzayı problemdek değşken veya blnmeyen sayısına bağlı olarak çok boyutta olablr. Örneğn; y ( z w ) + 4 fonksyonunun çözüm uzayı, y, z ve w blnmeyenlernden dolayı 4 boyutludur. Bu problemn çözüm uzayında tanımlanan br parçacığın pozsyonu 4 koordnat le P=[, y, z, w şeklnde belrtlmektedr. Görsel olarak nsanların resmedemedğ 4 veya daha fazla boyutlu karmaşık problemlerde çalışmanın PSO çn herhang br zorluğu bulunmamaktadır. Örneğn PSO, br yapay snr ağının eğtmnde kullanılacaksa ve ağda 50 tane bağlantı ağırlığı mevcutsa problem 50 boyutlu br uzayda çözülecektr.

2 PSO, br grup rasgele çözümle (parçacık sürüsü) başlatılır ve güncellemelerle optmum çözüm bulunmaya çalışılır. Her tekrarlamada (terasyonda), parçacık konumları, k en y değere göre güncellenr. İlk; o ana kadar parçacığın elde ettğ en y çözümü sağlayan koordnatlardır. Bu değer pbest olarak adlandırılır ve hafızada saklanmalıdır. Dğer en y değer se, populasyonda o ana kadar tüm parçacıklar tarafından elde edlen en y çözümü sağlayan koordnatlardır. Bu değer global en ydr ve gbest le gösterlr. Örneğn D adet parametreden oluşan n adet parçacık olduğunu varsayalım. Bu durumda populasyon parçacık matrs eştlk () dek gbdr. = n n D D nd n D () Yukarıdak matrste, nnc parçacık =,,.. olarak fade edlr. Öncek en [ D y uygunluk değern veren nnc parçacığın pozsyonu pbest = [ p, p,.. pd olarak fade edlr. gbest se her terasyonda tüm parçacıklar çn tektr ve gbest = [ p, p,.. pd şeklnde gösterlr. nnc parçacığın hızı (her boyuttak konumunun değşm mktarı) v = [ v, v,.. vd olarak fade edlr. İk en y değern bulunmasından sonra parçacık hızları ve konumları aşağıda verlen () ve (3) nolu denklemlere göre güncellenr. ( ) ( ) v = v + c.rand. pbest k + k k k k + c.rand. gbest k + k k + k k k () = + v (3) Denklem () de, c ve c öğrenme faktörlerdr. c ve c, her parçacığı pbest ve gbest pozsyonlarına doğru çeken, stokastk hızlanma termlern fade eden sabtlerdr. c, parçacığın kend tecrübelerne göre hareket etmesn, c se sürüdek dğer parçacıkların tecrübelerne göre hareket etmesn sağlar. Düşük değerler seçlmes parçacıkların hedef bölgeye doğru çeklmeden önce, bu bölgeden uzak yerlerde dolaşmalarına mkan verr. Ancak hedefe ulaşma süres uzayablr. Dğer yandan, yüksek değerler seçlmes, hedefe ulaşmayı hızlandırırken, beklenmedk hareketlern oluşmasına ve hedef bölgenn es geçlmesne sebep olablr. Bu algortma üzernde araştırmacıların yaptığı denemelerde c =c = olarak almanın y sonuçlar verdğ belrtlmştr. Denklemdek rand ve rand, [0, arasında düzgün dağılımlı rasgele sayılardır. k se terasyon sayısını belrtmektedr. Aşağıda PSO algortması çn gerekl olan prosedür özetlenmştr. For her parçacık çn başlangıç koşullamaları Do For her parçacık çn uygunluk değern hesapla eğer uygunluk değer, pbest ten daha y se; şmdk değer yen pbest olarak ayarla Tüm parçacıkların bulduğu pbest değerlernn en ysn, tüm parçacıkların gbest' olarak ayarla For her parçacık çn () denklemne göre parçacık hızını hesapla (3)denklemne göre parçacık pozsyonunu güncelle Whle maksmum terasyon sayısına veya mnmum hata koşulu sağlanana kadar devem et. PSO Parametre Kontrolü PSO da ayarlanması gereken çok fazla sayıda parametre yoktur. Aşağıda parametrelern lstes ve tpk değerler verlmştr. Parçacık sayısı: 0 le 40 arasındadır. Brçok problem çn 0 parçacık kullanmak yeterldr. Bazı zor veya özel problemlerde se 00 veya 00 parçacık kullanılması gerekeblr. Parçacık boyutu: Optmze edlecek probleme göre değşmektedr. Parçacık aralığı: Optmze edlecek probleme göre değşmekle brlkte farklı boyutlarda ve aralıklarda parçacıklar tanımlanablr. Vma: Br terasyonda, br parçacıkta meydana gelecek maksmum değşklğ (hız) belrler. Genellkle parçacık aralığına göre belrlenr. Örneğn X parçacığı (-0,0) aralığında se Vma=0 sınırlandırılablr. Öğrenme Faktörler: c ve c genellkle olarak seçlr. Fakat farklı da seçleblr. Genellkle c, c ye eşt ve [0, 4 aralığında seçlr. Durma Koşulu: Maksmum terasyon sayısına ulaşıldığında veya değer fonksyonu stenlen sevyeye ulaştığında algortma durdurulablr. PSO nun şu andak güncel versyonu elde edlmeden önce çeştl denemeler yapılmış ve br çok yöntem ortaya atılmıştır. Algortmanın başarımını arttırmak çn Yuhu Sh ve R.C. Eberhart tarafından yapılan çalışmalar sonucunda 998 yılında Gelştrlmş PSO algortması ortaya çıkarılmıştır[7, 8.. Gelştrlmş PSO Bu versyonun en öneml farklılığı; parçacığın, komşularının ve kendsnn geçmştek en y pozsyonları arasında arama yapmamasıdır. Komşularının geçmş en y pozsyonu (gbest) le tüm

3 parçacıkların en y orta pozsyonu arasında arama yapılır. Yan elde edlen pbest değerlernn ortalaması alınır. * * * * p = [ p, p,.. p olmak üzere; breyn en y D değer aşağıdak gb hesaplanır. * p = p + p +.. p ) n (j=,,.,d) yan j ( j j nj / n adet paçacığın her boyuttak en y (pbest) değerlernn ortalaması alınmakta ve yen p vektörü elde edlmektedr. Buna göre () denklem aşağıdak denklem (4) e dönüşmektedr. v k + = w. v k + c. rand + c. rand k k * k k.( p ) k k ( gbest ). * (4) Denklemde w eylemszlk ağırlığıdır, w< olarak seçlmel ve her terasyonda doğrusal olarak azaltılmalıdır. PSO da eylemszlk ağırlığı global ve yerel arama yeteneğn dengelemek çn kullanılır. Büyük eylemszlk ağırlığı global arama, küçük ağırlık se yerel arama yapılmasını kolaylaştırır. Eylemszlk ağırlığı yerel ve global araştırma arasındak dengey sağlar ve bunun sonucunda yeterl optmal sonuca daha az terasyonda ulaşılır. Buradak her parçacık; sürüdek sadece en y parçacığın değl sürüdek dğer tüm parçacıkların tecrübelernden de yararlanmış olur. 3. BENZETİM ÖRNEKLERİ PSO algortmasının başarımını test edeblmek çn; Matlab programı yardımıyla çeştl benzetmler yapılmıştır. Yapılan benzetmlerde Gelştrlmş PSO algortması kullanılmıştır. İlk olarak matematksel fades blnen ve brçok yerel maksmum ve mnmum çeren peaks fonksyonu tarafından tanımlanan yüzeyde küresel mnmum ve maksmum noktası çözümü gerçekleştrlmştr. Bu problemde y fonksyonu k değşkene bağlı olduğundan parçacıklar P=[, şeklnde alınmıştır. Peaks fonksyonunun matematksel fades eştlk (5) te verlmştr. [ ( + ) y = 3 ( ). e [ ( + ). e 3 5 [. e (5) Uygulamada 0 adet parçacık kullanılmış olup PSO nun mnmum noktası çn bulduğu çözüm eştlk (6) de, ma noktası çn bulduğu çözüm eştlk (7) da verlmştr. Bu sonuçların fonksyonun gerçek mn/ma noktalarına çok yakın olduğu Şekl ve den görüleblr. 0,83 = Mn y = 6,55 (6),655 0,0093 =,584 Ma y = 8,06 (7) Şekl. Peaks fonksyonunun tanımladığı yüzey Tablo de parçacıkların rasgele seçlen başlangıç konumları ve küresel çözümü ararken geldkler en son konumları görülmektedr. Görüleceğ üzere parçacıkların heps sürü mantığına uygun olarak global çözümün etrafında toplanmışlardır. Tablo. Brnc örnek çn başlangıç ve sonuç parçacık konumları P0 (başlangıç) P (mn) P (ma) X X X X X X Şekl de fonksyon yüzeynn ve parçacık pozsyonlarının düzlemnden yan görünüşü verlmştr. Yıldızla şaretller parçacıkların başlangıç konumlarını göstermektedr. Yuvarlakla şaretl konum parçacıkların küresel mnmum çözümünde son adımda geldkler yer (Şekl b), kare se parçacıkların küresel maksmum çözümünde son adımda geldkler yer göstermektedr (Şekl c). Şekl (a). Fonksyonun yüzey, (b) Global mnmum çözümündek parçacıkların başlangıç ve son konumları (c) Global maksmum çözümündek parçacıkların başlangıç ve son konumları

4 PSO nun başarımını daha detaylı test etmek çn başlangıçta tüm parçacıklar yerel mnmuma yerleştrlmş (Şekl 3b yıldızla gösterlenler) ve bu durum çn algortma küresel mnmumu bulmak çn koşturulmuştur. Sonuç olarak bu başlangıç durumu çn ble parçacıklar global mnmuma çok yakın br bölge etrafında toplanmışlardır (Şekl 3b yuvarlakla gösterlenler). [ w w w w e e w w P = (9) e Şekl 4. Eğtlecek ağ yapısı Şekl 5 te PSO koşturulurken değer fonksyonunun terasyonla değşm görülmektedr. PSO le ağ eğtmnde 5 terasyon sonucunda değer fonksyonu 3.37e-005 e kadar düşmüştür. EXOR problem çn elde edlen sonuçlar Tablo de özetlenmştr. Şekl 3(a) Fonksyonun yüzey, (b) Global mnmum çözümündek parçacıkların başlangıç (yerel mnmuma yerleştrlmş ) ve son konumları Uygulamada en y çözüme ulaşmak çn tüm parçacıkların br araya toplanmasını beklemek gerekmez. Her terasyon sonucunda bulunan gbest değer stedğmz değer fonksyonunu sağlıyorsa, bu gbest değern bulan parçacık çözüm olarak alınablr. PSO algortmasının başarımını test etmek çn yapılan knc benzetmde se katmanlı br yapay snr ağının eğtm gerçekleştrlmştr. PSO algortmasıyla eğtlen ağ le mantıksal EXOR problem çözülmeye çalışılmış ve elde edlen sonuç, ağ eğtmnde kullanılan klask ger yayılım öğrenme algortması le karşılaştırılmıştır. EXOR problemnde grş, çıkış ve 4 adet örnek bulunmaktadır. Bu problem Şekl 4 de verlen ağın parametrelernn PSO le belrlenmes sonucunda çözülmüştür. PSO algortması gradyen blgsne htyaç duymadığı çn hücre aktvasyon fonksyonu seçmnde esneklk sağlar. Bu uygulamada 0- aralığında çıkış veren sgmodal aktvasyon fonksyonu kullanılmıştır. Sonlandırma krter; değer fonksyonunun bnde e nmes veya maksmum terasyon sayısına (00) ulaşılması olarak seçlmştr. Değer fonksyonu se toplam karesel hata olarak denklem (7) de verldğ gb tanımlanmıştır. t = E = cos (7) e Denklem (7) dek hata (e ) denklem (8) le tanımlıdır. e = yd y (8) se örnek sayısını göstermektedr. Uygulamada 00 adet parçacık kullanılmıştır. Ağda ayarlanması gereken eştlk (9) da verlen 9 adet parametre bulunduğundan, problem 9 boyutlu br uzayda çözülecektr. Parçacıklar (9) yapısında aşağıdak gb düzenlenmştr. Şekl 5. PSO le ağ eğtm sırasında değer fonksyonunun terasyonla değşm Tablo. PSO algortması le eğtlen ağın başarım göstergeler X X Yd Y Hata Parçacıkların yan ağ parametrelernn başlangıçtak rasgele değerlerne bağlı olarak terasyon sayısı değşeblmektedr. Genel olarak Şekl 6 dek eğtm seyr le sonuçlanan ger yayılım algortması le kıyaslandığında PSO algortmasının başlangıç parametreler ne olursa olsun oldukça hızlı sonuç verdğ görülmektedr. Gerye yayılım le ağ eğtmnde 6635 terasyon sonucunda değer fonksyonu e-004 olarak elde edlmştr. Bu eğtm le elde edlen başarım Tablo 3 de özetlenmştr. Tablo 3. Gerye yayılım algortması le eğtlen ağın başarım göstergeler X X Yd Y Hata

5 [4 Jaln Zhou, Zhengcheng Duan, Yong L, Janchun Deng and Daoyuan Yu, PSO-based neural network optmzaton and ts utlzaton n a borng machne, Journal of Materals Processng Technology, In Press, Corrected Proof, Avalable onlne 8 June 006 [5 Cosmn Danut Bocanala and Jose Sa da Costa, Applcaton of a novel fuzzy classfer to fault detecton and solaton of the DAMADICS benchmark problem, Control Engneerng Practce, Volume 4, Issue 6, June 006, Pages Şekl 6. Ger yayılım algortması le ağ eğtm sırasında değer fonksyonunun terasyonla değşm 4. SONUÇLAR Parçacık sürüsü optmzasyon algortması kullanılan en yen akıllı hesap teknklerden brdr. Çok boyutlu problemlere oldukça hızlı ve yeterl sonuçlar verdğ bu bldrde verlen benzetm çalışmalarında gösterlmştr. İşlem yükü ve gerekl hafıza mktarı parçacık sayısına ve problemnn boyutuna bağlıdır. Ancak algortma; herhang br dferansyel denklem çözümü ve gradyen hesabı gerektrmedğnden, ayrıca ayarlanması gereken az sayıda parametre bulunduğundan yürütülmes kolaydır. PSO nun; fonksyon optmzasyonunda, global çözüme kolayca ulaştığı yapılan benzetmlerde görülmüştür. [6 S. P. Ghoshal, Optmzatons of PID gans by partcle swarm optmzatons n fuzzy based automatc generaton control, Electrc Power Systems Research, Volume 7, Issue 3, 5 December 004, Pages 03- [7 Sh, Y. and Eberhart, R. C. A modfed partcle swarm optmzer. Proceedngs of the IEEE Internatonal Conference on Evolutonary Computaton pp IEEE Press, Pscataway, NJ, 998 [8 Sh, Y. and Eberhart, R. C. Parameter selecton n partcle swarm optmzaton., Evolutonary Programmng VII: Proc. EP 98 pp Sprnger- Verlag, New York, 998. Yukarıda verlen sonuçlardan da görüleceğ üzere, EXOR problemn çözeblmek çn gerekl ağ parametreler PSO algortması le ger yayılım algortmasından oldukça hızlı br şeklde belrlenmştr. Bu sonuç, yapay snr ağlarının eğtm çn kullanılan en popüler yöntem olan ger yayılım öğrenme algortması yerne PSO nun kullanılableceğn göstermektedr. KAYNAKÇA [ Kalınlı A., Karaboğa N., Karaboğa D.; A Modfed Tourng Ant Colony Optmzaton Algorthm for Contounous Functons, 6 th Internatonal Symposum on Computer and Informatıon Scence (ISCIS XVI), Işık Unversty, Antalya (00) s: [ Kennedy, J. and Eberhart, R. C. Partcle swarm optmzaton Proc. IEEE nt'l conf. on neural networks Vol. IV, pp IEEE servce center, Pscataway, NJ, 995. [3 Fábo A. Guerra and Leandro dos S. Coelho, Mult-step ahead nonlnear dentfcaton of Lorenz s chaotc system usng radal bass neural network wth learnng by clusterng and partcle swarm optmzaton, Chaos, Soltons & Fractals, In Press, Corrected Proof, Avalable onlne 7 July 006,