EGE ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ (DOKTORA TEZĠ) METASEZGĠSEL ALGORĠTMALARDA ÇEVRĠMĠÇĠ AYARLAMA ĠLE UYARLANABĠLĠR PARAMETRE KONTROLÜ Bekir AFġAR Tez DanıĢmanı: Prof. Dr. Serdar KORUKOĞLU Bilgisayar Mühendisliği Anabilim Dalı Bilim Dalı Kodu: 619.01.00 SunuĢ Tarihi: 11.09.2014 Bornova-ĠZMĠR 2014
Bekir AFġAR tarafından Doktora tezi olarak sunulan Metasezgisel Algoritmalarda Çevrimiçi Ayarlama ile Uyarlanabilir Parametre Kontrolü baģlıklı bu çalıģma E.Ü. Lisansüstü Eğitim ve Öğretim Yönetmeliği ile E.Ü. Fen Bilimleri Enstitüsü Eğitim ve Öğretim Yönergesi nin ilgili hükümleri uyarınca tarafımızdan değerlendirilerek savunmaya değer bulunmuģ ve 11.09.2014 tarihinde yapılan tez savunma sınavında aday oybirliği/oyçokluğu ile baģarılı bulunmuģtur. Jüri Üyeleri: Ġmza Jüri BaĢkanı : Prof. Dr. Serdar KORUKOĞLU... Raportör Üye: Doç. Dr. Aybars UĞUR... Üye : Yrd. Doç. Dr. Korhan KARABULUT... Üye : Yrd. Doç. Dr. Hasan BULUT... Üye : Yrd. Doç. Dr. Tahir Emre KALAYCI...
EGE ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ ETĠK KURALLARA UYGUNLUK BEYANI E.Ü. Lisansüstü Eğitim ve Öğretim Yönetmeliğinin ilgili hükümleri uyarınca Doktora Tezi olarak sunduğum Metasezgisel Algoritmalarda Çevrimiçi Ayarlama ile Uyarlanabilir Parametre Kontrolü baģlıklı bu tezin kendi çalıģmam olduğunu, sunduğum tüm sonuç, doküman, bilgi ve belgeleri bizzat ve bu tez çalıģması kapsamında elde ettiğimi, bu tez çalıģmasıyla elde edilmeyen bütün bilgi ve yorumlara atıf yaptığımı ve bunları kaynaklar listesinde usulüne uygun olarak verdiğimi, tez çalıģması ve yazımı sırasında patent ve telif haklarını ihlal edici bir davranıģımın olmadığını, bu tezin herhangi bir bölümünü bu üniversite veya diğer bir üniversitede baģka bir tez çalıģması içinde sunmadığımı, bu tezin planlanmasından yazımına kadar bütün safhalarda bilimsel etik kurallarına uygun olarak davrandığımı ve aksinin ortaya çıkması durumunda her türlü yasal sonucu kabul edeceğimi beyan ederim. 11 / 09 / 2014 Ġmzası Bekir AFġAR
vii ÖZET METASEZGĠSEL ALGORĠTMALARDA ÇEVRĠMĠÇĠ AYARLAMA ĠLE UYARLANABĠLĠR PARAMETRE KONTROLÜ AFġAR, Bekir Doktora Tezi, Bilgisayar Mühendisliği Anabilim Dalı Tez DanıĢmanı: Prof. Dr. Serdar KORUKOĞLU EYLÜL 2014, 105 sayfa Metasezgisel algoritmalar (Metaheuristic Algorithms - MHA) ın sahip olduğu stratejik parametreler için belirlenen değerler, algoritmaların performansına doğrudan etki etmektedir. Problemden bağımsız geliģtirilen MHA ların daha iyi bir performansa sahip olmaları için parametre değerlerinin problemden probleme değiģkenlik göstermesi ve ayrıca algoritmanın çalıģması sırasında güncellenmesi gerekmektedir. Bu tez çalıģmasında, MHA lar için stratejik öneme sahip parametreler için iki adet çevrimiçi parametre kontrol yöntemi geliģtirilmiģtir. Bunlardan birincisi, çalıģma zamanında arama sürecinden gelen geri-bildirimlere göre parametre değerlerinin güncellendiği uyarlanabilir parametre kontrolüdür. Ġkincisi ise parametre değerlerinin doğrudan algoritmanın yönetimine bırakıldığı kendindenuyarlanabilir parametre kontrolü yöntemidir. Önerilen bu yöntemler, MHA ların iyi örneklerinden olan; yapay arı kolonisi (Artificial Bee Colony - ABC) algoritmalarından Improved ABC (IABC) algoritması ile ateģ böceği algoritması (Firefly Algorithm - FA) üzerinde uygulanmıģtır. GeliĢtirilen uyarlanabilir IABC ve FA versiyonları, büyük ölçekli eniyileme problemlerini içeren SOCO fonksiyon kümesi üzerinde çalıģtırılarak yöntemlerin baģarımı değerlendirilmiģtir ve tartıģılmıģtır. Anahtar sözcükler: Metasezgisel algoritmalar, uyarlanabilir parametre kontrolü, kendinden-uyarlanabilir parametre kontrolü, çevrimiçi ayarlama, yapay arı kolonisi algoritması, improved ABC algoritması, ateģ böceği algoritması.
ix ABSTRACT ADAPTIVE PARAMETER CONTROL IN METAHEURISTIC ALGORITHMS USING ONLINE TUNING AFġAR, Bekir Ph.D. in Computer Engineering Supervisor: Prof. Dr. Serdar KORUKOĞLU September 2014, 105 pages Specified values of the strategic parameters owned by the metaheuristic algorithms (MHA) have a direct impact on the performances of the algorithms. For better performance of problem independently developed MHA s, parameter values are subject to change from problem to problem and also need to be updated during the run of the algorithm. In this thesis, two online parameter control methods have been developed for the strategic parameters of MHAs. One of them is, adaptive parameter control which updates parameter values according to the feedbacks coming from the search process during run of the algorithm. The second method is management of the parameter values left to the algorithm itself called self-adaptive parameter control. These two methods have been applied to the improved ABC (IABC), one of the artificial bee colony (ABC) variant, and firefly algorithm (FA), which are good examples of MHA s. Developed adaptive IABC and FA algorithms were tested on SOCO function set which has large-scale optimization problems and performance of the methods was evaluated and discussed. Keywords: Metaheuristic algorithms, adaptive parameter control, selfadaptive parameter control, online tuning, artificial bee colony algorithm, improved ABC algorithm, firefly algorithm.
xi TEġEKKÜR Bu tez çalıģması süresince, deneyimleri ve önerilerinden yararlandığım danıģmanım Sayın Prof. Dr. Serdar KORUKOĞLU na, tezin baģından itibaren bana her konuda yardımcı olan Ege Üniversitesi Bilgisayar Mühendisliği Bölümü öğretim üyesi Sayın Doç. Dr. Aybars UĞUR a, tez konusunu ve kapsamını belirlemede bana yardımcı olan, tez süresince her türlü desteği veren ve birikimlerini benimle paylaģan Dumlupınar Üniversitesi Bilgisayar Mühendisliği Bölümü öğretim üyesi Sayın Yrd. Doç. Dr. Doğan AYDIN a teģekkür ederim. Tezin bitiģ aģamasında bana verdikleri değerli katkıları için Ege Üniversitesi Bilgisayar Mühendisliği Bölümü öğretim üyesi Sayın Yrd. Doç. Dr. Hasan Bulut a, YaĢar Üniversitesi Yazılım Mühendisliği Bölümü öğretim üyesi Sayın Yrd. Doç. Dr. Korhan KARABULUT a ve Celal Bayar Üniversitesi Bilgisayar Mühendisliği Bölümü öğretim üyesi Sayın Yrd. Doç. Dr. Tahir Emre KALAYCI ya teģekkür ederim. Tez süresince sıkıntılarımı paylaģtığım, tez çalıģmaları nedeni ile daha az vakit ayırmak durumunda kaldığım, dert ortağım, sevgili eģim Elif AFġAR a teģekkür ederim. Tez döneminde dünyaya gelen, Ģimdilerde her eve gidiģimde babacım diyerek kucağıma atlayan ve moral-motivasyonumun düģtüğü dönemlerde tatlı gülücükleriyle beni neģelendiren biricik kızım Yaren Ġpek AFġAR a teģekkür ederim. Ayrıca tezin yazım aģamasında bana destek olan Ege Üniversitesi Bilgisayar Mühendisliği Bölümü ndeki tüm çalıģma arkadaģlarıma teģekkür ederim.
xiii ĠÇĠNDEKĠLER Sayfa ÖZET... vii ABSTRACT... ix TEġEKKÜR... xi ġekġller DĠZĠNĠ... xvii ÇĠZELGELER DĠZĠNĠ... xix KISALTMALAR DĠZĠNĠ... xxi 1. GĠRĠġ... 1 2. METASEZGĠSEL ALGORĠTMALARDA PARAMETRE KONTROLÜ... 5 2.1 Metasezgisel Kavramı... 6 2.2 Metasezgisel Algoritmalar... 7 2.3 Metasezgisel Algoritmalarda Parametre Ayarlama Yöntemleri... 10 2.3.1 ÇevrimdıĢı ayarlama... 10 2.3.2 Çevrimiçi ayarlama... 12 3. GELĠġTĠRĠLEN PARAMETRE KONTROL YÖNTEMLERĠ... 14 3.1 Benzer ÇalıĢmalar... 14 3.2 Parametre Kontrol Yöntemleri... 17 3.2.1 Stratejik parametrelerin belirlenmesi... 17 3.2.2 Stratejik parametrelerin değer aralığının belirlenmesi... 18 3.2.3 Uyarlanabilir parametre kontrolü... 19
xiv ĠÇĠNDEKĠLER (devam) Sayfa 3.2.4 Kendinden-uyarlanabilir parametre kontrolü...21 4. YAPAY ARI KOLONĠSĠ ALGORĠTMALARI... 23 4.1 Orijinal Yapay Arı Kolonisi Algoritması...23 4.2 Yapay Arı Kolonisi Versiyonları...26 4.2.1 Gbest-guided ABC (GABC) algoritması...26 4.2.2 Gbest ABC (GbABC) ve Gbest Distance ABC (GbdABC) algoritmaları...26 4.2.3 Best-so-far ABC (BABC) algoritması...27 4.2.4 Modified ABC (MABC) algoritması...28 4.2.5 Chaotic ABC (CABC) algoritması...29 4.2.6 Rosenbrock ABC (RABC) algoritması...30 4.2.7 Incremental ABC (IncABC) algoritması...30 4.2.8 Improved ABC (IABC) algoritması...31 4.3 GerçekleĢtirimi YapılmıĢ Gerçek Dünya Problemleri...32 4.3.1 Frekans modülasyonlu ses dalgaları için parametre tahminleme...32 4.3.2 GeniĢ spektrumlu radar çokfazlı kod tasarımı...32 4.4 Deneysel Sonuçlar...33 4.4.1 Deneysel kurulum...34 4.4.2 Varsayılan parametre değerleri ile ABC sonuçlarının karģılaģtırılması...34 4.4.3 AyarlanmıĢ parametre değerleri ile ABC sonuçlarının karģılaģtırılması...36
xv ĠÇĠNDEKĠLER (devam) Sayfa 4.4.4 Literatürdeki algoritmalar ile ABC sonuçlarının karģılaģtırılması... 40 5. IMPROVED ABC ÜZERĠNDE UYARLANABĠLĠR PARAMETRE KONTROLÜ... 42 5.1 Improved ABC Algoritması için ABC Üzerindeki DeğiĢiklikler... 43 5.2 Stratejik Parametrelerin Belirlenmesi... 44 5.3 Uyarlanabilir IABC (AIABC) Algoritması... 47 5.3.1 Stratejik parametrelerin değer aralığının belirlenmesi... 49 5.3.2 Stratejik parametreler üzerinde uyarlanabilir parametre kontrolü... 50 5.4 Kendinden-uyarlanabilir IABC (SaIABC) Algoritması... 53 5.4.1 Stratejik parametrelerin değer aralığının belirlenmesi... 53 5.4.2 Stratejik parametreler üzerinde kendinden-uyarlanabilir parametre kontrolü... 54 5.5 Deneysel Sonuçlar... 55 5.5.1 Deneysel kurulum... 55 5.5.2 Varsayılan parametre değerleri ile karģılaģtırma... 56 5.5.3 AyarlanmıĢ Parametre Değerleri ile KarĢılaĢtırma... 63 5.5.4 Literatürdeki Algoritmalar ile AIABC ve SaIABC Sonuçlarının KarĢılaĢtırılması... 70 6. ATEġ BÖCEĞĠ ALGORĠTMASI ÜZERĠNDE UYARLANABĠLĠR PARAMETRE KONTROLÜ... 74
xvi ĠÇĠNDEKĠLER (devam) Sayfa 6.1 AteĢ Böceği Algoritması...75 6.2 Stratejik Parametrelerin Belirlenmesi...77 6.3 Uyarlanabilir FA (AFA) Algoritması...77 6.3.1 Stratejik parametrelerin değer aralığının belirlenmesi...78 6.3.2 Stratejik parametreler üzerinde uyarlanabilir parametre kontrolü...79 6.4 Kendinden-uyarlanabilir FA (SaFA) Algoritması...81 6.4.1 Stratejik parametrelerin değer aralığının belirlenmesi...81 6.4.2 Stratejik parametreler üzerinde kendinden-uyarlanabilir parametre kontrolü...82 6.5 Deneysel Sonuçlar...83 6.5.1 Deneysel kurulum...83 6.5.2 Varsayılan parametre değerleri ile karģılaģtırma...84 6.5.3 AyarlanmıĢ parametre değerleri ile karģılaģtırma...86 7. SONUÇ VE TARTIġMA... 89 KAYNAKLAR DĠZĠNĠ... 94 ÖZGEÇMĠġ... 105 EKLER...
xvii ġekġller DĠZĠNĠ ġekil Sayfa 2.1. Evrimsel algoritmalarda parametre belirleme yöntemleri... 12 3.1. Uyarlanabilir parametre kontrolü akıģ diyagramı... 20 3.2. SP'lerin aday çözüme yeni boyut olarak eklenmesi... 21 4.1. Problem 1 için Interval Plot grafiği (50000 FEs)... 38 4.2. Problem 2 için Interval Plot grafiği (50000 FEs)... 39 4.3. Problem 1 için Interval Plot grafiği (100000 FEs)... 39 4.4. Problem 2 için Interval Plot grafiği (100000 FEs)... 39 4.5. Problem 1 için Interval Plot grafiği (150000 FEs)... 40 4.6. Problem 2 için Interval Plot grafiği (150000 FEs)... 40 5.1. Problem 1 için m değerinin IABC performansına etkisi... 46 5.2. Problem 2 için m değerinin IABC performansına etkisi... 46 5.3. Problem 1 için p değerinin IABC performansına etkisi.... 47 5.4. Problem 2 için p değerinin IABC performansına etkisi... 47 5.5. m ve p değerlerini tutan dizilerin yeniden ilklenmesi ve yeniden üretilmesi. 48 5.6. SaIABC için yeni çözüm dizisi yapısı... 55 5.7. Varsayılan parametre değerleri ile 50 boyutlu problemlerde üretilen ortanca ve ortalama değerler... 57 5.8. Varsayılan parametre değerleri ile 100 boyutlu problemlerde üretilen ortanca ve ortalama değerler... 58 5.9. Varsayılan parametre değerleri ile 500 boyutlu problemlerde üretilen ortanca ve ortalama değerler... 58
xviii ġekġller DĠZĠNĠ (devam) ġekil Sayfa 5.10. AyarlanmıĢ parametre değerleri ile 50 boyutlu problemlerde üretilen ortanca ve ortalama değerler... 65 5.11. AyarlanmıĢ parametre değerleri ile 100 boyutlu problemlerde üretilen ortanca ve ortalama değerler.... 65 5.12. AyarlanmıĢ parametre değerleri ile 500 boyutlu problemlerde üretilen ortanca ve ortalama değerler... 65 5.13. 50 boyutlu SOCO fonksiyonları için uyarlanabilir IABC algoritmaları ve literatürdeki güncel algoritmaların sonuçları... 71 5.14. 100 boyutlu SOCO fonksiyonları için uyarlanabilir IABC algoritmaları ve literatürdeki güncel algoritmaların sonuçları... 72 5.15. 500 boyutlu SOCO fonksiyonları için uyarlanabilir IABC algoritmaları ve literatürdeki güncel algoritmaların sonuçları.... 72 6.1. SaFA için yeni çözüm dizisi yapısı... 83
xix ÇĠZELGELER DĠZĠNĠ Çizelge Sayfa 4.1. ABC algoritmalarının varsayılan parametre değerleri... 35 4.2. Varsayılan parametre değerleri ile elde edilen sonuçlar... 35 4.3. ABC algoritmalarının ayarlanmıģ parametre değerleri... 37 4.4. AyarlanmıĢ parametre değerleri ile elde edilen sonuçlar... 37 4.5. Problem 1 için literatürdeki algoritmalar ile karģılaģtırma.... 41 4.6. Problem 2 için literatürdeki algoritmalar ile karģılaģtırma.... 41 5.1. m değerinin IABC performansına etkisi.... 45 5.2. p değerinin IABC performansına etkisi.... 46 5.3. SOCO fonksiyonları için ABC algoritmalarının ayarlanmıģ parametre değerleri.... 56 5.4. Friedman testinden elde edilen p değerleri.... 59 5.5. Varsayılan parametre değerleri ile 50 boyutlu problemlerde uyarlanabilir IABC ve diğer ABC algoritmalarının ürettiği ortanca değerler.... 60 5.6. Varsayılan parametre değerleri ile 100 boyutlu problemlerde uyarlanabilir IABC ve diğer ABC algoritmalarının ürettiği ortanca değerler... 61 5.7. Varsayılan parametre değerleri ile 500 boyutlu problemlerde uyarlanabilir IABC ve diğer ABC algoritmalarının ürettiği ortanca değerler.... 62 5.8. Friedman testinden elde edilen p değerleri.... 63 5.9. Friedman testinden elde edilen p değerleri.... 66 5.10. AyarlanmıĢ parametre değerleri ile 50 boyutlu problemlerde uyarlanabilir IABC ve diğer ABC algoritmalarının ürettiği ortanca değerler.... 67
xx ÇĠZELGELER DĠZĠNĠ (devam) Çizelge Sayfa 5.11. AyarlanmıĢ parametre değerleri ile 100 boyutlu problemlerde uyarlanabilir IABC ve diğer ABC algoritmalarının ürettiği ortanca değerler.... 68 5.12. AyarlanmıĢ parametre değerleri ile 500 boyutlu problemlerde uyarlanabilir IABC ve diğer ABC algoritmalarının ürettiği ortanca değerler.... 69 5.13. Friedman testinden elde edilen p değerleri.... 70 5.14. Friedman testinden elde edilen p değerleri.... 73 6.1. FA ve uyarlanabilir FA algoritmalarının varsayılan parametre değerleri... 84 6.2. FA ve uyarlanabilir FA algoritmalarının ayarlanmıģ parametre değerleri... 84 6.3. FA ve uyarlanabilir FA algoritmalarının varsayılan parametre değerleri ile 10 boyutlu problemler için sonuçları.... 85 6.4. FA ve uyarlanabilir FA algoritmalarının varsayılan parametre değerleri ile 50 boyutlu problemler için sonuçları.... 85 6.5. FA ve uyarlanabilir FA algoritmalarının varsayılan parametre değerleri ile 100 boyutlu problemler için sonuçları.... 86 6.6. Friedman testinden elde edilen p değerleri... 86 6.7. FA ve uyarlanabilir FA algoritmalarının ayarlanmıģ parametre değerleri ile 10 boyutlu problemler için sonuçları... 87 6.8. FA ve uyarlanabilir FA algoritmalarının ayarlanmıģ parametre değerleri ile 50 boyutlu problemler için sonuçları... 87 6.9. FA ve uyarlanabilir FA algoritmalarının ayarlanmıģ parametre değerleri ile 100 boyutlu problemler için sonuçları... 88 6.10. Friedman testinden elde edilen p değerleri... 88
xxi KISALTMALAR DĠZĠNĠ Kısaltmalar Açıklama ABC Yapay arı kolonisi ACO Karıncı kolonisi eniyilemesi AFA Uyarlanabilir ateģ böceği algoritması AIABC Uyarlanabilir iyileģtirilmiģ (improved) yapay arı kolonisi BABC Best-so-far yapay arı kolonisi CABC Chaotic yapay arı kolonisi CEC IEEE Conference on Evolutionary Competition CS Guguk kuģu arama algoritması D Problem boyutu DE Diferansiyel geliģim algoritması EA Evrimsel algoritmalar EC Evrimsel hesaplama EP Evrimsel programlama ES Evrim stratejileri FA AteĢ böceği algoritması FEs Function evaluations (Fonksiyon hesaplama sayısı) FM Frekans modülasyonlu
xxii KISALTMALAR DĠZĠNĠ (devam) Kısaltmalar Açıklama GA Genetik algoritmalar GABC Gbest-güdümlü (guided) yapay arı kolonisi GbABC Gbest yapay arı kolonisi GbdABC Gbest distance yapay arı kolonisi IABC Improved yapay arı kolonisi IncABC Artımlı (incremental) yapay arı kolonisi L Limit MABC DeğiĢtirilmiĢ (modified) yapay arı kolonisi MCN Maksimum yineleme sayısı MHA Metasezgisel algoritmalar MR Modification rate N Popülasyon büyüklüğü PSO Parçacık sürü eniyilemesi RABC Rosenbrock yapay arı kolonisi RM Rosenbrock dairesel yön metodu SaFA Kendinden-uyarlanabilir ateģ böceği algoritması
xxiii KISALTMALAR DĠZĠNĠ (devam) Kısaltmalar Açıklama SaIABC Kendinden-uyarlanabilir Imroved yapay arı kolonisi SF Ölçeklendirme faktörü (scaling factor) SN Yiyecek kaynağı sayısı SOCO Soft Computing SP Stratejik parametreler SZ Sürü zekası YO Yeniden oluģum olasılığı
1 1. GĠRĠġ Metasezgisel algoritmalar, eniyilenecek bir problem için aday çözümü (candidate solution) yinelemeli bir Ģekilde iyileģtirmeye çalıģan yaklaģım (approximation) algoritmalarıdır. MHA lar her zaman en iyi (optimal) çözümü garanti edemezler ancak kısa bir zaman diliminde en iyi yada en iyiye yakın çözümü bulabilme potansiyeline sahiptirler. Metasezgisel yöntemler, temel sezgisel (heuristic) yöntemleri yöneterek çözüm uzayını etkin bir Ģekilde aramayı hedefleyen yöntemlerdir. Glover (1986) tarafından ilk olarak ortaya atılan metasezgisel (metaheuristic) kavramı, üst seviye keģfetmek veya bulmak anlamlarına gelmektedir. Eniyileme problemlerinde arama sürecine rehberlik eden stratejileri kapsamaktadır. Arama uzayında yer alan yerel en iyilerden kurtulmak için çeģitli mekanizmaları içinde barındırırlar. MHA ların tasarımı, uygun parametrik Ģifrelemenin geliģtirilmesi, uygun arama operatörlerinin belirlenmesi gibi birçok aktiviteyi içermektedir. Ayrıca MHA ların davranıģlarını belirleyen parametre sayısının belirlenmesi de MHA tasarımının bir parçasıdır. Parametreler MHA ların tanımını tamamlarlar ve algoritmanın ideal veya ideale yakın çözümü bulup bulamayacağını belirlerler. Parametre ayarlama (parameter tuning) MHA tasarımı için oldukça önemli bir adımdır ve uzun zamandır üzerinde çalıģılan bir araģtırma alanıdır (Eiben et al., 1999; Eiben and Smith, 2003). Çünkü ideal parametre değerleri, algoritmanın en uygun çözüme etkin bir Ģekilde ulaģmasını sağlamaktadır. Eniyileme algoritmaları, eniyileme problemlerinden bağımsız bir Ģekilde geliģtirilirler. Eniyileme algoritmalarının doğasında varolan bu durum, algoritmaların bazı problemlerde baģarılı sonuçlar üretirken bazı problemlerde baģarısız sonuçlar üretmesine neden olabilmektedir. Bu nedenle algoritmaların çözülecek eniyileme problemine uyarlanabilir olması gerekmektedir. Parametre uyarlama (parameter adaptation), algoritmaların farklı eniyileme problemlerinde benzer performanslar sergilemeleri için önemli bir araģtırma alanıdır. Algoritmalar farklı eniyileme problemlerinde farklı parametre değerlerine ihtiyaç duyarlar. Ayrıca bu parametre değerleri, yerel en iyilerden kaçınmak ve çözüme yaklaģma hızını artırmak için algoritmanın çalıģması esnasında güncellenmelidir. Eiben et al. (1999) parametre kontrol yöntemlerini üç baģlıkta incelemiģtir. Deterministik parametre kontrolü olarak adlandırılan ilk yöntemde parametre değerleri deterministik ve statik bir kural tarafından değiģtirilir. Ġkinci yöntem olan
2 uyarlanabilir parametre kontrolünde ise algoritmanın çalıģması esnasında arama uzayından gelen geri bildirimlere göre parametre değerleri güncellenmektedir. Üçüncü yöntem olan kendinden-uyarlanabilir parametre kontrolünde ise uyarlanacak parametreler aday çözümün bir parçası haline getirilmekte ve parametre değerlerinin güncellenmesi algoritmanın kendisine bırakılmaktadır. MHA ların bir alt kolu olan ve sürü zekasından esinlenerek ortaya çıkarılmıģ algoritmalara sürü zekâsı tabanlı (swarm intelligence based) algoritmalar denmektedir. Sürü zekâsı (SZ), sürü halinde yaģamlarını sürdüren, birbirleri ile etkileģim halinde bulunan ve kendi kendilerine organize olabilen etmenler ile ilgili bir araģtırma alanıdır. Karınca ve arı kolonileri, kuģ ve balık sürüleri SZ na sahip olan baģlıca sürü örnekleridir. Bu sürüler, yaģamları boyunca birlikte hareket etme, beslenme, doğru yola yönlenme, vb. problemleri çözmek durumundadırlar. AraĢtırmacılar, sürülerin problem çözme kabiliyetlerinden ve davranıģlarından esinlenerek sayısal eniyileme problemleri için yeni algoritmalar önermiģlerdir. Örneğin; parçacık sürü eniyilemesi (particle swarm optimization - PSO) kuģ veya balık sürüleri davranıģlarından esinlenerek (Kennedy and Eberhart, 1995), karınca kolonisi eniyilemesi (ant colony optimization - ACO) karınca kolonilerinin beslenme davranıģlarından esinlenerek (Dorigo, 1992), ateģ böceği algoritması (firefly algorithm - FA) ateģ böceklerinin sosyal yaģamlarından esinlenerek (Yang, 2008), guguk kuģu arama algoritması (cuckoo search algorithm - CS) guguk kuģlarının kuluçka dönemindeki davranıģlarından esinlenilerek (Yang and Deb, 2010) öne sürülen SZ-tabanlı algoritmalardır. Bir diğer SZ-tabanlı algoritma olan yapay arı kolonisi (artificial bee colony - ABC) algoritması (Karaboga and Basturk, 2007), bal arılarının yem arama davranıģlarından esinlenilerek ortaya çıkarılmıģtır. ABC algoritması, az sayıda kontrol parametresine sahip olması, basitliği ve kolay geliģtirilebilir olması nedeni ile birçok sayısal eniyileme problemlerinin çözümünde yaygın bir Ģekilde kullanılmaya baģlanmıģtır (Singh, 2009; Kang et al., 2009; Samrat et al., 2010). Ancak, ABC algoritmasının bir takım problemlerde diğer popülasyon tabanlı algoritmalara göre çözüme yaklaģma hızının (convergence speed) yavaģ olduğu ve yerel eniyilere (local optimums) takıldığı görülmektedir. Bu nedenle ABC algoritması iyileģtirilmeye çalıģılmıģ ve yeni ABC versiyonları önerilmiģtir. Improved ABC (IABC) algoritması, orijinal ABC algoritmasının çözüme yaklaģma hızını artırmak için Gao and Liu (2011) tarafından geliģtirilmiģ bir ABC versiyonudur. Yeni bir ilkleme yaklaģımı ve arama mekanizması orijinal ABC
3 algoritmasına eklenmiģtir. Küçük boyutlu problemlerde diğer ABC algoritmaları ile rekabetçi sonuçlar veren IABC, problem boyutu büyüdükçe kötü sonuçlar vermektedir (Liao et al., 2013). FA algoritması, gerçek ateģ böceklerinin biyokimyasal ve sosyal davranıģlarından esinlenilenerek Yang (2008) tarafından geliģtirilmiģtir. AteĢ böceklerinin birbirleri ile etkileģimlerini baz alarak geliģtirilen FA algoritmasının çözüme yaklaģma hızını artırmak ve yerel en iyilerden kaçınmasını sağlamak için farklı versiyonları geliģtirilmiģtir (Fister at al., 2013). Bu tez kapsamında, MHA lar probleme uyarlanabilir duruma getirilerek farklı problemlerde iyi sonuçlar üretmesi hedeflenmiģtir ve bu kapsamda uyarlanabilir ve kendinden-uyarlanabilir parametre kontrolü için iki yeni yöntem önerilmiģtir. Önerilen yöntemlerin baģarılarının tespiti için iki farklı MHA üzerinde gerçekleģtirimi yapılmıģtır. Yaygın bir Ģekilde kullanılıyor olmaları, az sayıda parametre içermeleri, gerçekleģtirimlerinin basit olması, yeni algoritma olmaları ve literatürde yerini almıģ uyarlanabilir versiyonlarının olmaması nedeni ile ABC ve FA algoritmaları üzerinde çalıģılmıģtır. ABC algoritmalarından IABC algoritması, gerçekleģtirimi yapılan gerçek dünya problemlerinde baģarılı sonuçlara ulaģması, yüksek boyutlu problemlerde bu iyi performansı gösterememesi ve yerel en iyilere kolay takılıyor olması nedeni ile ilk üzerinde çalıģılacak algoritma olarak seçilmiģtir. GeliĢtirilen parametre kontrol yöntemleri IABC algoritması üzerinde gerçekleģtirilmiģtir. Elde edilen uyarlanabilir IABC algoritmaları, baģarılarının tespit edilmesi için Soft Computing dergisinde düzenlenen özel sayıda (Editorial scalability of evolutionary algorithms and other metaheuristics for large-scale continuous optimization problems - SOCO) (Lozano et al., 2011) önerilen fonksiyonlar üzerinde çalıģtırılarak deneysel sonuçlar elde edilmiģ ve diğer ABC algoritmaları baģta olmak üzere literatürdeki algoritmalar ile karģılaģtırmaları yapılmıģtır. Ayrıca geliģtirilen yöntemler, tüm MHA lara uygulanabilirliğini sınamak için baģka bir MHA olan ateģböceği algoritması üzerinde gerçekleģtirilmiģ ve aynı problem kümesi üzerinde deneysel sonuçları alınarak karģılaģtırılması yapılmıģtır. Tezin ikinci bölümünde, metasezgisel kavramı, metasezgisel algoritmalar ve metasezgisel algoritmalarda parametre kontrol yöntemleri aktarılmaktadır. Üçüncü bölümde, tez kapsamında metasezgisel algoritmalar için geliģtirilen iki adet parametre kontrol yöntemi anlatılmıģtır. Dördüncü bölümde, yapay arı kolonisi algoritmaları ve gerçekleģtirimi yapılan iki adet gerçek dünya problemine yer
4 verilmektedir. BeĢinci bölümde, tez kapsamında geliģtirilmiģ olan parametre kontrol yöntemlerinin IABC üzerinde gerçekleģtirilmesi anlatılmaktadır. Altıncı bölümde, yine aynı parametre kontrol yöntemlerinin FA algoritmasında uygulanmasına yer verilmektedir. Son bölümde ise, bu tez çalıģmasının sonuçları ortaya konmaktadır ve tartıģılmaktadır.
5 2. METASEZGĠSEL ALGORĠTMALARDA PARAMETRE KONTROLÜ Eniyileme (optimization), belirli alternatifler arasında ihtiyacı en etkin bir Ģekilde karģılayacak alternatifi seçme iģidir (Yang, 2010a). Günlük hayatımızda ve iģ hayatımızda aslında sürekli karģımıza çıkan problemleri eniyilemeye çalıģırız. Örneğin; bir tatil planı yaparken, hangi yoldan ve ne tür bir seyahat Ģekli ile gidileceği, hangi otelde kalınacağı ve kaç gün süreceği gibi sorulara kalite, zaman ve ucuzluk ölçütlerine bakarak karar vermeye çalıģırız. Dolayısı ile tatili gerçekleģtirmek için var olan seçenekler arasında hangi seçenekler sahip olduğumuz kaynaklara ve kısıtlamalara daha uygunsa onları seçerek aslında eniyileme yaparız. Matematikte ve bilgisayar bilimlerinde ise eniyileme, mevcut çözüm alternatifleri arasından belirlenen kısıtlar göz önünde bulundurularak en iyi çözümün bulunması iģidir. Bir eniyileme problemi bir fonksiyon ile formüle edilir ve o problemin amacına göre fonksiyona girdi olarak verilecek en uygun değerler bulunmaya çalıģılır. Bir problemin amacı ise sonucu ya en üst seviyeye (maximize) yada en alt seviyeye (minimize) çekmektir (Yang, 2010a). Eniyileme problemlerini çözmek için eniyileme algoritmaları geliģtirilmiģtir. Bazı eniyileme algoritmaları sabit bir iģleyiģ ile yinelemeli bir Ģekilde en iyi çözümü bulmaya çalıģırlar. Bu algoritmalar deterministik (deterministic) algoritmalar olarak bilinmektedir. Bazı eniyileme algoritmaları ise rastgelelik barındırırlar ve her çalıģtırıldıklarında farklı çözümler elde edilebilir. Bu tür eniyileme algoritmaları ise rassal (stochastic) algoritmalar olarak adlandırılmıģtır. Bu iki yaklaģımın birleģtirildiği melez algoritmalar da bulunmaktadır. Rassal algoritmalar, sezgisel ve metasezgisel yöntemleri kullanan algoritmalardır. Bu algoritmalar parametrik yapıdadırlar ve parametre değerlerinin belirlenmesi önemli bir adımdır. Tez kapsamında metasezgisel algoritmalar üzerinde çalıģılmıģtır. Bu bölümde ilk olarak metasezgisel kavramı tanımlanacaktır. Ġkinci olarak metasezgisel algoritmalardan bahsedilecektir ve son olarak literatürde yer alan metasezgisel algoritmalarda parametre belirleme yöntemleri tanıtılacaktır.
6 2.1 Metasezgisel Kavramı Sezgisel kavramı bulmak veya deneme yanılma yoluyla keģfetmek anlamlarına gelmektedir. Metasezgisel ise üst seviye bulmak veya keģfetmek anlamını taģımaktadır. Metasezgisel yöntemler, sezgisel yöntemleri birleģtirerek ve yöneterek problem çözümüne ulaģmaya çalıģırlar. Literatür incelendiğinde metasezgisel kavramı için birçok tanımlama yapıldığı görülmektedir: Bir metasezgisel, arama uzayını araştırmak yani çözüm çeşitliliği oluşturmak (exploring) ve bulunan bilgiyi işletmek ve ondan faydalanmak (exploiting) için farklı kavramları zeki bir şekilde birleştirerek alt seviye sezgisellere rehberlik eden yinelemeli üretim sürecidir. (Osman and Laporte, 1996). Bir metasezgisel, arama uzayında normalde oluşan yerel en iyilerin ötesinde bir çözüm üretmek için diğer sezgisellere rehberlik eden veya diğer sezgiselleri değiştiren ana stratejilerdir. (Glover and Laguna, 1997). Metasezgisel, iyi ve kaliteli çözümleri etkin bir şekilde elde etmek için alt seviye sezgisellere rehberlik eden yinelemeli üst seviye bir süreçtir. Alt seviye sezgiseller, basit yerel arama algoritması veya çözüm üretici bir yöntem olabilir. (Voss et al., 1999). Metasezgiseller, arama uzayında yüksek kaliteli çözümlere ulaşmak için probleme özgü sezgisellere rehberlik eden yüksek seviye stratejilerdir. Amaç, yerel en iyi çözümlerden kaçınmaktır. (Stützle, 1999). Bir metasezgisel, arama uzayının kaliteli çözümlerini içeren bölümlerinde aramayı yoğunlaştırmak için probleme özgü sezgisellere rehberlik etmek amacıyla tasarlanan genel amaçlı sezgisel yöntemdir. (Dorigo and Stützle, 2004). Literatürdeki tanımlar incelendiğinde bir metasezgiselin, problem çözümünde arama uzayını etkin bir Ģekilde aramak ve yerel en iyilerden kaçınmak için alt seviye sezgiselleri yönetmesi anlamına geldiği görülmektedir.
7 2.2 Metasezgisel Algoritmalar Metasezgisel algoritmalar, eniyileme problemlerini sezgisel yöntemlere rehberlik ederek çözmeye çalıģan yaklaģım algoritmalarıdır. MHA ların doğasında dinamiklik ve rastgelelik vardır. Sezgisellerin etkin bir Ģekilde yönetilmesi hedeflenilerek yerel en iyilerden kaçınmaya çalıģırlar. MHA ların temel özellikleri aģağıda verilmektedir (Blum and Roli, 2003): Metasezgiseller, arama sürecine rehberlik eden stratejilerdir. Amaç, arama uzayını etkin bir Ģekilde tarayarak en uygun veya en uyguna yakın çözümü bulmaktır. MHA larda basit yerel aramadan karmaģık öğrenme süreçlerine kadar çeģitli yöntemler kullanılmaktadır. MHA lar yaklaģım algoritmalarıdır ve rastgelelik barındırırlar. Arama uzayında yerel en iyilere takılmamak için çeģitli mekanizmaları birleģtirirler. Metasezgiseldeki temel kavramlar soyut düzeyde açıklamalara izin verir. Metasezgiseller problemden bağımsızdırlar. Herhangi bir MHA da keģif (diversification or exploration) ve faydalanma (intensification or exploitation) olmak üzere iki ana bileģen bulunmaktadır (Blum and Roli, 2003). KeĢif, farklı çözümlerin üretilmesi yani arama uzayının tamamının araģtırılması iken, faydalanma ise o anki aramada iyi çözümün bulunduğu arama bölgesine odaklanılması ve oradaki bilginin kullanılması anlamına gelmektedir. Metasezgiseller faydalanma ve keģif arasındaki dengeyi oluģturarak en iyi çözüme ulaģmayı hedeflerler. KeĢif sayesinde yerel en iyilerden kaçınılır ve faydalanma sayesinde genel en iyiye ulaģılmaya çalıģılır. Ġnsanlık tarihinde birçok problem çözme süreci sezgiseller ile gerçekleģtirilmiģtir. 1940 lardan 1960 lara birçok alanda problem çözümünde sezgiseller bilimsel olarak kullanılmaya baģlansa da en çok bilinen çalıģmalar
8 evrimsel algoritmalar ile gerçekleģtirilmiģtir. Evrimsel algoritmalar (EA), eniyileme problemlerinin çözümlerinin iyileģtirilmesi için biyolojide yer alan üreme ve doğal seleksiyon prensiplerini kullanan rassal eniyileme yöntemlerini açıklamada kullanılan bir terimdir. Evrimsel hesaplama (evolutionary computation - EC) nın bir alt kümesi olan EA, biyolojik evrimden esinlenerek üretilmiģtir. Biyolojik evrimde yer alan üreme (reproduction), mutasyon, rekombinasyon (recombination) ve seçim (selection) kavramlarından türetilen mekanizmalar kullanılarak en iyi sonuca ulaģılmaya çalıģılır. Evrimsel hesaplama alanında yapılan araģtırmalar 1950 li yıllarda baģlamıģtır (Bremermann, 1962; Friedberg, 1958; Box, 1957). Evrimsel hesaplama alanında yapılan araģtırmaların baģlarında üretilen algoritmik çatılardan üç tanesi günümüzde halen yaygın olarak kullanılmaktadır: Genetik algoritmalar (genetic algorithms - GA) (Holland, 1962; Holland, 1975), evrimsel programlama (evolutionary programming - EP) (Fogel, 1962; Fogel et al., 1966), geliģim stratejileri (evolution strategies - ES) (Rechenberg, 1964; Schwefel, 1975). Üç yaklaģımda da farklılıklar bulunmasına rağmen, benzerlikler daha çok olduğu için birisinde yapılan çalıģmalar diğerlerine de uyarlanabilmektedir. Metasezgisel algoritmaların tarihinde 1980 ler ve 1990 lar oldukça önemli adımlar içermektedir. Metalurjideki tavlanma sürecinden esinlenilerek Kirkpatrick et al. (1983) tarafından geliģtirilen benzetimli tavlama (simulated annealing) eniyileme tekniği atılan büyük adımlardan birisidir. Diğer önemli adım ise Farmer et al. (1986) tarafından geliģtirilen yapay bağıģıklık sistemi (artificial immune system) dir. 1990 larda metasezgisellerde hafıza kullanımı ile Tabu Arama (tabu search), Glover tarafından geliģtirilmiģtir. Bu yöntemde arama hareketleri bir Tabu listesinde tutulmakta ve böylece ileriki arama adımlarında daha önceden ziyaret edilen çözümlerden kaçınılmaya çalıģılmaktadır (Glover and Laguna, 1997). 1992 de Marco Dorigo doktora tezini eniyileme ve doğal algoritmalar üzerinde yapmıģtır ve karıncaların haberleģmesi ve sürü zekalarından esinlenerek geliģtirdiği yeni algoritmanın ismini karınca kolonisi algoritmaları olarak belirlemiģtir (Dorigo, 1992). Diğer bir önemli süreç ise 1995 te Kennedy and Eberhart tarafından geliģtirilen parçacık sürü eniyilemesi olmuģtur. Daha sonra evrimsel algoritmalara yeni bir yaklaģım getirerek üretilen vektör tabanlı evrimsel algoritma olarak bilinen diferansiyel geliģim algoritması (differential evolution algorithms - DE) geliģtirilmiģtir (Storn and Price, 1997). Bu algoritmanın birçok
9 uygulamada geleneksel evrimsel algoritmalardan daha iyi sonuçlar ürettiği görülmüģtür. 2000 li yıllarda daha fazla geliģim gösteren MHA lara yeni algoritmalar eklenmiģtir. 2001 de Geem et al. tarafından harmoni arama (harmony search) geliģtirilmiģtir. Daha sonra bakteri yem arama algoritması (bacteria foraging algorithm) Passino (2002) tarafından geliģtirilmiģtir. 2004 te, internet sağlayıcı merkezlerinin optimizasyonu için Nakrani and Tovey bal arısı algoritmasını (honey bee algorithm) geliģtirmiģtir. Ardından yapay arı kolonisi algoritması geliģtirilmiģtir (Karaboga, 2005). 2008 de ateģ böceklerinin birbirleri ile etkileģiminden esinlenilerek ateģ böceği algoritması (Yang, 2008) geliģtirilmiģtir. 2009 da yerçekimi kanunundan esinlenen yerçekimsel arama algoritması (Rashedi et al., 2009) ve guguk kuģu davranıģlarından esinlenilerek guguk kuģu arama algoritması (cuckoo search algorithm) (Yang and Deb, 2010) geliģtirilmiģtir. Yukarıda adı geçen algoritmaların hepsi parametrik algoritmalardır. Her birinin tasarımında çeģitli parametreler vardır ve aldıkları değerler algoritmanın performansını doğrudan etkilemektedir. MHA larda, çözülmeye çalıģılan bir problem için en iyi sonuca ulaģtıran değerler baģka bir problem için değiģkenlik gösterebilmektedir. Bu yüzden bu bileģenlere strateji parametreleri denilmektedir. Bir MHA da, birden fazla strateji parametresi bulunabilir: Mutasyon operatörü ve mutasyon oranı (Herrera and Lozano, 2000; Swain and Morris, 2002), Parçacık sayısı, boyutu, aralığı (Kennedy and Eberhart, 1995), Çaprazlama operatörü ve çaprazlama oranı (Harik and Goldberg, 2000; Yang, 2002; Smith, 2002; Ho et al., 2004), Seçim mekanizması (Li and Jiang, 2000; Ting et al., 2003; Cho et al., 2003), Populasyon büyüklüğü (Lobo and Lima, 2006; Alba and Dorronsoro 2005; Whitacre et al., 2007), vb. MHA geliģtiricileri, çözmeye çalıģtıkları problem için en uygun parametre değerlerini çoğunlukla deneme yanılma yoluyla bulmaya çalıģırlar. En iyi değerlere
10 ulaģabilmek adına algoritmayı birçok defa çalıģtırıp sonuçları değerlendirmek zorunda kalabilmektedirler. Bu yaklaģım oldukça zaman alıcı ve hata eğilimli bir yaklaģımdır. Bu nedenle algoritma performansına doğrudan etki eden parametrelerin değerlerinin otomatik olarak ayarlanması üzerine çalıģmalar yoğunlaģmıģtır. Stratejik parametreler olarak adlandırılan bu parametrelerin alacağı uygun değerler iyi performansı netice vermektedir. Uygun parametre değerlerinin nasıl bulunacağı önemli bir araģtırma alanıdır (Eiben et al., 1999). 2.3 Metasezgisel Algoritmalarda Parametre Ayarlama Yöntemleri MHA lar problemden bağımsız geliģtirildiği için farklı problemlerde farklı performanslar sergileyebilmektedirler. Bu farklılığın giderilebilmesi için çözülecek eniyileme problemine özgü uygun parametre değerlerinin bulunması gerekmektedir. Uygun parametre değerlerinin bulunması bir MHA nın parametrelerinin ayarlanması (parameter tuning) anlamına gelmektedir. Herhangi bir MHA için sahip olduğu birçok parametrenin ayarlanması gerekebilmektedir. Çünkü parametrelerin alacağı değerler, algoritmaların verimliliğini ve etkinliğini etkilemektedir. Tüm problemler için sabit parametre değerleri önermek mümkün olsa da bazı problemlerde bu durum kötü sonuçlar üretilmesine neden olabilmektedir. Parametrelerin alacağı uygun değerler probleme, algoritmanın üzerinde çalıģtırılacağı problem örneğine ve problem çözümü için harcanılacak zamana bağlıdır. Tüm problemler için evrensel uygun parametre değerleri herhangi bir MHA için mümkün değildir. Literatürde iki farklı parametre ayarlama yöntemi bulunmaktadır: çevrimdıģı ayarlama (offline tuning) ve çevrimiçi ayarlama (online tuning) (Eiben et al., 1999). 2.3.1 ÇevrimdıĢı Ayarlama Parametre değerlerinin belirlenmesi MHA nın çalıģma öncesinde olabileceği gibi çalıģma esnasında da olabilmektedir. ÇevrimdıĢı ayarlamada parametre değerleri çalıģma öncesi belirlenir ve çalıģma süresince bu değerler sabit kalır. ÇevrimdıĢı ayarlama iki Ģekilde yapılabilmektedir. Eskiden beri kullanılmakta olan yöntem deneme-yanılma yolu ile parametre değerlerinin belirlenmesi Ģeklindedir. MHA geliģtiricisinin deneyimlerine ve sezgilerine göre parametrelere değerler verilir ve algoritma o değerler ile çalıģtırılır. Üretilen sonuçlar not edilir ve tekrar farklı parametre değerleri ile algoritma çalıģtırılır.
11 Üretilen sonuçlar daha öncekilerle karģılaģtırılır ve bu Ģekilde yineleyerek uygun parametre değerlerine ulaģılmaya çalıģılır. Ancak çok sayıda parametresi olan MHA lar için bu süreç zaman alıcı, geliģtirici odaklı ve hata eğilimli bir süreçtir. Çünkü genelde MHA geliģtiricisi tek parametre için en uygun değeri bulduktan sonra diğer parametreye geçer ve aynı iģlemi tekrarlar. Ancak bu durumda parametreler arasındaki iliģki gözardı edilmektedir. Bu nedenle bu yöntemle en uygun parametre değerlerinin bulunması garanti değildir. Parametreler arasındaki iliģkinin göz önünde bulundurulması ise deneme-yanılma yöntemi ile pek mümkün değildir. Çünkü tüm parametrelerin alabileceği değerler ile tüm kombinasyonların oluģturulması ve herbir kombinasyon ile algoritmanın çalıģtırılması ve her çalıģma sonucunun birbiri ile karģılaģtırılması gerekmektedir. ÇevrimdıĢı ayarlamada ikinci yöntem ise parametre değerlerinin bulunması iģini bir eniyileme problemine dönüģtürerek baģka bir MHA ile çözmektir. Örneğin; ABC algoritmasına ait parametrelerin alacağı değerler bir eniyileme problemi Ģeklinde formüle edilir. Bu problem bir baģka MHA olan FA algoritması ile çözülmeye çalıģılır. Ancak bu durumda FA algoritmasının baģarısı önemli hale gelmektedir. Literatürde bu sürecin otomatikleģtirilmesi ile ilgili çeģitli çalıģmalar bulunmaktadır: CALIBRA (Adenso-Diaz and Laguna, 2006), REVAL (Nannen and Eiben, 2007), SPO (Bartz-Beiselten, 2006) ve SPO+ (Hutter et al., 2009a) gibi çalıģmalarda çevrimdıģı olarak sadece sayısal parametrelerin değerlerinin belirlenmesi hedeflenilmiģtir. F-Race ve yinelemeli F-Race (Birattari et al., 2010), ParamILS (Hutter et al., 2009b), genetik programlama (Oltean, 2005; Fukunaga, 2008) ve cinsiyet tabanlı genetik programlama (Ansotegui et al., 2009) gibi çalıģmalarda ise sayısal parametrelerin yanında kategorik parametrelerin de otomatik olarak çevrimdıģı belirlenmesi hedeflenilmiģtir. Eiben et al. nın (1999) yaptıkları bir çalıģmada MHA ların bir örneği olan EA lar için parametre ayarlama yöntemleri iki farklı ana alana ayrılmıģtır (ġekil 2.1). Parametre ayarlamada algoritma çalıģtırılmadan önce iyi parametre değerleri bulunur ve algoritma bulunan bu değerlerle çalıģtırılır. Algoritmanın çalıģma süresince bu değerler sabit kalmaktadır. Parametrelerin algoritmanın çalıģma süresince sabit kalması evrimsel algoritmaların doğasına aykırıdır. Bu sebeple bu yönteme alternatif olarak parametre kontrol (parameter control) yöntemleri üzerinde çalıģılmıģtır. Parametre kontrol yönteminde parametrelere ilk değerler verilir ve algoritma çalıģmaya baģlar. ÇalıĢma süresince, arama uzayından gelen geri-bildirimlerle parametre değeri güncellenerek en uygun çözüme ulaģılmaya çalıģılır.
12 EA da Parametre Belirleme (Parameter Setting in EAs) ÇalıĢma Öncesi ÇalıĢma Esnasında Parametre Ayarlama (Parameter Tuning) Parametre Kontrol (Parameter Control) ġekil 2.1. Evrimsel algoritmalarda parametre belirleme yöntemleri 2.3.2 Çevrimiçi Ayarlama ÇevrimdıĢı ayarlamanın yüksek hesaplama maliyetine sahip olması, herbir problem örneği için parametre değerlerinin yeniden belirlenmesi gerekliliği, algoritmanın problem çözme süresince sabit parametre değerleri ile çalıģıyor olması gibi eksiklikleri bulunmaktadır. Algoritmanın çalıģma zamanında sabit parametre değerleri ile çalıģması yerel en iyilere takılmalara sebep olabilmektedir. Bu nedenle parametre değerlerinin çalıģma esnasında güncellendiği yöntemleri içeren çevrimiçi ayarlama öne sürülmüģtür. MHA lar doğası gereği dinamik yapıdadırlar. Dinamik yapıda olan bir algoritmayı değeri değiģmeyen yani statik parametre değerleri ile çalıģtırmak MHA ların doğasına zıttır. Buna ek olarak, literatürdeki birçok çalıģma hem deneysel olarak hem de teorik olarak göstermiģtir ki evrimsel algoritmalar farklı aģamalarında farklı parametre değerleri ile daha iyi sonuç üretmektedirler (Back, 1992; Hesser and Manner, 1991; Jain and Fogel, 2000). Bu nedenle parametre ayarlama için parametre kontrol yöntemleri kullanılmıģtır. Bu yöntemler Eiben et al. (1999) tarafından üç sınıfa ayrılmıģtır: Deterministik parametre kontrolü (deterministic parameter control): Bu yöntemde parametre değerleri deterministik ve statik bir kural tarafından değiģtirilir. Bu kural önceden tanımlanmıģ, sabit ve algoritmanın arama sürecinden bağımsızdır. Algoritma geliģtiricisi tarafından belirlenen bu kural genellikle zamana bağlı olarak parametre değerlerini güncellemektedir.
13 Uyarlanabilir parametre kontrolü (adaptive parameter control): Algoritmanın çalıģma esnasındaki davranıģına göre yani arama sürecinden gelen geri-bildirimlere göre stratejik parametre değerleri güncellenir. Kendinden-uyarlanabilir parametre kontrolü (self-adaptive parameter control): Bu yöntemde uyarlanacak parametreler çözüm adaylarının bir parçası haline getirilir ve böylece onlar da çaprazlamaya uğrarlar. Uygun parametre değerleri iyi bireylerin oluģmasına, iyi bireyler seçilerek iyi ebeveynlerin oluģmasına, iyi ebeveynler de iyi yavruların oluģmasına neden olarak uygun parametre değerlerinin sonraki nesle aktarılmasını sağlar. Uyarlanabilir parametre kontrolünden farklıdır. Burada parametreler evrimsel süreç içerisinde evrimsel geliģime dahil olmakta ve değerleri iyileģtirilmeye çalıģılmaktadır. Bu tez kapsamında, MHA lar üzerinde çevrimiçi ayarlama ile uyarlanabilir ve kendinden-uyarlanabilir parametre kontrolü için iki yaklaģım önerilmiģtir. Uyarlanabilir parametre kontrolü için algoritmanın baģarılı olmuģ yinelemelerinde kullanılan parametre değerlerinin iyileģtirilerek tekrar kullanılması gerçekleģtirilmiģtir. Kendinden-uyarlanabilir parametre kontrolünde ise parametre değerlerinin yönetimi algoritmanın kendisine bırakılmıģtır. Bir sonraki bölümde, geliģtirilen parametre kontrol yöntemleri tanıtılacaktır.
14 3. GELĠġTĠRĠLEN PARAMETRE KONTROL YÖNTEMLERĠ MHA larda parametre değerlerinin belirlenmesi ve bu değerlerin probleme özgü olacak Ģekilde çalıģma zamanında güncellenmesi MHA ların çözüme yaklaģma hızını ve yerel en iyilerden kaçınma kabiliyetini doğrudan etkilemektedir. MHA geliģtiricisinin deneyimleri neticesinde elde edilen parametre değerleri baģlangıç için uygun olsa bile çalıģma süresince sabit kaldığı için farklı problemlerde algoritma performansını olumsuz etkileyebilmektedir. Ġkinci bir yaklaģım ise farklı parametre değerlerinin tamamının algoritma üzerinde çalıģtırılarak denenmesi ile en iyi sonuca ulaģmaya çalıģmaktır. Ancak olası parametre sayısı ve bu parametrelerin alacağı değerler kümesi düģünüldüğünde algoritmayı tekrar tekrar çalıģtırmak oldukça zaman alıcı olacaktır. Örneğin; 5 parametresi olan ve her bir parametresi 5 farklı değer alabilen bir algoritma için uygun değerleri bulmak üzere 100 kez çalıģtırdığımızda oldukça zaman alan bir süreç gerçekleģecektir. Çünkü 5 parametre 5 farklı değer alıyorsa 5 5 = 3125 farklı parametre seti oluģacaktır. Her bir set 100 kez tekrarlandığında 312500 kez algoritmayı çalıģtırmak ve her çalıģtırma sonucunda oluģan değerleri karģılaģtırmak gerekecektir. Bu yaklaģım oldukça zaman alıcı ve hata eğilimli olduğu için yeni yaklaģımlar geliģtirilmiģtir. MHA ların probleme özgü parametre değerlerini belirlediği ve güncellediği yaklaģımlar çözüme yaklaģım hızını artırmakta ve yerel en iyilerden kaçınmayı sağlamaktadır. Algoritmanın probleme özgü uyarlanabilir olması nedeni ile baģarı farklı problemlerde de korunmaktadır. Bu nedenle tez kapsamında, parametrelerin çevrimiçi yani çalıģma zamanında güncellendiği iki farklı yaklaģım geliģtirilmiģtir. Bir sonraki bölümde MHA lar için yapılmıģ parametre uyarlama ile ilgili önceki çalıģmalar verilecektir. Bölüm 3.2 ve 3.3 te ise geliģtirilen yöntemler anlatılacaktır. 3.1 Benzer ÇalıĢmalar Literatürde MHA lar için yapılmıģ bir çok parametre uyarlama (parameter adaptation) çalıģması yer almaktadır. MHA ların bir örneği olan evrimsel algoritmalar için yapılan çalıģmalar incelendiğinde, çoğu eniyileme algoritmalarında olduğu gibi EA tasarımında kullanılan parametreler, genelde iki kategoriye ayrılmaktadır. Birinci kategori; seçim parametreleridir. Yapılan literatür taramasına göre seçim ile ilgili uyarlama çalıģmaları incelendiğinde, popülasyon büyüklüğü uyarlaması (Lobo and Lima, 2006), popülasyon yapısı uyarlaması (Alba
15 and Dorronsoro 2005; Whitacre et al., 2007), seçim baskısı uyarlaması (Li and Jiang, 2000; Ting et al., 2003; Cho et al., 2003) üzerine çalıģmalar yapıldığı görülmektedir. Ġkinci kategori ise arama operatörleridir. Literatürde arama operatörleri üzerine yapılan çalıģmalar incelendiğinde, çaprazlama operatörü uyarlaması (Harik and Goldberg, 2000; Yang, 2002; Smith, 2002; Ho et al., 2004), mutasyon operatörü uyarlaması (Herrera and Lozano, 2000; Swain and Morris, 2002) üzerine ve farklı arama operatörlerinin kullanılma olasılığı ile ilgili uyarlama çalıģmaları (Davis, 1991; Pham, 1994; Bedau and Packard, 2003; Igel et al., 2005; Espinoza et al., 2005; Whitacre et al., 2006a; Whitacre et al., 2006b) yapıldığı görülmektedir. Evrimsel algoritmaların uyarlanması ile ilgili literatür araģtırmaları bir çok çalıģma içerisinde yer almaktadır (Smith and Fogarty, 1997; Eiben et al., 1999; Herrera and Lozano, 2003; Lobo et al., 2007). Evrimsel algoritmalardan birisi olan diferansiyel geliģim algoritmalarında diğer MHA larda olduğu gibi parametre değerlerinin algoritma performansında doğrudan etkisi bulunmaktadır. Bu nedenle yapılan çalıģmaların çoğu en uygun parametre değerlerinin bulunmasına yoğunlaģmıģtır. Storn and Price (1995), popülasyon büyüklüğünün, çözülmesi düģünülen problem boyutunun 5-20 katı olmasını ve ölçekleme faktörü için 0.5 değerinin iyi bir baģlangıç değeri olacağını önermiģlerdir. Gamperle et al. (2002) bir çok farklı parametre değerleri ile değerlendirme yapmıģ ve mantıklı bir konfigürasyon olarak popülasyon büyüklüğünü 3 ve 8 boyut olacak Ģekilde, ölçekleme faktörünü 0.6 ve çaprazlama oranını [0.3-0.9] aralığında uygulamıģlardır. Ronkkonen et al. (2005) ölçekleme faktörünün 0.9 olarak alınmasını ve çaprazlama oranını, ayrılabilir fonksiyonlarda (0, 0.2), fonksiyon parametreleri birbiri ile bağımlı ise yani fonksiyon ayrılabilir değilse (0.9, 1) olarak alınmasını önermiģlerdir. Qin et al. (2009) ise kendinden uyarlanabilir diferansiyel geliģim (self adaptive differential evolution - SaDE) algoritması önermiģlerdir. Bu yaklaģımda çaprazlama oranı, ölçekleme faktörü ve öğrenme stratejisi gibi parametrelerin değerlerinin baģtan belirlenmesine gerek kalmamaktadır. Evrim sürecinde, parametreler ve öğrenme stratejisi öğrenme deneyimlerine göre uyarlanmaktadır. Abbass (2002) çok amaçlı eniyileme problemleri için, ölçekleme faktörünün Gaussian dağılımına N(0,1) göre belirlendiği kendinden uyarlanabilir bir yaklaģım önermiģtir. Diferansiyel geliģim algoritmalarının uyarlanması ile ilgili literatür araģtırması Das and Suganthan (2011) ın yaptığı çalıģmada ayrıntılı olarak yer almaktadır. Karınca kolonisi algoritmaları için de parametre uyarlamasını içeren birçok çalıģma yapılmıģtır. Li and Li (2007), ACO da yer alan α ve β parametreleri için
16 bir uyarlama yaklaģımı gerçekleģtirmiģlerdir. Aramanın ilk aģamalarında α parametresinin değeri keģfi artırmak için küçük bir değer olarak belirlenirken, daha sonra algoritmanın yerel arama kabiliyetini artırmak için bu değerin artması sağlanmaktadır. Diğer parametre için tam tersini gerçekleģtirmiģlerdir. Burada kullanılan yaklaģım zamana bağlı olarak parametre değerlerinin güncellenmesidir. Hao et al. (2007) ve Cai et al. (2009) farklı ACO çeģitleri önermiģlerdir. Bulunan çözümlerin kalitelerini artırmak için p parametresini farklı değerler ile çalıģtırmıģlar ve en iyi parametre değerine ulaģmaya çalıģmıģlardır. ACO için ilk kendinden uyarlanabilir parametre adaptasyonu Randall (2004) tarafından gerçekleģtirilmiģtir. Bu yaklaģımda her bir karınca kendi parametre ayarlamalarını uyarlamakta ve her yinelemede çözüm oluģturmadan önce belirledikleri parametre değerlerini seçmektedirler. Martens et al. (2007) AntMiner+ ı geliģtirmiģlerdir. α ve β parametrelerinin değerleri (1, 3) aralığında seçilmektedir. Bir önceki yaklaģımdan farklı olarak burada parametreler birbirinden bağımsız olarak ele alınmıģtır. ACO larda parametre uyarlaması ile ilgili literatür araģtırması Stützle et al. (2010) ın yaptıkları çalıģmada ayrıntılı olarak yer almaktadır. Tez kapsamında önerilen uyarlanabilir parametre kontrol yöntemine benzer bir Ģekilde baģarılı parametre değerlerinin saklanıldığı ve sonraki yinelemerde bu değerlerin kullanıldığı yaklaģım DE ve ABC algoritması üzerinde gerçekleģtirilmiģtir (Pan et al., 2011a; Pan et al., 2011b). DE için yapılan çalıģmada (Pan et al., 2011a); mutasyon ölçekleme faktörünü belirleyen F parametresi ve çaprazlama oranını belirleyen CR parametresinin baģarılı değerleri çalıģma esnasında baģarılı listelere aktarılmakta ve ilerleyen yinelemelerde belirli bir oranda bu değerler kullanılmaktadır. Bu oran çalıģma esnasında sabit kalmaktadır. ABC için yapılan çalıģmada (Pan et al., 2011b) ise, iģçi ve gözlemci arı aģamalarında komģu aday çözümlerin üretilmesinde kullanılan yöntem baģarılı olursa yani çaprazlama neticesinde eski çözüm yerine yeni çözüm eklenirse bu yöntem baģarılı listeye aktarılmaktadır. Ġlerleyen yinelemelerde baģarılı listedeki yöntemler tekrar kullanılarak algoritmanın baģarılı deneyimlerinden yararlanması sağlanmıģtır. Bu çalıģmalardan farklı olarak, tez kapsamında önerilen uyarlanabilir parametre kontrol yönteminde algoritmanın duraksaması sonrasında parametrelerin değer aralıkları uyarlanabilir bir Ģekilde güncellenmektedir. Ayrıca algoritmanın, ilerleyen yinelemelerde baģarılı değerlerin kullanım oranı artırılması sağlanmıģtır. Mezura-Montes and Palomeque-Ortiz (2009) tarafından DE üzerinde gerçekleģtirilen bir çalıģmada, tez kapsamında önerilen kendinden-uyarlanabilir parametre kontrol yöntemine benzer bir yaklaģım kullanılmıģtır. F ve CR