Yönetm, Yıl: 9, Sayı: 9, Şubat 8 KÜMELEME ĠÇĠ BĠR BEZETĠLMĠġ TAVLAMA ALGORĠTMASI YAKLAġIMI Dr. Tunçhan CURA İtanbul Ünverte İşletme Faülte Sayıal Yöntemler Anablm Dalı Lteratürde ümeleme çn önerlmģ br ço ayıda algortm yalaģım vardır ve öneml br ımı da ezgel yalaģımlardır. Bu çalıģmada br ezgel yalaģım türü olan benzetlmģ tavlama yöntemyle br ümeleme algortmaı önerlmģtr. Önerlen algortma Gauan Olaılı Dağılımına göre teadüf oluģturulan yapay problemlerde denenmģtr. KarĢılaĢtırma yapablme çn ılıla ullanılan SPSS. yazılımının K-Mean Cluter, Herarchcal Cluter, Twotep Cluter araçlarından ve Lngo8 den yararlanılmıģtır. Sonuçlar önerlen yöntemn ağlılı olduğunu ortaya oymuģtur. Key ord: Cluterng, mulated annealng, heurtc. A SIMULATED AEALIG ALGORITHM APPROACH TO CLUSTERIG A the relevant lterature urveyed, plenty of algorthmc approache appear and many of thoe are heurtc technque. The cluterng algorthm that ha been propoed n th tudy baed on mulated annealng method whch a type of heurtc algorthm. Th algorthm ha been teted n artfcal problem whch have been randomly generated wth repect to the Gauan Probablty Dtrbuton. The K-Mean Cluter, Herarchcal Cluter, and Twotep Cluter, whch are the frequently ued tool of SPSS. oftware, and the Lngo8 oftware have been exploted for comparon. The reult have hown that the propoed technque robut. Anahtar Sözcüler: Kümeleme, benzetlmģ tavlama, ezgel.
GĠRĠġ Kümeleme, br ver ümende herbr vernn özelllerne bağlı olara daha haa te br alt üme çernde toplanmaıdır. Sözonuu ver üme, özelller olan neneler üme olara teml edleblr. Buna göre herhang br nenenn dğer br j neneyle olan zıtlığı d j le teml edln. Her br alt üme çernde d j değerler en üçü olan neneler yeralmalıdır (baınız Bryon ve Inn, 7,. Görüldüğü gb ümeleme, en uyumlu nenelern brarada bulunduğu alt ümelern tept edlmene yönel br optmzayon problem olmatadır. Kümelemeye yönel çeģtl çalıģmalar vardır. Bunların baģında McQueen n (967 önermģ olduğu ve ılıla ullanılan K-mean algortmaı gelmetedr. Bu yalaģımla her br ümede yeralan nenelern özell ortalamaları gözönünde bulundurulara üme çernde yeralan her br nenenn ortalamadan uzalığı date alınmıģtır. BaĢa br yalaģım Johnon un (967 önerdğ hyerarģ ümeleme Ģemalarıdır. Bu yalaģımda her nene end ümene yerleģtrlr ve çlernde brbrne en yaın üme brleģtrlr. Böylece üme ayıı br azaltılır. Itenen üme ayıına ulaģılana adar Ģlem devam ettrlr. Buna benzer br baģa hyerarģ yalaģım ard (99 tarafından öne ürülmüģtür. Kümeleme çn bunların dıģında ılıla baģvurulan çeģtl ezgel yalaģımlar da vardır. Örneğn Sheloar ve dğerler ( tarafından önerlmģ olan arınca olonler optmzayonu yalaģımı, Lu ve dğerlernn ( önerdler genet algortmalar yalaģımı le Güngör ve Ünler n (7 önermģ olduları tabu arama yalaģımı verleblece örnelern baģında yeralmatadır. Bu çalıģmada ümeleme çn herbr nenenn bulunduğu ümenn merezne olan uzalılarının toplamının en üçü olduğu çözümü araģtıran br benzetlmģ tavlama algortmaı önerlmģtr. Sonuçlar SPSS. yazılımının twotep cluter, K-mean cluter, herarchcal cluter araçlarının ve Lngo8 n bulduğu çözümlerle arģılaģtırılmıģtır. KarĢılaĢtırılmaların yapılmaı çn ullanılan problemler Gau olaılı dağılımına göre teadüfî olara oluģturulmuģtur.. KÜMELEME PROBLEMĠ herhang br nenenn ( =,..., ümenn merezne uzalığı d le teml edlr ve aģağıda gb heaplanır: d l n x l m l =,...,, =,..., K ( Görüldüğü gb ( de nenelern üme merezlerne olan uzalıları heaplanmatadır. Anca üme mereznn naıl heaplandığı bu notada daha öneml br orun olmatadır. Br ümenn merez, çnde yeralan nenelern özelllernn ortalamaıdır. Buna göre nenenn ümenn çnde olup olmadığını teml eden br br-ıfır değģen ullanılablr. Böylece = e nene ümende yeralacatır, = e yeralmayacatır. Br ümenn merez aģağıda gb heaplanır: m l x l ( Buna göre, ümeleme problemnn bu çalıģmada ullanılan matemat model ( ve ( nn yardımıyla aģağıda gb olur: mn. t K K m l n l ( x,, (,, x,...,, l l,..., K,, m l,...,,,..., K, l,..., K.,..., n, Daha önce de değnldğ gb bu çalıģmada herbr alt üme çernde yer alan nenelern, çnde bulunduları ümenn merezne olan öld uzalıları temel alınmıģtır. Buna göre nene ayıı, nenelern özell ayıı, nenenn özelllernn değerler, üme ayıı ve herbr ümenn merez ıraıyla, n, x l (l =,..., n, K ve m l ( =,..., K le teml edlre,. BEZETĠLMĠġ TAVLAMA ALGORĠT- MASI BenzetlmĢ Tavlama (BT algortmaı Metropol ve dğerlernn (98 çalıģmaını temel alan Krpatrc ve dğerler (98 tarafından ortaya atılmıģtır. BT eģ algortmalarının br türüdür (Baınız
Aart E. ve Lentra J. K.,, 9-9. Adından da anlaģılacağı gb BT, br maddenn ııtılıp yavaģça oğumaya bıraılmaı durumunda çevreyle termal eģtlğe ulaģana adar yavaģça oğumaı ürecn talt eder. Sözonuu üreçte ıı evyenn yüe olduğu durumlarda maddenn enerj azam düzeydedr ve parçacıları teadüf olara dağılmatadır. Anca ıı evye termal eģtl notaına ulaģtığında e maddenn enerj agar düzeyde olur ve parçacılar uvvetl yapıal br bütünlüğe ulaģmıģ olurlar. Fzel tavlama ürec br optmzayon problem çözümünün aranmaı ürecne benzetleblr. Buna göre yüe ıı evyene arģılı gelen br teadüf baģlangıç çözümünün enerj amaç fonyonunun değerne arģılı gelmetedr. Böylece çözüm aranıren, t ıı evyende çözümünden j omģu çözümüne geçme olaılığı aģağıda gb heaplanır: P { j' y abul et} t mn e f ( f ( j t, 6 6 ġel. Herhang br çözümü teml eden matr Her atır br vetör olduğundan ümeler bu çalıģmada vetör olara teml edlmģlerdr. ġel de ümenn ve 6 nenenn olduğu örne br çözüm matr göterlmetedr. Buna göre vetörü ncelendğnde brnc ümeye nc, nc ve nc nenelern yerleģtrlmģ olduğu görülmetedr.. EERJĠ FOKSĠYOU ( Görüldüğü gb BT algortmaına göre yüe ıı evyel durumlarda daha uzata omģu çözümlern abul edlme olaılığı daha yüe olmata, böylece bu ıçrama hareetler ayende loal en üçü notaya taılma orunu engelleneblmetedr.. KÜMELEME çn BT TASARIMI BT algortmarının en öneml unurlarından br yuarıda da ıaca grģ yapılmıģ olan omģuların araģtırılmaıdır. Adından da açıça görüldüğü gb en üçü enerjl durum araģtırılıren, terarla br pozyonun omģuları araģtırılır ve ( te fonyona göre bulunan omģu çözüm abul edlr veya edlmez. Böylece öz onuu yen çözüm en düģü enerjnn aranmaında yen oda notaı olmatadır. Bu çalıģmada K adet ümeye adet nene baģlangıçta teadüf olara dağıtılmatadır. Bu uygulama BT algortmalarının en temel baģlangıç çözümü belrleme bçmdr. Söz onuu durum en yüe ıı evyenn olduğu durumdur. Bu l çözüm yuarıda gb çözümü olara ntelenece olura, j omģu çözümü de teadüf olara ümenn eçlme ve bu üme çernde teadüf pozyonda elemanların yerdeğģtrlme le belrlenr. Matematel olara daha rahat zah edeblme çn çözüm matryle teml edlmetedr. Sözonuu matrn boyutu K x dr. BaĢa br fadeyle atırlarda ümeler olonlarda da neneler bulunmatadır. Anca herhang br olonda ıfır değer bulunablr, bunun anlamı lgl pozyonda herhang br nene bulunmamata olduğudur. Buna göre matrnn her atırının br ümey teml ettğ açıça görülmetedr. g( : çözüm matrnn ıncı atırı begn o l =, l =,..., n onuç = for l = to n eleman_ayıı = for = to f > then o l = o l + x l eleman_ayıı = eleman_ayıı + f eleman_ayıı = then onuç = // Her br ümede en az br nene bulunmalı Algortmayı onlandır o l = o l / eleman_ayıı for l = to n for = to f > then onuç = onuç + (o l - x l return onuç End ġel. vetörünün enerj fonyonu. Bu çalıģmada önerlen BT algortmaı çözüm matr yalaģımında her br atır (vetör br ümey
teml etmetedr. Buna göre herhang br vetörün enerj fonyonu od talağı Ģel de verlen g( fonyonuyla teml edlece olura, mevcut çözümün toplam enerj ( de gb heaplanır. K f ( g( (. ĠYĠLEġTĠRME OPERATÖRÜ Blndğ gb BT algortmaı omģu çözümler teadüf olara belrlemetedr. Alında, ezgel yalaģımların hemen hepnn mantığı ımen de ola teadüflüğe dayanmatadır. Bazı durumlarda mevcut çözüm en y çözüme ço yaın olmaına rağmen omģu çözümün teadüfen oluģturulmaı abebyle en yye ulaģmaı ço güç olablr. Örneğn üç ümenn ve nenenn olduğu br durum düģünüleblr. Böyle br durumda öyle br çözüme ulaģılmıģ olun yalnız numaralı nene. ümeden alınıp. ümeye onula en y çözüme ulaģılaca olun. ĠĢte böyle br omģunun eçleblme olaılığı ço düģütür. Bu durumda Ģel te od talağı verlmģ olan yleģtrme operatörü bu amaç çn ullanılablr. Görüldüğü gb bu operatör ç çe grmģ döngüler yardımıyla l olara mevcut çözüm matrnn hücrelernde değerler yer değģtrmetedr. Böylece örnete numaralı nene. ümeden alınıp. ümeye enlle yerleģtrlecetr. 6. KÜMELEME çn BT ALGORĠTMASI Buraya adar anlatılanlar braraya getrldğ tatrde Ģel te göterlen Kümeleme BT Algortmaı t = teadüf olara baģlangıç matrn oluģtur F = f( F eny = F eny = f = g(, =,..., K whle t > 6 do for nrep = to = round(random(, (K - + do * = round(random(, (K-+ untll * = round(random(, ( - + do * = round(random(, ( - + untll * * le * * ı yerdeğģtr = f + f * g( g( * 6 g = g( =,..., K. for = to K for * = + to K for = to for * = to then f * * then le * ı yerdeğģtr * f g g g g( le * * ele g = g( g K F g( t f random(, < mn( e, then ġel. Kümeleme BT Algortmaı * * g( * ı yerdeğģtr ( * ġel. çözüm matr çn yleģtrme operatörü elde edlr. Görüldüğü gb algortmada bazı abt değerler ullanılmıģtır. Bu değerlern hep ampr olara belrlenmģtr. Örneğn yleştrme operatörü nün çağırılma olaılığı., baģlangıç ıı evye, on ıı evye 6 dan büyü ve oğuma programı t d = t d-.9 (d: döngü numaraı olara belrlenmģtr. f = g( f * g( * F = F - Ele le * * ı yerdeğģtr f random(, <. then matr çn yleģtrme operatörünü çağır f F < F eny then eny = F eny = F ele f random(, <. then F = F eny = eny t = t.9 End whle
7. KARġILAġTIRMALI PROBLEMLER Bu ıımda bazı ümeleme problemler önerlen BT algortmaını tet etme çn ullanılmatadır. Bunun çn dört farlı ümeleme problem Gauan dağılımına göre teadüfî olara oluģturulmuģtur. Tüm problemlerde onuç graflernn rahat göterleblme çn n = alınmıģtır. Problemler Pentum M. GHz Ģel blgayarda denenmģtr. Problem Ġl problem brnc ıımda verlmģ olan matematel optmzayon modelnn br yazılımla (Lngo8 ncelenme amacıyla oluģturulmuģtur. Model on derece bat görünmetedr. Anca üme ortalamalarının dnam oluģu ve optmze edlece değģenlere bağlı olara değģme uygun (feable br çözümün dah bulunablmen ço güçleģtrmetedr. Buna göre ço bat br problem olara = 6 ve K = olduğu durum ncelenmģtr. Problem ortalamaların μ = {, }, μ = {, } ve μ = {.,.} tandart apmaların e σ = {., }, σ = {,.} ve σ = {, } olduğu Gauan dağılımından teadüf olara örnelern eçlmeyle oluģturulmuģtur. Böylece Lngo8 model Ģel te gbdr. ġel 6 da Lngo8 n bulduğu onuç, Ģel 7 de e BT algortmaının bulduğu onuç göterlmetedr. Görüldüğü gb Lngo8 anca uygun br çözüm bulablmģtr. Amaç fonyon değer D le teml edlece olura D Lngo8 =.79 en D BT =.8 dr. MODEL: et: K/../; /..6/; p/../; xp(, p: x; Kx(K, : ; Kxp(K, p: m; endet data: x =.889,.966767,...; enddata mn = @um(k(: @um((: @um(p(l: (, * (x(, l - m(, l * (x(, l - m(, l; @for((: @um(k(: (, = ; @for(k(: @um((: (, >= ; @for(kx: @bn(; @for(k(: @for(p(l: m(, l = @um((: (, * x(, l / @um((: (, ; ED ġel. Kümeleme çn Lngo8 model Lngo..... - -. -..... - üme üme üme ġel 6. Lngo8 n bulduğu onuç. 7
BT Algortma..... - -. -..... - üme üme üme ġel 7. BT algortmaının bulduğu onuç Problem Ġnc problemde = ve K = tür. Problem ortalamaların μ = {, }, μ = {, } ve μ = {.,.} tandart apmaların e σ = {., }, σ = {,.} ve σ = {, } olduğu Gauan dağılımından teadüf olara örnelern eçlmeyle oluģturulmuģtur. BT algortmaı 9. anyede onucu bulmuģtur. Dğer tenler le arģılaģtırmalı onuçlar tablo de verlmģtr. En y çözüm olan SPSS. K-Mean tenğ le BT nın onuç grafler ıraıyla Ģel 8 ve Ģel 9 da göterlmģtr. Tablo. Problem nn tüm tenlere göre amaç fonyonu değerler Kullanılan Ten BT Algortmaı 8.6 SPSS K-Mean 9.7 SPSS Herarchcal 7.9 SPSS Twotep 8.97 D - - - - SPSS K-Mean - - - - - 6 ġel 8. SPSS. K-Mean onucu. Küme Küme Küme 8
- - - - BT Algortma - - - - - 6 ġel 9. BT algortmaının bulduğu onuç Küme Küme Küme Problem Üçüncü problemde = ve K = 6 dır. Problem ortalamaların μ = {, }, μ = {, }, μ = {.,.}, μ = {.,.}, μ = {.,.8} ve μ 6 = {.,.} tandart apmaların e σ = {., }, σ = {,.}, σ = {, }, σ = {., }, σ = {,.} ve σ 6 = {.,.} olduğu Gauan dağılımından teadüf olara örnelern eçlmeyle oluģturulmuģtur. BT algortmaı 6. anyede onucu bulmuģtur. Dğer tenler le arģılaģtırmalı onuçlar tablo de verlmģtr. En y çözüm olan SPSS. Herarchcal tenğ le BT nın onuç grafler ıraıyla Ģel ve Ģel de göterlmģtr. Tablo. Problem ün tüm tenlere göre amaç fonyonu değerler Kullanılan Ten BT Algortmaı 88.799 SPSS K-Mean.996 SPSS Herarchcal 87.999 SPSS Twotep 7.8 D SPSS Herarchcal - - - - 6 Küme Küme Küme Küme Küme Küme 6 - ġel. SPSS. Herarchcal onucu 9
BT Algortma - - - - 6 Küme Küme Küme Küme Küme Küme 6 - ġel. BT algortmaının bulduğu onuç Problem Dördüncü problemde = olma aydıyla dğer parametereler üçüncü problem çn ullanılanla aynı olara alınmıģtır. BT algortmaı.78 anyede onucu bulmuģtur. Dğer tenler le arģılaģtırmalı onuçlar tablo te verlmģtr. En y çözüm olan SPSS. K-Mean tenğ le BT nın onuç grafler ıraıyla Ģel ve Ģel te göterlmģtr. SPSS K-mean 6 - - - 6 8 - - Küme Küme Küme Küme Küme Küme 6 ġel. SPSS. K-Mean onucu Tablo. Problem ün tüm tenlere göre amaç fonyonu değerler Kullanılan Ten D BT Algortmaı 67.9 SPSS K-Mean 69.986 SPSS 876.89 Herarchcal SPSS Twotep 996.8
BT Algortma 6 - - - 6 8 - - Küme Küme Küme Küme Küme Küme 6 ġel. BT algortmaının bulduğu onuç SOUÇ Bu çalıģmada önerlen yöntem, en ı ullanılan yüntemlerden bazıları le ıyalanmıģtır. Sonuçlar ncelendğnde br problem harç hepnde önerlen BT algortmaı daha baģarılı olmuģtur. Söz onuu problemde e en y çözüme olduça yaın br çözüm elde edlmģtr. ÇalıĢma üreler ncelendğnde algortmanın problem boyutuna bağlı olara maul ürelerde çözümü bulduğu öyleneblmetedr. Böylece onuç olara BT yalaģımının ümeleme çn baģarıyla ullanılableceğ görülmetedr. KAYAKÇA Aart E., Lentra J. K.,, Local Search n Combnatoral Optmzaton, Prnceton Unverty Pre, USA. Bryon K. M. O., Inn T. R., 7, A hybrd cluterng algorthm, Computer & Operaton Reearch,, 69. Güngör Z., Ünler A., (Baıda Maale, K- Harmonc Mean Data Cluterng wth Tabu- Search Method, Appled Mathematcal Modelng. Johnon S., 967, Herarchcal cluterng cheme, Pychometra,,. Krpatrc S., Gerlatt C. D. Jr., Vecch M.P., 98, Optmzaton by Smulated Annealng, Scence,, 67-68. Lu Y., ChenK., Lao X., Zhang.,, A genetc cluterng method for ntruon detecton, Pattern Recognton, 7, 97 97 McQueen J., 967, Some method for clafcaton and analy of multvarate obervaton, Proceedng of the ffth Bereley ympoum on mathematcal tattc and probablty, 8 97. Metropol., Roenbluth A.., Roenbluth M.., Teller A.H., Teller E., 98, Equaton of State Calculaton by Fat Computng Machne, J. Chem. Phy.,, 87-9. Sheloar P.S., Jayaraman V.K., Kularn B.D.,, An ant colony approach for cluterng, Analytca Chmca Acta, 9, 87 9 ard J., 99, Herarchcal groupng to optmze an objectve functon, Journal of Amercan Stattcal Aocaton, 8, 6.