Çizelge 4.1 Bilgisayar ile insan beyni arasındaki çalıma sistem yapısının karılatırılması BLGSAYAR NSAN BEYN

Transkript

1 4. YAPAY SNR ALARI 4.1 Giri Yapay sinir aları ya da kısaca YSA; insan beyninin çalıma sisteminin yapay olarak benzetimi çabalarının bir sonucu olarak ortaya çıkmıtır. En genel anlamda bir YSA insan beynindeki birçok nöronun (sinir hücresinin), ya da yapay olarak basit ilemcilerin birbirlerine deiik etki seviyeleri ile balanması sonucu oluan karmaık bir sistem olarak düünülebilir. Önceleri temel tıp birimlerinde insan beynindeki nöronların matematiksel modelleme çabaları ile balayan çalımalar, geçtiimiz on sene içerisinde, disipline bir ekil almıtır. YSA bugün fizik, matematik, elektrik ve bilgisayar mühendislii gibi çok farklı bilim dallarında aratırma konusu haline gelmitir. YSA'nın pratik kullanımı genelde, çok farklı yapıda ve formlarda bulunabilen informasyon verilerini hızlı bir ekilde tanımlama ve algılama üzerinedir. Aslında mühendislik uygulamalarında YSA'nın geni çaplı kullanımının en önemli nedeni, klasik tekniklerle çözümü zor problemler için etkin bir alternatif oluturmasıdır. Çünkü bilgisayarlar insanın beyinsel yeteneinin en zayıf olduu çarpma, bölme gibi matematiksel ve algoritmik hesaplama ilemlerinde hız ve doruluk açısından yüzlerce kat baarılı olmalarına ramen insan beyninin örenme ve tanıma gibi ilevlerini hala yeteri kadar gerçekletirememektedir. Çizelge 4.1'de bilgisayar ile insan beyni arasındaki çalıma sistem yapısı karılatırmalı olarak verilmitir. Çizelge 4.1 Bilgisayar ile insan beyni arasındaki çalıma sistem yapısının karılatırılması BLGSAYAR NSAN BEYN Sayısal Analog Seri Paralel Komut Kümeli Bilgiye Adapte Olma Yanlı Hesaplamalar Sonucu Etkiler Birimlerin Ana lemlere Etkisi Azdır Giri Verilerindeki Hatalar Sonucu Etkiler Giri Verilerindeki Hatalara Her Zaman Duyarlı Deil 4.2 YSA'nın Tanımı ve Modeli YSA'nın tanımı YSA paralel daılmı bir bilgi ileme sistemidir. Yani, YSA nın temelinde, zeka gerektiren ilemlerden oluan bilgi ileme ilevi vardır. Bu sistem tek yönlü iaret kanalları (balantılar) ile birbirine balanan ilem elemanlarından oluur. Çıkı iareti bir tane olup istee göre çoaltılabilir. YSA yaklaımının temel düüncesiyle, insan beyninin fonksiyonları arasında benzerlik vardır. Bu yüzden YSA sistemine insan beyninin modeli denilebilir. YSA çevre artlarına göre davranılarını ekilleyebilir. Giriler ve istenen çıkıların sisteme verilmesi ile

2 kendisini farklı cevaplar verebilecek ekilde ayarlayabilir. Ancak son derece karmaık bir içyapısı vardır. Onun için bugüne kadar gerçekletirilen YSA; biyolojik fonksiyonların temel nöronlarını örnek alarak yerine getiren kompoze elemanlar olmutur Nöronun biyolojik yapısı ve nöron modeli nsanın bilgi ileme olayı beyninde gerçekleir. Gerçektende en karmaık sinir aı Cerebral Cortex denilen beyin dir. Sinir sisteminin en basit yapısı nöronlardır. Beyinde yaklaık olarak sinir hücresi vardır. Yine hücre baına balantı sayısı ise 10 4 mertebesindedir. Beyin için çalıma frekansı 100 Hz dir. Fiziksel boyutları ise 1.3 kg ve 0.15 m 2 kesitlidir. Vücudun deiik yerleri ile bilgi alıverii yapan nöron hücresidir. ekil 4.1 de basit bir nöron hücresi görülmektedir. ekil 4.1 Basit bir nöron yapısı Nöron, soma adı verilen hücre gövdesi dentrit denilen kıvrımlı uzantılar ve somanın dalları sayesinde nöronu dallarına balayan tek sinir fiberli aksondan oluur. Dendrit'ler hücreye gelen girileri toplarlar. Dendrit tarafından alınan iaretler hücrede birletirilerek bir çıkı darbesi üretilip üretilemeyeceine karar verilir. Eer bir i yapılacaksa üretilen çıkı darbesi aksonlar tarafından taınarak dier nöronlarla olan balantılara veya terminal organlara iletilir. Beyindeki korteksde her nöronun bir karılıı vardır. Bir nöronun çıkıı ona balı olan bütün nöronlara iletilir. Fakat korteks, iin yapılabilmesi için hangi nöron harekete geçirilecekse, sadece ona komut gönderir. Somanın içinde ve çevresinde sodyum, kalsiyum, potasyum ve klor iyonları vardır. Potasyum younluu nöronun içinde, sodyum younluu dıındadır. Somanın zarı elektriksel olarak uyarılınca (söz konusu uyarı genellikle bir gerilim dümesidir) zar, Na ve Ca gibi dier iyonların içeri geçmesine izin verir ve somanın iç durumunu deitirir. Nöronlar arasındaki balantılar hücre gövdesinde veya "sinaps" adı verilen dendritlerdeki geçilerde olur. Yardımcı bir benzetme aksonlarla, dendritleri elektrik sinyallerini nörona ileten deiik empedansdaki yalıtılmı iletken olmasıdır. Sinir sistemi milyarlarca nöron ile tek bir nörondan çıkan aksonun kadar dier nöronu balayan bir adır. Sinapslarla düzeltilen iaretleri

3 taıyan aksonlar ve dendritlerle içiçe geçmi nöronlar bir sinir aı olutururlar. ekil 4.2'de en basit formda gösterilen nöron modeli, bir eik birimi olarak algılanabilir. ekil 4.3 de ise YSA nın genel blok eması gösterilmektedir. X 0 Kutup+1 I=X 1 W 11 +X 2 W 12 I 1 Y i X 1 W 11 0 W 12 X 2 ekil 4.2 Nöron modeli GR EYLEM BÇM ÖRENME BÇM ÇIKI STENEN ÇIKI ekil 4.3 YSA nın genel blok eması Eik birimi, çıkıları toplayan ve sadece giriin toplamı iç eik deerini atıında bir çıkı üreten ilem elemanıdır. Bir eik birimi olarak nöron sinapslarındaki iaretleri alır ve hepsini toplar. Eer toplanan iaret gücü eii geçecek kadar güçlü ise dier nöronları ve dendritleri uyaran akson boyunca bir iaret gönderilir. Kesien dendritlerden gelen sinapslarla kapılanan bütün iaretleri soma toplar. Toplam iaret daha sonra nöronun iç eik deeri ile karılatırılır ve eik deerini amısa aksona bir iaret yayar. YSA, bu basit nöronların (düümlerin ya da ünitelerin) balanarak bir a'a dönütürülmesiyle meydana getirilir. 4.3 YSA'nın Yapısı ve lem Elemanı YSA temel olarak, basit yapıda ve yönlü bir graf biçimindedir. Her bir düüm hücre denilen n. dereceden lineer olmayan bir devredir. Düümler ilem elemanı olarak tanımlanır. Düümler arasında balantılar vardır. Her balantı tek yönlü iaret iletim yolu (gecikmesiz) olarak görev yapar. Her ilem elemanı istenildii sayıda giri balantısı ve tek bir çıkı balantısı alabilir. Fakat bu balantı kopya edilebilir. Yani bu tek çıkı birçok hücreyi besleyebilir. A'daki tek gecikme, çıkıları ileten balantı yollarındaki iletim gecikmeleridir. lem elemanının çıkıı istenilen matematiksel tipte olabilir. Kısmen sürekli çalıma konumunda "aktif" halde eleman bir çıkı iareti üretir. Giri iaretleri YSA'na bilgi taır. Sonuç ise çıkı iaretlerinden alınabilir. ekil 4.4 'de genel bir ilem elemanı (nöron, düüm) gösterilmitir.

4 X 2 GRLER X 3 X 1 θ 0 (Aktif Yapma areti) TRANSFER FONKSYONU YEREL BELLEK y ekil 4.4 Genel ilem elemanı yapısı YSA birtakım alt kümelere ayrılabilir. Bu alt kümelerdeki elemanların transfer fonksiyonları aynıdır. Bu küçük gruplara "katman" layer adı verilir. A katmanların birbirlerine hiyerarik bir ekilde balanmasından olumutur. Dı dünyadan alınan bilgi giri katmanı ile taınır. Bir transfer fonksiyonları yoktur. YSA transfer fonksiyonu ve yerel bellek elemanı, bir örenme kuralı ile giri çıkı iareti arasındaki baıntıya göre ayarlanır. Girii aktif yapabilmek için yukarıda adı geçen kural ve iaretlerin bir zamanlama fonksiyonu tanımlaması gerekebilir. Kısaca bir YSA dan beklenen görev, gerçek dünyadaki nesneler ile biyolojik sinir aının yaptıı ilevi, benzer bir yolla yerine getirmesidir. YSA nın giri veri tipleri ikili (binary) 0-1 veya sürekli deerlerdir. Bu giri durumlarından baka, ilem elemanlarına ait girileri matematiksel olarak da sınıflamak gerekmektedir. Çünkü bir ilem elemanına gelen girilerin bir kısmı azaltıcı uyarma girileri olmaktadır. Bu arttırıcı veya azaltıcı giriler giri sınıflarını oluturur Giri iareti sınıfları lem elemanının transfer fonksiyonu, giriine gelen bütün iaretler için tanımlanır. Bazen deiik katman davranılarının farklı olması tabiidir. aretlerin hangi bölgelerden geldiinin bilinmesi gerekir. Deiik bölgelere göre iaretlerin sınıfları tamamlanabilir. Sıkça izlenen bir yapı ise merkezde evet/çevrede hayır (on centre/off surround) yapısıdır. ekil 4.5'de bu yapı gösterilmektedir. Meksika apkasına benzer balantı tipindedir.

5 ekil 4.5 Komu hücrelerin merkez hücreye etkisi lem elemanı tetikleyici girilerin kendine yakın komu girilerden yasaklanan girilerini daha uzaktan alır. Böylece ilem elemanına gelen giriler sınıflarına göre deerlendirilmi olur. Tetikleyici bölgeden gelen giriler yasaklanan sınıfı oluturur. ekil 4.6 böyle bir ilem elemanını gösterir. Tetikleyici Yasaklayıcı giriler giriler (sınıf 1) lem (sınıf 2) Elemanı Çıkı ekil 4.6 Tetikleyici ve yasaklanan girilere sahip bir ilem elemanı Bir ilem elemanına gelen giriler matematiksel tiplerine göre etiketlendirilerek sınıflandırılır. YSA, giri veri tiplerine göre ikili giri (0,1) ve sürekli deerli giri olmak üzere aaıdaki gibi sınıflandırılır (ekil 4.7). Burada giri iareti olarak seçilen I, ve yük olarak kullanılan DC motordan gelen yükün P sayısal deerleri, bu deerlerin ölçümler boyunca okunması sırasında sürekli-deer de (reel sayı) olduundan, sınıflandırıcı olarak öreticili örenmeye sahip olan çok katmanlı perseptrona balı olarak ileri-besleme sinir aı ve hızlı hatanın geriye-yayılımı algoritması (Fast Backpropagation Algorithm) kullanılmıtır. Bu arada klasik hatanın geriye-yayılımı algoritmasıyla yapılan eitme sonuçları da karılatırmalı olarak sunulmutur.

6 ekil 4.7 YSA Sınıflandırıcıları Balantı geometrileri Balantılarda taınan iaret verisinin cinsi tanımlanmalıdır. Balantı geometrisi YSA için çok önemlidir.balantı iareti her cinsten olabilir. Balantının nerede balayıp nerede bittiini bilmesi gerekir. 1'den N'e kadar olan bir ilem elemanı kümesinin balantıları aaıda tanımlandıı gibi NxN boyutlu matris biçiminde gösterilebilir. ij n n = n1 n2 nn = = 1 i. iþlem elemaný j. iþlem elemanýna baðlý ij ij ji = = 0 baðlý deðil ji En fazla N 2 balantı olur. Balantılar çeitli geometrik bölgeler arasında demetler halinde düünülebilir. Bu balantı demetlerinin uyması gereken kurallar unlardır. 1- Balantı demetini oluturan ilem elemanları aynı bölgeden çıkmalıdır. 2- Balantı demetinin iaretleri aynı matematiksel tipten olmalıdır. 3- Balantı demetinin iaretleri aynı sınıftan olmalıdır. 4- Balantı demetinin bir seçim fonksiyonu (σ ) olmalıdır. s σ :T 2 T:Hedef belgesi S:kaynak bölgesi Hedef bölgesindeki her ilem elemanı kaynak bölgesindeki her elemana giderse "tam" (full) balıdır. (örn:çok katmanlı perceptron). Eer her hedef bölgesi elemanı N kaynak bölgesi

7 elemanına balı ise " düzgün daılmı" (uniform) olasıldır. Ayrıca her bir elemana, yine bir kaynak elemanı balı ise buna "bire-bir" balı denir A tipleri Üç Çeit A Tipi Vardır 1- leri beslemeli a: Her bir katmandaki hücreler sadece bir önceki katmanın hücrelerince beslenir. 2- Kaskat balantılı a: Hücreler sadece önceki katmanlardaki hücrelerce beslenir. 3- Geri beslemeli a: En az bir hücre sonraki katmanlardaki hücrelerce de beslenir. (Bu çalımada hem ileri, hem de geri beslemeli a tipi birlikte uygulanmalıdır) Eik fonksiyonları Transfer veya iaret fonksiyonları olarak da adlandırılan eik fonksiyonları, muhtemel sonsuz domen girili ilem elemanlarını önceden belirlenmi sınırda çıkı olarak düzenler. Dört tane yaygın eik fonksiyonu vardır. Bunlar, rampa, basamak ve sigmoid fonksiyonudur. ekil 4.8'de bu fonksiyonlar gösterilmitir. f(x) f(x) x x (a) f(x) +1 1 (b) f(x) 1-1 (c) x x - (d) x ekil 4.8 Sıkça kullanılan dört eik fonksiyonu ekil 4.8 (a)'da gösterilen lineer fonksiyonun denklemi aaıdaki gibidir. f(x) = α.x

8 α: ilem elemanının x aktivitesini ayarlayan reel deerli bir sabittir. Lineer fonksiyon [-τ,+τ] sınırları arasında kısıtlandıında (b)'deki rampa eik fonksiyonu olur ve denklemi; + τ : eðer x τ ise f ( x) = x : eðer x τ ise τ : eðer x - τ ise eklini alır. +τ ( -τ) ilem elemanının maksimumu (minimumu) çou zaman doyma seviyesi olarak adlandırılan çıkı deeridir. Eer eik fonksiyonu bir giri iaretine balı ise yaydıı +τ giri toplamı pozitif, balı deilse eik basamak fonksiyonu [-δ] olarak adlandırılır. ekil 4.8 (c), basamak eik fonksiyonunu gösterir ve denklemi; f ( x) = + τ : eðer x 0 ise δ : diðer durumlar eklindedir. Son ve en önemli eik fonksiyonu (bu çalımada kullanılan) sigmoid fonksiyonudur. ekil 4.8 (d) de gösterilen S biçimindeki sigmoid fonksiyonu; seviyeli, lineer olmayan çıkı veren, sınırlı, monoton artan fonksiyondur. Denklemi; 1 f ( x) = + 1 e x biçimindedir Her ilem elemanı kendisine verilen yerel veriye göre, kendisini ayarlayacak bütün YSA'nın enformasyon bölgesinin örenmesini salar. (Enformasyon bölgesi olasılık-younluk fonksiyonu ile de tanımlanabilir). Enformasyon bölgesi birçok uygulamada, gerçek deerin "0" ile "1" arasında normalize edilmesi gerekir. (Normalize etmek:gerçek deeri 85 olan bir girii 0.85 eklinde aa uygulamaktır.) Normalizasyon aynı anda bütün girilere uygulanabilir Aırlık uzayı Bir çok YSA örenme ilemi, ilem elemanlarının aırlıı deitirilerek salanır. Böylece tanımlanan aırlık deitirilerek örenmede iyi bir model kullanıp, aırlıkların bu modele göre deitirilmesi esastır. Basit bir matematiksel model olarak herbir ilem elemanının "n" adet gerçek aırlıı olduu düünülerek ve N adet ilem elemanı gözönüne alınırsa; = ( 11,,...,,,,...,,...,,,..., ) 12 1n n N1 N 2 Nn T 2 3 N T T T = ( 1,,,..., ) 1, 2,..., N : ilem elemanlarının aırlık vektörleridir. 1 =.... = n N N1 N 2... Nn T

9 YSA aırlık vektörü N, n boyutlu orkid uzayında yayılır. YSA'nın enformasyon ileme performansı, aın aırlık vektörünün belirli bir deeri ile bulunacaktır. Hata deiimini inceleyen iki çeit kural vardır. 1- Hata düzeltme kuralları, 2- Gradyen kuralları. Hata düzeltme kuralları; Her bir giri örüntüsünde aırlıkları yeniden aırlayarak çıktı hatasını en aza indirmeye çalıırlar. Gradyen kurallarında ise, aırlıklar yeniden ayarlanarak ortalama karesel hatayı (MSE) en aza indirilmeye çalıılır. Bu noktada gradyen kuralından kısaca bahsedecek olursak, hatayı düzeltmenin (yani minimize etmenin) geometrik bir yorumunu yapmak mümkündür. Bunu yapabilmek için aırlıkların mümkün olan tüm deerleri, hataların kareleri toplamına karı gelecek ekilde üç boyutlu koordinat sisteminde çizilir. Bu çizim sonunda hata yüzeyi küresel bir top eklindedir. Bu yüzeyi bir tasa da benzetmek mümkündür. Tasın en alt kısmı hataların kareleri toplamının en küçük deerlerine karı gelmektedir. Eitme sırasında amaç aırlıklar kümesinin en iyisini bulmak olan, en alt kısmına ulamaktır. Geriye-yayılım algoritması o andaki aırlıklar yerine, yüzey hatasının eimini hesaplayarak amacına ulaır. Daha sonra da bu aırlıkları tasın alt kısmına doru artımsal olarak deitirir. te bu artımsal olarak tasın üst kısmından alt kısmına doru ilerleme ilemine gradyen ini denir. Aırlık vektörü ile çalıan YSA'da önemli noktalardan birisi, bir örenme kuralı gelitirip, enformasyon bölgesi kullanarak (eik fonksiyonu ile) aırlık vektörü "" iyı istenilen YSA performansı verecek noktaya yöneltmektir. Genellikle örenme kuralı için bir performans ya da maliyet fonksiyonu tanımlanır. Minimizasyon veya maksimizasyon ile "" vektörü bulunur. Bir performasyon çeidi olarak bilinen, MSE (karesel ortalama hata) u ekilde tanımlanır. = F( ) f ( x) G( x, ) ρ ( x) dv( x) A Amaç F'i küçültmeye çalımaktır. y=g(,x):sistemin giri çıkı fonksiyonu. y:çıkı iareti vektörü x:giri iareti vektörü :aırlık vektörü ρ(x):olasılık younluk fonksiyonu 2

10 4.4 YSA'da Eitme (Training) Eitme algoritmaları Eitme algoritmaları YSA'nın ayrılmaz bir parçasıdır. Eitme algoritması eldeki problemin özelliine göre örenme kuralını YSA'na nasıl adapte edeceimizi belirtir. Üç çeit eitme algoritması yaygın olarak kullanılmaktadır. 1- Öreticili eitme (supervised traning). 2- Skor ile eitme (graded training). 3- Kendini düzenleme ile eitme (self-organization training) Öreticili eitmede, elimizde doru örnekler vardır. Yani (X 1,X 2,...X n ) eklindeki giri vektörünün, (y 1,y 2,...,y n ) eklindeki çıkı vektörü, tam ve doru olarak bilinmektedir. Herbir (x 1,y 1 ), (x 2,y 2 ),...,(x N,y N ) çifti için a doru sonuçları verecek ekilde seçilen bir örenme kuralı ile beraber eitilir. Ne tür eitme yöntemi kullanılırsa kullanılsın, herhangi bir a için gerekli karakteristik özellik, aırlıkların verilen eitme örneine nasıl ayarlanacaının belirtilerek örenme kuralının oluturulmasıdır. Örenme kuralının oluturulması için bir örnein, aa defalarca tanıtılması gerekebilir. Örenme kuralı ile ilikili parametreler aın zaman içinde gelime kaydetmesiyle deiebilir Bellek YSA'nın önemli bir özellii bilgiyi saklama eklidir. Balantı aırlıkları YSA bellek biçimleridir. Aırlıkların deerleri aın o anki bilgi durumunu temsil eder. Mesela; bir giri/istenen çıkı çiftinin belirtilen bilgi parçası aın içinde birçok bellek biçimine daıtılmıtır. Bellek üniteleri ile dier saklı bilgiler, bu bilgiyi paylaırlar. Bazı YSA bellekleri ilikilidir. Öyleki eitilen aa bir kısmı uygulanırsa, a bu girie belleindeki en yakın çıkıı bu giri için seçer ve tam girie balı çıkı ortaya çıkar. Eer YSA oto-ilikili ise, kısmi giri vektörlerinin aa verilmesi bu girilerin tamamlanması ile sonuçlanır. YSA belleinin yapısı; eksik, gürültülü ve tam seçilemeyen bir giri uygulandıı zaman bile mantıklı çıkı üretmeye uygundur. Bu kurala "genelleme " adı verilir. Bir genellemenin kalitesi ve anlamı, uygulama çeidine, aın tipine ve karmaıklıına dayanır. Lineer olmayan çok katmanlı alar (özellikle geri beslemeli alar) gizli katmandaki özelliklerden örenirler ve bunları çıkılar üretmek için birletirirler. Gizli katmandaki bilgi, yeni giri örüntülerine akılcı çözümler oluturmak için kullanılabilir.