Yapay Sinir Ağlarına Giriş. Dr. Hidayet Takçı

Transkript

1 Yapay Sinir Ağlarına Giriş Dr. Hidayet Takçı

2 Giriş Neden Yapay Sinir Ağları (YSA) Bazı işler insanlar tarafından kolaylıkla yerine getirilirken mevcut bilgisayarlar ile yerine getirilmesi oldukça zordur. Örüntü tanıma (el yazısı ve imza tanıma) Đçerik adreslemeli geri çağırma Yakınsama, genel kanı muhakemesi (sürüş, piyano çalma) Bu görevler deneyim tabanlıdır ve tanımlanmaları zordur. 2 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

3 Giriş Von Neumann Makinesi 1. Bir veya birkaç yüksek hızlı işlemci 2. Đletim için bir veya birkaç tane paylaşımlı, yüksek hızlı veri iletim kanalı 3. Adreslerle idare edilen sıralı bellek 4. Problem çözme bilgisi hesaplama bileşeninden ayrılır 5. Yeni durumlara uyum sağlama zordur Đnsan Beyni Daha düşük hızlı ama çok sayıda işlemci (10 11 civarında) 2. Düşük hızlı çok sayıda iletim kanalı (10 15 civarında) 3. Đçerik adreslemeli geri çağırma 4. Problem çözme bilgisi nöronların bağlantısında yer alır 5. Bağlantıların değiştirilmesi ile adaptasyon sağlanabilir 3 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

4 Biyolojik sinir hücresi (nöron) Her bir nöron (neuron) bir gövde (body), bir akson (axon) ve çok sayıda sinir ucuna (dendrites) sahiptir. Đki durumdan birinde olabilir : ateşleme(firing) ve sönme(rest). Eğer gelen toplam uyarım eşik değerini aşarsa nöron ateşleme pozisyonuna geçer. Synapse: bir nöronun aksonu ile diğerinin sinir ucu arasındaki ince aralıktır. Sinyal değişimi yapılır 4 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

5 Giriş Bir YSA nedir? Beynin çalışma yöntemini modellemek için tasarlanan bir sistemdir. Düğümlerin bir kümesidir Her bir düğümün giriş ve çıkışı vardır. Her bir düğüm onun düğüm fonksiyonu tarafından basit bir hesaplama yerine getirir. Düğümler arasında ağırlıklandırılmış bağlantılar (Weighted connections) vardır. Düğümlerin bağlantışekli ağın mimarisini verir. 5 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

6 Giriş Yapay Sinir Ağı Düğümler giriş çıkış düğüm fonksiyonu Bağlantılar bağlantı gücü Biyolojik Sinir Ağı Hücre gövdesi diğer nöronlardan gelen sinyaller yanma(firing) işlemi yanma mekanizması Sinapsisler sinaptik güç Yüksek seviyede paralellik ile, nöron seviyesindeki basit yerel hesaplamalar ağ seviyesinde bir araya getirilerek toplu sonuçların elde edilmesi sağlanır. Hata toleransı vardır, hatayı en uygunşekilde azaltır. Öğrenim ve adaptasyon yeteneği yüksektir. 6 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

7 Tarihçe Pitts & McCulloch (1943) Biyolojik nöronların ilk matematiksel modeli Bütün ikili (boolean) işlemler nöron benzeri düğümler ile gerçeklenebilir (farklı eşik değerleri ile) Genel amaçlı hesaplama içinvon Neumann modeline rakip Hebb (1949) Öğrenim için Hebbian kuralı : her ne zaman i ve j aktive edilirse; i ve j nöronları arasındaki bağlantı gücü artar. Veya her ne zaman eşzamanlı olarak i ve j nöronlarının her ikisi birden ON veya OFF yapılırsa i ve j düğümleri arasındaki bağlantı gücü artar. 7 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

8 Tarihçe Đlk yükseliş (50 ler 60 başları) Rosenblatt (1958) Perceptron: basit doğrusal örüntü sınıflandırma problemlerinde x 1 x 2 kullanılmıştır. Perceptron öğrenim kuralı Perceptron convergence teoremi: Perceptron ile sunulabilen her şey öğrenebilir Widrow and Hoff (1960, 1962) gradient descent (eğim düşümü) tabanlı öğrenim kuralı x n 8 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

9 Tarihçe Gerileme (60 ortaları 70 sonları) Perceptron modeli ile ilgili ciddi problemler ortaya çıkmıştır (Minsky s book 1969) Single layer perceptrons; XOR gibi basit fonksiyonları sunamaz (öğrenemez) Ölçekleme problemi: bağlantı ağırlıkları sonsuz olarak büyüyebilir Đlk iki problemin 80 li yıllardaki çabalarla üstesinden gelinmiştir, fakat ölçekleme problemi hala devam etmektedir. 9 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

10 Tarihçe Yeniden büyük ilgi (80 li yıllar ve sonrası) Yeni teknikler Çok katmanlı feed forward ağlar için Back-propagation öğrenim Termodinamik modeller (Hopfield net, Boltzmann machine, v.s.) Denetimsiz öğrenim Etkileyici uygulamalar (karakter tanıma, ses tanıma, metinden sese dönüşüm, proses kontrol, ortak bellek, v.s.) Geleneksel yaklaşımlar zor işlerle yeniden mücadele etmeye başlamıştır 10 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

11 YSA Nöron Modelleri Her bir nöronun diğer düğümlerden gelen bir veya daha fazla girişi ve diğer düğümlere giden bir çıkışı vardır. Giriş/çıkış değerleri Binary veya unipolar {0, 1} Bipolar {-1, 1} Sürekli olabilir. Bir düğüme bütün girişler aynı anda gelir ve çıktı hesap edilene kadar aktive edilmiş olarak kalırlar. Linklerle ağırlıklar uyumludur f ( net) is the node function n net w i x is most popular = i =1 i 11 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Genel nöron modeli Ağırlıklı giriş toplamı

12 Node Function Identity Constant function : f ( net) = net. function : f ( net) = c. Step (threshold) function c eşik olarak adlandırılır Ramp function Step function Ramp function 12 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

13 Node Function Sigmoid function S-şekillidir Sürekli ve her bir değer diğerinden farklı Bazı noktalarda (net = c) dönüşlü olarak simetriktir Asimptotik olarak doygun noktalara yaklaşır Örnekler: f(net) = 1 / (1+e -net ) Sigmoid function y = 0 ve z = 0 olduğunda: a = 0, b = 1, c = 0. y = 0 ve z = -0.5 olduğunda a = -0.5, b = 0.5, c = 0. Daha büyük x daha dik eğriler verir 13 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

14 Node Function Gaussian function Çan şekillidir (radial basis) Sürekli net büyük olduğunda f(net) asimptotik olarak 0 veya bazı sabit değerlere yakınsar Tekil maksimum (net = µ) µ Normal dağılımda; µ=0 ve sigma=1 olarak alınır. Gaussian function 14 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

15 Network Architecture (Asimetrik) Tamamen Bağlı Ağlar Her bir düğüm diğer düğüm ile bağlıdır Bağlantı güçlendirici, zayıflatıcı, veya etkisiz ( 0) olabilir. Çok genel bir mimaridir Simetrik, tamamen bağlı ağlar: ağırlıklar simetriktir (w ij = w ji ) Input nodes: ortamdan girişi alır Output nodes: ortama sinyalleri gönderir Hidden nodes: ortam ile doğrudan etkileşim yoktur 15 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

16 Network Architecture Katmanlı Ağlar Düğümler katman adı verilen altkümelere bölünür j > k ise j katmanındaki düğümlerden k katmanındakilere - doğru- bağlantı yoktur. Ortam girişleri katman 0 daki düğümlere uygulanır (input layer). Giriş katmanındaki düğümler hiçbir hesaplama yapılmadan taşıyıcılarda tutulur (Örn, onları düğüm fonksiyonları identity fonksiyondur) 16 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

17 Network Architecture Đleri Beslemeli Ağlar i katmanındaki bir düğümden sadece i+1 katmanındaki düğümlere bağlantıya izin verilir. En geniş kullanıma sahip mimaridir. Conceptually, nodes at higher levels successively abstract features from preceding layers 17 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

18 Network Architecture Çevrimi Olmayan Ağlar Bağlantılar doğrudan çevrimsel formda değildir. Çok katmanlı ileri beslemeli ağlar çevrimsel olmayan ağlardır Recurrent Ağlar Doğrudan çevrimli ağlardır Çevrimsel olmayan ağlara oranla analiz edilmesi daha zordur Modüler Ağlar Eğer, bir ağın yapması gereken işlemler birbirleriyle de haberleşmeksizin iki yada daha fazla modüle (alt yapıya) ayrılabiliyorsa bu ağlar modül YSA ları olarak söylenir Modüller arasında seyrek bağlantılar vardır 18 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

19 Önemli Not Ders notlarının hazırlanmasında; başta Internet olmak üzere çeşitli kaynaklardan faydalanılmış ve bize ait bir son ürün ortaya konmuştur. Faydalandığımız kaynaklar için herkese teşekkürler. Bu kaynağı değiştirmeden kullanacakların ise referans göstererek çalışmamızı kullanmalarında bir sakınca yoktur. Dr. Hidayet Takçı GYTE Bilgisayar Müh. Böl. Öğretim Elemanı 19 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı