Çok Katmanlı Algılayıcılar. Dr. Hidayet Takçı

Benzer belgeler
İlk Yapay Sinir Ağları. Dr. Hidayet Takçı

Yapay Sinir Ağlarına Giriş. Dr. Hidayet Takçı

Çok Katmanlı Algılayıcı (Multilayer Perceptron) DOÇ. DR. ERSAN KABALCI

YAPAY SİNİR AĞLARI. Araş. Gör. Nesibe YALÇIN BİLECİK ÜNİVERSİTESİ

Büyük Veri İçin İstatistiksel Öğrenme (Statistical Learning for Big Data)

Çok katmanlı ileri sürümlü YSA da standart geri yayıyım ve momentum geri yayılım algoritmalarının karşılaştırılması. (Eğitim/Hata geri yayılım)

Yapay Sinir Ağları. (Artificial Neural Networks) DOÇ. DR. ERSAN KABALCI E S N E K H E S A P L A M A Y Ö N T E M L E R İ - II

Esnek Hesaplamaya Giriş

Yapay Sinir Ağları (Artificial Neural Networks)

Yapay Sinir Ağları ve Yüksek Enerji Fiziği Uygulamaları

T.C. KIRIKKALE ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ YAPAY SİNİR AĞLARI. Doç.Dr. Necaattin BARIŞÇI FİNAL PROJESİ

Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü. Şekil Tanıma Final Projesi. Selçuk BAŞAK

Zeki Optimizasyon Teknikleri

Yapay Sinir Ağları. (Artificial Neural Networks) DOÇ. DR. ERSAN KABALCI

İÇİNDEKİLER ÖNSÖZ Bölüm 1 SAYILAR 11 Bölüm 2 KÜMELER 31 Bölüm 3 FONKSİYONLAR

Eğitim seti (training set) sınıflandırma modelinin elde edileceği kayıtları içerir

ÇEV 2006 Mühendislik Matematiği (Sayısal Analiz) DEÜ Çevre Mühendisliği Bölümü Doç.Dr. Alper ELÇĐ

Tek Değişkenli Optimizasyon OPTİMİZASYON. Gradient Tabanlı Yöntemler. Bisection (İkiye Bölme) Yöntemi

Web Madenciliği (Web Mining)

Hızlı Düzey Küme Yöntemine Bağlı Retinal Damar Bölütlemesi. Bekir DİZDAROĞLU. KTÜ Bilgisayar Mühendisliği Bölümü

SAYISAL ÇÖZÜMLEME. Yrd.Doç.Dr.Esra Tunç Görmüş. 1.Hafta

MAK 210 SAYISAL ANALİZ

Web Madenciliği (Web Mining)

RASSAL SAYI ÜRETİLMESİ

METASEZGİSEL YÖNTEMLER

EM302 Yöneylem Araştırması 2 Çok değişkenli DOP ların çözümü. Dr. Özgür Kabak

MAK 210 SAYISAL ANALİZ

İş Zekası. Hafta 6 Kestirimci Modelleme Teknikleri. Yrd. Doç. Dr. H. İbrahim CEBECİ

VERİ MADENCİLİĞİ (Kümeleme) Yrd.Doç.Dr. Kadriye ERGÜN

Destekçi Vektör Makineleri. Destekçi Vektör Makineleri(Support Vector Machines)

Rastgele Süreçler. Rastgele süreç konsepti (Ensemble) Örnek Fonksiyonlar. deney. Zaman (sürekli veya kesikli) Ensemble.

DENEYSEL SONUÇLARIN ANALİZİNDE YAPAY SİNİR AĞLARI KULLANIMI VE BETON DAYANIM TESTİ İÇİN BİR UYGULAMA

ROBOTLARIN YAPAY SİNİR AĞLARI KULLANILARAK DENETİMİ.

MATEMATİK ÖĞRETMENLİK ALAN BİLGİSİ - DENEME SINAVI DENEME. Diğer sayfaya geçiniz.

Zeki Optimizasyon Teknikleri

PARÇACIK SÜRÜ OPTİMİZASYONU BMÜ-579 METASEZGİSEL YÖNTEMLER YRD. DOÇ. DR. İLHAN AYDIN

Uzaktan Algılama Teknolojileri

BSM-767 MAKİNE ÖĞRENMESİ. Doğrusal Ayırıcılar (Linear Discriminants)

MIT OpenCourseWare Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009

Boosting. Birol Yüceoğlu Migros T.A.Ş.

Web Madenciliği (Web Mining)

Karaciğerde Oluşan Hastalıkların Tespitinde Makine Öğrenmesi Yöntemlerinin Kullanılması

Şekil 7.1 Bir tankta sıvı birikimi

Tedarik Zinciri Yönetiminde Yapay Zeka Teknikler

VERİ MADENCİLİĞİ (Veri Ön İşleme-2) Yrd.Doç.Dr. Kadriye ERGÜN

Kısıtsız Optimizasyon OPTİMİZASYON Kısıtsız Optimizasyon

MEH535 Örüntü Tanıma

4. HAFTA BLM323 SAYISAL ANALİZ. Okt. Yasin ORTAKCI.

Örnek. Aşağıdaki veri setlerindeki X ve Y veri çiftlerini kullanarak herbir durumda X=1,5 için Y nin hangi değerleri alacağını hesaplayınız.

13. Olasılık Dağılımlar

Hatalar Bilgisi ve İstatistik Ders Kodu: Kredi: 3 / ECTS: 5

YAPAY SİNİR AĞI KULLANARAK DEPREM EĞİLİMİNİN KESTİRİMİ. Umut FIRAT

İŞARET ve SİSTEMLER (SIGNALS and SYSTEMS) Dr. Akif AKGÜL oda no: 303 (T4 / EEM)

TÜREV VE UYGULAMALARI

Hatalar ve Bilgisayar Aritmetiği

MIT OpenCourseWare Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009

Doç.Dr.Erkan ÜLKER, Selçuk Üniversitesi Mühendislik F, Bilgisayar Mühendisliği Bölümü

YAPAY SĠNĠR AĞLARININ EKONOMĠK TAHMĠNLERDE KULLANILMASI

Mekatronik Mühendisliği Uygulamalarında Yapay Zekâ. Ders 1- Yapay Zekâya Giriş. Erhan AKDOĞAN, Ph.D.

T.C. DOKUZ EYLÜL ÜNİVERSİTESİ SOSYAL BİLİMLER ENSTİTÜSÜ EKONOMETRİ ANABİLİM DALI EKONOMETRİ DOKTORA PROGRAMI

Makine Öğrenmesi 2. hafta

Hafta 09 -Topluluk Yöntemleri - Boyut Azaltma - Anomali Tespiti

Gözlemlerin Referans Elipsoid Yüzüne İndirgenmesi

Mekatronik Mühendisliği Uygulamalarında Yapay Zekâ. Makine Öğrenmesi. Erhan AKDOĞAN, Ph.D.

VERİ MADENCİLİĞİ (Karar Ağaçları ile Sınıflandırma) Yrd.Doç.Dr. Kadriye ERGÜN

İÇİNDEKİLER. BÖLÜM 1 Değişkenler ve Grafikler 1. BÖLÜM 2 Frekans Dağılımları 37

Genetik Algoritmalar. Bölüm 1. Optimizasyon. Yrd. Doç. Dr. Adem Tuncer E-posta:

Yrd. Doç. Dr. A. Burak İNNER

GENETİK ALGORİTMALARA GİRİŞ (II) BİNARİ KODLANMIŞ GA

Programlama Dilleri 1. Ders 3: Rastgele sayı üretimi ve uygulamaları

YÖNEYLEM ARAŞTIRMASI - III

MAK 210 SAYISAL ANALİZ

Lys x 2 + y 2 = (6k) 2. (x 2k) 2 + y 2 = (2k 5) 2 olduğuna göre x 2 y 2 =? Cevap: 14k 2

EEM HABERLEŞME TEORİSİ NİĞDE ÜNİVERSİTESİ MÜHENDİSLİK FAKÜLTESİ ELEKTRİK-ELEKTRONİK MÜHENDİSLİĞİ BÖLÜMÜ

SAYISAL KARARLILIK. Zaman Uzayı Sonlu Farklar Yöntemi

OTOMATİK KONTROL SİSTEMLERİ İŞARET AKIŞ DİYAGRAMLARI SIGNAL FLOW GRAPH

YAPAY SİNİR AĞLARI YÖNTEMİ İLE PAFTALARININ SAYISALLAŞTIRILMASI ARTIFICIAL NEURAL NETWORKS METHOD FOR MAP DIGITIZATION

YAPAY ZEKA VE DERİN ÖĞRENMENİN GÜNÜMÜZDEKİ UYGULAMA ALANLARI

SÜREKLİ DOĞAL GERİLİM VERİLERİNİN YAPAY SİNİR AĞLARI İLE DEĞERLENDİRİLMESİ, DEPREM ve YAĞIŞLARLA İLİŞKİSİ

VERİ MADENCİLİĞİ. Karar Ağacı Algoritmaları: SPRINT algoritması Öğr.Gör.İnan ÜNAL

Yrd. Doç. Dr. A. Burak İNNER

BÖLÜM-6 BLOK DİYAGRAMLARI

BLM1612 DEVRE TEORİSİ

ENİNE DEMET DİNAMİĞİ. Prof. Dr. Abbas Kenan Çiftçi. Ankara Üniversitesi

2(1+ 5 ) b = LYS MATEMATİK DENEMESİ. işleminin sonucu kaçtır? A)2 5 B)3 5 C)2+ 5 D)3+ 5 E) işleminin sonucu kaçtır?

2012 LYS MATEMATİK SORU VE ÇÖZÜMLERİ Niyazi Kurtoğlu

SAYISAL ÇÖZÜMLEME. Sayısal Çözümleme

Ders 4: Rastgele Değişkenler ve Dağılımları

MİKROŞERİT HAT ENDÜKTANS BÜYÜKLÜĞÜNÜN BİLGİ TABANLI YAPAY SİNİR AĞLARI ile MODELLENMESİ

Geriye Yayılım ve Levenberg Marquardt Algoritmalarının YSA Eğitimlerindeki Başarımlarının Dinamik Sistemler Üzerindeki Başarımı. Mehmet Ali Çavuşlu

Kesirli Türevde Son Gelişmeler

Bölüm 2. Bir boyutta hareket

Yapay Sinir Ağları GİRİŞ

2016 YILI AKTÜERLİK SINAVLARI: İSTATİSTİK OLASILIK

ALTERNATİF AKIM (AC) II SİNÜSOİDAL DALGA; KAREKTRİSTİK ÖZELLİKLERİ

Matematiksel Analiz III (MATH 235) Ders Detayları

MIT Açık Ders Malzemeleri Bu materyallerden alıntı yapmak veya Kullanım Koşulları hakkında bilgi almak için

MIT OpenCourseWare Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009

DİKKAT! SORU KİTAPÇIĞINIZIN TÜRÜNÜ A OLARAK CEVAP KÂĞIDINIZA İŞARETLEMEYİ UNUTMAYINIZ. MATEMATİK SINAVI MATEMATİK TESTİ

Transkript:

Çok Katmanlı Algılayıcılar Dr. Hidayet Takçı htakci@gmail.com http://htakci.sucati.org

Perceptron Sınıflandırması Perceptronlar sadece doğrusal sınıflandırma yapabilir. 2 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

ÇKA ile Sınıflandırma Konveks Alanların Birleşimi 3 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Çok Katmanlı Algılayıcılar Gerçek hayatta birçok problem doğrusal olmayan yapıdadır. Çok katmanlı algılayıcılar doğrusal olmayan problemlerin çözümünde en sık kullanılanysa modelidir. ÇKA için en popüler ağ yapısı Back Propagation (geriye yayılım) ağıdır. Back Propagation ağı, ilk kez 1974 yılında Werbos tarafından önerilmiştir, şu anda kullanılan versiyon 1986 yılında Rumelhart, Hinton, ve Williams tarafından geliştirilmiştir. 4 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Geri Yayılımlı Öğrenim Mimari : En az üç katmandan meydana gelen, ileri beslemeli, geri yayılımlı ağ Düğüm fonksiyonu (türevi alınabilecek) herhangi bir fonksiyon olabilir fakat en sık tercih edileni: sigmoid function Öğrenim : Genelleştirilmiş delta kuralı Ağırlık güncelleme kuralı : gradient descent (eğim düşümü) 5 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

6 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Ağırlıklar : w w (1,0) (2,1) (1,0) w 2,1 giriş katmanından gizli katmana ağırlık gizli katmandan çıkış katmanına ağırlık giriş katmanındaki düğüm 1 den gizli katmandaki düğüm 2 ye ağırlık Eğitim örnekleri: Geri Yayılımlı Öğrenim {( x, d ) p 1,..., P} p p = şeklinde verilir ve bu örnekler ile denetimli öğrenim yapılır. Giriş örüntüsü: x p = ( x p, 1,..., x p, n) Çıkış örüntüsü: o = o,..., o ) p ( p, 1 p, k Beklenen çıktı: d p = ( d p, 1,..., d p, k ) Hata: l p, = op, d px, p uygulandığı zaman çıktı için hataların kareleri toplamı P K 2 = ( l p, ) p= 1 = 1 7 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Geri Yayılımlı Öğrenim Yeniden Sigmoid fonksiyonu: Fonksiyonun türevi: 1 S( x) = x 1+ e 1 S'( x) = (1 + e x 2 (1 + e ) 1 x = ( e ) x 2 (1 + e ) x = 1 e x x 1+ e 1+ e = S( x)(1 S( x)) x )' zincir kuralı if dz dz dy dx z = f ( y), y = g( x), x = h( t) then = = dt dy dx dt 8 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı f '( y) g'( x) h'( t)

Geri Yayılımlı Öğrenim Đleriye doğru hesaplama: Bir x giriş vektörü giriş düğümlerine uygulanır Gizli katmandaki x (1) çıkış vektörü hesaplanır x (1) = S( net Çıktı katmanında çıkış vektörü o hesaplanır o k = S ( net (2) k (1) ) ) = S( = S ( i w (2,1) k, (1,0), i net, x giriş vektöründen o çıkış vektörüne bir eşleştirmeyi ifade eder Öğrenmenin amacı: Hataların kareleri toplamını azaltmak, P K 2 ( l p, ) verilen eğitim örnekleri için mümkün olabildiği p= 1kadar = 1 iyi sonuçları elde etmek (eğer olabiliyorsa sıfır hata) w x x (1) i ) ) 9 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Geri Yayılımlı Öğrenim BP öğrenimin çalışması: Delta kuralı yardımıyla; katman 1 den katman 2 ye ağırlıklar (w (2,1) ) güncellenir. Fakat delta kuralı w (1,0) ağırlıklarını güncelleme için uygun değildir, çünkü gizli düğümler için belirlenen değerler bilinmemektedir. Çözüm: Çıkış düğümündeki hataların gizli düğümlere yayılımı sayesinde, gizli düğümlerde hesap edilen ağırlıkların w (1, 0) güncellenmesi sağlanır ve bu hataların geriye yayılımı olarak isimlendirilir. Gizli düğümlerdeki hataların nasıl hesap edildiği anahtar konulardan biridir. 10 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Geri Yayılımlı Öğrenim Genelleştirilmiş delta kuralı: (x p, d p ) örneği için sıralı bir öğrenim modu varsayalım E 2 = ( l k p, k ) Ağırlıklar eğim düşümü (gradient descent) ile güncellenir w (2, 1) ağırlığı için : w (1, 0) ağırlığı için : w w (2,1) (2,1) k, ( E / wk, (1,0) (1,0), i ( E / w, i w (2, 1) için güncelleme kuralının türetimi : E, l k = d k o k nin bir fonksiyonu, d k o k, nin (2) net k bir fonksiyonu ve (2,1), nin bir fonksiyonu (2) net k wolduğu k, için ) ) Yukarıdaki zincir kuralını yazabiliriz. 11 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Geri Yayılımlı Öğrenim (1,0) w,i için güncelleme kuralının türetimi düğüm gizli düğüm olsun: (1,0) w,i ağırlığı net (1) bütün çıkış düğümlerine değerini etkiler S( net değeri ) gönderilir (1,0) E deki bütün K terimleri w nin bir fonksiyonudur E x 2 = ( d o ), o = S ( net ), net = x w (1) = k k S( net (1) k ), net k (1) = i,i x i w (1) (2) k (1,0), i (2) k (1) o k (2,1) k, (2,1) w k, (1,0) w,i i, zincir kuralı ile E o k S( net net (2) k (2) k ) net x (2) k (1) x net (1) (1) net w (1) (1), i 12 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Geri Yayılımlı Öğrenim Güncelleme kuralları: harici katman ağırlıkları w (2, 1) için : dahili katman ağırlıkları w (1, 0) için : where (2) δ = ( d o ) S' ( net ) k k k k (2,1) (1) k, burada µ = ( δ w ) S'( net ) k k 13 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Çıkış katmanından hataların ağırlıklı toplamı

Detaylar x=giriş değerleri, erleri, y=çıkış değerleri erleri olmak üzere eğitim verisi; (x1,t1),(x2,t2),,(xp,tp) Net giriş değerleri erleri aşağıdaki gibidir. k th çıkış tabakasındaki herhangi bir nörondaki hata, e=t k - o k (Hata değeri)' eri)'dir. Burada t k =olması gereken çıktı, o k =fiili çıktıdır. 14 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Delta Kuralı tarafından minimize edilmiş toplam hata: Bu algoritma ile i. ve. katman işlem elemanları arasındaki ağırlıklardaki w i (t) değişikliği hesaplanır. η(öğrenme katsayısı), α(momentum katsayısı) veδise ( ara veya çıkış katındaki herhangi bir nöronuna ait bir faktördür). Buradaki w i ağırlık farkıdır. 15 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

(gizli katman) ve k (çıkış katmanı) düğümleri ümleri için çıkış değerleri erleri şu şekilde hesaplanır; Çıkış tabakasında bütün düğümler ümler için eğitme esnasında denklemden hesaplanan bir hata değeri; eri; 16 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Değerler erler hesaplandıktan sonraki adım, backpropagation başlama adımıdır. 17 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

18 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Geri Yayılımlı Öğrenim(güçlü yönleri) Güçlü sunum yeteneği Herhangi bir L2 fonksiyonu (kare alma, integral ve diğer matematiksel fonksiyonlar) BP ağı ile sunulabilir Böylesi birçok fonksiyon BP öğrenimi ile yakınsayabilir (gradient descent yaklaşımı) Geniş kullanım alanı Yalnızca kullanılabilir eğitim örneklerinin bir kümesine ihtiyaç duyar Çalışma alanının derin şekilde anlaşılması veya kısmi bir ön bilgiye ihtiyaç duymaz (yapısı iyi olmayan problemleri çözebilir ill posed) Eğitim örneklerinde gürültü ve kayıp değerleri tolere eder Đyi genelleştirme yeteneği vardır Eğitim kümesi dışındaki girişler için sıklıkla doğru sonuçları üretir 19 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

BP Öğrenimin Kusurları Öğrenim sıklıkla uzun zaman alır Karmaşık fonksiyonlar yüzlerce hatta binlerce çevrim sürer Ağ aslında bir kara kutudur. Giriş ve çıkış vektörleri (x, o) arasında belirlenen bir haritalama sağlayabilir ama neden bir kısım x değerinin bir kısım o ile eşleştirildiği bilgisini sunamaz. Bunun sebebi gizli düğümler ve öğrenilen ağırlıkların açık anlamlara sahip olmamasıdır. Birçok istatistiksel modelin aksine teorik olarak BP öğrenimin bulduğu sonuçların kalitesi ile ilgili bir sonuç verilemez. Eğitilen bir BP ağı için güvenilirlik seviyesi nedir? 20 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Gradient descent yaklaşımı ile ilgili problem Toplam hatanın sadece yerel minimuma indirilmesi garanti edilir, E (hata) sıfır değerine indirilemeyebilir Hata yüzeyinin şekli önemlidir. Yüzey üzerindeki yerel minimum noktalarından herhangi birine düşme ihtimali yüksektir. Olası çareler: Farklı sayıda gizli düğüm ve gizli katman kullanılabilir (onlar farklı hata yüzeylerini oluşturacaktır, bazıları diğerlerinden daha iyi olabilir) Farklı başlangıç değerleri verilebilir (yüzey üzerinde farklı başlama noktaları) 21 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Eğitim seti için hata sıfıra düşürüldüğümde Genelleştirme garanti edilemez. Over-fitting/over-training problemi: eğitilen ağ eğitim örneklerini mükemmel olarak uygunlaştırır fakat test setindeki örneklerde doğru sonuçlar vermeyebilir Olası çareler: Daha çok ve daha iyi örnekler Mümkünse daha küçük ağ kullanımı Daha büyük hata sınırı kullanımı (erken sonlandırma) Örneklere katsayılar eklenir (x 1,, x n ) to (x 1 α 1,, x n α n ) Çapraz doğrulama Örneklerin bir kısmını (~10%) test verisi olarak kullan (ağırlık güncelleme için kullanma) Test verisi üzerinde periyodik hata kontrolleri 22 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Test verisi üzerindeki hata artmaya başladığında öğrenimi durdur

Pratik Hususlar Đyi bir BP ağı öğrenim algoritmalarından daha fazlasına ihtiyaç duyar. Đyi bir performans için birçok parametre dikkatlişekilde seçilmelidir. BP ağlarının kusurları olmasına rağmen bazı pratik yöntemler ile problemler azaltılabilir. Başlangıç ağırlıkları (ve bias değerleri) Rastgele, [-0.05, 0.05], [-0.1, 0.1], [-1, 1] Gizli katman için ağırlıklar normalleştirilir (w (1, 0) ) Bütün gizli düğümler için başlangıç ağırlıkları atanır Her bir gizli düğümü kendi ağırlığı ile normalleştirilir w (1,0) (1,0) (1,0), i = β w, i / w m = # of hiddent nodes, n = 2 where β = 0.7 # of input nodes n m 23 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Ne kadar katman ve her katmanda ne kadar gizli düğüm olmalı? Teorik olarak, L2 fonksiyonları için bir gizli katman (birçok gizli düğüm ile) yeterlidir Gizli katmanların kaç tane olması ile ilgili teorik bir bilgi yoktur Pratik kural: n = # giriş düğümleri; m = # gizli düğümler Unipolar/bipolar veri için: m = 2n Real veri için : m >> 2n Bazı uygulamalarda benzer kalite için daha az sayıda düğüm ile işlem yerine getirilebilir ve az sayıda düğüm daha hızlı eğitilebilir. 24 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Eğitim örnekleri: Öğrenim sonuçlarının kalitesini eğitim örneklerinin kalitesi ve miktarı belirler Örnekler bütün problem uzayını toplu olarak sunabilmelidir Rastgele örnekleme Parçalı örnekleme (problem uzayı hakkında ön bilgi ile) # ihtiyaç duyulan örüntü adedi : Teorik olarak bu konuda ideal bir değer yoktur. Baum and Haussler (1989): P =W/e, W: eğitim için gerekli ağırlıkların toplam adedi (ağ yapısına bağlı) e: kabul edilebilir sınıflandırma hatası Örnek: W = 27, e = 0.05, P = 540. Eğer biz doğru sınıflandırma yapan ağı başarı ile eğitmişsek (1 0.05/2)*540 = 526 örnek, ağ diğer girişleri %95 doğrulukla sınıflandıracaktır. 25 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Data representation: unipolar (0,1) ve bipolar (-1,1) Bipolar sunum eğitim örneklerini daha etkin kullanır w (1,0) = µ x, i η i wk, = η δk x 0 or eğer ikili sunum olsa idi eğitim olamayacaktı n giriş düğümü ile için örüntülerin adedi : unipolar: 2^ bipolar: eğer bias kullanılmazsa 2^(n-1) Gerçel değerli veri (2,1) (1) (1) x i x = 0 = Giriş düğümleri: gerçel değerli düğümler (normalleştirme gerekebilir) Gizli düğümler için çıkış fonksiyonu sigmoid Çıkış düğümleri için sıklıkla doğrusal (hatta identity) Eğitim unipolar/bipolar veriden daha yavaş olabilir (bazen gerçel değerlerin ikili kodlaması kullanılır) o = w 26 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı k (2,1) (1) k, x

Öğrenme Katsayısı (η) Öğrenme katsayısı ağırlıkların değişim miktarını belirler. E E Eğer öğrenme katsayısı gereğinden büyük olursa problem uzayında rasgele gezinme olur. Bunun da ağırlıkları rasgele değiştirmekten farkı olmaz. W Eğer öğrenme katsayısı çok küçük olursa çözüme ulaşmak daha uzun sürer. W 27 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Öğrenme Katsayısı η Sabit olarak 1 değerinden çok daha küçüktür Büyükηile başlanır ve dereceli olarak değeri düşürülür Küçükηile başlanır hata artmaya başlayana kadar büyütülür Öğrenimin her bir aşamasında maksimum güvenli adım bulunur (öğrenim oranı büyürken hatanın minimumda kalmasına çalışılır) Adaptif Öğrenme Katsayısı (delta-bar-delta method) Herbir w k, ağırlığın kendine ait birη k, öğrenim oranı vardır Eğer aynı yönde kalırsa, η k, artırılır (geçerli w değerinin çevresinde E için bir düzgün eğri vardır) Eğer w k, yönü değişirse, η k, azaltılır (geçerli w değerinin çevresinde E için bir düzgün olmayan eğri vardır) w k, 28 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Momentum Katsayısı (α) E Yerel Minimum Plato Global Minimum Momentum katsayısı, yerel çözümlere ve platolara takılmayı önler. Bu değerin çok küçük seçilmesi yerel çözümlerden kurtulmayı zorlaştırır. Değerin çok büyük seçilmesi ise tek bir çözüme ulaşmada sorunlar yaratabilir. W E w( t + 1) = η + α w( t) w i 29 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

BP ağlarının çeşitleri Momentum terimi eklenerek (öğrenmeyi hızlandırmak için) t+1 anında ağırlıkların güncellenmesi önceki güncellemelerin momentumunu içerir, örn., wk, ( t + 1) = η δ k ( t) x + α wk, ( t) Ağırlık güncellemenin ani değişimlerinden kaçınmak mümkündür (öğrenim işleminin düzgünleştirilmesi) Hata monotonik olarak azalır Ağırlık güncellemelerini toplu modu Herbir epoch için birkez ağırlık güncellenir (bütün P tane örnek için toplu güncelleme) Öğrenim örnek sunumların sırasından bağımsızdır Sıralı moddan genellikle daha yavaştır 30 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Durdurma Kriterleri Hata Hatanın belli bir değerin altına düşmesi sonucu durma ε Đterasyon Hata Belirli sayıda iterasyondan sonra durma t Đterasyon 31 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Ağın Ezberlemesi (Overfitting) Burada Hata durdurulması gerekir Test Seti Hatası Đterasyon Öğrenme Seti Hatası Ağ gereğinden fazla eğitilirse problemi öğrenmek yerine verileri ezberler. Bu da ağın genelleme yapamamasını ve hatalı sonuçlar üretmesine neden olur. 32 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Uygulama Alanları Hemen hemen her alanda örnekleri görülen bir modeldir. Genel Olarak; Sınıflandırma Tahmin etme Tanıma Yorum yapma Teşhis etme alanlarında başarı ile kullanılmaktadır. 33 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Geri yayılımlı öğrenim Örüntü sınıflandırma: Đki sınıf: 1 çıkış düğümü N sınıf: ikili kodlama (log N) çıkış düğümü N çıkış düğümü kullanılırken bir sınıf daha iyi şu şekilde sunulabilir (0,..., 0,1, 0,.., 0) Sigmoid fonksiyonu kullanıldığında çıkış katmanındaki düğümler asla 1 veya 0 olmayacaktır onun yerine 1 εveyaεolacaktır. Doygunluk noktalarında hata azaltma daha yavaş hale gelecektir (ε küçük olduğunda). Hızlı öğrenim için, verilen bir ε sınırı için, eğer d p,k o p,k ε ise hata l p,k = 0 şeklinde set edilir. Bir x girişi eğitilmiş bir BP ağı kullanarak sınıflandırılacağı zaman, eğer bütün l!= k için d k. > d l ise giriş k th sınıfa atanır. 34 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Geri yayılımlı öğrenim Örüntü sınıflandırma: bir örnek myoelectric sinyallerinin sınıflandırılması Giriş örüntüsü: 3 özellik (NIF, VT, RR), 0 ile 1 arasında gerçek değerlere normalize edilir Çıkış örüntüleri: 2 sınıf: (başarılı, hatalı) Ağ yapısı : 2-5-3 3 giriş düğümü, 2 çıkış düğümü 5 düğümlü 1 gizli katman η = 0.95, α = 0.4 (momentum) Hata sınırı ε = 0.05 332 eğitim örneği Maksimum iterasyon sayısı = 20,000 Durduğu zaman, 38 örüntünün hatalı sınıflandırıldığı anlaşılmıştır. 35 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Geri yayılımlı öğrenim Fonksiyon yakınsama: Verilen w = (w (1, 0), w (2,1) ), o = f(x) için: f den bir fonksiyonel haritalama elde edilir. Teorik olarak, doğrusal olmayan düğümlerin en az bir gizli katmanına sahip olan ileribeslemeli ağlar L2 formunda (bütün kare integral fonksiyonları ve hemen hemen genel olarak kullanılan bütün matematik fonksiyonları) herhangi bir fonksiyona yakınsayabilir. Herhangi bir L2 fonksiyonu f (x) bir Fourier serisi tarafından yakınsanır Fourier serileri cosine düğüm fonksiyonunun bir gizli katmanına sahip ileri beslemeli bir ağ ile yakınsanabilir 36 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Applications of BP Nets A simple example: Learning XOR Başlangıç ağırlıkları ve diğer parametreler weights: [-0.5, 0.5] arasında rastgele değerler hidden nodes: 4 düğümlü tek katman (A 2-4-1 net) biases used; learning rate: 0.02 Çeşitleri test edildi Unipolar ve bipolar sunum Farklı durma kriterleri Başlangıç değerleri normalleştirildi ( targets (Nguyen-Widrow) with ± 1.0 and with ± Bipolar, unipolar dan daha hızlı Unipolar için ~3000 epoch, bipolar için ~400 epoch Why? (çünkü unipolar ile kimi zaman eğitim 0 değerlerinde yapılamıyor) 0.8) 37 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Experimental comparison Training for XOR problem (batch mode) 25 simulations with random initial weights: success if E averaged over 50 consecutive epochs is less than 0.04 results method simulations success Mean epochs BP 25 24 16,859.8 BP with momentum BP with deltabar-delta 25 25 2,056.3 25 22 447.3 38 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Data compression Az sayıda gizli düğüm kullanımı ile örüntülerin kendi kendine otomatik eşleştirmesi : training samples:: x:x (x n boyutlu) hidden nodes: m < n (A n-m-n net) n V m W n Eğer eğitim başarılı ise, herhangi bir x vektörü giriş düğümüne uygulanarak çıkış düğümünde aynı x değeri üretilecektir Gizli katmandaki z örüntüsü x in sıkıştırılmış bir sunumu haline gelecektir (with smaller dimension m < n) Uygulama: iletim maliyetinin düşürülmesi x n V m z z m W n x 39 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı sender Communication channel receiver

Example: karakter resimlerinin sıkıştırılması Herbir karakter 7 x 9 pixel bitmap veya 63 boyutlu bir ikili vektör ile sunulabilir Deneyde 10 characters (A J) kullanılmıştır Hata oranı: tight(sıkı): 0.1 (off: 0 0.1; on: 0.9 1.0) loose(serbest): 0.2 (off: 0 0.2; on: 0.8 1.0) Gizli düğümler, hata aralığı ve yakınsama oranı arasındaki ilişki Hafif hata aralığı hızlanabilir Gizli düğümlerin artırılması ile hız artabilir error range: 0.1 hidden nodes: 10 # epochs 400+ error range: 0.2 hidden nodes: 10 # epochs 200+ error range: 0.1 hidden nodes: 20 # epochs 180+ error range: 0.2 hidden nodes: 20 # epochs 90+ 22 üzerindeki gizli düğümlerde hız artımı farkedilebilir olmayabilir. 40 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Other applications. Tıbbi teşhis Input: belirtiler (semptomlar, lab testleri vs.) Output: olası hastalıklar Problemler: Hiçbir nedensellik ilişkisi kurulamayabilir Girişlerin ne olması gerektiğini belirlemek zordur Aktif çalışmalar sınırlı tıbbi görevler üzerinde odaklanmıştır Örn., standart kan testi tabanlı olarak hepatit B ve prostat kanseri tahmini Proses kontrol Giriş: çevresel parametreler Çıkış: kontrol parametreleri Đyi yapılanmamış fonksiyonlar öğrenilebilir 41 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Stock market tahmini Input: finansal faktörler (CPI (Customer Proximity Index), ilgi oranı, etc.) ve önceki günlerin stok miktarları Output: stok indisleri veya stok ücretlerinin tahmini Training samples: geçen yıllara ait stok market verisi Müşteri kredi değerlendirme Input: kişisel finansal bilgi (gelir, alacak, vergi geçmişi, vs.) Output: kredi puanı Ve daha fazlası Başarılı uygulamalar için anahtar Giriş vektörünün dikkatli tasarımı (önemli büyün özelliklerin seçilmesi): bazı domain bilgileri Đyi eğitim örneklerinin elde edilmesi : zaman ve diğer maliyetler 42 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı

Önemli Not Ders notlarının hazırlanmasında; başta Internet olmak üzere çeşitli kaynaklardan faydalanılmış ve bize ait bir son ürün ortaya konmuştur. Faydalandığımız kaynaklar için herkese teşekkürler. Bu kaynağı değiştirmeden kullanacakların ise referans göstererek çalışmamızı kullanmalarında bir sakınca yoktur. Dr. Hidayet Takçı GYTE Bilgisayar Müh. Böl. Öğretim Elemanı 43 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı