YAPAY SİNİR AĞLAR EĞİTİM SETİ Uğur GÜVENÇ *, Serdar BİROĞUL *, Yusuf SÖNMEZ * Gazi Üniversitesi Teknik Eğitim Fakültesi Elektrik Eğitimi Bölümü, 06500, ANKARA ÖZET Yapay sinir ağları iş hayatı, finans ve endüstri alanlarında doğrusal olmayan sistemlerin modellenmesinde geleneksel yöntemlerin yerine daha fazla bir ilgi görmektedir. Bu alanlarda istihdam edilecek lisans ve lisansüstü seviyesindeki öğrencilere YSA nın etkin bir şekilde öğretilmesi gerekmektedir. Bu makalede lisans ve lisansüstü seviyedeki öğrenciler için hazırlanan bilgisayar tabanlı bir yapay sinir ağı simülatörü sunulmuştur. Hazırlanan simülatör, YSA ları oluşturan bileşenlerin kullanıcı tarafından değiştirilebilme esnekliğine sahiptir. Böylece kullanıcı, bu bileşenlerin tasarlanan sistem üzerindeki etkilerini açık bir şekilde görebilmektedir. ABSTRACT Artificial neural netorks (ANN) have attracted attention in the past fe decades ith successful implementation in ork life, financial and industrial areas. Therefore, ANN has to be learned effectively to bachelor s degree and graduate students ho ill employee in these areas. n this paper, a computer based ANN simulator is prepared for to bachelor s degree and graduate students. The tool has flexible structure and graphical interface. ANN parameters can be changed easily so teaching students can see clearly effects of parameters on the designed system. 1. GİRİŞ Yapay sinir ağları tahmin ve sınıflandırma işlemlerinde çok iyi sonuçlar vermektedir (Kalagirou,1999). Ayrıca, YSA belirsiz, gürültülü ve eksik bilgilerin işlenmesinde başarıyla kullanılmaktadır. Tüm bu özelliklerinden dolayı YSA günümüzde iş hayatı, finans ve endüstri alanlarında doğrusal olmayan sistemlerin modellenmesinde mevcut olan yöntemlere göre daha yoğun bir ilgi görmektedir (Elmas,2003). Bu alanlarda çalışacak olan bireylerin YSA nı en iyi şekilde öğrenmeleri gerekmektedir. Günümüzde YSA eğitimi yapabilen birçok yazılım mevcuttur. Microsoft Windos un ortaya çıkışı, görsel menüleri ve işlevsel kullanıcı ara yüzü sayesinde DOS ortamında yazılan programların can sıkıcılığını ortadan kaldırmıştır. MATLAB- Simulink, XERON, SNNS, SAS v.b. programlar YSA simülasyonunu yapan görsel birkaç yazılım paketleridir. Bu programların algoritma yapısı kullanıcıya sunulmamakta ve programlar çalıştığında kullanıcı eğitim esnasında neler olduğunu bilememektedir. Bu yüzden bu tip paket programların kullanıcının YSA yı öğrenmesine etkisi bulunmamaktadır. Bu çalışmada, bilgisayar tabanlı bir yapay sinir ağ simülatörü sunulmaktadır. Buradaki asıl amaç YSA yapısını ve algoritmasını kullanıcının etkili bir şekilde öğrenmesini sağlamaktadır. Hazırlanan programda, kullanıcı gizli katman sayılarını, gizli katman sayılarındaki düğüm sayılarını, öğrenme ve momentum katsayılarını kendi belirleyebilmekte ve remenans değerine göre eğitimi bitirebilmektedir. Kullanıcı programın çalışmasını adım adım görmekte, algoritmasını takip edebilmekte ve ağ parametrelerinin sisteme etkisini görebilmektedir. Eğitim bittikten sonra öğrenmenin olup olmadığı hakkında, kullanıcı referans girişlerle gerçek çıkışları, hatayı, remenans değerinin değişimini grafiklerle görerek yorum yapabilmektedir. En iyi öğrenmenin gerçekleşmesini anlamak için grafikler saklanarak bir sonraki denemelerle karşılaştırılabilmektedir. Her bir denemede oluşan ağırlık ve bias değerlerinin bulunduğu dosyalar saklanabilmektedir. Böylece en iyi öğrenmenin olduğuna karar verilen ağ yapısına ait değerler daha sonra kullanılabilmektedir. YSA ların eğitilebilmesi için öncelikle problemle ilgili örneklerin belirlenmesi gerekmektedir. Mevcut olan örneklerinin tamamının tanımlanması, değişik durumlarda ağın probleme doğru cevap vermesinde çok önemlidir. Çünkü elimizdeki örnekler ağa sırasıyla uygulanmakta ve problemdeki etkenler arasında bir ilişki kurmaktadır. Etkenler arasındaki ilişkinin iyi olması, ağın eğitilme aşamasında olmayan bilgiler istenildiğinde doğru cevaplar vermesini sağlamaktadır. Ağın eğitimi için kullanılan gizli katman sayısı ve gizli katmanlardaki düğüm sayılarının belirlenmesinde genel bir kural yoktur. Bunun yanı sıra öğrenme ve momentum katsayıları 0-1 arasında seçilip, kesin değerleri genellikle deneme yanılma ile belirlenmesi en önemli sorunlardır. Bundan dolayı eğitimin yapılacağı program esnek bir yapıya sahip olmalıdır. 2. YAPAY SİNİR AĞLAR İnsan beyninin fizyoloisinden esinlenerek geliştirilmiş bilgisayar yazılım programı olan YSA, birbirine bağlı çok sayıda işlem elemanlarından oluşmakta ve genellikle paralel işleyen yapılar olarak adlandırılmaktadır (Fausett,1994; McCulloch&Pitts,1943). YSA üzerine ilk çalışma 1943 yılında, Arren McCulloch ile Walter Pitts (McCulloch&Pitts,1943) tarafından gerçekleştirilmiştir. Yapay sinir ağlarının ilk bilgisayar benzetimi 1956 yılında Rochester tarafından sunulmuştur (Patterson,1995). Frank Rosentblatt ın (Rosentblatt,1958) Perceptron u gerçekleştirmesinden sonra YSA alanındaki
gelişmeler hızlanmıştır. Perceptron, beyin işlevlerini modelleyebilmek amacıyla yapılan çalışmalar neticesinde ortaya çıkan tek katmanlı eğitilebilen ve tek çıkışa sahip olan YSA dır (Elmas,2003). YSA daki işlem elemanları (düğümler) basit sinirler olarak adlandırılır. Bir YSA, birbirleriyle bağlantılı, çok sayıda düğümlerinden oluşur. YSA, insan beyni gibi, öğrenme hatırlama ve genelleme yeteneğine sahiptir (Elmas,2003). YSA lar insan beyninin modellenmesine dayanır ve herbiri ağırlık bağlantıları ile birbirine bağlı çok sayıda yapay sinir hücresine sahiptir. Şekil 1 de bir yapay sinir görülmektedir. Girişler Ağırlıklar Toplama İşlev i Aktiv asy on f onksiy onu Çıkış x 1 1 x 2 2 n i1 i x f v ) i v i ( i y i x i i Eşik değeri Şekil 1. Yapay bir sinir (düğüm) Girişler ( x 1, x2,..., xi ) önceki sinirlerden veya dış dünyadan aldığı bilgiyi sinire getirir. Bir sinir genellikle gelişi güzel bir çok girdileri alır. Ağırlıklar ( 1, 2,..., i 1, i 2,... i) yapay sinir tarafından alınan girişlerin sinir üzerindeki etkisini belirleyen uygun katsayılardır. Her bir giriş kendine ait bir ağırlığa sahiptir. Bir ağırlığın değerinin büyük olması, o girişin yapay sinire güçlü bağlanması ya da önemli olması, küçük olması zayıf bağlanması ya da önemli olmaması anlamına gelmektedir. Toplama işlevi v, sinirde her bir girişin kendi ağırlıkları ile çarpımının toplamlarını eşik değeri i ile toplayarak etkinlik işlevine gönderir. Toplama işlevinin sonucu, etkinlik işlevinden geçirilip çıkışa iletilir. Etkinlik işlevinin kullanım amacı, zaman söz konusu olduğunda toplama işlevinin çıkışının değişmesine izin vermektir. Werbos (Werbos,1974) 1970 yılında geri yayılımlı YSA algoritmasını gelişmiştir. Günümüzde en çok kullanılan ağ modellerinin başında ileri beslemeli geri yayılımlı yapay sinir ağı gelmektedir (Svozil, Kvasnicka & Pospichal,1997). Şekil 2 de tek çıkışlı iki-katmanlı geri yayılımlı bir YSA modeli görülmektedir. Tek çıkışlı iki katmanlı sinir ağlarındaki ağırlıkların aşağıdaki eşitliklere göre her adımda güncelleştirilir. i (0) y i v y v y c _ e d + 1.Katman 2. Katman Şekil 2. Tek çıkışlı iki-katmanlı geri yayılmalı YSA. katmandaki ağırlık değerinin bulunması Eş. 1 de verilmiştir. i ( k 1) [1] i. katmandaki ağırlık değerinin bulunması Eş. 2 de verilmiştir. ( k 1) i [2]
3. EĞİTİM SETİNİN DEĞERLENDİRİLMESİ YSA eğitim seti, aşağıda belirtilen eğitim hedeflerine ulaşmak amacıyla tasarlanmıştır. Öğrenciler bu eğitim setini kullanarak; Yapay sinir ağlarının oluşturulmasının esaslarını öğrenirler. İleri beslemeli geri yayılımlı ağ yapısını anlarlar. Momentum ve öğrenme katsayısının ağ üzerindeki etkisi ile ilişki kurarlar. Gizli katman sayısı ve gizli katmandaki düğüm sayılarının öğrenmeye etkisi hakkında yorum yapabilirler. Kendi bilgilerini geliştirirken zamandan tasarruf ederler. Hazırlanan bu program, ilk kez Gazi Üniversitesi Fen Bilimleri Enstitüsü Elektrik Eğitimi Bölümü lisansüstü öğrencilerinin Elektrikte Yapay Zeka Uygulamaları 1 dersinde uygulanmıştır. Dersin 3 saatlik öğretimi vardır. Dersin içeriğinde; Geri Yayılımlı Uygulama örneklerinden xor, karakter algılama ve anahtarlamalı relüktans motorun relüktans tahmini vardır. Eğitim seti kullanılarak, dersin içeriğinde bulunan uygulamaların benzetimi yapılmıştır. Derste eğitim seti kullanıldıktan sonra öğrencilerden alınan öğretim sonuçları, set kullanılmadan önce elde edilen sonuçlarla karşılaştırılmıştır. Öğrenci cevapları bir değerlendirme formu vasıtasıyla alınmıştır. Alınan cevaplara göre eğitim seti kullanıldıktan sonra öğrenmede olumlu gelişmeler sağlanmıştır. 4 YAPAY SİNİR AĞ EĞİTİM SETİ Yapılan bu set Windos ortamında çalışmaktadır. Program setup dosyasından kurulduktan sonra YSA adında bir klasör açılmaktadır. Bu klasörün içinde otomatik olarak 4 dosya oluşmaktadır. Bu dosyalar ysagiris.inp, ysacikis.inp, ysa.dat ve ysa.dat olarak isimlendirilmiştir. Eğitiminde kullanılacak giriş verileri ysagiris.inp, çıkış verileri ysacikis.inp dosyalarına yazılmaktadır. Eğitim tamamlandıktan sonra elde edilen ağırlık değerleri ysa.dat dosyasında bulunmaktadır. Eğitim sonrası elde edilen en son ağırlık değerleri ile ağ tekrar ileri yayılarak çıkış değerleri hesaplanır. Elde edilen bu çıkış değerleri, gerçek çıkış değerleri ise ysa.dat dosyasına kaydedilir. Program çalıştığında kullanıcıya yardımcı olması nedeniyle bu bilgiler ekranda sunulmaktadır. Kullanıcı DEVAM butonuna basarak Ana sayfaya geçiş yapar. 4.1 Ana Sayfa Programın ana sayfasında ağ yapısını belirlenmektedir. Yapay Sinir Ağlarının eğitiminde karşılaşılan sorunların başında ağ yapısının uyarlanabilir olması gelmektedir. Bu sorunu çözmek için uygun değerli ağırlıklar ve doğru bağlantılar seçilmelidir. Programda giriş katmanı maksimum on beş giriş, çıkış katmanı ise maksimum on çıkış olacak şekilde hazırlanmıştır. İlk önce giriş düğüm sayısı, çıkış düğüm sayısı ve eğitimde kullanılması istenilen gizli katman sayısı seçilmeli ve OLUŞTUR butonuna basılmalıdır. Hazırlanan paket programda dört gizli katmana izin verilmektedir. YSA uygulamalarında, en uygun sayıdaki gizli katman ve gizli katmanlardaki düğüm sayısını bulmak için her hangi bir kural yoktur. Genellikle sistemin karmaşıklığı, gizli katmanların ve gizli katmanlardaki düğümlerin sayısının artmasıyla giderilir. Gizli katmandaki düğüm sayılarının arttırılması simülasyon sırasında hem hafıza hem de CPU nun yükünü artırmaktadır. Fakat öğrenme işlemi daha hassas olmaktadır. Gizli katman düğüm sayısının az miktarda alınması ağın hatırlama yeteneğini olumsuz yönde etkilemektedir. Bu yüzden çalışmada gizli katman düğüm sayısı, giriş katmanındaki ve çıkış katmanındaki düğüm sayıları da gözetilerek belirlenmelidir. OLUŞTUR butonuna basıldıktan sonra ağda kullanılması istenen gizli katman sayısı kadar edit kutusu açılmaktadır. Bu kutulara gizli katmalarda kullanılması için seçilecek düğüm sayıları yazılır ve böylece sistemin ağ yapısı belirlenmiş olur. Daha sonra EĞİTİME GEÇ butonuna basılarak eğitim sayfasına geçirir. Şekil 3 de hazırlanan setin ana sayfası görülmektedir.
Şekil 3. Simulator ana sayfası 4.2 Eğitim Sayfası Programın eğitim sayfasında, ağ yapısı belirlendikten sonra oluşturulan ağ yapısının görüntüsü ekrana gelmektedir. Programda ağların eğitimi için, öğrenme kuralı olarak danışmanlı öğrenme kuralı seçilmiştir. Bu öğrenme kuralında, gerçek çıkış istenen çıkışla kıyaslanır. Rasgele değişen ağırlıklar ağ tarafından öyle ayarlanır ki, bir sonraki döngüde gerçek ile istenen çıkış arasında daha yakın karşılaştırma üretebilsin. Her bir düğümün çıkışı ağırlıklar üzerinden bir sonraki katmandaki düğümün girişi olarak bağlanmaktadır. Aynı zamanda her düğüme bir eşik değeri eklenerek ağın daha hızlı öğrenmesini ve öğrenme kapasitesinin arttırılması sağlanmıştır. Her bir katmandaki düğümün çıkışına aktivasyon fonksiyonu olarak hiperbolik tanant sigmoid aktivasyon fonksiyonu kullanılmıştır. Her bir katmandaki ve öğrenme katsayıları değişkendir. Ayrıca yerel minimum noktasını yakalamak içinde momentum katsayısı değişkeni kullanılır. Bu değişken 0 1 aralığında seçilmelidir. Her bir katmanın ağırlık ayarlamaları için momentum katsayısı Eş. 3 ve Eş 4 deki gibi kullanılır. ( k 1) ( k 1) i i i i [3] ( k 1) ( k 1) [4] Öğrenme oranı ağ performansı üzerinde önemli bir etkiye sahiptir. Küçük öğrenme oranı değerlerleri için eğitme işlemi uzun zaman alırken bu değerin büyütülmesi ile eğitme işlemi daha kısa zamanda gerçekleşmektedir. Öğrenme oranının arttırılması durumunda öğrenme için gerekli adım sayısında azalma meydana gelmektedir. Öğrenme oranının arttırılması ağın toplam hatası üzerinde bir iyileştirme meydana getirmektedir. Fakat öğrenme oranına çok büyük değerlerin verilmesi durumunda yakınsama olayı meydana gelmemektedir. Yapılan çalışmalarda momentum teriminin ilave edilmesi ağ performansı üzerinde etkili olduğu gözlenmiştir. Momentum teriminin hesaplamaya katılması adım sayısında ve toplam ağ hatasında bir düşüş meydana getirmektedir. Momentum katsayısı yüksek alındığında ağdaki toplam hatanın sıfıra doğru daha fazla bir eğilimle yaklaştığı görülmektedir. E A B C E E E() Minimum Şekil 4. Yerel minimum noktası
Ağırlık vektörü ile performans indeksi arasındaki değişim Şekil 4 de gösterilmektedir. Şekil 4 de görüldüğü gibi değişik yerel minimum noktalar (A, B, C) vardır. Öğrenme ve momentum katsayıları öyle ayarlanmalıdır ki gerçek minimum noktası elde edilebilsin. Bu bilgilere dayanarak eğitime başlamadan önce öğrenme katsayısı, momentum katsayılarının belirlenmesi değiştirilebilir olması için iki edit kutusu oluşturulmuştur. Bu edit kutularının içine katsayılar yazılarak EĞİT butonuna basılır ve eğitim başlatılmış olur. Şekil 5 de hazırlanan setin eğitim sayfası görülmektedir. Şekil 5. Simulator eğitim sayfası Bir yapay sinirin öğrenme yeteneği, seçilen öğrenme algoritması içerisinde ağırlıkların uygun bir şekilde ayarlanmasına bağlıdır. Öğrenme yöntemi, bütün işleme elemanlarının anlık hatalarını en aza indirmeye çalışır. Programda tüm ağdaki hata remenans değeri ile gösterilmiştir ve şu şekilde hesaplanmıştır. 1 2 v i z i 2 E [5] Eğitim başladıktan sonra sayfada remenans değerinin değişimini sürekli olarak görülmektedir. Remenanas değerinin izleyerek kullanıcı isterse en iyi değeri yakaladığını farz ederek DURDUR butonuna basarak eğitme işlemini durdurabilir. Şekil 6 de remenans değerinin hazırlanan sette değişimi görülmektedir. Ayrıca program, remenans değerinin 0,0001 değerini gördüğü an otomatik olarak eğitim işlemini durdurur. Şekil 6. Remenans değerinin değişimi Eğitim bittikten sonra referans olarak verilen çıkışlarla gerçek çıkışların karşılaştırılabilmesi için sonuç grafikleri ekrana gelir. Burada kaç tane çıkış varsa her birisi için ayrı grafik oluşmaktadır. Ekranda bulunan listboxları kullanarak istenilen çıkış grafiği görünür. Ayrıca eğitim esnasında remenans değerinin değişimini gösteren birde grafik bulunmaktadır. Şekil 7 da eğitimden sonraki sonuç görülmektedir.
Şekil 7. Sonuç görüntüsü Artık eğitim işlemini bitirmiştir. Kullanıcı en iyi öğrenmenin olduğu kanaatine varamadıysa ana pencereden ağ yapısını ve öğrenme ve momentum katsayılarını değiştirerek tekrar eğitime başlayabilir. Kullanıcı en iyi öğrenmenin olduğu kanaatine vardığı anda ysa.dat içerisinde saklanan ağırlıklar ve bias değerlerini kullanarak kendi sistemine uygulayabilir. 5. SONUÇ Bu çalışmada, lisans ve lisansüstü seviyedeki öğrencilerin YSA nı etkin bir şekilde öğrenebilmesi amacıyla bir eğitim seti hazırlanmıştır. Set, Windos ortamında çalışan bir bilgisayara kolayca yüklenebilir. Hazırlanan set, esnek bir yapıya ve işlevsel bir kullanıcı ara yüzüne sahip olup gizli katman sayısı, gizli katmandaki düğüm sayıları, öğrenme katsayısı ve momentum katsayısı kullanıcıya bağlı olarak değiştirilebilmektedir. Hazırlanan bu program, ilk kez Gazi Üniversitesi Fen Bilimleri Enstitüsü Elektrik Eğitimi Bölümü lisansüstü öğrencilerinin Elektrikte Yapay Zeka Uygulamaları 1 dersinde uygulanmıştır. Derste eğitim seti kullanıldıktan sonra öğrencilerden alınan öğretim sonuçları, set kullanılmadan önce elde edilen sonuçlarla karşılaştırılmıştır. Öğrenci cevapları bir değerlendirme formu vasıtasıyla alınmıştır. Alınan cevaplara göre eğitim seti kullanıldıktan sonra öğrenmede olumlu gelişmeler sağlanmıştır. KAYNAKLAR 1. Kalagirou, S. A. (1999), Applications of Neural Netorks in Energy Systems, Energy Conversion and Management, 40, pp.1073-1087. 2. Elmas, Ç.( 2003), Yapay Sinir Ağları, Ankara: SeçkinYayınevi. 3. Fausett, L.(1994), Fundamentals of neural netorks, Prentice-Hall, nc. 4. McCulloch, W.S. and Pitts, W. (1943), A Logical Calculus of The deas mmanent in Nervous Activity, Bull. Math. Biophys, 5, pp.115-137. 5. Patterson, D.W. (1995), Artificial Neural Netorks, Tokyo: Prentice Hall 6. Rosenblatt, F. (1958), The Perceptron: A Probabilistic Model For nformation Storage & Organization in The Brain, Psychological Reie, (65),pp. 386-408. 7. Werbos, P. (1974), Beyond Regression: Ne Tools For Prediction And Analysis in The Behavioral Sciences, Ph.D. Dissertation, Cambridge:Harvard University. 8. Svozil, D., Kvasnicka, V., Pospichal, J. (1997), ntroduction to Multilayer Feed Forard Neural Net, Chemometrics and ntelligent Laboratory Systems., 39, pp.43-62.