Concept Learning Araş. Gör. Nesibe YALÇIN BİLECİK ÜNİVERSİTESİ 1
İÇERİK Öğrenme Metotları Kavram Öğrenme Nedir? Terminoloji Find-S Algoritması Candidate-Elimination Algoritması List-Then Elimination Algoritması Algoritmaların Kullanımına İlişkin Örnekler 2
Öğrenme Metotları Danışmanlı Öğrenme (Supervised Learning) Eğitim sırasında hem girdiler, hem de o girdiler karşılığında oluşturulması gereken çıktılar sisteme verilir. Bu sayede olayın girdileri ve çıktıları arasındaki ilişkiler öğrenilmektedir. 3
Öğrenme Metotları - II Danışmansız Öğrenme (Unsupervised Learning) Sisteme sadece girdi değerleri gösterilir ve parametreler arasındaki ilişkileri sistemin kendi kendine öğrenmesi beklenir. Danışmanlı öğrenmeye göre çok daha hızlıdır ve matematik algoritmaları daha basittir. 4
Öğrenme Metotları - III Takviyeli Öğrenme (Reinforcement Learning) Öğretmen, her girdi seti için olması (üretilmesi) gereken çıktı setini sisteme göstermek yerine, sistemin kendisine gösterilen girdilere karşılık çıktısını üretmesini bekler ve üretilen çıktının doğru veya yanlış olduğunu gösteren bir sinyal üretir. Bu sinyal dikkate alınarak, eğitim süreci devam ettirilir. 5
KAVRAM ÖĞRENME NEDİR? Kavram öğrenme, kendisine girdi olarak gelen eğitim örneklerinden yararlanılarak boolean (true-false) değerli bir fonksiyon çıkarımıdır. X: Kavramın tanımlandığı nesne kümesi, c: öğrenilecek kavram/hedef fonksiyon ise c:x {0,1}, genellikle X örnekleri üzerinde tanımlı boolean değerli bir fonksiyondur [1]. 6
Terminoloji c, öğrenilecek kavram c(x) 0/1, x X h hipotez, öğrenmenin sonucu h(x) 0/1, x X H, hipotezler uzayı h H D, mevcut eğitim kümesi D X İki tür eğitim örneği mevcuttur: Pozitif Örnek: x : c(x) = 1, x ϵ D Negatif Örnek: x : c(x) = 0, x ϵ D [2] 7
Bir Kavram Örneği Günler Hava Sıcaklık Rüzgar Nem Hava Durumu Pazartesi Güneşli Sıcak Rüzgarlı Kuru İyi Salı Güneşli Sıcak Rüzgarlı Nemli İyi Çarşamba Yağmurlu Soğuk Rüzgarlı Nemli Kötü Perşembe Güneşli Sıcak Sakin Nemli İyi Burada, her bir hava durumu örneği (xi) 4 özellikten oluşmaktadır: x1 = <Güneşli, Sıcak, Rüzgarlı, Kuru> x2 = <Bulutlu, Sıcak, Sakin, Kuru> x3 = Genel ifade: Hava Sıcaklık Rüzgar Nem şeklindedir [2]. 8
Bu özelliklerin sadece aşağıdaki değerleri aldığını varsayalım; Hava ϵ { Güneşli, Bulutlu,Yağmurlu } Sıcaklık ϵ { Sıcak, Soğuk } Rüzgar ϵ { Rüzgarlı, Sakin} Nem ϵ { Nemli, Kuru } Mümkün Hava Durumu sayısı: X = 3 2 2 2 = 24 olacaktır [2]. 9
Eğitim Kümesi x 1 = <Güneşli, Sıcak, Rüzgarlı, Kuru> İyi x 2 = <Güneşli, Sıcak, Rüzgarlı, Nemli> İyi x 3 = <Yağmurlu, Soğuk, Rüzgarlı, Nemli> Kötü x 4 = < Güneşli, Sıcak, Sakin, Nemli> İyi 10
Hipotezler H hipotezler uzayı nasıl olacak? Her h hipotezi, X in bir alt kümesine karşılık gelir. 11
Problemin Gösterimi X Örnekleri: Özelliklerin birleşimi ile tanımlanan günler Hava ( Güneşli, Yağmurlu ) Sıcaklık ( Sıcak, Soğuk ) Rüzgar ( Rüzgarlı, Sakin ) Nem ( Nemli, Kuru ) Hipotezler H: Her bir h hipotezi, Hava, Sıcaklık, Rüzgar, Nem özellikleri üzerindeki kısıtlamaların birleşimiyle oluşur. Buradaki kısıtlamalar Ф veya? şeklinde girilmiş olabilir. Hedef fonksiyonu c: Hava Durumu: X {0,1} D, Eğitim Örnekleri: Hedef fonksiyonunun pozitif ve negatif örnekleri Amaç; eğitim örneklerine en iyi uyan hipotezi bulmaktır. H kümesinde öyle bir h hipotezi belirleyin ki; ( x ϵ X) için h(x)=c(x) olsun [1]. 12
Find-S: Finding a Maximally Specific Hypothesis En özel hipotezi bulmaya çalışır. Hedef fonksiyonun hipotez uzayında var olduğunu ve en özel hipotezin en iyi sonuca götüreceğini kabul eder. En özel hipotez ile başlanır. Eğitim örnekleri boyunca ilerlenir. Negatif eğitim örneklerini eler. Karşılaşılan pozitif örnekler de ise, eldeki bilgiyle tutarlılık kontrolü yapılır. Eğer örnek h hipotezi ile uyuşmuyorsa h hipotezi, bu yeni eğitim örneğini de barındıracak şekilde genelleştirilir. Bu süreç, tüm eğitim verisi görülünceye kadar devam eder. 13
Find-S Algoritması 1. h yi, H hipotez uzayı içindeki içindeki en özelleşmiş hipotez olarak ilk kullanıma hazırla 2. Her bir pozitif x eğitim örneği için h içindeki her bir ai özellik kısıtlaması için Eğer h içindeki ai kısıtlaması x tarafından sağlanıyorsa O halde bir şey yapma Değilse ai yi, h hipotezinde, x tarafından sağlanan daha genel bir kısıtlamayla değiştir. 3 h hipotezini çıktı olarak gönder [1] 14
Örnek Günler Hava Sıcaklık Rüzgar Nem Hava Durumu Pazartesi Güneşli Sıcak Rüzgarlı Kuru İyi Salı Güneşli Sıcak Rüzgarlı Nemli İyi Çarşamba Yağmurlu Soğuk Rüzgarlı Nemli Kötü Perşembe Güneşli Sıcak Sakin Nemli İyi h0 <Ф, Ф, Ф, Ф> (en özel) //kısıtlamaların hiçbiri sağlanmadığı için h1 <Güneşli, Sıcak, Rüzgarlı, Kuru> // eğitim örneği ile tutarlı olmalı h2 <Güneşli, Sıcak, Rüzgarlı,?> // yeni eğitim örneği ile tutarlı olmayan kısıtlamayı genelleştir. h3 <Güneşli, Sıcak, Rüzgarlı,?> // **Negatif örneği atla.(çarşamba) h4 <Güneşli, Sıcak,?,?> 15
Find-S Algoritması Pozitif örnekler üzerinde çalışan bu algoritma, negatif örnekleri dikkate almamaktadır. Verilen tüm eğitim örnekleri kusursuz olmalıdır. Hatalı tek bir örneğin olması algoritmanın fazla genelleme yapmasına ve oldukça kullanışsız olmasına neden olabilir. Tutarlı birden fazla hipotez varsa? Bu durumda hedef hipotezi kaçırabilir ve daha az optimal bir hipotez bulabilir [3]. 16
Candidate-Elimination Algoritması Aday eleme algoritması, pozitif ve negatif örnekleri birlikte dikkate alır. Pozitif örnekleri kullanarak özel durumu genele, negatif örnekleri kullanarak genel durumu da özele götürür. Eğitim örnekleri ile tutarlı olan tüm tanımlı hipotezleri bulur. 17
Candidate-Elimination Algoritması G = H içindeki en genel hipotez S = H içindeki en özel hipotez Her d eğitim örneği için Eğer d pozitif ise G den d ile tutarsız olan bir hipotezi çıkar S içindeki d ile tutarsız her bir s hipotezi için s i S den çıkar S e s in, bütün minimum h genellemelerini ekle S den diğerlerinden daha genel olan bir hipotezi çıkar d negatif ise S den d ile tutarsız olan bir hipotezi çıkar. G deki, d ile tutarsız olan her bir g hipotezi için g yi G den çıkar. G ye g nin bütün minimum h özelleştirmelerini ekle G den diğerlerinden daha az genel olan bir hipotezi çıkar 18
Örnek Hava Sıcaklık Rüzgar Nem Hava Durumu Güneşli Sıcak Rüzgarlı Kuru İyi Güneşli Sıcak Rüzgarlı Nemli İyi Yağmurlu Soğuk Rüzgarlı Nemli Kötü Güneşli Sıcak Sakin Nemli İyi S0 <Ф, Ф, Ф, Ф> G0 <?,?,?,?> S1 <Güneşli, Sıcak, Rüzgarlı, Kuru> G1 <?,?,?,?> S2 <Güneşli, Sıcak, Rüzgarlı,?> G2 <?,?,?,?> S3 <Güneşli, Sıcak, Rüzgarlı,?> G3 <Güneşli,?,?,?> <?,Sıcak,?,?> S4 <Güneşli, Sıcak,?,?> G4 <Güneşli,?,?,?> <?,Sıcak,?,?> S4 X G4 <Güneşli,Sıcak,?,?> 19
Örnek Günler Hava Sıcaklık Rüzgar Nem Hava Durumu Pazartesi Güneşli Sıcak Rüzgarlı Kuru İyi Salı Güneşli Sıcak Rüzgarlı Nemli İyi Çarşamba Yağmurlu Soğuk Rüzgarlı Nemli Kötü Perşembe Güneşli Sıcak Sakin Nemli İyi S0 <Ф, Ф, Ф, Ф > G0 <?,?,?,?> S1 <Güneşli, Sıcak, Rüzgarlı, Kuru> G1 <?,?,?,?> S2 <Güneşli, Sıcak, Rüzgarlı,?> G2 <?,?,?,?> S3 <Güneşli, Sıcak, Rüzgarlı,?> G3 <Güneşli,?,?,?> <?,Sıcak,?,?> S4 <Güneşli, Sıcak,?,?> G4 <Güneşli,?,?,?> <?,Sıcak,?,?> S4 X G4 <Güneşli,Sıcak,?,?> 20
List-Then Elimination Algoritması Hipotez uzayının sınırlı olduğu durumlarda kullanılır. Örnekler gözlemlendikçe, aday hipotez uzayı küçülür. Yorum uzayı H Her bir eğitim örneği (x, c(x)) için h(x) c(x) ise eğitim örneği ile tutarlı olmayan hipotez elenir. Yorum uzayında oluşan hipotez listesini çıkış olarak ver. Negatif eğitim örnekleri çıkarılır, sadece pozitif olanlar kalır. Bu örneklerden içerisinde bizim sınırlarımız içerisinde kalan örneklerimiz varsa true, aksi takdirde false değerini döndürür. 21
List-Then Elimination Algoritması Örnek Hava Sıcaklık Nem Rüzgar Deniz H.Tah.? 1 Güneşli Sıcak Normal Güçlü Ilık Aynı Evet 2 Güneşli Sıcak Yüksek Güçlü Ilık Aynı Evet 3 Yağmurlu Soğuk Yüksek Güçlü ılık Değişken Hayır 4 Güneşli Sıcak Yüksek Güçlü Serin Değişken Evet H = {<?,?,?,?,?,?>,, <Güneşli,?,?,?,?,?>, <Yağmurlu,?,?,?,?,?>,, <Ф, Ф, Ф, Ф, Ф, Ф>} List Then Eliminate algoritmasıyla, verilen H hipotez uzayı üzerinde kullanarak bu hipotez uzayında yer almayan hipotezlere örnek verin [6]. CEVAP: x1 havayı, x2 sıcaklığı temsil etsin: x1 Günesli ve x 2 Soguk Evet h1 ( x) Evet x1 Yagmurlu ve x 2 Sicak Hayir diger durumlarda 22
Sonuç Find-S ve Aday Eleme Algoritmaları; verilen eğitim verilerine göre öğrenme işlemini gerçekleştirip bu öğrenme işlemine göre çıkan sonuçlarla kullanıcının sorularına cevap verirler. Find-S algoritması, sadece pozitif örnekleri dikkate aldığı için aday eleme algoritmasına nazaran daha fazla hatalı sonuç verebilir. List-Then Elimination algoritması, hipotez uzayının sınırlı olduğu durumlarda kullanılır. 23
Kaynaklar [1] Mitchell, T. M., 1997, Machine Learning, McGraw Hill. [2] Concept Learning, http://www.csc.kth.se/utbildning/kth/kurser/dd2431/mi07/0 2-concept-2x3.pdf [3]http://www.coursehero.com/external.php?db_filename=1910 722&url=http%3A%2F%2Fcse.unl.edu%2F~sscott%2Fteach%2 FClasses%2Fcse978S06%2Fsample-ts%2F478-sample1.pdf 24