BÜYÜK VERI UYGULAMALARı DERS 4. Doç. Dr. Yuriy Mishchenko

Transkript

1 BÜYÜK VERI UYGULAMALARı DERS 4 Doç. Dr. Yuriy Mishchenko

2 PLAN Lineer modeller Öznitelik seçilmesi Model oluşturulması

3 BÜYÜK VERI VE MAKINE ÖĞRENME 3

4 BÜYÜK VERI VE MAKINE ÖĞRENME Büyük veri uygulamaları, tahmin veya tespit etme olarak förmülleştirilmiş iş karar verme problemleri kapsamaktadır Bu tip iş karar verme problemleri ile ilgili karışık durumların tahmin veya tespit etmek için, Makine Öğrenme (Machine Learning, ML) yöntemleri kullanılmaktadır

5 BÜYÜK VERI VE MAKINE ÖĞRENME Makine öğrenme, karmaşık ilişkisel yani nedensonuç durumları modelleyen parametrik modellerdir (Parametrik model, biçimi genel ama çok sayıda ayarlanabilen parametre içeren herhangi matematiksel modeldir) Makine öğrenme, bu tip modellerin parametreleri tarihsel veriden belirtme yöntemleri ortaya çıkartarak, iş kararları ile ilgili karmaşık saklı desenler için matematiksel model bulur ve ilgili gelecek durumları tahmin etme imkanını sağlar 5

6 { y h ( ; )} Tarihsel veri Model ailesi * Model öğrenimi yˆ h ( ˆ ; * ) y h ( ; * ) Spesifik model ŷ İş kararları ˆ 6

7 BÜYÜK VERI VE MAKINE ÖĞRENME Mevcut veriler Verilerde olan saklı karmaşık ilişkilerin makine öğrenme modeli İş kararı 7

8 BÜYÜK VERI VE MAKINE ÖĞRENME Gerçek problem ve ilgili faktörler veya değişkenler a,b,x,μ,z... İlişkiyi ifade eden parametrik model Z a X a Y a XY 3... İş karar etme için tahminler ve tespitler 8

9 TIPIK UYGULAMA SÜRECI Problem ve katkıda olan faktörler tanımlamak Uygun makine öğrenme algoritmasını seçmek Veri toplamak Tüm verilerde analiz uygulamak Küçük bir veri kümesinde analiz uygulamak Veri kontrol etmek ve temizlemek Sonuçları incelemek 9

10 MAKINE ÖĞRENME Makine öğrenmeye ait bileşenleri Temel makine öğrenme problem türleri Veri/öznitellik mühendisliği Modelin oluşturulması Model eğitimi Performans değerlendirilmesi Tahminlerin üretilmesi 0

11 MAKINE ÖĞRENME PROBLEMLERININ ANA TIPLERI Denetimli Sınıflandırma İki sınıflı (binary) sınıflandırma Çok sınıflı sınıflandırma Regresyon Denetimsiz Kümeleme İlişkisel öğrenim Boyut azaltma

12 MAKINE ÖĞRENME PROBLEMLERININ ANA TIPLERI Sınıflandırma problemi, sonuç ayrık olduğu zaman elimizde vardır Müsteri ürün satın alacak / satın almayacak mı? Kitap bilim kurgu / roma / belgesel / şiir midir? Sistem normal durum / arzalı durum da mı? spam / spam değil mi? Regresyon problemi, sonuç sürekli olduğu zaman elimizde vardır Reklam harcamasına göre satılacak ürün sayısı Evin özelliklerine göre satış fiyatı Yarınki hava sıcaklığı

13 ,...),, ( 3,...),, ( 3,...),, ( 3 3,...),, ( 3 4,...),, ( 3 5,...),, ( 3 6 GEÇMIŞTEKI ÖNEKLER/VERILER SıNıFLANDıRMA 3

14 REGRESYON 4

15 MODEL PARAMETRELERININ BELIRTILMESI Modelin kalitesi fonksiyonu maliyet fonksiyonu J * 5

16 Bu derste Temel makine öğrenme problem türleri Veri/öznitellik mühendisliği Model oluşturulması Model eğitimi Performans değerlendirilmesi Tahminlerin üretilmesi 6

17 7 LINEER MODELLER

18 LINEER MODELLER Lineer veya doğrusal modeller bir sonuç Y ve neden X i değişken sırasını bağlayan, aşağıdaki şekilde olan modeller... ), ( ), (... ) ( ) ( 3 0 X X f X X f X f X f X X Y m m n n

19 LINEER MODELLER Lineer modeller ilişkisel - yani sonuç-neden modeller dir, yani belirli neden faktörlerinin listesi (,, ) için bir sonuç y tahmin ediyor Lineer modelden belirli (y,,, ) bir örnek... ), ( ), (... ) ( ) ( 3 0 g g f f y m m n n

20 LINEER MODELLER Fark edelim ki bu model, X lere göre lineer veya doğrusal değil lineer model deki lineer kelime modelin parametrelerine doğrusal olarak bağlı olduğunu ifade eder (analizinde önemli kolaylık sağlar)... ), ( ), (... ) ( ) ( 3 0 X X f X X f X f X f X X Y m m n n

21 LINEER MODELLER Lineer modellerin ana avantajları: Teorisi çok iyi geliştirilmiş, özellikleri ve davranışı iyi bilinir Parametrelerin tahmin etme problemi iyi geliştirilmiş ve kolaydır İfade edilebilen ilişkiler çok geniş ve çeşitli, özellikle fonksiyonel terimler dikkate alırsak Spesifik veriler için tahmin problemi çok büyük ölçekte çözülebilir üz binlerce faktör ve parametre içeren lineer modelleri günümüzdeki bilgisayarlarla başarmak mümkündür

22 LINEER MODELLER Lineer olmayan terimler içeren lineer modeller sahte-değişkenleri tanımlayarak standart bir şekile götürülebilir 0... ) ( ) ( X X Y X X f X X f n n

23 LINEER MODELLER Böylece, orijinal neden değişkenlerin değerleri varsa - (,, ) - böyle ek-değişkenler de hesaplanabilir Bu şekilde orijinal X-değişkenler büyütülmüş X- değişkenlere genişletilir... ),...) (,,...,, ( ),...,, ( ),...) (,,...,, ( ),...,, ( ),...) (,,...,, ( ),...,, ( ),...) (,,...,, ( ),...,, ( f f f f n n n n n n n n n n n n

24 LINEER MODELLER Genişletilmiş veri kümesinde ilişki standart lineer model olarak ifade edilebilir y 0 n n n n...

25 LINEER MODELLER Bu nedenle,. Lineer modellerde tahmin etme problemi sadece standart lineer model biçimi için çözülür. Modelinizde herhangi lineer olmayan terimler varsa, bu terimler temel değişkenlerden hesaplayıp veri kümesine eklemeniz lazım

26 LINEER MODELLER Y X X X 3 f (X ) f (X ) Y X X X 3 X 4 X

27 LINEER MODELLER Lineer modelin standart şekli Y 0 X X m X m

28 LINEER MODELLER Lineer model bir doğrusal yapı oluşturur ve bağlı dır Değişim yönü (, ) Lineer modelin seviyeleri 0

29 LINEER MODELLER Regresyon problemlerinde lineer model değişim yönünde lineer olarak değişiyor (, )

30 LINEER MODELLER Sınıflandırma problemlerinde lineer model bir doğrusal sınıf sınırı oluşturur SINIF A SINIF B

31 LINEER MODELLER Önemli nokta: bu yapı özelliklerin sahteuzayında geçerlidir, yani bu uzaya tüm ekledeğimiz, fonksiyonel olarak bağlı olan sahteözellikler de dahildir!!! =f( ) (,f( )) yönündedir, yani y f ) (

32 3 ÖZNITELIK SEÇILMESI

33 ÖZNITELIKLER Lineer modeldeki y değişkenine sonuç ve i değişkenlerine öznitelik (feature) denir Yani (,,, n ) öznitelik sırası veya öznitelik vektörü (feature vector) bizim için ilginç olan belirli durumu karakterize eder, y o durumun tahmin etmek istediğimiz değeri dir y 0 n n

34 ÖZNITELIKLER Örnek: y yarınki hava durumu olsa (,, ) bugünkü sıcaklık ( ), nem ( ), basınç ( 3 ), rüzgar hızı ( 4 ), rüzgar yönü ( 5 ) vb parametreleri listeleyen bir bugünün özellikleri sırası olabilir Lineer modelde biz tahmin edilen değişkeni y ve öznitelik vektörü (,, ) aşağıdaki şekilde bağlamak istiyoruz y 0 n n

35 ÖZNITELIKLER Başka bir örnek: y üniversiteye gelecek sayısı olsa, (,, ) reklam harçamalarımız ( ), liselerden mezun sayısı ( ), lise mezunların ortalama notları ( 3 ), kayıt günün sıcaklığı ( 4 ), eğitim ücretimiz ( 5 ) vb parametreleri listeleyen özelliklerimiz sırası olabilir Yinde bu durumda biz tahmin edilen öğrenci sayısı öznitelik vektörü (,, ) kullanılarak aşağıdaki şekilde belirtiyoruz y 0 n n

36 ÖZNITELIKLER Modelimiz baya basit olduğuna göre kolayca anlaşılır ki, öznitelik seçimi modelimizin başarısı için son derecede önemli Öznitelikler şu genel gruba bölünebilir Temel öznitelikler Bileşik öznitelikler Ortak etki öznitelikler 36

37 TEMEL ÖZNITELIKLER Durumumuzu karakterize eden orijinal özellikler temel öznitelik kümesini oluşturur Bunlar, hava sıcaklığı örneğindeki bugünkü hava sıcaklığı, rüzgar hızı, nem ve sayre ve öğrenci sayısı örneğindeki reklam harcamaları, lise mezunu sayısı ve sayre gibi dir Bunları, problemi tanımlayan uzman seçmek zorundadır; bu tip özelliklerin problemin doğasıyla alakalı olması düşünülmesi genelde gerekir 37

38 TEMEL ÖZNITELIKLER Temel öznitelikler üç tipten olabilir: Kategorik İkili Sayısal 38

39 TEMEL ÖZNITELIKLER Temel öznitelikler: Sonuçla alakalı olmalı Tekrarlanan olmalı 39

40 BILEŞIK ÖZNITELIKLER Temel öznitelikler birçok durumda fazla dar bir model sağlar, mesela hava sıcaklığı örneğinde bunlar yarınki hava sıcaklığı doğrusal şekilde sadece bugünkü, dünkü, vb sıcaklığı, neme ve sayre bağlılığı ifade edebilir Birçok durumda bu yeterli değil Öyle ise temel öznitelik vektörüne, temel özniteliklere lineer olmayan fonksiyonel şekilde bağlı olan bileşik öznitelikler eklenebilir 40

41 BILEŞIK ÖZNITELIKLER Verilerde lineer olmayan ilişkinin gözlenmesi y ~

42 BILEŞIK ÖZNITELIKLER Orijinal/temel özniteliğe ek olarak, yeni bileşik özelliği şöyle tanımlayalım: Öznitelik vektörlerimizin hepsinde kullanılarak değerleri de hesaplayıp, öznitelik vektörlerimize ekleyelim ( ) (, ) y-modelimiz için şimdi, (, ) üzerinde iki boyutlu lineer model ayarlayalım 0 0

43 BILEŞIK ÖZNITELIKLER Genişletilmiş öznitelik uzayında model lineer, fakat orijinal özniteliklerin uzayında lineer değildir ve lineer olmayan ilişki modellemeye yol açıyor Model parametrelerin bulunması için (θ 0,θ,θ ), lineer modellerin güçlü yöntemleri ve yazılımları direk kullanılabilir h (, ) 0 0 0

44 BILEŞIK ÖZNITELIKLER Bileşik öznitelikler elle seçilmeli ve problemin doğasının uzman tarafından anlaşılması bunun için çok önemlidir Bununla beraber birçok sayıda standart seçinek de vardıar, örneğin çok sık kullanılan bileşik öznitelik polinom öznitelikler dir 0 y y

45 ORTAK ETKI ÖZNITELIKLERI Ortak etkiler bileşik özniteliklerin özel bir durum Ortak etki demek ki, iki yada daha çok faktör beraber çalışır, beraber ise sonucu farklı şekilde etkiliyor

46 ORTAK ETKI ÖZNITELIKLERI Örnek: Müşterin kredi riski hesaplamak için içel ve gelir iki temel öznitelik kullanabiliriz Temel lineer modelde, kredi riskine gelirin etkisi içelden bağımsız olması varsayılıyor Fakat, iki ayrı içelde aynı gelir kredi riskini çok farklı şekilde etkileyebilir Bu durumda içel ve gelir özniteliğin ortak etkisi vardır, yani bu faktörler beraber dikatte alınması gerekiyor

47 ORTAK ETKI ÖZNITELIKLERI Ortak etkileri modellerde belirli bileşik veya polinom öznitelikleri kullanılarak temsil edilebilir Örneğin, gelir grubu ve ilçe ortak etkisi ile incelemek için, ilçe gelir gibi yeni özellikler tanımlanıp modele eklenebilir X ig =X i X g yeni (ortak) etki özniteliğidir y 0 i i g g ig i g

48 ORTAK ETKI ÖZNITELIKLERI Örnek: ig sadece akdeniz ve düşük gelir durumda ve tek bu durumda modelimize ek olarak (ortak) katkı θ ig ekliyor i g ig = i g Açıklama Akdeniz değil, yüksek gelir 0 0 Akdeniz, yüksek gelir 0 0 Akdeniz değil, düşük gelir Akdeniz, düşük gelir y 0 i i g g ig ig

49 TEKRARLANAN ETKILERI Baze durumda bir modelde neredeyse aynı etki yaratan iki veya daha çok öznitelik vardır Örneğin, önceli örnekte gelir, ilçe ve gelirilçe öznitelik var olduğu taktirde aynı etki içeren iki terim oldu, yani i ve ig

50 TEKRARLANAN ETKILERI Bu durumdan genellikle sorun çıkmaz Bir modelde iki benzer etki varsa, lineer model parametrelerinin çözümünde sonuçları daha iyi anlatabilecek faktörü seçilecek ve modele eklenecek; diğer yakın ama biraz daha kötü faktörünün -parametresi sıfıra yakın veya tam eşit olacaktır

51 TEKRARLANAN ETKILERI i ve i g özellikleri için, eğer i g sonuçları daha iyi anlatıyorsa, lineer modelde i g faktörü seçilmiş olup ona yüksek değeri, i daha düşük değeri atanacak y 0 0 i i i g yada y 0 0 i ig i g

52 ÖZNITELIKLERIN NORMALLEŞTIRILMESI Aşağıdaki gibi elde edilmiş özniteliklerin genellikle normalleştirilmesi gerekiyor Bu adım mevcut makine öğrenme çözümleri otomatik olarak zaten yapıyor, ama genel olarak bu adımın ana fikri tüm özniteliklerin benzer olması Mesela hava durumu karakterize eden sıcaklık (~0) ve basınç (~800) tipik değerleri çok farklı olabilir bu gereksiz farkı çözüm algoritmaları olumsuz şekilde etkileyebilir

53 ÖZNITELIKLERIN NORMALLEŞTIRILMESI Bu sorunu gidermek için, modelin parametreleri aranması başlamadan önce her bir özniteliğin değerleri benzerliği sağlamak için uygun sayısal faktör ile bölünüyor En tipik normalleştirme adımı, öznitelik değerlerden ortalama değeri çıkartmak ve sonra standart sapması ile bölmek Böylece tüm öznitelikler sıfır-merkezli ve tipik değişim olarak kaydediliyor bu dönüşüm lineer modeli tabi ki herhangi şekilde etkilemiyor

54 ÖZNITELIKLERIN NORMALLEŞTIRILMESI İkinci çok tipik öznitelik normalleştirilmesi yöntemi whitening biz bu konuya bakmayacağız

55 MODEL OLUŞTURULMASı 55

56 MODEL OLUŞTURMA Aşağıdaki yönelliklerine göre belirli model için özniteliklerin oluşturulması öznitelik mühendisliği diya adlandırılan faaliyetin bir alt faaliyetidir Herhangi problemi makine öğrenme yaklaşımı çözmek için özelliklerin doğru seçilmesi ve doğru şekilde temsil edilmesi çok önemli Aşağıda bu problemi biz örnek üzerinde inceleyeceğiz

57 MODEL OLUŞTURMA Problem: Bir banka kredi vermeden önce müşterisinin kredi riski belirtmek istemektedir

58 MODEL OLUŞTURMA İlk önce, temel açıklayıcı faktörler veya değişkenler veya öznitelikler belirtmemiz gerekiyor Makine öğrenme çok büyük modelleri kullanabilmesi için, birçok böyle faktör seçebiliriz ve aslında aklımıza gelen herhangi öyle alakalı faktör temel öznitelik kümesine eklemek mümkündür

59 MODEL OLUŞTURMA Örnek olarak burada, kredi riski etkileyen faktörler (X ler) Müşterinin oturan ilçe Müşterinin geliri Müşterinin önceki kredleri

60 MODEL OLUŞTURMA Modelin sonucu olarak (Y) kredi riski sürekli bir sayı olarak değerlendirmek istiyoruz pozitif değerler yüksek risk, negatif değerler düşük risk demek olacaktır

61 MODEL OLUŞTURMA. öznitelik müşteri oturan ilçe, olabilir değerler: Akdeniz Toroslar Yenişehir Çiftlikköy Mezitli...

62 MODEL OLUŞTURMA Müşteri oturan ilçe : Akdeniz Toroslar Yenişehir Çiftlikköy Mezitli...

63 MODEL OLUŞTURMA Bunun gibi değişkenlere kategorik denir; demek bu değişken aslında durumun birkaç kategoriden olduğunu belirtiyor (akdeniz, yenişehir, vb) Bunun gibi değişken modelde temsil etmek için, kategorik değişkenin tüm mümkün değerleri için ayrı bir ikili (0- değerinde olan) öznitelik tanımlanıyor

64 MODEL OLUŞTURMA Müşteri oturan ilçe: Burada, bütün ilçeler için ayrı ikili -öznitelik tanımlanması gerekir, Bu özellik 0 veya değerini alıp müşterinin ilgili ilçede oturup oturmadığını ifade edecek = müşteri ilgili ilçede oturur, =0 oturmaz anlamına gelecek

65 MODEL OLUŞTURMA Müşteri oturan ilçe: Akdeniz Toroslar Yenişehir Çiftlikköy Mezitli Tece Gözne Davultepe Bahçeli Adanalıoğlu ( 0 veya olabilir) ( 0 veya olabilir) ( 3 0 veya olabilir) ( 4 0 veya olabilir) ( 5 0 veya olabilir) ( 6 0 veya olabilir) ( 7 0 veya olabilir) ( 8 0 veya olabilir) ( 9 0 veya olabilir) ( 0 0 veya olabilir)

66 MODEL OLUŞTURMA Müşteri oturan ilçe: Bu özniteliklerden sadece bir tane olabilir olan öznitelik, müşterinin ilçesini kodlanır

67 MODEL OLUŞTURMA Müşteri oturan ilçe: Akdeniz ( ): öğrenci Akdeniz den geliyorsa, = Toroslar ( ) Yenişehir( 3 ) Çiftlikköy ( 4 ) Mezitli ( 5 ) Tece ( 6 ) Gözne ( 7 ) Davultepe ( 8 ) Bahçeli ( 9 ) Adanalıoğlu ( 0 )

68 MODEL OLUŞTURMA Müşteri oturan ilçe: Akdeniz ( ) Toroslar ( ): öğrenci Toroslar dan geliyorsa, = Yenişehir( 3 ) Çiftlikköy ( 4 ) Mezitli ( 5 ) Tece ( 6 ) Gözne ( 7 ) Davultepe ( 8 ) Bahçeli ( 9 ) Adanalıoğlu ( 0 )

69 MODEL OLUŞTURMA. öznitelik - müşterinin geliri: Müşterinin geliri normalde sürekli bir değişken olmalıdır (örneğin ayda 500TL, 000 TL, 500 TL, 000 TL, 500 TL olarak karakterize edilebilir)

70 MODEL OLUŞTURMA Lineer model kontekstinde bu bir sorun yaratabilir; y 0 Eğer müşterinin geliri direk kullanırsak, gelirin kredi riskine ektisi doğrusal şekilde varsaymış olacağız, ama bu gerçekten iyi mi fikir? Eğer adayın geliri iki kat yüksek, bunun kredi riskine etkisi iki kat düşük olur mu?

71 MODEL OLUŞTURMA Bu durumda daha mantıklı yaklaşım, müşterinin geliri düşük, orta vb şeklinde kategorik olarak temsil etmektir, örneğin Düşük gelir Orta-düşük gelir Orta gelir Orta-yüksek gelir Yüksek gelir Çok yüksek gelir

72 MODEL OLUŞTURMA Önceki ilçe özniteliği gibi, böyle temsil edilen gelir birkaç ikili öznitelik kullanılarak modelimizde temsil edilecektir de olan gelir-kategori özniteliği müşterinin gelir grubunu belirtecektir

73 MODEL OLUŞTURMA Müşterinin geliri: Düşük gelir ( =0 veya ) Orta-düşük gelir ( =0 veya ) Orta gelir ( 3 =0 veya ) Orta-yüksek gelir ( 4 =0 veya ) Yüksek gelir ( 5 =0 veya ) Çok yüksek gelir ( 6 =0 veya )

74 MODEL OLUŞTURMA Müşterinin gelirinin kredi riskine etkisi bu şekilde olacak Böylece, farklı gelir grupların kredi riskine etkileri tamamen bağımsız olup, modelimiz daha esnek şekilde kredi riskine gelirin katkısı değerlenderebilecektir Düşük gelir grübün ( =) riske etkisi Düşük-orta gelir grübün ( =) riske etkisi Modelimiz iki kat daha düşük gelirin kredi riskine etkisi kat düşük varsaymayacaktır

75 MODEL OLUŞTURMA Müşterinin önceki kredileri: Müşterinin kredi tarihi, burada müşteri tarafından alınmış ve ödenip ödenmemiş kredi sayısı olarak ifade edeceğiz Bu bilginin kredi riskine etkisi doğrusal olarak düşüneceğiz Böylece, bu faktör modelimizde sürekli öznitelik olarak girecektir

76 MODEL OLUŞTURMA Sonuçta olan kredi risk modelimiz: 8 Risk k X 0 k k - 0 müşteri oturan ilçe (ikili, 0 veya ) - 6 müşteri gelir grubu (ikili, 0 veya ) 7-8 müşterinin önceki ödenmiş ve ödenmemiş kredi sayısı (iki sürekli öznitelik)

77 Öbür derste Temel makine öğrenme problem türleri Veri/öznitellik mühendisliği Model oluşturulması Model eğitimi Modellerin performans değerlendirilmesi Tahminlerin üretilmesi Ayrıca, Amazon ML kullanılarak bir modelin oluşturulup denetlenmesi örneği 77