VERİ MADENCİLİĞİ (Veri Ön İşleme-2)

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "VERİ MADENCİLİĞİ (Veri Ön İşleme-2)"

Gizem Şahan
5 yıl önce
İzleme sayısı:

1 VERİ MADENCİLİĞİ (Veri Ön İşleme-2)

2 Veri Dönüşümü Veri, veri madenciliği uygulamaları için uygun olmayabilir Seçilen algoritmaya uygun olmayabilir Çözüm Veri belirleyici değil Veri düzeltme Normalizasyon

3 Normalizasyon min-max normalizasyon ondalık normalizasyon min-max normalleştirmesi ile Ondalık ölçekleme ile orijinal veriler yeni veri normalleştirmede ise, ele aralığına doğrusal dönüşüm alınan değişkenin ile dönüştürülürler. Bu veri değerlerinin ondalık kısmı aralığı genellikle 0-1 hareket ettirilerek aralığıdır. normalleştirme z-score normalizasyon gerçekleştirilir. Hareket edecek ondalık nokta sayısı, z Skor normalleştirmede değişkenin maksimum (veya 0 ortalama mutlak değerine bağlıdır. normalleştirme) ise Ondalık ölçeklemenin değişkenin her hangi bir y formülü aşağıdaki şekildedir: değeri, değişkenin ortalaması Örneğin 900 maksimum ve standart sapmasına bağlı olarak bilinen Z dönüşümü ile normalleştirilir. değer ise, n=3 olacağından 900 sayısı 0,9 olarak normalleştirilir.

4 Normalizasyon

5 Normalizasyon Min-max normalizasyon: v ' v mina maxa min Ör. Yıllık gelir $12,000 ile $98,000 arasını [0.0, 1.0] aralığına normalize edelim. $73,000 kaça denk gelir? Z-score normalizasyon (μ: ortalama, σ: standard sapma): v v ' A Ör. Let μ = 54,000, σ = 16,000. Öyleyse: Ondalıklı Normalizasyon v' v 10 j A A ( new_ max $73,000 kaça denk gelir? v = 0.73 A new_ mina) new_ min 73,600 12,000 (1.0 0) ,000 12,000 73,600 54, ,000 5 A

6 Nitelik Oluşturma Yeni nitelikler yarat orjinal niteliklerden alan=boy x en veri daha daha önemli bilgi içersin madenciliği algoritmalarının başarımı iyi olsun

7 Veri Azaltma

8 Veri Azaltma Veri miktarı çok fazla olduğu zaman veri madenciliği algoritmalarının çalışması ve sonuç üretmesi çok uzun sürebilir Veri azaltma veriyi azaltma başarımı artırır sonucun (nerdeyse) hiç değişmemesi gerekir nitelik azaltma veri sıkıştırma veri ayrıklaştırma veri küçültme

9 Nitelik Azaltma Nitelikler kümesinin bir alt kümesi seçilerek veri madenciliği işlemi yapılır. d boyutlu veri kümesi k<d olacak şekilde k boyuta taşınır. Nitelik seçme Veri madenciliği uygulaması için gerekli olan niteliklerin seçilmesi

10 Örnek

11 Veri Sıkıştırma Verinin boyutunu azaltır daha az saklama ortamı veriye ulaşmak daha çabuk Kayıplı ve kayıpsız veri sıkıştırma bazı yöntemler bazı veri tiplerine uygun Eğer veri madenciliği yöntemi sıkıştırılmış veri üzerinde doğrudan çalışabiliyorsa elverişli

12 Veri Sıkıştırma Orijinal veri Sıkıştırılmış veri kayıpsız Orijinale Benzeyen Veri

13 Veri Ayrıklaştırma Bazı veri madenciliği algoritmaları sadece ayrık veriler ile çalışır. Sürekli bir nitelik değerini bölerek her aralığı etiketler. Verinin değeri, bulunduğu aralığın etiketi ile değişir. Veri boyutu küçülür.

14 Veri Ayrıklaştırma Müşteri Yaşına göre ayrıklaştırma Bebek Çocuk Genç Yetişkin Yaşlı İleri yaş Orta Yaş Çok yaşlı

15 Veri Küçültme Veriyi farklı şekillerde gösterme histogram kümeleme örnekleme

16 Histogram ile Veri Küçültme Verinin dağılımı Veriyi bölerek her bölüm için veri değerini gösterir (toplam, ortalama)

17 Kümeleme ile Veri Küçültme Veri kümelere ayrılır Veri kümeleri temsil eden örnekler merkezleri) ve aykırılıklar ile temsil Etkisi verinin dağılımına bağlı. (küme edilir

18 Kümeleme ile veri küçültme Kümelenmiş veri Her kümeden orantılı sayıda temsilci seçimi

19 Örnekleme ile Veri Küçültme Büyük veri kümesini daha küçük bir alt küme ile temsil etme Alt küme nasıl seçiliyor? yerine yerine koymadan örnekleme (SRSWOR) koyarak örnekleme (SRSWR) katman örnekleme (katman: nitelik değerine göre grup)

20 Raw Data Örnekleme

21 Benzerlik ve Farklılık

22 Benzerlik ve Farklılık Benzerlik iki nesnenin benzerliğini ölçen sayısal değer nesneler birbirine daha benzer ise daha genelde 0-1 aralığında değer alır Farklılık büyük iki nesnenin birbirinden ne kadar farklı olduğunu gösteren sayısal değer nesneler birbirine daha benzer ise daha küçük en küçük farklılık genelde 0 üst sınır değişebilir.

23 Uzaklık Çeşitleri Öklid Minkowski (Manhattan)

24 Öklid Uzaklığı

25 Öklid Uzaklığı p1 p3 p4 p point x y p1 0 2 p2 2 0 p3 3 1 p4 5 1 p1 p2 p3 p4 p p p p Uzaklık Matrisi

26 Minkowski Uzaklığı

27 Minkowski Uzaklığı Manhattan Uzaklık Matrisi point x y p1 0 2 p2 2 0 p3 3 1 p4 5 1 L1 p1 p2 p3 p4 p p p p Öklid Uzaklık Matrisi L2 p1 p2 p3 p4 p p p p

28 Benzerlik Özellikleri İki nesne arası benzerlik özellikleri sim(i,j)>=0 sim(i,j)=sim(j,i)

29 İkili Değişkenler Arası Benzerlik

30 Örnek

Benzer belgeler

VERİ MADENCİLİĞİ (Veri Ön İşleme-2) Yrd.Doç.Dr. Kadriye ERGÜN

VERİ MADENCİLİĞİ (Veri Ön İşleme-2) Yrd.Doç.Dr. Kadriye ERGÜN kergun@balikesir.edu.tr Genel İçerik Veri Madenciliğine Giriş Veri Madenciliğinin Adımları Veri Madenciliği Yöntemleri Sınıflandırma Kümeleme