10 Bölüm 2. Veri Önişleme http://ceng.gazi.edu.tr/~ozdemir Veri-Nesne-Nitelik Veri: Nesneler ve nesnelerin niteliklerinden oluşan küme Nesne terimi yerine kayıt (record), varlık (entity), örnek (sample, instance) kullanılabilir Nitelik (attribute) bir nesnenin (object) bir özelliğidir bir insanın yaşı, ortamın sıcaklığı.. Nitelik yerine boyut (dimension), özellik (feature, characteristic) kullanılabilir Nitelikler ve bu niteliklere ait değerler bir nesneyi oluşturur. Nesneler grubu veriyi oluşturur Öğrenci kayıt listesi Nesne (Objects) Nitelik (Attributes) Tid Refund Marital Taxable Status Income Cheat 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes VERİ 1
Ayrık ve sürekli nitelikler Ayrık Nitelik / Discrete Attribute Sonlu sayıda değerden oluşan nitelikler E.g., posta kodu, meslek, ya da doküman seti içerisindeki kelimeler Tamsayı değerler olarak ifade edilebilir İkili / binary nitelikler de ayrık niteliklerin özel bir türüdür Sürekli Nitelik / Continuous Attribute Değeri gerçek sayılar olan nitelikler E.g., sıcaklık, k yükseklik, klik ya da ağırlıkğ Floating-point değerler olarak ifade edilebilir Neden veri önişleme? Gerçek hayatta karşılaştığımız veriler genelde eksik (missing or incomplete), hatalı (noisy), ve tutarsız (inconsistent) olma eğilimindedir. Düşük ş kaliteli veri Veri kalitesini düşüren sorunlar: Noise / Gürültü Outliers / Sapan veri Missing values / Eksik veri Duplicate data / Tekrarlı veri Veri iletim hataları Teknolojik sınırlamalar Veri isimlendirmede veya yapısında uyumsuzluk 2
Noise / Gürültü Orjinal veride oluşan istenmeyen değişimlerdir Örnek: telefonda konuşurken sesimizin bozulması, televizyon ekranındaki karlanma İki Sinüs Dalgası İki Sinüs Dalgası + Gürültü Outliers / Sapan veri Sapan veriler veri setinin geri kalan kısmından çok farklı olan verileridir. 3
Missing Values / Eksik veri Nedenler Bilginin toplanamaması Yaşını, kilosunu ya da gelirini belirtmek istemeyen insanlar Uygun olmayan nitelikler Çocuklar için gelir niteliği uygulanamaz Çözümler Eksik verileri dikkate alma Eksik veriyi tahmin et (ortalama vs.) Duplicate Data / Tekrarlı veri Birbirinin aynısı olan veriler Değişik veritabanlarının birleştirilmesi sırasında ortaya çıkar Birden çok eposta adresine sahip insan Çözüm Veri temizleme 4
Neden veri önişleme? Düşük kaliteli veri düşük kaliteli veri madenciliği sonuçlarına yol açar Veri önişleme? Veri madenciliği kalitesini artırmak Veri madenciliğini kolaylaştırmak Verimliliği artırmak hedeflenir Tanımlayıcı veri özetleme Veri önişlemenin temeli Veriyi daha iyi anlamak ve anlatmak Verinin merkezi eğilimi Ortalama, ortanca (median), mode Verinin dağılımı Çeyreklikler (quartiles), IQR, variance, boxplots 5
Ortalama (Mean) Ortalama (mean) n 1 x Örnekleme n i 1 x i Popülasyon Ağırlıklı ortalama x x N n i 1 n i 1 w i x i w i Ortanca (Median) Veri setinde ortadaki verinin değeri Çift sayıda veri varsa ortadaki iki verinin ortalaması Gruplanmış veriler için interpolation yolu ile bulunur Yaş Frekans 5 10 120 11 15 50 16 20 160 21 25 70 26 30 200 n / 2 ( f ) l median L1 ( ) c f Ortanca aralığın ilk elemanı Ortanca aralıktan aşağıdaki aralıklardaki eleman sayılarının toplamı f median 600 / 2 (270) median 16 ( )5 16.9 160 Ortanca aralığın genişliği Ortanca aralığın frekansı 6
Mod (Mode) Veri seti içinde en çok tekrarlanan veri Unimodal Bimodal Ti Trimodal Deneysel (empirical) formül mean mode 3( mean median) Simetrik ve Çarpık Veri Ortalama, ortanca ve mod değerleri Mean Median Mode 7
Verinin dağılımı Quartiles, outliers and boxplots Çeyrek (Quartile): Q 1 (25 th percentile), Q 3 (75 th percentile) Inter-quartile range: IQR = Q 3 Q 1 Five number summary: min, Q 1, M, Q 3, max Boxplot: ends of the box are the quartiles, median is marked, whiskers, and plot outlier individually Sapan veri (Outlier): usually, a value higher/lower than 1.5 x IQR Verinin dağılımı Varyans ve standart sapma (örnekleme: s, populasyon: σ) Varyans: s 2 1 n1 n i1 ( x x) i 2 1 [ n1 n n 2 xi ( i1 n i1 2 x ) ] Standart sapma s (ya da σ) varyansın kare kökü 1 i n n 2 1 2 1 ( xi ) N i1 N i1 x 2 i 2 8
Normal dağılım eğrisinin özellikleri Normal dağılım eğrisi (μ σ) ile (μ+σ) arasında verilerin yaklaşık %68i bulunur (μ: ortalama, σ: standart sapma) (μ 2σ) ile (μ+2σ) arasında %95i (μ 3σ) ile (μ+3σ) arasında %99.7si 68% 95% 99.7% 3 2 1 0 +1 +2 +3 3 2 1 0 +1 +2 +3 3 2 1 0 +1 +2 +3 Görsel tanımlayıcı veri özetleme Veriyi daha iyi ifade edebilmek için kullandığımız yöntemler Boxplot Histogram, sıklık histogramı, bar chart Eşit bölen (Quantile) grafikleri Q-Q grafikleri Serpme (scatter) grafikleri 9
Boxplot analizi Five number summary nin grafik olarak gösterimi Minimum, Q1, M, Q3, Maximum Boxplot Veri bir kutu olarak gösterilir Kutunun alt ve üst çizgileri 1. ve 3. çeyreklerdir Ortanca bir çizgi ile belirtilir Maxve mindeğerleri kutunun dışında iki çizgi (Whiskers) ile belirtilir Histogram analizi Basit istatistiksel sınıfları gösteren grafik Veri setindeki çeşitli sınıflara ait verilerin sayısını ya da frekansını veren dikdörtgenlerden oluşur 10
Quantile plot Kullanıcının hem normal verileri hem de aykırılıklarını görmesini sağlar Quantile bilgisi verir Veri x i ile gösterilirse, f i değeri ğ veri setindeki verilerin i %100f i sinin x i den küçük ya da eşit olduğunu gösterir Tek değişkenli analiz Quantile-Quantile plot Karşılaştırma yapar, eğilimi gösterir Çift değişkenli analiz Q1 M Q3 Quantile-quantile plots (also called q-q plots) are used to determine if two data sets come from populations with a common distribution. In such a plot, points are formed from the quantiles of the data. Şube 1 de satılan ürünler şube 2 de satılanlardan daha ucuz olma eğiliminde 11
Scatter plot Veri içindeki sapan verileri, kümeleri gösterir Özet: Veri Dağılımının Grafiksel Olarak Gösterimi Histogram Boxplot Quantile plot: each value x i is paired with f i indicating that approximately 100 f i %ofdata are x i Quantile-quantile (q-q) plot: graphs the quantiles of one univariant distribution against the corresponding quantiles of another Scatter plot: each pair of values is a pair of coordinates and plotted as points in the plane 12
Veri önişleme Veri temizleme Eksik veri tamamlama, hatalı verileri düzeltme, tutarsız verileri kaldırma Veri bütünleştirme Artık verileri ortadan kaldırma, veritabanlarını birleştirme Veri değiştirme Veriyi daha anlaşılabilir bir halde ifade etme, normalizasyon Veri azaltma Veri bütünleştirme, nitelik alt kümesi seçme, boyut küçültme, vb. Veri önişleme 13
Veri önişleme Veri temizleme Eksik veri tamamlama, hatalı verileri düzeltme, tutarsız verileri kaldırma Veri bütünleştirme Artık verileri ortadan kaldırma, veritabanlarını birleştirme Veri değiştirme Veriyi daha anlaşılabilir bir halde ifade etme, normalizasyon Veri azaltma Veri bütünleştirme, nitelik alt kümesi seçme, boyut küçültme, vb. Veri temizleme Eksik veri tamamlama, hatalı verileri düzeltme, tutarsız verileri kaldırma Eksik veri tamamlama (missing values) Kaydı yok say Elle doldurma Global bir değerle doldurma Nitelik ortalamasıyla doldurma Eksik verinin ait olduğu grubun nitelik ortalamasıyla doldurma En olası değerle doldurma (regression, Bayesian inference) 14
Veri temizleme Hatalı verileri düzeltme (gürültülü-noisy data) hatalı veri toplama gereçleri veri giriş problemleri veri girişi i i sırasında kullanıcıların l hatalı yorumları veri iletim hataları teknolojik sınırlamalar veri isimlendirmede veya yapısında uyumsuzluk Hatalı verinin tespiti? Sapan veriler Veri temizleme Çözüm yöntemleri Kova metodu (Binning): Veriyi düzleştirme, lokal çözüm Kova ortalaması ile düzleştirme Kova ortancası ile düzleştirme Kova sınırları ile düzleştirme Eğri uydurma (Regression) Demetleme (Clustering) İnsan-bilgisayar incelemesi 15
Kova metodu (Binning) Eşit genişlik (Equal-width (distance) partitioning) Veri setini N eşit aralığa böler: uniform grid Eğer A ve B veri setindeki en büyük ve en küçük değerler ise her bir aralığın genişliği: W = (B A)/N. Basit ancak sapan verilerden etkilenir Çarpık (skewed) veri iyi ifade edilemez Kova metodu (Binning) Eşit derinlik (Equal-depth (frequency) partitioning) Her bir veri aralığı yaklaşık olarak aynı sayıda veri içerir Ölçeklenebilir 16
Binning - Örnek Sorted data for price (in dollars): 4, 8, 9, 15, 21, 21, 24, 25, 26, 28, 29, 34 Partition into equal-frequency (equi-depth) bins: - Bin 1: 4, 8, 9, 15 - Bin 2: 21, 21, 24, 25 - Bin 3: 26, 28, 29, 34 Smoothing by bin means: - Bin 1: 9, 9, 9, 9 - Bin 2: 23, 23, 23, 23 - Bin 3: 29, 29, 29, 29 Smoothing by bin boundaries: - Bin 1: 4, 4, 4, 15 - Bin 2: 21, 21, 25, 25 - Bin 3: 26, 26, 26, 34 Regresyon Y1 Y1 y = x + 1 X1 x 17
Demetleme / Kümeleme Veri önişleme Veri temizleme Eksik veri tamamlama, hatalı verileri düzeltme, tutarsız verileri kaldırma Veri bütünleştirme Artık verileri ortadan kaldırma, veritabanlarını birleştirme Veri değiştirme Veriyi daha anlaşılabilir bir halde ifade etme, normalizasyon Veri azaltma Veri bütünleştirme, nitelik alt kümesi seçme, boyut küçültme, vb. 18
Veri bütünleştirme Artık verileri ortadan kaldırma, veritabanlarını birleştirme Schema bütünleştirme Varlık tanımlama (entity identification) problem Veritabanı 1 -> Cust_id Veritabanı 2 -> Cust_number Metadata kullanımı Her niteliği tanımla Artık/tekrarlı veri temizleme Korelasyon analizi Chi-squaretest Korelasyon Analizi Correlation coefficient (also called Pearson s product moment coefficient) r A, B ( A A )( B B ) ( AB ) N A B N A B N A B where n is the number of tuples, A and B are the respective means of A and B, σ A and σ B are the respective standard deviation of A and B, and Σ(AB) is the sum of the AB crossproduct. If r A,B > 0, A and db are positively correlated d(a (A s values increase as B s). The higher, the stronger correlation. r A,B = 0: independent; r A,B < 0: negatively correlated 19
Pearson s product moment coefficient r A,B değerlerinin anlamı Correlation Negative Positive None 0.09 to 0.0 0.0 to 0.09 Small 0.3 to 0.1 0.1 to 0.3 Medium 0.5 to 0.3 0.3 to 0.5 Strong 1.0 to 0.5 0.5 to 1.0 Korelasyon Analizi - Örnek 20
Chi-square Test Ayrık / kategorik veri için korelasyon Χ 2 (chi-square) test 2 ( Observed Expected ) Expected The larger the Χ 2 value, the more likely the variables are related The cells that contribute the most to the Χ 2 value are those whose actual count is very different from the expected count Correlation does not imply causality # of hospitals and # of car-theft in a city are correlated Both are causally linked to the third variable: population 2 Chi-square Test - Örnek male female Sum (row) fiction 250(90) 200(360) 450 non-fiction 50(210) 1000(840) 1050 Sum(col.) 300 1200 1500 Χ 2 (chi-square) calculation (numbers in parenthesis are expected counts calculated based on the data distribution in the two categories) 2 2 2 2 2 (250 90) (50 210) (200 360) (1000 840) 507.93 90 210 360 840 Bu hipotezin yanlış olduğunu red etmek için Bağımsızlık derecesi = (r-1)(c-1)=(2-1)(2-1)=1 ve belli bir önem derecesi için chisquare dağılımının kritik değer tablosuna bakılır 0.001 önem değeri için 10.828 10.828 < 507.93 olduğundan Cinsiyet ve okuma tercihi birbirlerinden bağımsız değil denir (çok kuvvetli bir ilişki vardır). 21
Kritik değer tablosu Veri önişleme Veri temizleme Eksik veri tamamlama, hatalı verileri düzeltme, tutarsız verileri kaldırma Veri bütünleştirme Artık verileri ortadan kaldırma, veritabanlarını birleştirme Veri değiştirme Veriyi daha anlaşılabilir bir halde ifade etme, normalizasyon Veri azaltma Veri bütünleştirme, nitelik alt kümesi seçme, boyut küçültme, vb. 22
Veri değiştirme Veriyi daha anlaşılabilir bir halde ifade etme, normalizasyon Düzeltme (smoothing) Birleştirme (aggregation) Genelleme Normalizasyon Max-min normalizasyon Z-score normalizasyon Normalizasyon by decimal scaling Nitelik oluşturma Veri değiştirme Min-max normalization: to [new_min A, new_max A ] v mina v ' ( new_ maxa new_ mina) new_ mina maxa mina Ex. Let income range $12,000 to $98,000 normalized to [0.0, 1.0]. Then $73,600 is mapped to 73,600 12,000 (1.0 0) 0 0.716 98,000 12,000 v A Z-score normalization (μ: mean, σ: standard deviation): v ' A Ex. Let μ = 54,000, σ = 16,000. Then 73,600 54,000 1.225 16,000 Normalization by decimal scaling v v' 10 j Where j is the smallest integer such that Max( ν ) < 1 v <1 olacak şekilde v değerini en büyük yapacak j değeri 23
Veri önişleme Veri temizleme Eksik veri tamamlama, hatalı verileri düzeltme, tutarsız verileri kaldırma Veri bütünleştirme Artık verileri ortadan kaldırma, veritabanlarını birleştirme Veri değiştirme Veriyi daha anlaşılabilir bir halde ifade etme, normalizasyon Veri azaltma Veri bütünleştirme, nitelik alt kümesi seçme, boyut küçültme, vb. Veri azaltma Veri boyutunu düşür Orijinal verinin özelliklerini koru Boyut küçültmek için harcanan zaman veri madenciliği ğ yaparken kazanacağımız ğ zamanı geçmemelidir Bazı metotlar Veri küpü birleştirme Nitelik altkümesi seçme Boyut azaltma Numerosity reduction (Veriyi modellerle yada görsel olarak ifade etme) Ayrıştırma ve konsept hiyerarşisi geliştirme 24
Nitelik altkümesi seçme Veriye ait tüm nitelikler yapılacak iş için önemli olmayabilir Alışveriş eğiliminin belirlenmesi/müşterilerin telefon numaraları Tekrarlı/redundant l/ d nitelikler Verinin dağılım özelliğini bozmadan veriyi ifade edebilecek en küçük nitelik altkümesinin seçilmesi Sonuçta ortaya çıkan örüntü sayısı azaltılarak veri anlaşılması daha kolay hale getirilir Veriyi i iyi i şekilde ifade edecek nitelik altkümesi nasıl bulunacak? Nitelik altkümesi seçme İyi ve kötü nitelikler bağımsızlık testleri, karar ağaçları gibi yöntemlerle belirlenir Bilgi kazancı vb. n nitelik için 2 n altküme (exponential) Sezgisel (heuristic) i metotlar : İleri adım adım seçme (Step-wise forward selection) Boş küme ile başlayıp en iyi nitelikler kümeye dahil edilir Geri adım adım eleme (Step-wise backward elimination) Tüm nitelikler ile başlanıp, her basamakta en kötü olan(lar) elenir İleri seçme ve geri elemenin birleştirilmesi Karar ağacı çıkarma (Decision-tree induction) Ağaç ortaya çıkarılır ağaç üzerinde görülmeyen nitelikler kötü/önemsiz olarak nitelendirilir ve elenir 25
Boyut azaltma (Dimentionality Reduction) Kodlama (encoding) ve değiştirmeyle veriyi sıkıştırma Wavelet transforms Principle Component Analysis (PCA) Numerosity reduction Veriyi modellerle yada görsel olarak daha küçük formlarda ifade etme Eğri uydurma modelleri Histogramlar Demetleme Örnekleme 26
Regresyon Analizi Bağımlı değişken ile bir veya daha çok bağımsız değişken arasındaki ilişkiyi incelemek amacıyla kullanılan bir analiz yöntemidir. Regresyon analizi ile bağımlı ve bağımsız değişkenler arasında bir ilişki var mıdır? Eğer bir ilişki varsa bu ilişkinin gücü nedir? Değişkenler arasında ne tür bir ilişki vardır? gibi sorulara cevap aranmaya çalışılır. y Y1 Y1 X1 y = x + 1 x Histogramlar Equ-width/Eşit genişlik Equ-depth/Eşit derinlik V optimal (Barlar arasında en düşük varyans) Olası bütün histogramlardan barlar arasından en düşük varyansa sahip olanı seç MaxDiff (Veriler arasındaki en fazla fark eden değer çiftleri sınırları belirler) B kova sayısı En yüksek B-1 tane farkı belirle ve kovaları ayır 40 35 30 25 20 15 10 5 0 10000 30000 50000 70000 90000 27
Demetleme / Kümeleme Veri setini benzerliklerine göre demetlere ayırma Sadece demeti ifade eden bilgiyi sakla Merkez ve çap Gruplu yapıya sahip veri setinde daha iyi sonuç verir Hiyeraşik demetleme yapılabilir ve indeks ağaçları olarak ifade edilebilir Örnekleme Tüm veri seti N i temsil edecek küçük veri seti s i seçmek Basit metotların performansı iyi değil Uyarlanabilir metotlar Strafied örnekleme Belli bir kurala göre sınıfla her sınıftan eşit sayıda örnek al 28
Örnekleme çeşitleri Simple random sampling There is an equal probability of selecting any particular item Sampling without replacement Once an object is selected, it is removed from the population Sampling with replacement A selected object is not removed from the population Stratified sampling: Partition the data set, and draw samples from each partition (proportionally, i.e., approximately the same percentage of the data) Used in conjunction with skewed data Sampling: With or without Replacement Raw Data 29
Sampling: Cluster or Stratified Sampling Raw Data Cluster/Stratified Sample Ayrıştırma ve konsept hiyerarşisi geliştirme Sayısal veri Binning Histogram analizi Kategorik veri Şema seviyesinde (kullanıcılar tarafından) Cadde<semt<şehir<ülke Gruplama {ankara,kayseri,konya}-> içanadolu Anlamsal bağlantılar Bazen adres olarak sadece şehir bilgisi yetebilir. Cadde sokak numara nitelikleri atılır. 30