Dr. Hidayet Takçı. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 1

Transkript

1 Üçüncü Ders Veri Madenciliği: Verinin Keşfedilmesi Dr. Hidayet Takçı Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 1

2 Veri Keşfi Nedir? Veri keşfi, veri karakteristiklerini daha iyi anlayabilmek için yapılmış çalışmadır. Veri keşfi ile ilgili anahtar konular şunları içerir Ön işlem veya analiz için doğru aracın seçimine yardımcı olma Örüntüleri tanıma için insan yeteneklerinin kullanımı insanlar veri analizi araçları tarafından yakalanamayan örüntüleri yakalayabilirler Veri keşfi, Keşifsel veri analizi (Exploratory Data Analysis) ile ilişkilidir John Tukey tarafından ortaya çıkarılmış ve açıklanmıştır. Mühendislik istatistiği el kitabının birinci bölümünün giriş kısmında konuyla ilgili güzel bilgiler yer almaktadır Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 2

3 Veri Keşfinde Kullanılan Teknikler Keşifsel veri analizi, Görselleştirme üzerinde odaklanmıştır Kümeleme ve anormallik tespiti keşifsel teknikler olarak görülebilir Kümeleme ve anormallik tespiti, veri madenciliğinde de ilgi duyulan temel alanlardandır bu yüzden sadece keşifsel teknikler olarak düşünmemek lazımdır. Veri keşfi konusunda odak noktası şu alanlar olacaktır Özet istatistikler Görselleştirme Çevrimiçi analitik işlem (OLAP) Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 3

4 Süsen Çiçeği Örnek Veri Seti Keşifsel veri analizi tekniklerinin bir çoğu süsen çiçeği veri seti ile açıklanır. İlgili veri setine UCI Machine Learning veri deposundan ulaşmak mümkündür Bu veri istatistikçi Douglas Fisher tarafından sağlanmıştır Çiçeğin üç sınıfı vardır: Setosa Virginica Versicolour Dört tane giriş özniteliği vardır Sepal genişliği ve uzunluk Taç yaprağı genişliği ve uzunluk Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 4

5 Özet İstatistikler Özet istatistikler verinin özelliklerini özetlemeye yarayan sayılardır Özetlenmiş özellikler; frekans, yer (location) ve yayılma (spread) ölçüleri içerir örnekler: yer - ortalama yayılma standart sapma Birçok özet istatistik veri üzerinden tek bir geçiş ile elde edilebilir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 5

6 Frekans ve Mod Bir öznitelik değerinin frekansı; veri seti içerisinde değerin kaç kez tekrarlandığının yüzdesidir. Örneğin, verilen öznitelik cinsiyet olsun, temsil edici bir popülasyonda cinsiyeti bayan olanların miktarı %50 civarındadır. Bir öznitelik için mod değeri en sık yer tekrar eden öznitelik değeridir. Frekans ve mod tipik olarak kategorik veri ile birlikte kullanılır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 6

7 Yer Ölçüleri: Ortalama ve Medyan (Ortanca) Ortalama bir nokta kümesinin yerinin en genel ölçümüdür. Bununla birlikte, ortalama sapmalara karşı aşırı duyarlıdır. Sapmalardan kötü etkilenir. Bu yüzden, genellikle medyan veya kırpılmış ortalama kullanılır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 7

8 Yayılım Ölçüleri: Aralık ve Varyans Aralık en büyük ile en küçük arasındaki farktır. Varyans veya standart sapma bir nokta kümesinin yayılımına ait en genel ölçümdür. Bununla birlikte, bu ölçüm de taşmalara karşı duyarlıdır ve sıklıkla diğer ölçümler kullanılır. MAD(x)=median absolute deviation of the values in x AAD(x)=average absolute deviation of x Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 8

9 Görselleştirme Görselleştirme, verinin karakteristikleri, veri elemanları veya öznitelikleri arasındaki ilişkilerin analiz edilebilmesi veya raporlanabilmesi için verinin görsel veya çizgisel formata dönüşümüdür. Verinin görselleştirilmesi veri keşfi için en güçlü ve en çekici tekniklerden biridir. İnsanlar bilgiyi görsel olarak sunmakla çok büyük miktardaki veriyi analiz etme şansına sahip olmuşlardır. Onlar, genel örüntü ve trendleri tespit edebilirler, Onlar, taşmaları ve alışılmamış örüntüleri tespit edebilirler Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 9

10 Örnek: Deniz Yüzeyi Sıcaklığı Aşağıda 1982 temmuzu için deniz yüzeyi sıcaklığı görülmektedir. On binlerce veri noktası tek bir şekilde özetlenmiştir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

11 Sunum Bilginin görsel bir formata eşleşmesi mümkün müdür? Veri nesneleri, onların öznitelikleri ve veri nesneleri arasındaki ilişkiler; noktalar, satırlar, şekiller ve renkler gibi grafiksel elemanlara dönüştürülebilir. Örnek: Nesneler sıklıkla noktalarla sunulur Onların özellikleri noktaların karakteristikleri (renk, boyut ve şekil gibi) veya pozisyonu olarak sunulabilir. Eğer pozisyon bilgisi kullanılırsa taşmalar ve grup içinde kalmalar rahatça izlenebilir ve kolaylıkla taşma tespiti algılanabilir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

12 Düzenleme Bir gösterge içinde görsel elemanlar yerleşir mi? Veriyi anlama ne kadar kolay hale getirilebilir Örnek : Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

13 Seçim Nesneler veya özniteliklerin yeniden vurgulanması veya elenmesi mümkün müdür? Seçim işlemi özniteliklerin bir altkümesini seçmeye imkan sağlar Boyut azaltma sıklıkla boyutların sayısını iki veya üçe düşürür Alternatif olarak, özniteliklerin çiftleri hesaba katılabilir Seçim nesnelerin bir altkümesini seçmeye imkan sağlayabilir Ekranın bir bölgesi sadece çok fazla noktaları gösterebilir Örnekleme yapılabilir, fakat seyrek bölgelerde noktalar korunmak ister Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

14 Görselleştirme teknikleri : Histograms Histogram Genellikle tek bir değişkenin değerler dağılımını gösterir Değerleri kutulara böler ve her bir kutuda bir çubuk işaretler. Her bir çubuğun yüksekliği nesnelerin sayısını gösterir Histogramınşekli kutuların sayısına bağlıdır Örnek: taç yaprağı genişlikleri (10 ve 20 kutu, sırayla) Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

15 Histogram Örneği Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

16 İki boyutlu Histogramlar İki özniteliğin değerlerinin kesişim dağılımını gösterir Örnek: taç yaprak genişliği ve taç yaprak boyu Aşağıdaki şekil size neyi söylemektedir? Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

17 Görselleştirme Teknikleri : Kutu Çizgileri Kutu çizgileri (Box Plots) Tukey tarafından icat edilmiştir Veri dağılımı ile ilgili bir diğer gösterim yöntemidir 5 özet istatistik göstergesinin bir arada gösterildigi ve mukayese imkanı veren grafik outlier 10 th percentile 75 th percentile 50 th percentile 25 th percentile 10 th percentile Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

18 Kutu çizgi örnekleri Kutu çizgiler öznitelikleri karşılaştırmada kullanılabilir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

19 Kutu çizgi örneği Aşağıdaki değerlere göre Box plot diagramı çiziniz Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

20 Taşmalarla Birlikte Kutu Çizgi Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

21 Görselleştirme Teknikleri : Saçılma Çizgileri Saçılma çizgileri Öznitelik değerleri pozisyonu belirlerler, İki boyutlu saçılma çizgileri en sık kullanılan olup üç boyutlu olanları da vardır, Sıklıkla, ek öznitelikler nesneleri sunan işaretlerin boyut, şekil, ve renkleri kullanılarak gösterilebilir. Saçılma çizgilerinin dizilere sahip olması özniteliklerin birkaç çifti arasındaki ilişkileri karmaşık olarak özetleyebilmek için faydalıdır. Saçılma çizgileri bir değişkenin diğeri tarafından nasıl etkilendiğini gösterir. İki değişken arasındaki ilişki onların korelasyonu olarak isimlendirilir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

22 Görselleştirme teknikleri : Dış Hat Çizgileri Dış hat çizgileri Uzaysal bir ızgarada sürekli bir öznitelik ölçülürken faydalıdır Onlar düzlemi benzer değerlere ait bölgeler halinde bölümlerler Bu bölgelerin sınırlarını veren dış hatlar eşit değerlerle noktaları bağlar En genel örnek izohips eğrilerini veren dış hat haritalarıdır Onlar, sıcaklıkları, yağmur durumlarını, hava basınçlarını v.s. gösterebilirler. Deniz yüzeyi sıcaklığı için bir örnek bir sonraki slaytta verilmiştir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

23 Örnek: Deniz Yüzeyi Sıcaklıkları Aralık, 1998 Celsius Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

24 Görselleştirme Teknikleri : Matris çizgileri Matris çizgileri Bir matris çizgisi (plot) değişkenler arasındaki ikili ilişkileri kullanıcıya göstermeye yarayan bir çeşit saçılma çizgisidir. Bir anda birden fazla saçılma çizgisini izleme imkanı verir. Veri matrisini çizebilirler Sınıflara göre sıralı nesneler olduğunda faydalıdır Tipik olarak, öznitelikler bir özniteliğin diğerlerini bastırmaması için bir normalleştirmeden geçirilir Benzerlik veya uzaklık matrislerinin çizimleri nesneler arasındaki ilişkileri görselleştirme için de faydalıdır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

25 Görselleştirme Teknikleri : Paralel Koordinatlar Paralel koordinatlar Yüksek boyutlu verinin öznitelik değerlerini çizmek için kullanılırlar Dik eksenlerin kullanımı yerine paralel eksenlerin bir dizisi kullanılır Her bir nesnenin öznitelik değerleri her bir koordinat eksenine bağlı olarak bir nokta şeklinde çizilir ve noktalar bir çizgi ile birleştirilir Böylece, her bir nesne bir çizgi ile sunulur Sıklıkla, en azından bazı öznitelikler için, çizgiler nesnelerin gruplarını ayrık birer sınıf olarak sunarlar, Özniteliklerin sırasının böylesi gruplamaları görebilmek için önemlidir Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

26 Diğer Görselleştirme Teknikleri Star Plots Paralel koordinatlara benzer yaklaşımdır, fakat eksenler merkez noktadan saçılma yaparlar Nesnelerin değerleri çizgiler ile bağlanarak bir poligon oluşturulur Chernoff yüzleri Yaklaşım Herman Chernoff tarafından ortaya konmuştur Bu yaklaşım her bir özniteliği surat ifadesinin karakteristik bir özelliği ile eşler Her bir öz niteliğin değerleri farklı bir surat ifadesini belirler Her bir nesne ayrı bir yüz haline gelir Yüzlerin farklılığını anlamada insan yeteneklerine güvenir bu yöntem Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

27 Süsen çiçeği verisi için Yıldız çizgileri Setosa Versicolour Virginica Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

28 Süsen çiçeği verisi için Chernoff yüzleri Setosa Versicolour Virginica Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

29 OLAP Çevrimiçi analitik işlem, ilişkisel veritabanlarının babası olan E. F. Codd tarafından önerilmiştir. OLAP çok boyutlu dizi sunumunu kullanırken, İlişkisel veritabanları veriyi tablolara yerleştirir. Verini böylesi sunumları daha önceden istatistik ve diğer sahalarda yer almıştır. Böylesi bir veri sunumu ile veri analiz ve veri keşif işlemleri daha kolay hale gelmiştir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

30 Çok Boyutlu bir dizinin oluşturulması Çizgisel veriyi çok boyutlu bir diziye çevirmede iki adım bulunur. Öncelikle, hangi özniteliklerin boyutları ve hangi özniteliğin hedefi oluşturacağı tanımlanır ve bu değerler çok boyutlu dizide giriş değerlerini oluştururlar. Boyut olarak kullanılan öznitelikler ayrık değerlere sahip olmalıdır. Hedef değer tipik olarak bir sayı veya sürekli bir değerdir, örn. Bir nesnenin fiyatı gibi Öznitelik değerlerinin aynı kümesine sahip nesneler, onların miktarı bilgisi dışında hiçbir hedef değişkene sahip olmayabilirler. İkincisi, değerlerin özetlenmesi yöntemiyle çok boyutlu dizideki her bir veri girişinin değeri bulunur veya girişe bağlı öznitelik değerlerine sahip bütün nesneler sayılabilir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

31 Örnek : Süsen Çiçeği verisi Biz petal boyu, petal eni, ve tür tipi özniteliklerinin çok boyutlu uzaya nasıl çevrildiğini göstereceğiz. Öncelikle, petal genişliği ve boyunu low, medium ve highşeklinde kategorik değerlere ayrıklaştırdık. Aşağıdaki tabloyu elde ettik count özniteliğini işaretledik. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

32 Örnek : Süsen Çiçeği verisi - devam petal boyu, petal eni, ve tür tipine ait her bir tekil satır dizinin bir elemanını tanımlar. Bu eleman sayı değerine bağlı olarak atanır. Şekil sonucu gösterir. Belirtilmeyen satırlar 0 dır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

33 Örnek : Süsen Çiçeği verisi - devam Çok boyutlu dizinin dilimleri aşağıdaki çapraz tablolarda gösterilmektedir. Bu tablolar bize neyi söylemektedir? Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı Cevap : 10/05/ Her bir tür tipine göre petal boy ve enleri

34 OLAP işlemleri : Veri Küpü (Data Cube) Bir OLAP için ana işlem bir veri küpünün oluşturulmasıdır. Bir veri küpü olası bütün birliktelikler ile verinin çok boyutlu bir sunumudur. Olası bütün birlikteliklerden biz boyutların alt setlerinin düzgün olarak seçilmesini anlarız. Bazı boyutlar diğer boyutların özeti şeklinde elde edilir. Örneğin, süsen çiçeği verisinin tür tipi boyutunu seçer ve diğer bütün boyutları toplarsak sonuç üç adet veri ile tek boyutlu bir giriş olacaktır, her bir tipe ait çiçeklerin sayısı bizim dizi üzerindeki verilerimiz olacaktır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

35 Veri Küpü örneği Varsayalım ki çeşitli tarihlerde şirket depolarının birkaçında ürünlerin satış kayıtları bulunuyor. Bu veri 3 boyutlu dizi olarak sunulabilir 3 tane iki boyutlu, 3 tane tek boyutlu ve 1 tane sıfır boyutlu dizi birlikteliği vardır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

36 Veri Küpü örneği - devam Aşağıdaki tablo iki boyutlu toplamaların bir tanesini gösterir, aynı zamanda tek boyutlu toplamaların iki tanesini ve bütün toplamı göstermektedir. Tablonun tamamı, iki boyutlu, satır toplamları ve sütün toplamları ise tek boyutlu toplamları gösterir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

37 OLAP işlemleri : Dilimleme ve Küp Şeklinde Kesme (slicing and dicing) Dilimleme bir veya daha fazla boyut için belirli bir değere göre bütün çok boyutlu dizinden bir grup hücrenin seçilmesidir. Küp şeklinde kesme, öznitelik değerlerinin bir aralığını belirleyerek hücrelerin bir alt kümesini seçmeye izin verir. Bu bütün bir diziden alt bir dizinin tanımlanmasına eştir. Pratikte, bu işlemlerin ikisi birden bazı boyutların bir araya getirilmesinde birlikte çalışabilirler. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

38 OLAP işlemleri : Tomarlamak ve Açmak (Roll-up and Drill-down) Öznitelik değerleri sıklıkla hiyerarşik bir yapıya sahiptir. Her bir tarih bir yıl, ay ve hafta ile ifade edilir. Bir yer bir kıta, ülke, eyalet ve şehir ile ifade edilir. Ürünler giyim, elektronik, ve mobilya gibi çeşitli kategorilere ayrılabilirler. Bu kategoriler sıklıkla bir ağaç veya kafes şeklindedir Bir yıl içinde günler bulunan aylar içerir. Bir ülke içinde bir şehir bulunan eyaletler içerir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

39 OLAP işlemleri : Tomarlamak ve Açmak Bu hiyerarşik yapı roll-up ve drill-down işlemlerinin ortaya çıkmasına destek olmaktadır. Alışveriş verisi için bir ay içindeki bütün tarihlere ait alışverişler bir araya getirilebilir (roll up). Tersine olarak, aylık satış toplamları günlere bölünerek zaman boyutunda bir bölme (drill down) işlemi yapılır. Aynı şekilde, drill down veya roll up işlemlerini location veya product ID öznitelikleri üzerinde de yapabiliriz. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/