Dr. Hidayet Takçı. Veri Madenciliği Eğitimi GYTE Dr. Hidayet Takçı 10/05/2008 #

Transkript

1 Birliktelik Kuralları: Temel Kavramlar ve Algoritmalar Dr. Hidayet Takçı

2 Birliktelik Kuralı Madenciliği Bir işlem kaydında bir elemanın meydana gelme olasılığını, diğer elemanların meydana gelme olasılıklarından tahmin etmek için kurallar bulunmasıdır. Market-Basket transactions TID Items 1 Bread, Milk 2 Bread, Diaper, Beer, Eggs 3 Milk, Diaper, Beer, Coke 4 Bread, Milk, Diaper, Beer 5 Bread, Milk, Diaper, Coke Birliktelik kuralları için örnekler {Diaper} {Beer}, {Milk, Bread} {Eggs,Coke}, {Beer, Bread} {Milk},

3 Tanım: Frequent Itemset Itemset Bir veya daha fazla elemanın bir koleksiyonudur Örnek: {Milk, Bread, Diaper} k-itemset Bir itemset eğer k tane elaman içeriyorsa buna k-itemset adı verilir. Support count (σ) Bir itemset in kaç defa meydana geldiğinin sayısıdır Örnek. σ({milk, Bread,Diaper}) = 2 Support Bir itemset içeren transaction ların oranıdır Örnek. s({milk, Bread, Diaper}) = 2/5 Frequent Itemset Bir itemset in support değeri minsup eşik değerinden daha büyük ise o Frequent Itemset olarak bilinir. TID Items 1 Bread, Milk 2 Bread, Diaper, Beer, Eggs 3 Milk, Diaper, Beer, Coke 4 Bread, Milk, Diaper, Beer 5 Bread, Milk, Diaper, Coke

4 Tanım: Birliktelik Kuralı Birliktelik Kuralı Bir karıştırma deyimi X Y formunda olup burada X ve Y eleman kümeleridir (itemsets). Örnek: {Milk, Diaper} {Beer} TID Items 1 Bread, Milk 2 Bread, Diaper, Beer, Eggs 3 Milk, Diaper, Beer, Coke 4 Bread, Milk, Diaper, Beer 5 Bread, Milk, Diaper, Coke Kural Değerlendirme Metrikleri Support (s) X ve Y değerlerini birlikte içerenlerin oranıdır Confidence (c) X değerini içeren işlem kayıtları içerisinde X ve Y değerlerinin birlikte hangi sıklıkta ortaya çıktığının ölçümüdür. Örnek : { Milk, Diaper} (Milk, Diaper, Beer) s = σ = T σ (Milk,Diaper,Beer) c = = σ (Milk, Diaper) Beer = 0.4 = 0.67

5 Birliktelik Kuralı Madenciliği Görevi Verilen işlem kayıtları kümesi T olmak üzere, birliktelik kuralları madenciliğinin amacı aşağıdaki kuralları sağlayan bütün kuralların bulunmasıdır support minsup eşiği confidence minconf eşiği Brute-force yaklaşımı: Olası bütün birliktelik kurallarını listeleyin Her bir kural için support ve confidence değerlerini hesaplayın minsup ve minconf eşikleri hataya sebep oluyorsa kuralları buda

6 Birliktelik Kuralları Madenciliği TID Items 1 Bread, Milk 2 Bread, Diaper, Beer, Eggs 3 Milk, Diaper, Beer, Coke 4 Bread, Milk, Diaper, Beer 5 Bread, Milk, Diaper, Coke Kuralların örnekleri: {Milk,Diaper} {Beer} (s=0.4, c=0.67) {Milk,Beer} {Diaper} (s=0.4, c=1.0) {Diaper,Beer} {Milk} (s=0.4, c=0.67) {Beer} {Milk,Diaper} (s=0.4, c=0.67) {Diaper} {Milk,Beer} (s=0.4, c=0.5) {Milk} {Diaper,Beer} (s=0.4, c=0.5) Gözlemler: Yukarıdaki bütün kurallar aynı itemset in ikili bölmeleridir: {Milk, Diaper, Beer} Aynı itemset den kaynaklanan kurallar benzer support değerine fakat farklı confidence değerine sahiptirler. Böylece, biz support ve confidence ihtiyaçlarını birleştirebiliriz.

7 Birliktelik Kuralları Madenciliği İki adımlı yaklaşım: 1. Frequent Itemset Üretimi support minsup şartını sağlayan bütün itemset leri üret 2. Kural Üretimi Her bir frequent itemset den yüksek confidence değerine sahip, bir frequent itemset in ikili bölümlemesini içeren kuralları üret. Frequent itemset üretimi hala hesaplamalı olarak maliyetlidir.

8 Frequent Itemset Üretimi null A B C D E AB AC AD AE BC BD BE CD CE DE ABC ABD ABE ACD ACE ADE BCD BCE BDE CDE ABCD ABCE ABDE ACDE BCDE ABCDE Verilen d adet eleman için 2 d adet olası aday itemset vardır.

9 Frequent Itemset Üretimi Brute-force yaklaşım: Kafes içerisindeki her bir itemset bir frequent itemset adayıdır. Veritabanını tarayarak her bir adayın support değerini sayın Transactions TID Items 1 Bread, Milk 2 Bread, Diaper, Beer, Eggs 3 Milk, Diaper, Beer, Coke 4 Bread, Milk, Diaper, Beer 5 Bread, Milk, Diaper, Coke Her adayı her bir transaction ile eşleştir Karmaşıklık ~ O(NMw) => M = 2 d den dolayı maliyetli!!!

10 Computational Complexity Verilen d adet tekil eleman için: Toplam itemset sayısı = 2 d Olası birliktelik kurallarının toplam sayısı: = = + = = d d d k k d j j k d k d R Eğer d=6, R = 602 kural

11 Frequent Itemset Üretim Stratejileri Adayların sayısını azalt (M) Tam arama: M=2 d M değerini azaltmak için budama teknikleri kullan Transaction ların sayısını azalt (N) Itemset boyutlarının artması için N değerinin boyutu azaltılır DHP ve dikey-tabanlı madencilik algoritmaları kullanılır Karşılaştırmaların sayısı azaltılır (NM) Adayları veya transaction ları saklamak için etkili veri yapıları kullanın Her transaction için her aday ile eşleşme ihtiyacı kalmasın

12 Adayların Sayısını Azaltma Apriori prensibi: Eğer bir itemset sık ise, o zaman onun bütün altkümeleri de sık olacaktır Apriori prensibi support ölçümünün aşağıdaki özelliğini kapsar: X, Y : ( X Y ) s( X ) s( Y ) Bir itemset in support değeri hiçbir zaman kendi altkümelerinin support değerini aşmaz Örnek : itemset {beer, diaper} sub1 {beer} sub2{diaper} Bu support değerinin anti-monotone özelliği olarak bilinir

13 Apriori Prensibinin Örneklemesi Found to be Infrequent Pruned supersets

14 Apriori Prensibinin Örneklemesi Item Count Bread 4 Coke 2 Milk 4 Beer 3 Diaper 4 Eggs 1 Minimum Support = 3 Items (1-itemsets) Itemset Count {Bread,Milk} 3 {Bread,Beer} 2 {Bread,Diaper} 3 {Milk,Beer} 2 {Milk,Diaper} 3 {Beer,Diaper} 3 Pairs (2-itemsets) (Coke veya Eggs içeren adaylar üretmeye ihtiyaç yoktur. Triplets (3-itemsets) Ite m s e t C o u n t {B re a d,m ilk,d ia p e r} 3

15 Apriori Algoritması Method: Let k=1 Boyutu 1 olan frequent itemset ler üret Yeni hiçbir frequent itemsets bulunmayana kadar tekrar et k boyutlu frequent itemset lerden (k+1) boyutlu aday itemset ler üret Aday itemset ler eğer yeteri kadar sık değilse buda Veritabanını tarayarak her bir aday itemset için support değerini hesapla Sık olmayan adayları ele ve sadece sık olanlarla devam et

16 Karşılaştırmaların Azaltılması Aday sayma: Her bir aday itemset in support değerini belirlemek için transaction veritabanı taranır. Karşılaştırmaların sayısını azaltmak için, bir hash yapısında adaylar depolanır Her bir transaction u bütün transaction larla eşleştirme yerine, hash edilmiş buketlerdeki adaylarla transcation karşılaştırma yapılılır. Transactions TID Items 1 Bread, Milk 2 Bread, Diaper, Beer, Eggs 3 Milk, Diaper, Beer, Coke 4 Bread, Milk, Diaper, Beer 5 Bread, Milk, Diaper, Coke

17 Hash Tree Üretimi Varsayalım ki 3 boyutlu 15 tane aday itemset iniz var: {1 4 5}, {1 2 4}, {4 5 7}, {1 2 5}, {4 5 8}, {1 5 9}, {1 3 6}, {2 3 4}, {5 6 7}, {3 4 5}, {3 5 6}, {3 5 7}, {6 8 9}, {3 6 7}, {3 6 8} İhtiyacınız: Hash fonksiyonu maksimum yaprak boyu: bir yaprak düğümünde depolanan itemset lerin maksimum sayısı (eğer aday itemset lerin sayısı maksimum yaprak boyutunu aşarsa, düğüm bölünür) Hash function 3,6,9 1,4,7 2,5,

18 Association Rule Discovery: Hash tree Hash Function Candidate Hash Tree 1,4,7 3,6,9 2,5,8 Hash on 1, 4 or

21 Subset Operation Verilen bir t transaction için Üç değerli olası altkümeler nelerdir?

22 Karmaşıklığa Etki Eden Faktörler Minimum support threshold seçimi Düşen support eşiği ile daha çok sayıda frequent itemset meydana gelir. Bu durum adayların sayısını ve frequent itemset boyunu artırabilir Veri setinin boyutu (elemanların sayısı) Her bir elemanın support sayısını depolamak için daha fazla belleğe ihtiyaç vardır Eğer sık elemanların sayısı artarsa hem hesaplama hem de I/O maliyetleri artabilir Veritabanı boyutu Apriori çok sayıda geçiş yaptığı için transaction sayıları ile birlikte algoritmanın çalışma zamanı artar Ortalama transaction genişliği Daha yoğun veri setleri ile transaction genişliği artar Bu durum frequent itemset in maksimum boyutunu ve hash tree üzerinden geçme maliyetini artırabilir (bir transaction daki alt kümelerin sayısı onun genişliği ile artar)

23 Maximal Frequent Itemset Eğer bir itemset in supersetlerinden (altkümeleri) hiç biri sık değilse o itemset maximal itemset olarak adlandırılır. Maximal Itemsets Infrequent Itemsets Border

24 Closed Itemset Bir itemset in supersetlerinden hiçbiri itemset in kendisi ile aynı support değerine sahip değilse ilgili itemset closed itemset adını alır. TID Items 1 {A,B} 2 {B,C,D} 3 {A,B,C,D} 4 {A,B,D} 5 {A,B,C,D} Itemset {A} 4 {B} 5 {C} 3 {D} 4 {A,B} 4 {A,C} 2 {A,D} 3 {B,C} 3 {B,D} 4 {C,D} 3 Support Itemset Support {A,B,C} 2 {A,B,D} 3 {A,C,D} 2 {B,C,D} 3 {A,B,C,D} 2

25 Maximal ve Closed Itemset ler Karşı Karşıya TID Items 1 ABC 2 ABCD 3 BCE 4 ACDE 5 DE null Transaction Ids A B C D E AB AC AD AE BC BD BE CD CE DE ABC ABD ABE ACD ACE ADE BCD BCE BDE CDE 2 4 ABCD ABCE ABDE ACDE BCDE Hiçbir transaction tarafından desteklenmeyenler ABCDE

26 Maximal ve Closed Frequent Itemsets Minimum support = 2 null Closed but not maximal A B C D E Closed and maximal AB AC AD AE BC BD BE CD CE DE ABC ABD ABE ACD ACE ADE BCD BCE BDE CDE 2 4 ABCD ABCE ABDE ACDE BCDE # Closed = 9 # Maximal = 4 ABCDE

27 Alternative Methods for Frequent Itemset Generation Itemset kafesi üzerinde gezinti Genelden özele, özelden genele yaklaşımına karşı

28 Alternative Methods for Frequent Itemset Generation Itemset kafesi üzerinde gezinti Eş sınıflar

29 Alternative Methods for Frequent Itemset Generation Itemset kafesi üzerinde gezinti Breadth-first ve Depth-first karşı karşıya

30 Alternative Methods for Frequent Itemset Generation Veritabanının sunumu Yatay yerleşim dikey yerleşime karşı TID Items 1 A,B,E 2 B,C,D 3 C,E 4 A,C,D 5 A,B,C,D 6 A,E 7 A,B 8 A,B,C 9 A,C,D 10 B A B C D E

31 FP-growth Algorithm Bir FP-tree yardımıyla veritabanının sıkıştırılmış bir sunumu kullanılır. FP-tree inşasında, frequent itemset madenciliği için recursive divide-and-conquer yaklaşımı kullanılır.

32 FP-tree construction TID=1 okumadan sonra: null TID Items 1 {A,B} 2 {B,C,D} 3 {A,C,D,E} 4 {A,D,E} 5 {A,B,C} 6 {A,B,C,D} 7 {B,C} 8 {A,B,C} 9 {A,B,D} 10 {B,C,E} B:1 TID=2 okumadan sonra: null A:1 B:1 A:1 B:1 C:1 D:1

33 FP-Tree Construction TID Items 1 {A,B} 2 {B,C,D} 3 {A,C,D,E} 4 {A,D,E} 5 {A,B,C} 6 {A,B,C,D} 7 {B,C} 8 {A,B,C} 9 {A,B,D} 10 {B,C,E} Transaction Veritabanı B:5 A:7 C:1 null D:1 B:3 C:3 Header table Item A B C D E Pointer C:3 D:1 D:1 D:1 E:1 E:1 D:1 Pointer lar frequent itemset üretimini desteklemek için kullanılır E:1

34 FP-growth D:1 C:3 B:5 A:7 D:1 null C:1 D:1 D:1 B:1 C:1 D:1 D için şartlı pattern tabanı: P = {(A:1,B:1,C:1), (A:1,B:1), (A:1,C:1), (A:1), (B:1,C:1)} Rekursif olarak P üzerinde FP-growth uygulanır Frequent Itemset ler (sup > 1 ile) bulunur: AD, BD, CD, ACD, BCD

35 Tree Projection Sayım (enumeration) ağacınının set edilmesi: Olası ifade: E(A) = {B,C,D,E} null A B C D E AB AC AD AE BC BD BE CD CE DE ABC ABD ABE ACD ACE ADE BCD BCE BDE CDE Olası ifade: E(ABC) = {D,E} ABCD ABCE ABDE ACDE BCDE ABCDE

36 Tree Projection Item lar lexicographic sırada listelenir Her bir P düğümü aşağıdaki bilgiyi saklar: P için Itemset P nin olası lexicographic ifadelerinin listesi : E(P) Onun ata düğümünün tasarlandığı veritabanı için pointer Bitvector; itemset ı içeren tasarlanmış veritabanındaki transaction lar hakkında bilgi içerir.

37 Tasarlanmış (Projected) Database Original Database: TID Items 1 {A,B} 2 {B,C,D} 3 {A,C,D,E} 4 {A,D,E} 5 {A,B,C} 6 {A,B,C,D} 7 {B,C} 8 {A,B,C} 9 {A,B,D} 10 {B,C,E} A düğümü için tasarlanmış Database: TID Items 1 {B} 2 {} 3 {C,D,E} 4 {D,E} 5 {B,C} 6 {B,C,D} 7 {} 8 {B,C} 9 {B,D} 10 {} Her bir T transaction u için, A düğümündeki tasarlanmış transaction T E(A) dur.

38 ECLAT Her bir item için, transaction id lerinin (tids) bir listesini depola Horizontal Data Layout TID Items 1 A,B,E 2 B,C,D 3 C,E 4 A,C,D 5 A,B,C,D 6 A,E 7 A,B 8 A,B,C 9 A,C,D 10 B Vertical Data Layout A B C D E TID-list

39 ECLAT Herhangi bir k-itemset in (k-1) boyutlu altkümelerinin ikili tid-listelerini kesiştirerek k-itemset desteğini belirleyin. A B geçiş yaklaşımı: top-down, bottom-up ve hybrid Avantaj: support sayımı çok hızlıdır Dezavantaj: tid-listeleri bellek için çok büyük olabilir. AB

40 Kural Üretimi L bir frequent itemset olsun, L tarafından kapsanan ve boş olmayan, aynı zamanda minimum confidence ile f L f kuralını sağlayan bütün altkümeleri bulunuz. Eğer {A,B,C,D} bir frequent itemset ise, aday kurallar: ABC D, ABD C, ACD B, BCD A, A BCD, B ACD, C ABD, D ABC AB CD, AC BD, AD BC, BC AD, BD AC, CD AB, Eğer L = k ise, o zaman 2 k 2 adet aday birliktelik kuralı vardır (L ve L haricinde)

41 Kural Üretimi Frequent itemset lerden kuralları etkin olarak nasıl çıkarırız Genelde, confidence bir anti-monotone özelliğe sahip değildir. c(abc D), c(ab D) den büyük veya küçük olabilir Fakat, aynı itemset ten üretilen kuralların confidence değerini bir anti-monotone özelliği vardır Örnek, L = {A,B,C,D}: c(abc D) c(ab CD) c(a BCD)

42 Apriori Algorithm için Kural Üretimi Kuralların kafesi Düşük Confidence Kuralı Budanmış Kurallar

43 Apriori Algorithm için Kural Üretimi Aday kural, kural sonucunda aynı ön eki paylaşan iki kuralın birleştirilmesi yoluyla üretilir. join(cd=>ab,bd=>ac) aday üretimi sonucu kural D => ABC CD=>AB BD=>AC Eğer onun alt kümesi AD=>BC yüksek confidence değerine sahip değilse D=>ABC kuralını buda D=>ABC

44 Support Dağılımının Etkisi Birçok gerçek veri kümesi yatık support dağılımına sahiptir. Gerçek bir perakendeci veri setinin support dağılımı

45 Support Dağılımının Etkisi Uygun minsup eşik değerini nasıl set ederiz? Eğer minsup çok yüksek olarak set edilirse, ilginç fakat seyrek item ları kapsayan itemset leri kaçırırız. (Örnek, pahalı ürünler) Eğer minsup çok düşük ise, hesaplamalı olarak maliyet ve itemset sayısı çok artar Tek bir minimum support eşiği kullanımı etkin olmayabilir

46 Çoklu Minimum Support Çoklu minimum support ları nasıl uygularız? MS(i): item i için minimum support Örnek.:MS(Milk)=5%, MS(Coke) = 3%, MS(Broccoli)=0.1%, MS(Salmon)=0.5% MS({Milk, Broccoli}) = min (MS(Milk), MS(Broccoli)) = 0.1% Aksilik: Support anti-monotone özellikte değildir Varsayalım: Support(Milk, Coke) = 1.5% ve Support(Milk, Coke, Broccoli) = 0.5% {Milk,Coke} sık değildir fakat {Milk,Coke,Broccoli} sıktır. Çünkü %1.5 kendi minsup değerinden düşük %0.5 kendi minsup değerinden büyüktür.

47 Çoklu Minimum Support Item MS(I) Su p(i) AB ABC A 0.10% 0.25% A AC AD ABD ABE B 0.20% 0.26% B AE ACD C 0.30% 0.29% C BC BD ACE ADE D 0.50% 0.05% D BE BCD E 3% 4.20% E CD CE BCE BDE DE CDE

48 Çoklu Minimum Support Item MS(I) Sup(I) A 0.10% 0.25% A AB AC AD ABC ABD ABE B 0.20% 0.26% C 0.30% 0.29% B C AE BC BD ACD ACE ADE D 0.50% 0.05% E 3% 4.20% D E BE CD CE BCD BCE BDE DE CDE

49 Çoklu Minimum Support (Liu 1999) Item ları onların minimum support değerlerine göre sırala (artan sırada) Örnek.:MS(Milk)=5%, MS(Coke) = 3%, MS(Broccoli)=0.1%, MS(Salmon)=0.5% Sıralama: Broccoli, Salmon, Coke, Milk Apriori düzeltmesine ihtiyaç vardır: L 1 : frequent items kümesi F 1 : support MS(1)şartını sağlayan item kümesi orada MS(1)=min i ( MS(i) ) C 2 : L 1 yerine F 1 den 2 boyutlu aday itemset ler üretilir

50 Çoklu Minimum Support (Liu 1999) Apriori için düzeltmeler: Geleneksel Apriori algoritmasında, Bir aday (k+1)-itemset k boyutlu frequent itemset lerin ikişerli birleştirmesi ile üretilir Aday, eğer k boyutlu sık olmayan herhangi bir altküme içerirse budanır Budama adımı düzenlenmelidir: Budama sadece altküme ilk item ı içeriyorsa yapılır Örnek.: Aday={Broccoli, Coke, Milk} (minimum support değerine göre sıralı) {Broccoli, Coke} ve {Broccoli, Milk} sıktır fakat {Coke, Milk} seyrektir. Aday budanmaz çünkü {Coke,Milk} ilk item olan Broccoli içermez.

51 Pattern Evaluation Birliktelik kuralı algoritmaları çok fazla kural üretmeye eğilimlidir. Onların çoğu ilginç olmayan veya gereksiz kurallardır Eğer {A,B,C} {D} ve {A,B} {D} durumu aynı support ve confidence değerine sahip ise gereksiz İlginçlik ölçümleri çıkarılmış örüntüleri budama için kullanılabilir. Birliktelik kurallarının orijinal formülasyonunda, sadece support & confidence ölçümleri kullanılır

52 Application of Interestingness Measure İlginçlik Ölçümleri Preprocessed Data Patterns Knowledge Postprocessing Selected Data Featur Featur Featur e e Featur Featur e e Featur Featur e Featur e e Featur Featur e e e Prod Prod uct Prod uct Prod uct Prod uct Prod uct Prod uct Prod uct Prod uct Prod uct uct Mining Data Preprocessing Selection

53 Computing Interestingness Measure Verilen bir X Y kuralı için, olasılık tablosundan kural ilginçlikleri elde edebilmeye ihtiyaç vardır. X Y için olasılık tablosu Y Y X f 11 f 10 f 1+ X f 01 f 00 f o+ f +1 f +0 T f 11 : support of X and Y f 10 : support of X and Y f 01 : support of X and Y f 00 : support of X and Y Çeşitli ölçümleri tanımlamak için kullanılır support, confidence, lift, Gini, J-measure, etc.

54 Confidence ın Sorunu Coffee Coffee Tea Tea Association Rule: Tea Coffee Confidence= P(Coffee Tea) = 0.75 fakat P(Coffee) = 0.9 confidence yüksek olmasına rağmen, kural yanılıyor P(Coffee Tea) =

55 İstatistiksel Bağımsızlık 1000 kişilik bir popülasyonda 600 öğrenci yüzmeyi biliyor (S) 700 öğrenci bisiklet kullanmayı biliyor (B) 420 öğrenci her ikisini de biliyor (S,B) P(S B) = 420/1000 = 0.42 P(S) P(B) = = 0.42 P(S B) = P(S) P(B) => istatistiksel bağımsız P(S B) > P(S) P(B) => pozitif korelasyon P(S B) < P(S) P(B) => negatif korelasyon

56 İstatistik Tabanlı Ölçümler İstatistik bağımsızlığı tanımlayan ölçümler )] ( )[1 ( )] ( )[1 ( ) ( ) ( ), ( ) ( ) ( ), ( ) ( ) ( ), ( ) ( ) ( Y P Y P X P X P Y P X P Y X P coefficient Y P X P Y X P PS Y P X P Y X P Interest Y P X Y P Lift = = = = φ

57 Örnek: Lift/Interest Coffee Coffee Tea Tea Association Rule: Tea Coffee Confidence= P(Coffee Tea) = 0.75 fakat P(Coffee) = 0.9 Lift = 0.75/0.9= (< 1, bu yüzden negatif uyumlu)

58 Lift & Interest ölçümünün Sorunu Y Y X X Y Y X X Lift = = Lift = = (0.1)(0.1) (0.9)(0.9) İstatistiksel Bağımsızlık: Eğer P(X,Y)=P(X)P(Y) => Lift = 1

59 Support-based Pruning association rule mining algoritmalarının çoğunda kuralları ve itemset leri budama için support ölçümü kullanılır. Itemset lerin korelasyonu üzerinde support tabanlı budamanın etkisini çalışalım rasgele olasılık tablosu üretin Her bir tablo için ikili korelasyon ve support değeri hesap edilir support-tabanlı budama uygulanır ve budama sonrası silinen tablolar üzerinde çalışılır