Tanımı Amacı Özellikleri Kullanım Alanları Varsayımları Yöntemleri Uygulama aşamaları. Neleri göreceğiz?

Transkript

1 KÜMELEME

2 Tanımı Amacı Özellikleri Kullanım Alanları Varsayımları Yöntemleri Uygulama aşamaları Neleri göreceğiz?

3 Tanımı Veriyi birbirlerine benzeyen elemanlardan oluşan kümelere ayırarak, heterojen bir veri grubundan, homojen alt veri grupları elde edilmesi işlemidir.

4 Tanımı Örnek *Marketlerde farklı müsteri gruplarının kesfedilmesi ve bu grupların alısveris örüntülerinin ortaya konması, *Biyolojide bitki ve hayvan sınıflandırmaları ve islevlerine göre benzer genlerin sınıflandırılması, *Şehir planlanmasında evlerin tiplerine, degerlerine ve cografik konumlarına göre gruplara aynlması, gibi uygulamalar tipik kümeleme uygulamalarıdır.

5 Amacı Benzer değişkenleri sahip oldukları karakteristiklere göre görece homojen gruplara toplamak ve gruplar arası heterojenliği maksimize etmek. Araştımacıya özetleyici bilgiler elde etmekte yardımcı olmak. Aynı kümedeki örnekler birbirine daha çok benzer Farklı kümedeki örnekler birbirine daha az benzer

6 Özellikleri Ölçeklenebilir olmalıdır. Farklı veri türleri ile kullanılabilmelidir. En az sayıda giriş değişkeni gerektirmelidir. Veri kümesindeki kayıtların sıralanmasından bağımsız olmalıdır. Çok boyutlu veri tabanlarına uygulanabilmelidir. Veri kümesinin sahip olduğu sınırlıkları dikkate alabilmelidir. Kolay yorumlanabilir sonuçlar üretebilmeli ve işlevsel olmalıdır.

7 Kullanım Alanları Veri madenciliği İstatistik Biyoloji Makine öğrenimi Tıp Sosyal bilimler Bankacılık & Finans sektörü Sigortacılık

8 Kullanım Alanları Bankacılık & Finans sektörü * Kredi taleplerinin değerlendirilmesi * Sahtekarlık işlemlerinin tespiti Sigortacılık *Risk müşteri gruplarının belirlenmesi *Sigorta dolandırıcılığı tespiti *Yeni poliçe alıcak müşterilerin tespiti

9 Varsayımları Kümeleme analizinde kullanılan örneklemin ana kütleyi iyi temsil etmesi ve analizde kullanılan değişkenler arasındaki çoklu bağlantının analizi etkilemesinin önlenmesi gerekir.

10 Yöntemleri Bölümleme yöntemleri (Partitioning methods) Hiyerarsik yöntemler (Hierarchical methods) Yogunluk tabanlı yöntemler (Density-based methods) Izgara tabanlı yöntemler (Grid-based methods) Model tabanlı yöntemler (Model-based methods)

11 Bölümleme yöntemleri Bölümleme yöntemleri, n adet nesneden oluşan veri tabanını giriş parametresi olarak belirlenen k adet bölüme ( k<=n ) ayırma temeline dayanır. Veri tabanındaki her bir eleman farklılık fonksiyonuna göre k adet bölümden birine dâhil edilir. Bu bölümlerden her biri bir küme olarak adlandırılır.

12 Bölümleme yöntemleri Bölümleme yöntemleri k -means, k medoids CLARA-CLARANS olarak bilinen algoritmaları kullanır.

13 k medoids algoritması k -medoids algoritması k-means algoritmasının gürültü ve istisna verilere aşırı duyarlılığını gidermek amacıyla Kaufman ve Rousseeuw tarafından 1987 yılında geliştirilmiştir. k -medoids algoritması kümeyi temsil edecek noktayı bulmak için küme elemanlarının ortalamasını almak yerine kümenin en merkez noktasındaki elemanı yeni küme merkezi olarak alır.böylece istisna verilerin küme merkezini kenarlara doğru kaydırması problemi giderilmiş olur.

14 k-medoids algoritması k -medoids algoritmasının birçok farklı türevi bulunmaktadır. PAM (Partitioning Around Medoids) ilk ortaya atılan k-medoids algoritmasıdır. PAM, öncelikle k -means algoritmasında olduğu gibi rastgele seçtiği k adet sayıyı küme merkezi olarak alır. Kümeye her yeni eleman katıldığında kümenin elemanlarını deneyerek kümenin gelişmesine en fazla katkıda bulunabilecek noktayı tespit edince bulduğu noktayı yeni merkez, eski merkezi ise sıradan küme elemanı olacak şekilde yer değiştirme işlemi yapar.

15 CLARA ve CLARANS Algoritmaları PAM, k -medoids algoritmalarının başarısını kanıtlamasına rağmen büyük veri tabanlarında başarılı olamayınca Kaufman ve Rousseeuw tarafından 1990 yılında CLARA ortaya atılmıştır. CLARA, veri tabanının tümünü almak yerine küçük bir örneklem kümesini temsilci olarak alıp örneklem üzerinde PAM algoritmasını uygular.

16 CLARA ve CLARANS Algoritmaları CLARA nın avantajı PAM dan daha büyük veri yığınlarına uygulanabilmesi, dezavantajı ise performansının örneklemin boyuna göre değişmesi ve örneklem seçimi yeterince bağımsız değilse seçilen örneklem veri tabanını yeterince temsil edemeyeceği için yanlış sonuçlara ulaşmasıdır.

17 K-Means Kümeleme K-means algoritması basit ve etkin bir istatistiki kümeleme yöntemidir. K-means algoritması veri kümesini birbirinden ayrık kümelere böler. K küme sayısının başlangıçta bilinmesi gerekir.

18 K-Means Kümeleme Algoritmanın işleyişi şu şekildedir: Her küme için bir merkez nokta belirlenir (random olarak belirlenebilir) Kümelenecek olan elemanlar kendisine en çok benzeyen kümeye atanır. Kümelenen elemanların benzerliklerine göre yeni merkez belirlenir. Kümeler stabil hale gelene kadar 2. ve 3. adımlar tekrarlanır.

19 K-Means Kümeleme Aşağıdaki nesneler rastgele dizilmiştir bu noktalar için random olarak iki nokta belirlenir.

20 K-Means Kümeleme Seçilen noktalara göre nesneleri sınıflandırıyoruz (hangi renge daha yakınsa-hangisine daha çok benziyorsa) istenilen bir uzaklık hesaplama yöntemi kulanılabilir.

21 K-Means Kümeleme Nesneler merkeze olan benzerliklerine göre gruplandı.

22 K-Means Kümeleme Aynı kümedeki nesnelerin ortalaması (özellikleri göz önünde bulundurularak) yeni bir küme merkezi belirlenir.

23 K-Means Kümeleme Kümedeki elemanlar stabil hale gelene kadar bu adımlar tekrarlanır.

24 K-Means Kümeleme Örnek olarak veritabanımız D={4,7,14,23,27,32,36,38,42,5} olsun. Burada k=2 kabul edilsin.(yani bu veritabanı 2 kümeye ayrılacak olsun) İlk olarak m1=4 ve m2=7 alınsın (ilk 2 değer ) k1={4,5} k2= {7,14,23,27,32,36,38,42} Yeni ortalama değerleri m1=4.5 ve m2=27.3 alınsın k1= {4,5,7,14,} k2 ={23,27,32,36,38,42} Yeni ortalama değerleri m1=7.5 ve m2=27 alınsın k1= {4,5,7,14} k2= {23,27,32,36,38,42} bu ortalama değerlerine göre kümelerimizde bir değişiklik olmadığından dolayı algortima sonlanacaktır. Buradan da anlaşılacağı üzere, algoritmanın sonlanma kriteri aynı kümelerin bulunmasısır. K-Means algoritmasının kümeleme basamaklarının gösterilişine aşağıdaki şekilden ulaşılabilir.

25 TWO-STEP Minimum varyans yöntemiyle K-means yönteminden oluşan karma bir yaklaşımdır. Bu karma yaklaşımın avantajı K-means yönteminin gerektirdiği küme sayısını hesaplamasından ileri gelmektedir. Araştırma sonuçlarına göre bu yöntemin K-means yönteminden daha iyi sonuçlar verdiği belirtilmektedir.

26 Kümeleme analizinin uygulama aşamaları 1-Problemi formülize et 2-Uzaklık ölçüsünü seç 3-Kümeleme prosedürünü seç 4-Kümelerin sayısına karar ver 5-Kümeleri yorumla 6-Geçerlilik ve güvenirliği ölç

27 1.Problemin formülize edilmesi Anakütlelerden alınmış n sayıda birimin p sayıda değişkenine ilişkin gözlemler elde edilir.(veri matrisinin belirlenmesi) Problemin tanımlanmasındaki en önemli kısım değişkenlerin seçilmesidir.

28 2.Uzaklık ölçüsünün seçilmesi Değişkenilerin birbirleriyle olan benzerliklerini ya da farklılıklarını gösteren uygun bir benzerlik ölçüsü ile birbirlerine olan uzaklıklarının hesaplanmasıdır.başka bir deyişle benzerlik ya da farklılık matrisinin belirlenmesi gereklidir.

29 Öklidyen uzaklık En çok kullanılan uzaklık hesaplamasıdır. İşlenmemiş veriler ile hesaplama yapılır. Öklityen uzaklıkları kümeleme analizine sıra dışı olabilecek yeni nesnelerin etkilenmesinden etkilenmezler.ancak boyutlar arasındaki ölçek farklılıkları önemli ölçüde etkilemektedir.

30 Diğer uzaklıklar 1. Mahalanobis Uzaklığı; Öklit uzaklığı 2 noktayı kapsarken mahalanobis uzaklığı tüm noktaları kapsar ve eksenlerini eşit kabul etmez. Komşuluğa bağlı sınıflandırma yapmak (ör: en yakın komşu), noktaları öbeklemek veya aykırı noktaları bulmak için daha uygun bir uzaklıktır.

31 Diğer Uzaklıklar 2. City-block(Manhattan) Uzaklığı; Manhattan uzaklığı boyutlar arasındaki ortalama farka eşittir.bu ölçüt kullanıldığında farkın karesi alınmadığı için sıra dışılıkların etkisi azalır. 3. Chebychev Uzaklığı; Chebychev uzaklığı iki nesne arasındaki mutlak maksimum uzaklığa eşittir.

32 3.Kümeleme prosedürünü seç Uygun küme yöntemi ile bezerlik/farklılık matrisine göre değişkenlerin uygun sayıda kümelere ayrılması gereklidir. Uygulamada genellikle hiyerarşik kümeleme ve hiyerarşik olmayan kümeleme yöntemleri olarak ikiye ayrılırlar.

33 Hiyerarşik kümeleme Birimleri birbirleri ile değişik aşamalarda bir araya getirerek;ardışık biçimde kümeler oluşturmaya ve bu kümelere girecek elemanların hangi uzaklık ya da benzerlik düzeyinde küme elemanı olduğunu belirlemeye yönelik yöntemlerdir.

34 Hiyerarşik kümeleme Tipik olarak sayısı 250 den az olan küçük örneklemlerin analizinde kullanılır ve incelenen veri setinde kaç grup bulunduğunun başlangıçta bilinmediği durumlarda çok uygun bir yöntemdir.yöntem incelenen veri setinde daha önce gözlemlenmiş ilişkileri ve prensipleri keşfetme olanağı sağlar.

35 Hiyerarşik kümeleme yönteminde kümelerin grafiksel olarak ifade edilebilmesi için diyagram (dendrogram) örneğinden yararlanılabilir.

36 Hiyarerşik olmayan kümeleme Düğüm yöntemleri ya da k-means method olarak adlandırılır. Birimlerin kendi içinde homejen ve kendi aralarında hetorojen olan kümelere ayrılmasını hedefler.genelde büyük örneklem gruplarının (k>250) analizinde tercih edilir ve ağaç yapısı benzeri yapılar kurulmaz. Küme sayısı konusunda ön bilgi varsa ya da araştırmacı küme sayısına karar vermişse bu yöntem tercih edilir.

37 Hiyarerşik olmayan kümeleme Veriler önceden belirlenmiş sayıda kümeler ayrılır.bu kümelerin merkezleri yani düğüm noktaları hesaplanır.bu adımlar her gözlem bir kümeye atanana kadar devam eder. Hiyerarşik kümelemeyle bir diğer farkı ise hiyerarşik kümelemede bir gözlem bir kümeye atandıktan sonra tekrar yer değiştirmez.

38 4.Kümelerin sayısına karar verilmesi Kümeleme analizinde sağlıklı bir sonuç elde edilebilmesi için değişkenlerin seçimi kadar küme sayısınında doğru belirlenmesi önemlidir. Küme sayılarının belirlenmesinde kesin kurallar bulunmamaktadır.sayısal bir takım yöntemler geliştirilmesine karşın küme sayısını belirlemede;araştırmacının bilgi düzeyi,mesleki deneyimi ve sonuçların anlamlı olup olmaması en önemli unsurlardandır.

39 5.Kümelerin yorumlanması Çok sayıda değişkenin yine çok sayıda olan gözlem konusunun birimler üzerindeki etkisini görme olanağı verir.yani ulaşılıp yorumlanacak sonuçlar anlamlı bir sonuçtan çok araştırma ve tanımlamaya yöneliktir.

40 6.Geçerlilik ve güvenirliğin ölçülmesi Kümeleme analizinin son aşamasıdır.oluşturulan kümeler tanımlandıktan sonra güvenilirliği değerlendirilmelidir. Kümelerin istatistiksel güvenilirliğini saptamada bazı istatistiksel atılımlar yapılmış olsada herhangi bir test mevcut değildir.ayrıştırma analizi istatistiksel bir test gibi kullanılabilir.

41 Buse ve Duygu teşekkür eder

42 ~hazırlayan~ Buse Yıldırım Duygu Büyükbaş