Öğr.Gör.İnan ÜNAL Tunceli Üniversitesi Bilgisayar Mühendisliği Bölümü

Transkript

1 Öğr.Gör.İnan ÜNAL Tunceli Üniversitesi Bilgisayar Mühendisliği Bölümü

2 Büyük miktardaki veriler içerisinden önemli olanlarını bulup çıkarmaya veri Madenciliği denir. Veri madenciliği bir sorgulama işlemi veya istatistik programlarıyla yapılmış bir çalışma olmayıp milyarlarca veri ve çok fazla değişken ile ilgilenir. Veri madenciliği; daha önceden bilinmeyen geçerli ve uygulanabilir bilgilerin geniş veritabanlarından elde edilmesi ve bu bilgilerin işletme kararları verirken kullanılması olarak tanımlanır.

3 Her yaptığımız işlem sayısal ortamda kayıt altına alınmaktadır. Teknolojik gelişmeler dünyada gerçekleşen birçok işlemin elektronik olarak kayıt altına alınmasını, bu kayıtların kolayca saklanabilmesini ve gerektiğinde erişilebilmesini hem kolaylaştırıyor, hem de bu işlemlerin her geçen gün daha ucuza mal edilmesini sağlıyor Ancak, ilişkisel veri tabanlarında saklanan birçok veriden kararlar için anlamlı çıkarımlar yapabilmek bu verilerin bilinçli uzmanlarca analiz edilmesini gerektiriyor.

4 Elde var olan büyük miktardaki veri: Şirketler, keşfedilmeyi bekleyen bu verilerin iş stratejilerine rehberlik etmesi için gizli modelleri bulmak istiyorlar. Rekabetin artması : Şirketler uluslararası rekabet ile karşı karşıyalar ve bu noktada başarının anahtarı; var olan müşterileri korumak ve yenilerini elde etmek. Veri madenciliği, şirketlerin bu konuları etkileyen faktörleri analiz edebilmelerine izin veren teknolojiler içermektedir. Hazır teknoloji : Veri madenciliği teknolojileri son yıllarda olgunlaştı ve günümüz endüstrisinde kullanılmak için hazır hale geldi. Veri madenciliği için kullanılan programlama ara yüzleri standartlaşmakta, böylece geliştiriciler daha iyi veri madenciliği uygulamaları geliştirebilmektedirler.

5 1. Örnek olarak Amerika'da bir mağazada bebek bezlerinin yanında biralar sergileniyor. Bunu yapan mağaza bira satışlarında bir artış yaşamış. Bu Amerikan kadınlarının eşlerinden eve gelirken bebek bezi sipariş ettiğini farkeden mağazanın hemen bebek bezlerinin yanına biraları koymasından kaynaklanmış. Bebek bezi alan baba hemen yandaki reyonda bulanan birayı da almaya başlamış

6 2. Hile tespiti veri madenciliğinin en önemli uygulama alanlarından biridir. Kredi kartı usulsüzlükleri nedeniyle finansal kuruluşlar 2001 yılında 1 milyar dolardan fazla zarara uğradılar. (Kaynak: Meridien Research) Hile tespiti uygulamalarının gelişmesi, ödemeler sisteminin kayıplarının azalıp daha sağlıklı işlemesini sağlayacaktır.

7 Sigorta şirketleri günde binlerce talebi işleme alırlar. Her birinin gerçekliğini ayrı ayrı araştırmak çok da mümkün değildir. Veri madenciliği, gelen talebin sahte olabileceğini tanımlamak için yardımcı olabilir. Bu müşterinin kredi talebini onaylamalı mıyım? Veri madenciliği teknikleri, müşteriye risk seviyesini skorlamak için yardımcı olabilirler. Böylece her müşteri için doğru kararın verilmesine yardımcı olunabilir.

8 Bankacılık Pazarlama Sigortacılık Sağlık Gıda sektörü Vb

9 Pazarlama Yönetimi Müşterilerin satın alma örüntülerinin belirlenmesi Müşterilerin demografik özellikleri arasındaki bağıntıların bulunması Posta kampanlarına cevap verme oranlarının artırılması Mevcut müşterilerin elde tutulması yeni müşterilerin kazanılması Pazar sepeti analizi Müşteri ilişkileri yönetimi Müşteri değerlendirme Satış tahmini Çapraz Satış

10 Risk Yönetimi ve Dolandırıcılık Saptama Kredi kartı dolandırıcılığı İnternet işlemleri (bankacılık, alışveriş vb.) Sigorta dolandırıcılığı Kara para aklama Bilgisayar sistemleri ve ağlara sızma Telefon dolandırıcılığı

11 1. Veri: Veri madenciliğinin bu kadar gelişmesindeki en önemli faktördür. 2. Donanım: Gelişen bellek ve işlem hızı kapasitesi sayesinde, birkaç yıl önce madencilik yapılamayan veriler üzerinde çalışmayı mümkün hale getirmiştir. 3. Bilgisayar ağları: Yeni nesil internet, çok yüksek hızları kullanmayı sağlamaktadır. Böyle bir bilgisayar ağı ortamı oluştuktan sonra, dağıtık verileri analiz etmek ve farklı algoritmaları kullanmak mümkün olacaktır. 4. Bilimsel hesaplamalar: Günümüz bilim adamları ve mühendisleri, simülasyonu, bilimin üçüncü yolu olarak görmekteler. Veri madenciliği ve bilgi keşfi, teori, deney ve simülasyonu birbirine bağlamada önemli bir rol almaktadır. 5. Ticari eğilimler: Günümüzde, işletmeler rekabet ortamında varlıklarını koruyabilmek için daha hızlı hareket etmeli, daha yüksek kalitede hizmet sunmalı, bütün bunları yaparken de minimum maliyeti ve en az insan gücünü göz önünde bulundurmalıdır.

12 Artık veri: Artık veri, problemde istenilen sonucu elde etmek için kullanılan örneklem kümesindeki gereksiz niteliklerdir. Bu durum pek çok işlem sırasında karşımıza çıkabilir. Belirsizlik: Yanlışlıkların şiddeti ve verideki gürültünün derecesi ile ilgilidir. Boş veri: Bir veri tabanında boş değer, birincil anahtarda yer almayan herhangi bir niteliğin değeri olabilir. Boş değer, tanımı gereği kendisi de dâhil olmak üzere hiçbir değere eşit olmayan değerdir. Dinamik veri: Kurumsal çevrim içi veri tabanları dinamiktir ve içeriği sürekli olarak değişir. Bu durum, bilgi keşfi metotları için önemli sakıncalar doğurmaktadır.

13 Eksik veri: Veri kümesinin büyüklüğünden ya da doğasından kaynaklanmaktadır. Eksik veriler olduğunda yapılması gerekenler şunlardır: Eksik veri içeren kayıt veya kayıtlar çıkarılabilir. Değişkenin ortalaması eksik verilerin yerine kullanılabilir. Var olan verilere dayalı olarak en uygun değer kullanılabilir. Eksik veriler, yapılacak olan istatistiksel analizlerde önemli problemler yaratmaktadır. Çünkü istatistiksel analizler ve bu analizlerin yapılmasına olanak veren ilgili paket programlar, verilerin tümünün var olduğu durumlar için geliştirilmiştir.

14 Farklı tipteki verileri ele alma: Gerçek hayattaki uygulamalar makine öğreniminde olduğu gibi yalnızca sembolik veya kategorik veri türleri değil, fakat aynı zamanda tamsayı, kesirli sayılar, çoklu ortam verisi, coğrafi bilgi içeren veri gibi farklı tipteki veriler üzerinde işlem yapılmasını gerektirir. Gürültülü ve kayıp değerler: Veri girişi veya veri toplanması esnasında oluşan sistem dışı hatalara gürültü denir. Büyük veri tabanlarında pek çok niteliğin değeri yanlış olabilir. Veri toplanması esnasında oluşan hatalara ölçümden kaynaklanan hatalar da dâhil olmaktadır. Bu hataların sonucu olarak birçok niteliğin değeri yanlış olabilir ve bu yanlışlardan dolayı veri madenciliği amacına tam olarak ulaşmayabilir.

15 Sınırlı bilgi: Veri tabanları genel olarak basit öğrenme işlerini sağlayan özellik veya nitelikleri sunmak gibi veri madenciliği dışındaki amaçlar için hazırlanmışlardır. Bu yüzden, öğrenme görevini kolaylaştıracak bazı özellikler bulunmayabilir. Veri tabanı boyutu: Veri tabanı boyutları büyük bir hızla artmaktadır. Veri tabanı algoritması çok sayıda küçük örneklemi ele alabilecek biçimde geliştirilmiştir. Aynı algoritmaların yüzlerce kat büyük örneklemlerde kullanılabilmesi için çok dikkat gerekmektedir.

16 1. Problemin tanımlanması, 2. Verilerin hazırlanması, 3. Modelin kurulması ve değerlendirilmesi, 4. Modelin kullanılması, 5. Modelin izlenmesi.

17

18 Problemin tanımlanması: Veri madenciliği çalışmalarında başarılı olmanın en önemli şartı, projenin hangi işletme amacı için yapılacağının ve elde edilecek sonuçların başarı düzeylerinin nasıl ölçüleceğinin tanımlanmasıdır. Verilerin hazırlanması: Modelin kurulması aşamasında ortaya çıkacak sorunlar, bu aşamaya sık sık geri dönülmesine ve verilerin yeniden düzenlenmesine neden olacaktır. Bu durum verilerin hazırlanması ve modelin kurulması aşamaları için, bir analistin veri keşfi sürecinin toplamı içerisinde enerji ve zamanının %50 - %85 ini harcamasına neden olmaktadır (Piramuthu,1998). Verilerin hazırlanması, toplama, değer biçme, birleştirme ve temizleme, örneklem seçimi ve dönüştürme aşamalarından oluşmaktadır.

19 Modelin kurulması ve değerlendirilmesi: Tanımlanan problem için en uygun modelin bulunabilmesi, olabildiğince çok sayıda modelin kurularak denenmesi ile mümkündür. Bu nedenle veri hazırlama ve model kurma aşamaları, en iyi olduğu düşünülen modele varılıncaya kadar yinelenen bir süreçtir. Modelin kullanılması: Kurulan ve geçerliliği kabul edilen model doğrudan bir uygulama olabileceği gibi, bir başka uygulamanın alt parçası olarak kullanılabilir. Modelin izlenmesi: Zaman içerisinde bütün sistemlerin özelliklerinde ve dolayısıyla ürettikleri verilerde ortaya çıkan değişiklikler, kurulan modellerin sürekli olarak izlenmesini ve yeniden düzenlenmesini gerektirecektir.

20 Veri Ambarları Belirli bir döneme ait yapılacak çalışmaya göre konu odaklı olarak düzenlenmiş, birleştirilmiş veya sabitlenmiş işletmelere ait veri tabanlarına veri ambarları denir. Veri ambarları, verilerin üzerine yazmaya ve verilerde değişiklik yapmak için değil sadece okumaya yönelik olarak oluşturulmaktadır. Bu nedenle veri ambarında veriler, analiz yapmayı kolaylaştıran bir formatta tutulmaktadır. Burada analiz; sorgular, raporlar, karar destek sistemleri veya istatistiki hesapları kapsamaktadır.

21 Veri Ambarları, sağlık sektöründen bilişim sistemlerine, işletmelerin pazarlama bölümünden üretime, geleceğe dönük tahminler yapmada, sonuçlar çıkarmada ve işletmelerin yönetim stratejilerini belirlemede kullanılmakta olan bir sistemdir. Pahalı bir yatırım maliyeti olsa bile sonuç olarak getirisi (yararı) bu maliyeti kat kat aşmaktadır.

22 Veri ambarları; 1. Konu odaklıdır 2. Bütünleşiktir 3. Belirli bir döneme ve zaman dilimine aittir. 4. Geçici ve uçucu değildir.

23 Veri ambarının içerdiği veriler; 1. Meta Data: Doğrudan işlemsel çevreden gelen veriyi içermez. Karar Destek Sistemleri analizlerine yardım etmek üzere yaratılan bir dizindir. İşlemsel çevreden veri ambarına dönüştürülen verilerin konumları hakkında bilgi verir. İşlemsel çevreden alınan verinin hangi algoritmaya göre düşük yada yüksek seviyede özetlendiği hakkında bilgi verir.

24 2. Ayrıntı Veri: Bu veri en son olayları içermektedir ve henüz işlenmetidiği için diğerlerine oranla daha büyük hacimlidir. 3. Eski ayrıntı Veri: Ayrıntı verinin dışında kalan verilerdir. Daha eski tarihe aitlerdir. 4. Düşük Düzeyde(seviyede) Özetlenmiş Veri:Ayrıntı veriden süzülerek elde edilen düşük seviyede özetlenmiş veridir. 5. Yüksek Seviyede Özetlenmiş Veri: Ayrıntı veri daha yüksek düzeyde özetlenerek, kolayca erişilebilir hale getirebilir.

25 Veri ambarlarının kullanım amaçları ; Müşterilerin gizli kalmış satın alma eğilimlerini tespit etmek Satış analizi ve trendler üzerine odaklanmak, Finansal analiz(maliyetlerin azaltılması dolayısıyla rekabet avantajının sağlanması) Stratejik Analiz (Bir Karar Destek Sistemi olmasından dolayı) İşler arasında ilişkilerin belirlenebilmesi Müşteri ihtiyaçlarına çabuk cevap verebilme

26 OLAP (Online Analytical Processing) Veri ambarları üzerinde çeşitli taktik ve stratejik konular hakkında karar vermeye yardımcı olacak veri analizi ve sorgulama işlemlerine OLAP denir. OLAP da yapılan işlem bilgisayarda bulunan veriler üzerinde insan aklını kullanarak sorgulama işlemi yapmaktır. Bir OLAP sistemi, büyük miktarlarda tarihi veriyi yönetir, özetleme ve toplamada kolaylıklar sağlar ve öğe boyutunda farklı seviyelerindeki bilgiyi saklar ve yönetir. Bu özellikler veriyi karar vermede kullanabilmek için daha kolay bir hale getirir. OLAP sistemi,tipik olarak ya yıldız yada kar tanesi modelini ve özne merkezli bir veri tabanı tasarımını tercih eder.

27 Veri Ambarları Mimarisi Veri ambarı mimarisinde 3 değişik veri ambarları şeması kullanılır. Yıldız Kartanesi Anatablo Birleşimi

28 Veri Mart Bir veri ambarının konulara göre düzenlenmiş ve işletmenin satış veya pazarlama gibi sadece belirli bir bölümünü ilgilendiren başka bir deyişle tek bir konu ya da bölüme odaklanan parçasına veri mart (datamart) denir. Data Mart lar veri ambarlarının alt kümeleridir. Veri ambarları bir iş probleminin tamamına yönelik bir bakış sağlarken, data mart lar sadece belli bir kısma bakış sağlarlar.