BMB204. Veri Yapıları Ders 12. Dizgi Eşleme (String Matching) Algoritmaları İleri Veri Yapıları

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "BMB204. Veri Yapıları Ders 12. Dizgi Eşleme (String Matching) Algoritmaları İleri Veri Yapıları"

Süleiman Kılıçlı
7 yıl önce
İzleme sayısı:

1 BMB204. Veri Yapıları Ders 12. Dizgi Eşleme (String Matching) Algoritmaları İleri Veri Yapıları Erdinç Uzun NKÜ Çorlu Mühendislik Fakültesi Bilgisayar Mühendisliği Bölümü

2 Dersin Planı Dizgi Eşleme Algoritmaları Saf dizi arama algoritması Rabin-Karp dizi arama algoritması Boyer Moore dizi arama algoritması İleri Veri Yapıları Tavsiyeler

3 Dizgi Eşleme Algoritmaları String Matching Algorithms (String Searching Algoritms) Dizi eşleme algoritmaları olarak da adlandırılan dizi arama algoritmaları, bir ya da birkaç dizinin (örüntü - pattern) daha büyük bir dizi ya da metin içindeki yerinin bulunmasını konu edinen önemli bir dizi algoritması sınıfıdır. Σ bir alfabe (sonlu küme) olmak üzere örüntü ve aranan metin Σ kümesinin elemanlarından oluşan bir zincir olarak tanımlanabilmektedir. Σ olağan bir alfabe (Türkçede yer alan harfler kümesi) olabileceği gibi ikili alfabe (Σ = {0,1}) ve DNA alfabesi (Σ = {A,C,G,T}) biçiminde de bulunabilmektedir.

4 Dizgi Eşleme Algoritmaları Dizinin kodlanma biçimi dizi arama algoritmalarının başarımını etkilemektedir. Değişken uzunluklu kodlama yöntemi kullanıldığında n. karakteri bulmak güçleşmekte; bu, gelişmiş dizi algoritmalarını yavaşlatıcı bir etken olarak öne çıkmaktadır. Bu sorunun üstesinden gelmenin yolu belirli karakterler yerine kod dizilerini eşleştirmektedir ancak bu yöntem, kodlamanın yanlış sonuçların önüne geçecek biçimde tasarlanmadığı durumlarda pek güvenilir değildir.

karakteri bulmak güçleşmekte; bu, gelişmiş dizi algoritmalarını yavaşlatıcı bir etken olarak öne çıkmaktadır.

5 Dizgi Eşleme Algoritmaları Tek örüntülü algoritmalar Sonlu örüntü kümesi kullanan algoritmalar Aho-Corasick algoritması Commentz-Walter algoritması Rabin-Karp dizi arama algoritması Sonsuz sayıda örüntü kullanan algoritmalar Regular Expressions (Düzenli İfadeler)

Commentz-Walter algoritması Rabin-Karp dizi arama algoritması

6 Dizgi Eşleme Algoritmaları Tek örüntülü algoritmalar m örüntünün, n aranan metnin uzunluğu olsun. Algoritma Ön işlem Süresi Eşleme Süresi Saf dizi arama algoritması 0 (İşlem yok!) Θ((n m) m) Rabin-Karp dizi arama algoritması Θ(m) average Θ(n+m), worst Θ((n m) m) Sonlu durum makinesi tabanlı arama Θ(m Σ ) O(n) Knuth-Morris-Pratt algoritması Θ(m) O(n) Boyer Moore dizi arama algoritması Θ(m + Σ ) Ω(n/m), O(nm) Bitkin algoritma (Baeza-Yates-Gonnet) Θ(m + Σ ) O(nm) Boyer Moore dizi arama algoritması, başlıca algoritma olarak kabul edilmektedir.

) Θ((n m) m) Rabin-Karp dizi arama algoritması Θ(m) average Θ(n+m), worst Θ((n m) m) Sonlu durum makinesi tabanlı arama Θ(m Σ ) O(n)

7 Saf dizi arama algoritması Bir dizinin başka bir dizi içinde yer alıp almadığını anlamanın en basit olmasına karşın en verimsiz yolu dizinin her karakterini sırayla eşleştirmeye çalışmaktır. Bu yöntemde aranan dizi metnin ilk karakteriyle karşılaştırılır. Bu karakterlerin birbiriyle uyuşmaması durumunda aynı işlem metnin ikinci karakteri için yinelenir. Olağan koşullarda karakterlerin eşleşmediğini anlamak için ortalama olarak O(n + m) adım gerekliyken (n metnin, m örüntünün uzunluğunu göstermektedir) en elverişsiz durumda ("aaaab" dizisini "aaaaaaaaab" içinde aramak gibi) gerekli ortalama adım sayısı O(nm)'ye eşittir.

Bu karakterlerin birbiriyle uyuşmaması durumunda aynı işlem metnin ikinci karakteri için yinelenir.

8 Saf dizi arama algoritması

9 Saf dizi arama algoritması

10 Rabin-Karp dizi arama algoritması Verilen iki string P ve T için, P nin T nin içinde olup olmadığı belirlenir. Öncelikle, ön işlem ile hash tablosu hazırlanır. Eğer iki string aynı hash değerine sahipse, aynı olabilirler. Ancak hash değerleri farklı ise aynı olmadıkları kesindir. Rabin-Karp algoritması bu özelliği kullanarak string arama işlemi gerçekleştirir. Algoritmada, metin boyunca ilerler ve bir hash değeri hesaplar. Hesaplanan bu değer, aradığımız değerin(p) hash değeri ile aynı ise, eşleşme olabilir ve stringlerin kendileri karşılaştırılır. Hash değeri farklı ise zaten yapacak bir şey yoktur ilerlemeye devam edilir.

Ancak hash değerleri farklı ise aynı olmadıkları kesindir. Rabin-Karp algoritması bu özelliği kullanarak string arama işlemi gerçekleştirir.

11 Rabin-Karp dizi arama algoritması Hash fonksiyonu O(M) (M=P.length) zaman alır, ancak bir defa çalıştırılır. İçerideki for döngüsü de aynı zamanda çalışır ancak döngü hash değerleri aynı ise çalıştırılır. İfade O(M) zaman gerektirdiği ve her adımda çalıştığı için, algoritma O(M(N-M)) zaman gerektirir. Bu açıdan saf dizi arama algoritması aynı zamanda çalışıyor yani pek bir şey değiştiği söylenemez.

İçerideki for döngüsü de aynı zamanda çalışır ancak döngü hash değerleri aynı ise çalıştırılır.

12 Rabin-Karp dizi arama algoritması hs değeri T[i..i+P.length()] string aralığının hash değerini içeriyor zaten. Yeni string, eski stringin ilk harfi çıkarılıp, sonuna bir karakter eklenerek elde ediliyor. Eğer bir sonraki hash değerini (T[i+1..i+P.length()]) sabit zamanda hesaplamak için bu değeri kullanabilirsek problemimiz çözülmüş olur. Bunun için rolling hash i kullanacağız. Bu hash fonksiyonu özellikle bu iş için dizayn edilmiştir. Bu fonksiyonun bir değeri kullanılarak, baştan hesaplama yapmadan yeni bir değere ulaşılabilir. Karakter değerlerinin toplandığı bir örnek verirsek: s[i+1..i+m] = s[i..i+m-1] s[i] + s[i+m] Önce bilinen değerden ilk karakterin değeri çıkarılıyor, daha sonra yeni karakterin değeri eklenerek yeni hash değeri elde ediliyor. Tabi bu işlem çok basit olduğu için farklı bir çok string aynı hash değerine sahip olacaktır. Bu da programı yavaşlatacaktır. Ancak daha karmaşık hash fonksiyonları vardır tabi. Algoritmanın performansında hash fonksiyonun önemi büyüktür bu yüzden.

length()]) sabit zamanda hesaplamak için bu değeri kullanabilirsek problemimiz çözülmüş olur. Bunun için rolling hash i kullanacağız. Bu hash fonksiyonu özellikle bu iş için dizayn edilmiştir.

13 Rabin-Karp dizi arama algoritması Sık kullanılan bir rolling hash fonksiyonu, her stringe büyük bir asal sayı tabanındaki bir sayı gibi davranır. hi stringi olsun elimizde ve taban 101 olsun. Hash değeri bu durumda 104 x x = olur. (104 ve 105, h ve i nin ASCII değerleridir) Şimdi yukarıda bahsettiğimiz gibi bir string in hash değerinden sabit zamanda yeni stringin değerini hesap edelim. Metnimiz abracadabra, aradığımız değerin uzunluğu 3 olsun. abr hash değerinden bra hash değerini hesaplamak için önce a karakterinin değeri çıkarılır (97 x ) daha sonra sonuç taban ile çarpılır, son olarak ta eklenen karakterin( a ) değeri eklenir(97 x = 97).

(104 ve 105, h ve i nin ASCII değerleridir) Şimdi yukarıda bahsettiğimiz gibi bir string in hash değerinden sabit zamanda yeni stringin değerini hesap edelim.

14 Rabin-Karp dizi arama algoritması Adım adım açıklarsak, ASCII değerleri: h=104, i=105, j=106 taban=101. Öncelikle kontrol için hi ve ij için hash değerlerini direk hesaplayalım: hi = 104 * *1010 = ij = 105 * *1010 = Şimdi hi nın hash değerini kullanarak ij nin hash değerini bulalım. Öncelikle h karakterinin basamak değerini çıkarıyoruz: * = 105. Sonra sonucu taban ile çarpıyoruz: 105 * 101 = Son olarak sonuca j nin basamak değerini ekliyoruz: * 1010 = Görüldüğü gibi elimizdeki hash değerinden (10609) yeni hash değerine (10711) toplama, çıkarma ve çarpma işlemleri ile ulaştık. Her bir string için yeniden hash hesaplamak yerine, bu özel fonksiyonumuz sayesinden performansta artış elde edilir.

hash değerini bulalım. Öncelikle h karakterinin basamak değerini çıkarıyoruz: 10609 104 * 101 1 = 105.

15 Rabin-Karp dizi arama algoritması

16 Boyer Moore dizi arama algoritması Eğer bir metin içinde ANPANMAN kelimesi aranıyorsa, metin içinde 8. karakterin N olup olmadığına bakılır. Eğer N ise 7. karakteri kontrol eder ve her doğru karşılaştırmada bir karakter geriye doğru ilerlenir. Alışılmışın dışında, karşılaştırma sondan başa doğru yapılır. Ancak algoritmanın asıl hızlı olmasının sebebi karşılaştırmanın yanlış olduğunda ne yaptığıdır. Metin içinde 8. karakter X olsun. X kelimemizin içinde yer almadığı için metnin başında kelimenin olması imkansızdır. Haliyle geriye kalan ilk 7 karakteri kontrol etmeye gerek yoktur. Aramaya metnin 16. karakteriyle devam edilir. Bu yüzden N uzunluğundaki metin ve M uzunluğundaki aranan kelimede algoritmanın ortalama durumdaki performansı N/M dir. Algoritma aranan kelimenin uzunluğu arttıkça daha hızlı çalışır.

Ancak algoritmanın asıl hızlı olmasının sebebi karşılaştırmanın yanlış olduğunda ne yaptığıdır. Metin içinde 8. karakter X olsun.

17 Boyer Moore dizi arama algoritması Algoritma her başarısız doğrulamada 2 tablo kullanır. Bir tanesi başarısızlığa sebep olan karaktere bağlı olarak, sonraki aramanın nerede yapılacağını hesaplar. Diğeri başarısızlığa kadar kaç karakterin doğru şekilde eşleştirildiğini kullanarak, sonraki aramanın nerede yapılacağını hesaplar. Algoritma zıplama-kaydırma işlemini bu iki tablodan daha büyük sonuç verene göre yapar.

18 Boyer Moore dizi arama algoritması Verdiğimiz örnekte ilk kontrolde aradığımızı bulamazsak 8 karakter ilerlememiz gerektiğiniz biliyorduk. Ancak kısmi eşleşmelerde ne kadar kaydırma yapılacağını da hesaplamamız gerekiyor. Bu yüzden her kısmi eşleşme için, ne kadar ilerleneceğini gösteren tablomuzu oluşturmak gerekiyor. ANPANMAN

Ancak kısmi eşleşmelerde ne kadar kaydırma yapılacağını da hesaplamamız gerekiyor.

19 Boyer Moore dizi arama algoritması İkinci tabloyu hesaplaması nispeten daha kolay. Aranılan stringin sondan bir önceki karakterinden başlanır ve ilk karaktere doğru ilerlenir. Her adımda elimizdeki karakter tabloda değilse tabloya eklenir. Kaydırma değeri en sağdaki karaktere olan uzaklığıdır. Geriye kalan tüm karakterlerede aranılan stringin uzunluğu verilir. ANPANMAN

Her adımda elimizdeki karakter tabloda değilse tabloya eklenir.

20 Boyer Moore dizi arama algoritması

21 Ders Hakkında Derste en temel veri yapılarını en temel algoritmaları gördük. Sıralama, Arama, Belleği Etkin Kullanma vs. İleri de geliştirdiğiniz uygulama alanına göre hangi veri yapısının ve algoritmalarının size uygun olacağına karar vermelisiniz. İnternette bir konuda onlarca açık kaynak (opensource) ve ticari kod ile karşılaşmak mümkün. Bu noktada kıyas yaparken veri yapıları düzeyinde bir karşılaştırma yapmanız gerekmektedir ki iyi bir seçim yapın.

22 Ne gördük!!!

23 Neler var? Hesaplamalı Geometri (2D - 3D)

24 Neler var? Sıkıştırma Algoritmaları

25 Neler Var? Big Data - Cloud

26 Neler var? Yapay Zeka

27 Neler var? Hesaplamalı Bilimler

28 Neler var? Hasta Tanı Sistemi

29 Kaynaklar

Benzer belgeler

#$% &'#(# Konular. Bits of Information. Binary Özellikler Superimposed Coding Signature Formation Deerlendirme

#$% &'#(# Konular. Bits of Information. Binary Özellikler Superimposed Coding Signature Formation Deerlendirme !" #$% &'#(# Konular Binary Özellikler Deerlendirme Binary Özellikler Bir binary özellik iki deer alabilir (kapalı veya açık; var veya yok gibi) Bir kiiye ait bilgiler binary olarak aaıdaki gibi gösterilebilir