Dosya Sıkıştırma (File Compression) Kütük Organizasyonu 1

Transkript

1 Dosya Sıkıştırma (File Compression) Kütük Organizasyonu 1

2 İçerik Dosya sıkıştırma nedir? Dosya sıkıştırma yöntemleri nelerdir? Run-Length Kodlaması Huffman Kodlaması Kütük Organizasyonu 2

3 Dosya Sıkıştırma Dosya sıkıştırmaya niçin ihtiyaç duyulmuştur? Minimum alana maksimum veri sığdırmak Daha hızlı aktarım sağlamk, erişim süresini azaltmak Sıradüzensel verileri daha hızlı işleyebilmek Kütük Organizasyonu 3

4 Dosya Sıkıştırma Sabit uzunluklu alanlar dosya sıkıştırmada en iyi adaylardır. Daha yoğun bir gösterimle temsil edilen bitlerin sayısı azaltılmaktadır. Dezavantajları: - İnsanlar tarafından anlaşılabilir değildir. - Kodlama için ekstra maliyet gerektirir. - Kod çözme modüllerine gereksinim vardır. Bu da karmaşıklığı arttırır. Kütük Organizasyonu 4

5 Run-Length Kodlama Algoritması Aynı byte dizilerinin sık kullanıldığı dosyalar için uygundur. Bir dizideki aynı değer birden fazla kez ortaya çıkarsa 3 byte ile yer değiştirir. Bu 3 byte : Özel bir escape karakteri (Run-Length kodu belirtecisi. FFh) Tekrar eden değer Değerin tekrar etme sıklığı Kütük Organizasyonu 5

6 Örnek Aşağıdaki veri seti bu algoritmaya göre kodlayalım. Veri Seti Kodlama sonucunda: elde edilir. Veri setinin boyutu kodlama sonucunda 18 byte tan 11 byte a düşmüştür. Kütük Organizasyonu 6

7 Bu kodlama, belirli bir miktar alan kazanmayı garanti etmez. Bazı durumlarda, sıkıştırılan veri seti, orjinal veri setinden daha büyük olabilmektedir. NEDEN? Kütük Organizasyonu 7

8 Mors Kodlaması En eski ve yaygın olarak kullanılan kodlamadır. Her bir karakter ile 2 çeşit sembol ilişkilendirilmiştir. Bazı değerler, diğerlerinden daha fazla sayıda kullanılır. Kütük Organizasyonu 8

9 Huffman Kodlaması Huffman kodlaması, kayıpsız sıkıştırma algoritmasıdır. Bu kodlama değişken uzunlukta bir kodlama olup bu kodlama mors kodlamasının tersine veri setindeki karakterlerin frekansına bağlıdır. Algoritma, bir veri setinde daha çok rastlanan bir sembolü daha düşük uzunluktaki kodla, daha az rastlanan sembolü ise daha büyük uzunluktaki kodla temsil edilmesine dayanmaktadır. Veri setindeki sembol sayısına ve bu sembollerin tekrarlama sayısına bağlı olarak %10 ile %90 arasında değişen oranlarda bir sıkıştırma elde edilebilir. Kütük Organizasyonu 9

10 Huffman Kodlaması (Devam) Huffman tekniğinde semboller(karakterler) ASCII'de olduğu gibi sabit uzunluktaki kodlarla kodlanmazlar. Her bir sembol değişken sayıda uzunluktaki kod ile kodlanır. Bir veri kümesini sıkıştırabilmek için bu küme içerisindeki sembollerin tekrar etme sıklıklarının bilinmesi gerekmektedir. Her sembolün ne kadar sıklıkta tekrar ettiğini gösteren tabloya frekans tablosu denir. Kütük Organizasyonu 10

11 Huffman Kodlaması (İşlem Adımları) İlk olarak, veri setine ait frekans tablosu oluşturulur Arddından, hangi karakterin hangi bitlerle temsil edileceğini gösteren Huffman ağacı oluşturulur. Kütük Organizasyonu 11

12 Örnek 1 Veri setine ait frekans tablosu aşağıdaki gibi olsun. Sembol Frekans A 60 B 40 C 25 D 20 E 10 Kütük Organizasyonu 12

13 Adım 1 Huffman ağacındaki en son düğümleri oluşturacak olan bütün semboller frekanslarına göre küçükten büyüğe doğru sıralanırlar. E 10 D 20 C 25 B 40 A 60 Kütük Organizasyonu 13

14 Adım 2 En küçük frekansa sahip olan iki sembolün frekansları toplanarak yeni bir düğüm oluşturulur. Oluşturulan bu yeni düğüm var olan düğümler arasında uygun yere yerleştirilir. Bu yerleştirme frekans bakımından küçüklük veya büyüklüğe göredir. C 25 ED 30 B 40 A 60 E 10 D 20 Kütük Organizasyonu 14

15 Adım 3 Bir önceki adımdaki işlem terkarlanılarak en küçük frekanslı 2 düğüm tekrar toplanır ve yeni bir düğüm oluşturulur. B 40 CED 55 A 60 C 25 ED 30 E 10 D 20 Kütük Organizasyonu 15

16 Adım 4 A 60 BCED 95 B 40 CED 55 C 25 ED 30 E 10 D 20 Kütük Organizasyonu 16

17 Adım 5 ABCED 155 A 60 BCED 95 B 40 CED 55 C 25 ED 30 E D Kütük Organizasyonu 17

18 Adım 6 Huffman ağacının kodu oluşturulurken ağacın en tepesindeki kök düğümden başlanır. ABCED A 60 0 BCED 95 1 Kök düğümün soluna ve sağına giden dallara sırasıyla 0 ve 1 yazılır. Sırası seçimliktir. B 40 0 C 25 CED ED 30 E D Kütük Organizasyonu 18 1

19 Veri Setinin Kodlanmış Hali Sembol Huffman Kodu Bit Sayısı Frekans A B C D E Kütük Organizasyonu 19

20 Karşılaştırma Veri setini ASCII kodu ile kodlanırsa, her karakter için 1 byte(8 bit) lık alan gerektiğinden toplamda 155 byte(1240 bit) a ihtiyaç olacaktı. Huffman kodlamsı ile bu sayı : 60x1 + 40x2 + 25x3 + 20x4 +10x4= 335 bittir. Görüldüğü gibi Huffman kodlamsı ile %73 lik bir kazanç sağlanmaktadır. Bu kazanç, veri setindeki sembollerin frekansları arttıkça daha da artmaktadır. Kütük Organizasyonu 20

21 Örnek 2 Üzerinde Huffman kodlamasını gerçekleştireceğimiz kelime PAPAĞAN olsun. P A P A Ğ A N Sembol Frekans P 2 A 3 Ğ 1 N 1 Kütük Organizasyonu 21

22 i ) N 1 Ğ 1 P 2 A 3 ii ) NĞ 2 P 2 A 3 iii ) A 3 NĞP 4 N 1 Ğ 1 NĞ 2 P 2 N 1 Ğ 1 Kütük Organizasyonu 22

23 iv ) ANĞP 7 v ) ANĞP A 3 NĞP 4 A 3 0 NĞP 4 1 NĞ 2 P 2 NĞ P 2 N 1 Ğ 1 N 1 Ğ 1 Huffman Ağacı Kütük Organizasyonu 23

24 N 1 ANĞP A 3 0 NĞ NĞP 4 Ğ 1 1 P 2 Sembol Huffman Kodu Bit Sayısı Frekans P A Ğ N PAPAĞAN sözcüğünü Huffman kodu ile ifade edersek gerekli olan bit sayısı= 13 bit yuterlidir. (Ascii ile 7 byte). Huffman kodu ile kodlanmış sözcük aşağıdaki gibidir. Huffman Ağacı P A P A Ğ A N Kütük Organizasyonu 24

25 Huffman Kodunun Çözümü Frekans tablosu ve sıkıştırılmış veri mevcutsa bahsedilen işlemlerin tersini yaparak kod çözülür. Diğer bir değişle: Sıkıştırılmış verinin ilk biti alınır. Eğer alınan bit bir kod sözcüğüne karşılık geliyorsa, ilgili kod sözcüğüne denk düşen karakter yerine konulur. Eğer alınan bit bir kod sözcüğü değil ise sonraki bit ile birlikte alnır ve yeni dizinin bir kod sözcüğü olup olmadığına bakılır. Bu işlem dizinin sonuna kadar yapılır. Böylece huffman kodu çözülerek karakter dizisi elde edilmiş olur. Kütük Organizasyonu 25

26 Lempel-Ziv Kodlaması Kütük Organizasyonu 26

27 1970 lerin sonlarına kadar veri sıkıştırma çalışmaları Huffman kodlamasından daha iyi algoritmalar geliştirmek için çalıştı. Bu alanda yeni bir yaklaşım Abraham Lempel ve Jacob Ziv tarafınan gerçekleştirilmiştir. Lempel ve Ziv kendi adlarıyla bilinen LZ77 ve LZ78 algoritmalarını geliştirmişlerdir. Bu iki algoritmanın bir çok farklı türü bulunmaktadır. LZ77 Altkategorileri LZR LZSS LZB LZH LZ78 Altkategorileri LZ W LZC LZT LZMW LZJ LZFG zip ve unzip LZH tekniğini kullanırken, UNIX de yer alan compress komutu LZW ve LZC yi kullanmaktadır. Kütük Organizasyonu 27

28 Algoritmada veri yapısı olarak genelikle sözlük (dictionary) kullanır. LZ78, veri setindeki bir veya daha fazla karakteri çakışmayacak(non-overlapping) ve aynı zamanda eşsiz(uniqe) desenler şeklinde sözlüğe ekler. LZ78 in sözlük yapısının çalışması ise; (0, char) Eğer karakter sözlükte mevcut değilse ekle (DictionaryPrefixIndex, char) (DictionaryPrefixIndex, next char) Eğer karakter sözlükte mevcut değilse ekle Eğer karakter sözlükte mevcut değilse ekle Kütük Organizasyonu 28

29 Dictionary empty ; Prefix empty ; DictionaryIndex 1; while(characterstream is not empty) { Char next character in characterstream; if(prefix + Char exists in the Dictionary) Prefix Prefix + Char ; else { if(prefix is empty) CodeWordForPrefix 0 ; else CodeWordForPrefix DictionaryIndex for Prefix ; Output: (CodeWordForPrefix, Char) ; insertindictionary( ( DictionaryIndex, Prefix + Char) ); DictionaryIndex++ ; Prefix empty ; } } if(prefix is not empty) { CodeWordForPrefix DictionaryIndex for Prefix; Output: (CodeWordForPrefix, ) ; } Kütük Organizasyonu 29

30 Örnek 1 2 harften meydana gelen bir alfebe olsun. aaababbbaaabaaaaaaabaabb Kural Karakter seti bizim daha önceden hiç görmediğimiz en küçük parçacıklara ayrılır. Kütük Organizasyonu 30

31 1. a harfi a aa b ab bb aaa ba aaaa aab aabb 2. a harfini daha önceden gördük şimdiki harf aa 3. b harfi 4. a harfini daha önceden gördük, şimdiki harf ab 5. b harfini daha önceden gördük, şimdiki harf bb 6. aa harfini daha önceden gördük, şimdiki harf aaa 7. b harfini daha önceden gördük, şimdiki harf ba 8. aaa harfini daha önceden gördük, şimdiki harf aaaa 9. aa harfini daha önceden gördük, şimdiki harf aab 10. aab harfini daha önceden gördük, şimdiki harf aabb Kütük Organizasyonu 31

32 1 den n e kadar indexlerimiz olsun. 0=Null String a aa b ab bb aaa ba aaaa aab aabb Bu index yapısını kullanarak veri setini kodlayabiliriz a 1a 0b 1b 3b 2a 3a 6a 2b 9b Bu yapıda her bir parça yeni bir karakter olara algılandığından ileti, bir önceki index in üzerine yeni bir karakter ilave edilmesi ile kodlanır. Kütük Organizasyonu 32

33 LZ78 in Ağaç Yapısı a 0 b a Index 1 b a Index 3 b a Index 2 b Index 4 Index 7 Index 5 Index 6 a Index 8 Index 9 b Index a aa b ab bb aaa ba aaaa aab aabb Kütük Organizasyonu 33

34 Örnek 2 Aşağıdaki karakter setini LZ78 algoritmasını kullanarak kodlayalım. aaabbcbcdddeab Kütük Organizasyonu 34

35 i ) Karakter setini parçalara ayıralım. a aa b bc bcd d de ab ii ) iii ) İndex oluşturalım a aa b bc bcd d de ab Bu indexi kullanarak veri setini kodlayalım. 0a 1a 0b 3c 4d 0d 6e 1b Kütük Organizasyonu 35

36 iv ) Kodlanan veri setinin ağacını oluşturalım 0 a b d a Index 2 Index 1 b Index 8 Index 3 c Index 4 d Index 5 Index 6 e Index 5 Kütük Organizasyonu 36

37 Örnek 3 Üzerinde LZ78 kodlamasını gerçekleştireceğimiz kelime PAPAĞAN olsun. P A P A Ğ A N Kütük Organizasyonu 37

38 i ) Karakter setini parçalara ayıralım. p a pa ğ an ii ) İndex oluşturalım p a pa ğ an iii ) Bu indexi kullanarak veri setini kodlayalım. 0p 0a 1a 0ğ 2n Kütük Organizasyonu 38

39 iv ) Kodlanan veri setinin ağacını oluşturalım 0 p a ğ Index 1 Index 2 Index 4 Index 3 Index 5 Kütük Organizasyonu 39

40 Örnek 4 BABAABRRRA şeklindeki stringi LZ78 ile kodlayalım Sıkıştırılan string : (0,B)(0,A)(1,A)(2,B)(0,R)(5,R)(2, ) Kütük Organizasyonu 40

41 1. B is not in the Dictionary; insert it 2. A is not in the Dictionary; insert it 3. B is in the Dictionary. BA is not in the Dictionary; insert it. 4. A is in the Dictionary. AB is not in the Dictionary; insert it. 5. R is not in the Dictionary; insert it. 6. R is in the Dictionary. RR is not in the Dictionary; insert it. 7. A is in the Dictionary and it is the last input character; output a pair containing its index: (2, ) Kütük Organizasyonu 41

42 Örnek 5 AAAAAAAAA şeklindeki stringi LZ78 ile kodlayalım 1. A is not in the Dictionary; insert it 2. A is in the Dictionary AA is not in the Dictionary; insert it 3. A is in the Dictionary. AA is in the Dictionary. AAA is not in the Dictionary; insert it. 4. A is in the Dictionary. AA is in the Dictionary. AAA is in the Dictionary and it is the last pattern; output a pair containing its index: (3, ) Kütük Organizasyonu 42

43 Örnek 6 ABBCBCABABCAABCAAB şeklindeki stringi LZ78 ile kodlayalım Sıkıştırılan string : (0,A)(0,B)(2,C)(3,A)(2,A)(4,A)(6,B) Kütük Organizasyonu 43

44 1. A is not in the Dictionary; insert it 2. B is not in the Dictionary; insert it 3. B is in the Dictionary. BC is not in the Dictionary; insert it. 4. B is in the Dictionary. BC is in the Dictionary. BCA is not in the Dictionary; insert it. 5. B is in the Dictionary. BA is not in the Dictionary; insert it. 6. B is in the Dictionary. BC is in the Dictionary. BCA is in the Dictionary. BCAA is not in the Dictionary; insert it. 7. B is in the Dictionary. BC is in the Dictionary. BCA is in the Dictionary. BCAA is in the Dictionary. BCAAB is not in the Dictionary; insert it. Kütük Organizasyonu 44

45 Transfer Edilen Bit Miktarı Sıkıştırılmamış string: ABBCBCABABCAABCAAB Toplam miktar : 18 * 8 = 144 bit Sıkıştırılmış form : (0,A)(0,B)(2,C)(3,A)(2,A)(4,A)(6,B) Bu form üzerinde her kod kelimesini 1 den başlayarak indekslensin. (0,A) (0,B) (2,C) (3,A) (2,A) (4,A) (6,B) Codeword index Kütük Organizasyonu 45

46 Codeword (0, A) (0, B) (2, C) (3, A) (2, A) (4, A) (6, B) index Bits: (1 + 8) + (1 + 8) + (2 + 8) + (2 + 8) + (3 + 8) + (3 + 8) + (3 + 8) = 71 bits Sıkıştırılmış string: : 0A 1B 10C 11A 100A 101A 110B Kütük Organizasyonu 46

47 (0,A) (0,B) (2,C) (3,A) (2,A) (4,A) (6,B) Codeword index (1 + 8) + (1 + 8) + (2 + 8) + (2 + 8) + (3 + 8) + (3 + 8) + (3 + 8) = 71 bits ise toplamda harcanmış olur. Sıkıştırma yapmadan önce ise bu değer 144 bit idi. Sıkıştırılmış string: 0A 1B 10C 11A 100A 101A 110B Kütük Organizasyonu 47