Türk Dilinin Biçimbilim Yapısından Yararlanarak Türkçe Metinlerin Farklı İmgelere Ayrılarak Kodlanması ve Sıkıştırılması

Transkript

1 Türk Dlnn Bçmblm Yapısından Yararlanarak Türkçe Metnlern Farklı İmgelere Ayrılarak Kodlanması ve Sıkıştırılması Banu DİRİ, M.Yahya KARSLIGİL Yıldız Teknk Ünverstes Elektrk Elektronk Fakültes - Blgsayar Mühendslğ Yıldız-İstanbul banu@ce.yldz.edu.tr,yahya@ce.yldz.edu.tr Özetçe Türkçe nn bçmblm yapısından yararlanarak Türkçe br metn çersndek her kelme kök-ek, hece ve karakter gb farklı mgelere ayrılarak, gelştrlen üç ayrı program yardımıyla kodlanmıştır. Böylece Türkçe metn dosyaları hem Huffman algortması le kodlanmış hem de sıkıştırılmıştır. Ayrıca Türk alfabesn oluşturan karakterlern kullanım sıklık eğrsnn üstel br fonksyon olduğu gösterlmştr. 1. Grş Bçmblm (morphology), dller kelme yapıları bakımından ncelemektedr. Btşken dller (agglutnatve) sınıfından br dl olan Türkçe'de, kelmenn köklerne çeştl ekler takılarak kelmeye yen anlamlar yüklenebldğ gb, yen kelmeler de elde edleblr. Türkçe sondan eklemel br dl olması sebebyle bçmblm yapısı dkkate alınarak br kelme kök, ek veya gövde gb farklı mgelere ayrılarak kodlanablr. Yapılan bu çalışmada br Türkçe metndek kelmelern kök-gövde, ek ve hecelerne ayrılarak daha çok blgnn br seferde kodlanması amaçlanmıştır. İmgelern kodlanmasında statk Huffman kodlama yöntem temel alınarak [3] farklı algortmalar gelştrlmş ve bunların vermlerne göre karşılaştırılması yapılmıştır [2]. 2. Türkçe de Kullanılan Karakterlern Kullanım Sıklıkları Çalışmanın lk bölümünde öncelkl olarak Türk alfabesndek karakterlern ve özel şaretlern kullanım sıklıkları çıkarılmıştır. Kullanım sıklıklarını elde etmek çn önceden oluşturulmuş farklı uzunluk ve çerklere sahp ondört Türkçe metn dosyasından oluşan br test-kümes kullanılmıştır. Bu test kümes çersnde geçen her br karaktern (sadece Türk alfabesnde yer alan 29 karakter) kullanım olasılığı Çzelge 1 de verlmştr. Çzelge 1 Türk alfabesndek karakterlern kullanım sıklık olasılıkları Harf Olasılık Harf Olasılık Harf Olasılık Harf Olasılık Harf Olasılık a 0,118 ı 0,050 u 0,031 z 0,015 c 0,009 e 0,091 k 0,048 s 0,031 g 0,013 p 0,009 0,085 d 0,043 b 0,026 ç 0,011 ö 0,008 n 0,073 m 0,037 o 0,025 h 0,011 f 0,004 r 0,071 y 0,035 ü 0,020 ğ 0,010 j 0,001 l 0,064 t 0,034 ş 0,017 v 0,010

2 Türkçe dek harflern kodlanması çn gerekl ortalama bt uzunluğu, entropy hesabı (Denklem 1) yapılarak 4,37 bpc (bt per char) bulunmuştur. n H = P log = 1 2 P (1) Türk alfabesn oluşturan karakterlern kullanım sıklığı eğrs (Şekl 1) lneer doğru denklemne yakın değer göstermekte olup, y=a*e -bx fonksyonu le gösterlr. Olasılık* a e n r l ı k d m y t u s b o ü ş z g ç h ğ v c p ö f j 0,1 Şekl 1 Türk alfabesndek karakterlern kullanım sıklık eğrs (yarı logartmk eksen) Bu üstel fonksyonun her k tarafının da logartması alınır ve gerekl dönüşümler yapılırsa Denklem 2 dek doğru denklem elde edlr [2]. ln(y) = ln(a) + (-bx) (2) Y = A + B Doğru denklemnn A ve B katsayılarını bulmak çn En Küçük Kareler yöntem kullanılarak Denklem 3 dek matrs formu elde edlr. x A 2 = x B lny n x xlny (3) Bu form lneer denklem sstemlernn [M][X]=[N] şeklndek genel fadesne benzetlrse n=29 çn A=13,35 ve B=-0,12 olup a=e 13,35 =627,814 ve b B=0,12 olarak bulunup doğru denklem Y=627,814e 0,12x şeklnde elde edlr. Harf

3 3. Karakter-İmge Kodlama Çalışmanın bu bölümünde, tek br karakterden oluşan mgelere at kullanım sıklıkları statk Huffman kodlama ağacına yerleştrlerek, herbr mge çn yen br kod elde edlmştr. Karaktere dayalı olarak gerçekleştrlmş bu kodlama yöntemnde (krk_kod) metn çersndek her karakter kends çn oluşturulmuş Huffman kodlarıyla kodlandığında ortalama %45 lk br sıkıştırma verm elde edlmştr (Çzelge 2). Ortalama sıkıştırma verm (µ) de Denklem 4 dek ağırlıklı ortalama formülünden yararlanılarak hesaplanmıştır [2]. (l:sıkıştırılmış dosya boyu, k:dosya aded, η:sıkıştırma verm=100*(1- çıkış blgs uzunluğu/grş blgs uzunluğu)) µ k = 1 = k = 1 l η l (4) 4. Hece-İmge Kodlama Çalışmanın hece kodlama bölümünde, Türkçe de kullanılan hecelern kullanım sıklıkları çıkarılmış ve kullanım sıklığı en çok olan lk 578 adet hece seçlmştr. Bu bölümde her hece mges en az k, en çok üç karakterden oluşmaktadır. Türkçe dek hecelern kodlanması çn gerekl ortalama bt uzunluğu entropy hesabı yapılarak 7,64bpc olarak bulunmuştur. Hecelere at olan kullanım sıklıkları statk Huffman kodlama ağacına yerleştrlerek her hece çn yen br kod elde edlmştr. Heceye dayalı olarak gerçekleştrlmş bu kodlama yöntemnde (hec_kod) metn çersndek her kelme hecelerne bölünmüş daha sonra her hece kend çn oluşturulmuş Huffman kodlarıyla kodlandığında ortalama %46 lık br sıkıştırma verm elde edlmştr (Çzelge 2). 5. Kök ve Ek-İmge Kodlama Çalışmanın Kök ve Ek-İmge kodlama bölümünde, Türkçe de kullanılan kök ve eklern kullanım sıklıkları çıkarılmış ve en çok sıklıkta kullanılan 478 adet kök ve ek seçlmştr [1]. Bu bölümde her mge en az k, en çok dört karakterden oluşmaktadır. Türkçe dek kök ve eklern kodlanması çn gerekl ortalama bt uzunluğu entropy hesabı yapılarak 7,40bpc olarak bulunmuştur. Kelmenn kök ve eklerne at olan kullanım sıklıkları statk Huffman kodlama ağacına yerleştrlerek her kök ve ek çn yen br kod elde edlmştr. Kök ve eklere dayalı olarak gerçekleştrlmş bu kodlama yöntemnde (kök_ek_kod) metn çersndek her kelmenn önce kökü bulunup, kelmeden ayrıldıktan sonra eklerne ayrılmış ve herbr kends çn oluşturulmuş Huffman kodlarıyla kodlandığında ortalama %51 lk br sıkıştırma verm elde edlmştr (Çzelge 2). Krk_kod, hec_kod ve kök_ek_kod adını verdğmz bu üç yöntemn sıkıştırma vermlernn karşılaştırılması Çzelge 2 de, grafk olarak gösterlm de Şekl 2 de verlmştr. Kelmeler hece, kök ve eklerne ayırablmek çn sonlu durum makneler (SDM) kullanılmıştır. Analz yapılacak olan metn dosyası bloklar halnde hafızaya çeklmektedr. SDM, blok çersnde br kelmey yakaladığında gerekl algortmaları çağırarak, bu kelmenn en uygun şeklde kök ve eklerne ayrılmasını sağlamaktadır.

4 Çzelge 2 Gerçek metn dosyası le krk_kod, hec_kod ve kök_ek_kod karşılaştırılması Sıra Dosya Krk_kod Hec_kod Kök_ek_kod No Uzunluğu(byte) η % η % η % ,0 40,7 46, ,4 41,0 46, ,1 35,5 42, ,1 39,1 45, ,9 35,7 44, ,3 30,5 40, ,9 40,4 44, ,6 38,7 45, ,6 37,0 43, ,2 49,8 53, ,4 55,5 58, ,9 50,8 54, ,1 49,1 52, ,9 43,8 49, Uzunluk(byte) gerçek_uzunluk krk_kod hec_kod kök_ek_kod Dosya No Şekl 2 Gerçek metn dosyası le dğer yöntemlern karşılaştırılması 6. Sonuç Türkçe metndek herbr kelme önce harf harf sonra da Türkçe nn bçmblmne dayalı olarak hecelerne, kök ve eklerne ayrılarak herbr mge çn önceden oluşturulmuş olan statk kodlama şablonlarıyla kodlandığında değşk sıkıştırma vermler alınmıştır. Ortalama sıkıştırma verm %45 le %51 arasında kullanılan algortmaya bağlı olarak değşmektedr. Metn dosyalarının uzunluğu arttıkça daha y sıkıştırma verm alındığı gözlenmştr. İler k çalışmalarda, mge olarak kelmeler seçlrse daha y sıkıştırma verm elde edlr.

5 Kaynakça [1]. Çotuksöken, Y., (1991), Türkçede Ekler-Kökler-Gövdeler, Cem Yayınev, İstanbul [2]. Dr, B., (1999), Türkçe nn Bçmblm Yapısına Dayalı Br Metn Sıkıştırma Sstem, Doktora Tez, Yıldız Teknk Ünverstes, İstanbul [3]. Salomon, D., (1998), Data Compresson, Sprnger-Verlag Inc., NewYork [4]. Tanaka, H., (1987), Data Structure of Huffman Codes and ts Applcaton to Effcent Encodng and Decodng, IEEE Transactons on Informaton Theory, 33: