El Yazısı Tanıma Problemi için Bütünsel Parametre Kestirimi ve Bölütleme Algoritmaları

Transkript

1 El Yazısı Tanıma Problemi için Bütünsel Parametre Kestirimi ve Bölütleme Algoritmaları Nafiz Arıca, Fatoş T. Yarman-Vural Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği Bölümü Ankara, TÜRKİYE Özetçe Bu çalışmada kısıtlaması olmayan kelime imgelerini tanıma problemi için bütünsel parametre kestirimi ve bölütleme algoritmaları önerilmektedir. Bütünsel parametre kestirmede, kelime imgelerine klasik yaklaşımlardaki önişleme uygulanmamakta bunun yerine gri seviyeli kelime imgesi üzerinde normalizasyon parametreleri hesaplanarak bu parametreler bölütleme ve tanıma algoritmalarının verimlerini arttırmak için kullanılmaktadır. Bölütleme işleminde ise gri tonlu kelime imgesinin pikselleri birer düğüme karşı gelmek üzere tanımlanan çizgeler üzerinde en kısa yol bulma algoritması uygulanır. Tüm algoritmalarda ikili ve gri seviyeli imge koşutzamanlı kullanılarak maksimum düzeyde bilgi elde edilir. 1 Giriş Bilindiği gibi Optik Karakter Tanıma alanında en zor problem el yazısı tanımaktır. El yazısındaki değişimi modellemeye çalışan mevcut yöntemler hala yeterli düzeyde değildir. Yazı içinde farklı karakterlerin benzerliği, komşu karakterlerin birbirlerine değmesi hatta üst üste gelmesi problemi daha da zorlaştırmaktadır. Tek başlarına incelendiklerinde bile karakterleri tanımak için içerik bilgisine ihtiyaç duyulur. Dolayısıyla, mevcut araştırmalarda posta adresi okuma [1], çek sıralama [2], vergi okuma [3] ve ofis otomasyonu [4] gibi kısıtlı alanlara yönelik uygulamalar geliştirilmektedir. Literatürdeki el yazısı tanıma yöntemleri holistik ve analitik olarak iki ana grupta toplanabilir [11]. Holistik yöntemler [5] kelime imgesini bütün olarak tanımaya çalışırlar. Bu amaçla kelimenin tamamından elde edilen öznitelik vektörü kullanılır. Böylelikle kelime imgesinin bölütlenmesine gerek duyulmaz. Ancak, holistik metotlar sınırlı sözlük kullanılmasını gerektirir. Diğer taraftan analitik yöntemler [6] öncelikle kelime imgesini karakterlere bölütleyerek tanıma problemini karakter düzeyine indirirler. Daha sonra her bir bölüt ayrı ayrı tanıma algoritmasına sokularak, elde edilen sonuçlarla kelimenin tamamı bulunmaya çalışılır. Kelimenin bölütlenmesi ile sözlük sınırlaması ortadan kaldırılır. Her ne kadar son on yılda bölütleme ile ilgili bir çok çalışma yapılmışsada kısıtlamasız bir el yazısını bölütlemek için geliştirilen yöntemler hala çok sorunludur ve ancak sınırlı uygulama alanlarında çözüm üretmektedir. Diğer taraftan kelime imgesine mevcut önişleme tekniklerini uygulamak telafi edilemeyecek hatalar (boşluk doldurma, karakter kesme, dallanmalar gibi) doğurabilir. Literatürdeki birçok çalışma, önişleme aşamasında gri seviyeli orjinal kelime imgesine ikileme işlemini uyguladıktan sonra yazı ve satır eğimini düzeltirler [11]. Normalize edilmiş ikili kelime imgesi, daha sonra bölütleme ve tanıma aşamalarında kullanılır. Ancak, ikileme ile gri seviyeli dökümandaki faydalı olabilecek bilgi yok edilebilir. Yazı ve satır eğiminin düzeltilmesi, yazıyı yamultur ve anlamsız karakter şekilleri çıkarabilir. İkil imgenin kısıtlamalarından kurtulmak için bazı çalışmalar doğrudan gri seviyeli imgeyi kullanır [7]. Bu sefer de gereksiz detaylarla önemli şekil bilgisi bastırılmış olur. Bu çalışmada kısıtlaması olmayan kelime imgelerini tanıma problemi için bütünsel parametre kestirimi ve bölütleme algoritmaları önerilmektedir. Söz konusu algoritmalar, laboratuvarımızda geliştirmiş olduğumuz el

2 yazısı tanıma sisteminin birbirini izleyen parçalarıdır [8], [9]. Bütünsel parametre kestirme işleminde, kelime imgeleri klasik yaklaşımlarda olduğu gibi normalizasyon işlemine (eşikleme, satır eğimi düzeltme, yazı eğimi düzeltme) tabi tutulmamaktadır. Bunun yerine gri seviyeli kelime imgesi üzerinde normalizasyon parametreleri hesaplanarak bu parametreler bölütleme ve tanıma algoritmalarının verimlerini arttırmak için kullanılmaktadır. Bölütleme algoritmasında ise gri tonlu kelime imgesinin pikselleri birer düğüme karşı gelmek üzere çeşitli çizgeler tanımlanmaktadır. Böylelikle bölütleme problemi bu çizgeler üzerinde aranan en kısa yol bulma problemine indirgenmektedir. Makalenin ikinci bölümünde kelimenin tamamından bütünsel parametrelerin kestirilmesi anlatılmaktadır. Üçüncü bölümde bölütleme algoritması sunulmakta, uygulamalar bölümünde deney sonuçlarından, sonuç bölümünde ise gelecek çalışmalardan söz edilmektedir. 2 Bütünsel Parametre Kestirimi Öncelikle kelime imgesi optimal eşikleme algoritması kullanılarak ikili imgeye dönüştürülür ve daha sonra kenar bulma işlemi uygulanır. Kenar bulunmuş imge üzerinde yumuşatma yapılır. Daha sonra kenar bulunmuş kelime imgesi kullanılarak, yazı kalınlığı/yüksekliği, yazı eğimi ve referans çizgiler hesaplanır. İkili ve gri seviyeli imgeler, hesaplanan bu bilgilerle birlikte, sistemin daha sonraki bölütleme ve tanıma algoritmalarında kullanılırlar. Yazı kalınlığı ve yüksekliği, ikili kelime imgesinin yatay ve dikey taranması sonucunda elde edilen histogramlar yardımıyla hesaplanır. Yazı kalınlığı hesaplama iki adımdan oluşur. İlk adımda yatay tarama ile siyah yazı geçişlerinin ortalaması alınır. İkinci adımda, yazı bir kez daha yatay olarak taranır ve ilk stepte hesaplanan ortalamadan daha uzun siyah yazı geçişleri elenerek, yeni bir ortalama hesabı ile yazı kalınlığı bulunur. Yazı yüksekliği hesabında ise aynı işlemler dikey yönde yapılır ve ikinci stepte ortamadan daha kısa olanlar elenerek hesaplanan ortalama yazı yüksekliği olarak kabul edilir. Yazı eğiminin bulunmasında, yaklaşık dikey kenar çizgileri çıkarılır ve bu çizgilerin ortalama eğimi yazı eğimi olarak kabul edilir (bakınız şekil 1). (a) (b) Şekil 1: Yazı eğiminin bulunması a) Yaklaşık dikey kenar çizgileri, b) Her bir çizginin eğimi. Alt ve üst referans çizgiler ise geliştirdiğimiz yeni bir algoritma ile hesaplanır. Öncelikle imge yatay olarak yukarıdan aşağıya taranarak, en çok siyah yazı geçişini içeren yatay çizgi (geçici merkez çizgi) bulunur. Geçici merkez çizgi aşağısındaki/yukarısındaki dış kenar üzerinde bulunan yerel minimumlar/maksimumlar çıkarılır. Alt referans çizgi için, geçici merkez çizgi altındaki yerel minimumlardan geçen en yakın çizgi hesaplanır. Ancak minimumların çizgiye olan uzaklıkları birbirleriyle yaptıkları açı kullanılarak ağırlıklandırılır. Burada amaç normal karakterlerdeki (a, e gibi) yerel minimumların ağırlığını arttırmak, aşağı uzayan karakterlerdekileri (y, g gibi) ise düşürmek, böylece alt çizginin kelimenin ana gövdesinin altına teğet geçen satır eğiminde bir çizgi olarak hesaplanmasıdır. Alt çizgi hesaplandıktan sonra, geçici merkez çizgi üstündeki yerel maksimumlar alt çizgiye olan uzaklıklarına göre iki sınıfa ayırılarak kelime ana gövdesindeki maksimumlardan geçen çizgi, üst çizgi olarak kabul edilir. Böylelikle alt ve üst referans çizgiler bulunmuş olur. Daha sonra eğitme aşamasında tespit edilen parametreler de kullanılarak yukarı ve aşağı uzayan karakter eşikleri hesaplanır. Söz konusu alt ve üst referans çizgi bulma algoritmasının adımları aşağıda anlatılmaktadır.

3 ALT VE ÜST REFERANS ÇİZGİLERİ BULMA 1. İkili imgeyi yukarıdan aşağıya yatay olarak tara ve en çok siyah yazı geçişine sahip yatay çizgiyi (geçici merkez çizgi) bul (Şekil 2.a). Alt Referans Çizgi Bulma 1. Geçici merkez çizgi altında ve dış kenar üzerindeki yerel minimumları belirle. Her bir minimum i, için kendisi ile diğer minimumlar arasındaki açıları (θ j) içeren birer liste oluştur (şekil 2.b). 2. Her minimum i için, C-Means Algoritması ile açı listesini θ j, C 1 ve C 2 olarak iki sınıfa ayır. Burada Burada 1 j N, i j ve N yerel minimum sayısıdır. En fazla eleman içeren sınıfı C k ve ortalamasını µ k bul. 3. Ağırlıklı kare uzaklıkları toplamını minimize eden çizgiyi bularak alt referans çizgisini belirle. N Ε = 1 2 k k k= 1 µ k Burada, a ve b hesaplanan alt çizginin parametreleridir. 2 ( y ax b), ( 1) Üst Referans Çizgi Bulma 1. Alt çizgi üstündeki yerel maksimumları belirle ve alt çizgiye olan dikey uzaklıklarını (d i) hesapla (şekil 2.c). 2. Uzaklıkların ortalama ve standart sapmalarını hesapla, ortalama uzaklığın standart sapma kadar aşağısından altındaki yerel maksimumları ele. 3. Geriye kalan yerel maksimumları alt referans çizgisinden uzaklıklarına (d i) göre iki sınıfa ayır. Ortalama uzaklığı daha düşük olan sınıftaki yerel maksimumların ortalama uzaklıklarını üst çizgi olarak belirle. (a) (b) (c) (d) Şekil 2: Referans Çizgilerin Bulunması a) Geçici Merkez Çizgi, b) Yerel Minimumların birbirleriyle yaptıkları açılar, c) Yerel Maksimumların Alt Çizgiye olan uzaklıkları, d) Alt, Üst ve Merkez Çizgiler.

4 3 Bölütleme Bu bölümde öncelikle, kenar imgesi kullanılarak bölütleme aralıkları bulunur. Daha sonra, her bir bölütleme aralığında, gri seviyeli imgesi üzerinde bir arama algoritması ile karakter sınırları hesaplanır. Bölüt aralıklarının bulunmasında iki kural uygulanır; bir maksimumun, karakter veya karakter parçasının işareti olması ve iki maksimum arasındaki bölgenin potansiyel bölütleme çizgisini içermesidir. Bölüt aralıkları üç aşamada bulunur, İlk aşamada, her bir yerel maksimumdan tavana doğru yazı eğiminde çizgi çizilir. Eğer yol üstünde yükselen bir karakterin (t, f gibi) parçası ile karşılaşılırsa kenar bilgisi yardımıyla parçanın sonuna kadar gidilir. Bu son nokta ile maksimum arasında bir çizgi çizilir daha sonra yol sondan tavana doğru devam eder (Şekil 3.a). İkinci aşamada, yerel maksimumlardan alt referans çizgisine yazı eğiminde çizgi çizilir (Şekil 3.b). Üçüncü aşamada ise ilk aşamadakine benzer şekilde, alt referans çizgiden tabana kadar yazı eğiminde çizgi çizilir. Yol üstünde düşen karakter parçası çıkarsa kenar bilgisi ile sona kadar gidilir (Şekil 3.c). (a) (b) (c) (d) Şekil 3: Bölüt Aralıklarının Bulunması a) Maksimumdan Tavana kadar, b) Maksimumdan Alt Referans Çizgisine kadar, c) Alt refereans çizgisinden tabana kadar, d) Tüm Bölüt Aralıkları. Bölüt aralıkları bulunduktan sonra her bir bölüt aralığı, yükselen ve düşen karakter eşikleri kullanılarak, üst, orta ve alt olmak üzere üç bölgeye ayrılır. Her bölge bir çizge ile benzetilir ve bölütleme işlemi bu çizge üzerinde yukarıdan aşağıya en kısa yol bulma problemine dönüştürülür. (şekil 4). Çizgede her bir düğüm, imgedeki piksele denk gelir. Düğümler arasındaki kenarlara ise aşağıdaki formülle ikili ve gri seviyeli imge kullanılarak değerler verilir. ( H i) H + a( i, j )( i+ 1, k ) = I i+ 1, k + SW Ci+ 1, k, 1 i H, j 1 k j + 1 H () 2 Burada I ij ve C ij gri seviyeli ve kenar bulunmuş imgelerdeki (i,j) pikselinin gri seviyesidir. 0 beyaza 255 siyaha denk gelir. SW ise hesaplanan yazı kalınlığıdır. i pikselin y koordinatı j ise x koordinatıdır.

5 Şekil 4: Bölüt Aralıklarının Çizge ile gösterilmesi. Elde edilen çizge üzerinde dinamik programlama yöntemiyle, yukarıdan aşağıya en kısa yol bulunur. Daha sonra her bir bölgede bulunan yollar birleştirilerek karakter sınırları çizilmiş olur (şekil 5) Şekil 5: Bölütleme Algoritmasının Özeti.

6 4 Uygulamalar Yukarıda özetlenen bütünsel parametre kestirimi ve bölütleme algoritması, laboratuvarımızda geliştirdiğimiz el yazısı tanıma sisteminin önemli iki modülüdür. Bu modüller [10] da kullanılan Lancester-Oslo/Bergen (LOB) corpus el yazısı kelime veri tabanında denenmiştir. Tanıma işleminde [8] de sunduğumuz Saklı Markov Modellerine dayanan tanıma sistemi kullanılmıştır. Söz konusu veri tabanından bölütleme algoritması ile çıkarılan karakterler gözle kontrol edilerek Saklı Markov Model parametrelerinin hesaplanmasında kullanılmıştır. Eğitme aşamasında her bir karakterden 50 şer örnek çıkarılmıştır. Eğitmede kullanılan kelimeler haricinde rastgele seçilen 2000 kelime ise test amacıyla kullanılmıştır. Kelimenin tamamının tanınması sırasında Saklı Markov Modeli tabanlı karakter tanıma sistemi ile bölütleme algoritmasının sonuçları birleştirilerek; düğümleri karakter sınırlarına kenarları ise Saklı Markov Modelinden elde edilen olasılık değerlerine denk gelen bir çizge oluşturulmuştur. Daha sonra bu çizge üzerinde, sözlük bilgiside kullanarak, soldan sağa en yüksek olasılığa sahip yol bulunur ve sonuç elde edilir. Çeşitli sözlük büyüklüklerinde elde edilen sonuçlar aşağıdaki tabloda verilmiştir. TABLO 1: KELİME BAZINDA TANIMA ORANI KELİME SÖZLÜK BÜYÜKLÜĞÜ SAYISI LOB Veritabanı Sonuç Bilindiği gibi el yazısı tanıma problemi geçtiğimiz yüzyılın son çeyreğinde oldukça yoğun olarak çalışılmış ve önemli aşamalar kaydedilmesine rağmen istenen düzye gelememiştir. Bunun en temel nedenlerinden birisi, salt şekil tanıma yöntemlerinin el yazısı tanıma probleminde yetersiz olmasıdır. Gelinen nokta itibarıyla şekil tanıma yöntemleri ile artık yapılabilecek daha fazla bir şey yoktur. Şimdi sıra doğal dil işleme yöntemleri ile yazının içeriğine yönelik tanıma algoritmaları geliştirmeye gelmiştir. Kaynakça [1] S.N. Srihari, E.J. Keubert, Integration of Handwritten Address Interpretation Technology into the United states Postal service Remote Computer Reader System, Proc. 4th Int. Conf. on Document Analysis and Recognition, pp , Ulm, Germany, [2] N. Gorski, V. Anisimov, E. Augustin, O. Baret, D. Price, J.-C. Simon, A2iA Check Reader: A Family of Bank Check Recognition Systems, Proc. 5th Int. Conf. on Document Analysis and Recognition, pp , India, [3] S.N. Srihari, Y. C. Shin, Y. Ramanaprasad, D. S. Lee, A System To Read Names and Adresses on Tax Forms, Proceedings of IEEE, vol.84(7), pp , [4] S. Gopisetty, R. Lorie, J. Mao, M. Mohiuddin, A. Sorin, E. Yair, Automated forms-processing software and services, IBM J. Research and Development, vol. 40, no. 2, pp , [5] D. Guillevic, C. Y. Suen, Recognition of Legal Amounts on Bank Cheques, Pattern Analysis and Applications, vol.1, no.1, pp.28-41, [6] G. Kim and V. Govindaraju, A Lexicon Driven Approach to Handwritten Word Recognition for Real-Time Applications, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.19, no.4, pp , [7] W. Lee, D.J. Lee, H. S. Park, A New Methodology for Gray Scale Character Segmentation and Recognition, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.18, no.10, pp , [8] N. Arica and F. T. Yarman Vural, One Dimensional Representation Of Two Dimensional Information For HMM Based Handwritten Recognition, Pattern Recognition Letters, vol.21, pp , [9] N. Arica and F. T. Yarman-Vural, A New Scheme for Off-Line Handwritten Connected Digit Recognition, Proc. Int. Conf. on Pattern Recognition, pp , Brisbane, Australia,1998. [10] A.W. Senior and A. J. Robinson, An Off-Line Cursive Handwriting Recognition System, IEEE Pattern Recognition and Machine Intelligence (PAMI), vol.20, no.3, pp , [11] N. Arica and F. T. Yarman-Vural, An Overview of Character Recognition Systems Focused on Handwriting, IEEE Trans. on Systems Man and Cybernetics Part:C Applications and Reviews, (to appear).