SAYISAL GÖRÜNTÜ İŞLEMEYE DAYALI PROSES KONTROLÜ İÇİN BİR SİSTEM TASARIMI

Transkript

1 T.C. MARMARA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ SAYISAL GÖRÜNTÜ İŞLEMEYE DAYALI PROSES KONTROLÜ İÇİN BİR SİSTEM TASARIMI Hasan AKAN (Teknik Öğretmen) YÜKSEK LİSANS TEZİ ELEKTRONİK-BİLGİSAYAR EĞİTİMİ ANABİLİM DALI ELEKTRONİK-HABERLEŞME EĞİTİMİ PROGRAMI DANIŞMAN Doç. Dr. Ahmet AKBAŞ İSTANBUL 2007

2 T.C. MARMARA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ SAYISAL GÖRÜNTÜ İŞLEMEYE DAYALI PROSES KONTROLÜ İÇİN BİR SİSTEM TASARIMI Hasan AKAN (Teknik Öğretmen) ( ) YÜKSEK LİSANS TEZİ ELEKTRONİK-BİLGİSAYAR EĞİTİMİ ANABİLİM DALI ELEKTRONİK-HABERLEŞME EĞİTİMİ PROGRAMI DANIŞMAN Doç. Dr. Ahmet AKBAŞ İSTANBUL 2007

3 TEŞEKKÜR Tez çalışmam süresince her türlü maddi ve manevi desteklerinden dolayı danışmanım sayın Doç.Dr. Ahmet AKBAŞ a teşekkürlerimi sunarım. Tezimin yazım aşamasındaki yardımlarından dolayı Arş. Gör. Volkan Yusuf Şenyürek e teşekkür ederim. Bugüne kadar hiçbir şeyi esirgemeyen anne ve babama da teşekkürü bir borç bilirim. i

4 İÇİNDEKİLER SAYFA TEŞEKKÜR...i İÇİNDEKİLER...ii ÖZET...iv ABSTRACT... v SEMBOL LİSTESİ...vi KISALTMALAR...viii ŞEKİL LİSTESİ...ix TABLO LİSTESİ...xi BÖLÜM I GİRİŞ VE AMAÇ... 1 I.1. GİRİŞ... 1 I.1.1. Sayısal Görüntü İşlemeye Dayalı Sistem Emülasyonu... 3 I.1.2. MATLAB... 4 I.2. AMAÇ... 5 I.3. BÖLÜMLERİN ÖZETİ... 6 BÖLÜM II BİLGİSAYARLI GÖRME... 8 II.1. GÖRME SİSTEMLERİ... 8 II.1.1. Görme Sistemlerinin Bileşenleri... 8 II.1.2. Kamera ve Göz II.1.3. Bilginin Rolü II.1.4. İlgi Alanları ve Görev Sınıfları II.2. GÖRÜNTÜ BİÇİMLENDİRME II.2.1. Görüntünün Oluşumu II.2.2. Veri Yapıları II.3. GÖRÜNTÜ İŞLEME II.3.1. Düşük Seviyeli İşlemler II Parlaklık ve Kontrast Ayarı II Gri Ton Ölçekleme Dönüşümü II Filtreleme II Eşikleme: GT-SB Görüntü Dönüşümü II Morfolojik İşlemler II Komşuluklar ii

5 II.3.2. Orta Seviyeli İşlemler II Temel Tanımlar II Görüntü Analizinde Kullanılan Tanımlayıcılar II.3.3. Yüksek Seviyeli İşlemler II.4. ALGORİTMALARIN PERFORMANSI BÖLÜM III EMÜLASYON SİSTEMİ III.1. KULLANICI ARAYÜZLERİ III.1.1. Ana Menü III.1.2. Düşük Seviyeli İşlemler Arayüzü III.1.3. Orta Seviyeli İşlemler Arayüzü III.1.4. Yüksek Seviyeli İşlemler Arayüzü III Plaka Tanıma Uygulama Arayüzü III Karakter Tanıma Uygulama Arayüzü III.1.5. Donanım Test Arayüzü III.2. EMÜLASYON UYGULAMASI III.2.1. Plaka Tanıma Sistemine Genel Bakış III.2.2. Uygulamanın Gerçekleştirilme Aşamaları III Karakter Veri tabanının Oluşturulması III Referans Değerler ve Kural Tabanının Oluşturulması BÖLÜM IV SİSTEMİN TESTİ VE DEĞERLENDİRİLMESİ IV.1. SİSTEMİN TESTİ IV.2. DEĞERLENDİRMELER BÖLÜM V SONUÇ VE ÖNERİLER KAYNAKLAR EK A EK B EK C ÖZGEÇMİŞ... iii

6 ÖZET SAYISAL GÖRÜNTÜ İŞLEMEYE DAYALI PROSES KONTROLÜ İÇİN BİR SİSTEM TASARIMI Sayısal görüntüleme teknolojilerindeki hızlı gelişmelerin bir sonucu olarak, görüntü işleme ile ilgili konularda araştırma yapmak yüksek maliyetli ve zaman alıcı bir uğraş haline gelmiştir. Bu nedenle, son yıllarda MATLAB tabanlı simülasyon çalışmaları önem kazanmış ve bu tür uygulamalar giderek yaygınlaşmıştır. Öyle ki, bu yönelişin çok önemli boyutlarda zaman ve para tasarrufu sağladığı görülmüştür. Bununla beraber, simülatörler genellikle klavyeden girilen verilere ve önceden tanımlanmış parametrelere göre hesaplamalar yaptığından, gerçek zamanlı sistemlerin denenmesinde sınırlamalar getirmektedir. Bu durumda, bilgisayarlı sistemlerin dış dünyadan sürekli olarak girilen verileri alan, onları bir kontrolör gibi işleyen ve gerçek zamanlı çıkışlar üreterek dış dünyaya aktaran bir emülasyon yapısına kavuşturulması ile, bu sınırlamaların üstesinden gelinebilir. Böyle bir sistem gerçek zamanlı sistem olarak değerlendirilebilir. Bu tez çalışmasında sayısal görüntü analizine dayanan bir kontrol sisteminin emülasyonu için MATLAB tabanlı böyle bir sistem geliştirilmiştir. Bu sistem, gerçek zamanlı görüntü girişlerini bilgisayarın USB portu üzerinden, kontrol sürecine ilişkin gerçek zamanlı veri giriş/çıkışlarını da paralel portu üzeriden desteklemektedir. Sistem ayni zamanda, düşük ve orta seviyeli görüntü işleme algoritmalarının eğitimi için bir araç olacak şekilde uyarlanmıştır. Geliştirilen sistem, taşıt plakalarının tanınmasına göre çalışan bir otopark bariyer kontrol sisteminin emülasyonu için kullanıldı. Bu amaçla geliştirilen bir kural tabanlı taşıt tanıma algoritmasının testleri bu sistem üzerinde yapıldı ve sonuçların tatmin edici olduğu gözlendi. Haziran, 2007 Hasan AKAN iv

7 ABSTRACT A SYSTEM DESIGN FOR CONTROL OF THE PROCESSES BASED ON DIGITAL IMAGE ANALYSIS As a consequence of rapid developments in digital imaging technologies, it has been a difficult task to research all kinds of subjects which are related to image processing. Because of this, MATLAB based simulations have gained great importance and they have reached wide using capacity in recent years. So that, simulations have proven very useful for saving both time and money. However, simulators usually involve entering a data file from the keyboard into the computer and having it calculate results on predefined parameters. Because of that, simulations have limitations and not being able to operate in real time systems. In this point, system emulation is a simple variation on the theme of simulation where the computer system operates as a real time system receiving data continually, processing it as if the computer is a controller and outputting results immeddiately. Such a system can be evaluated as a real time system. In this thesis a MATLAB based emulation system has been developed for controlling processes including digital image analysis. This system supports a real time camera input and a microcontroller input/output connections via the USB port and parallel port of personal computer, respectively. This system has also been adapted as a training tool for some low-level and medium-level image processing algorithms. This system has been used to emulate a parking barrier control system based on vehicle plate recognizing. A high-level image processing algorithm developed for this aim has been tested in the emulation environment. The test results has been satisfied. June, 2007 Hasan AKAN v

8 SEMBOL LİSTESİ a : x Eksesnindeki Öteleme b : y Eksenindeki Öteleme B : Parlaklık BI : İkilik Biçimdeki Görüntü C : Karşıtlık (Contrast) e : Dağınım, Görüntüdeki Dokusundaki Rasgeleliğin Ölçüsü F : Fourier Tanımlayıcı Dizisi. g : Tek Boyutlu Kontur Fonksiyon Eşdeğeri h : Görüntü İşleme Sisteminin Birim İmpuls Cevabı I o I K M m m pq mr N : Görüntü İşleme Sistemi Çıkışı : Görüntüde (m,n) Koordinatındaki Pikselin GT değeri. : Görüntüdeki Piksel Sayısı. : Görüntüdeki Satır Sayısı : Ortalama Gri Ton Yoğunluğu : Geometrik Moment. : Moment Hesaplama için Referans Alınan Ortalama Değer : Görüntüdeki Sütun Sayısı µ pq : Merkezi Moment µi n : İstatistiksel Moment η pq p(z) Ф 1-7 θ r S T : Normalize Merkezi Moment. : GT Görüntünün Histogramı : Hu' nun Tanımladığı Sabit Momentler : Resmin Dönme Açısı. : Rastgele Bir Değişken : k. Pikselin Tanımlı Koordinat Değişkeni : Gri ton Eşik Değeri vi

9 u z 2 σ : Fourier Tanımlayıcı Numarası : Rasgele Yoğunluk Değişkeni : GT Görüntüdeki Kontrastın Variansı vii

10 KISALTMALAR BT CCD DFT FFT GT GUI IPT IR Krktr MR PSF RGB SNR SB USB YZ : Bilgisayarlı Tomografik Görüntüleme : Yük Birleştirmeli Görüntü Sensörü (Charge Coupled Device) : Ayrık Foruier Dönüşümü : Hızlı Fourier Dönüşümü : Gri Ton : Grafiksel Kullanıcı Arayüz : Görüntü İşleme Araç Kutusu : Kızıl Ötesi : Karakter : Manyetik Rezonans Görüntüleme : Nokta Yayma Fonksiyonu (Point Spread Function) : Renkli Görüntü (temel renk bileşenleri, kırmızı, yeşil, mavi) : İşaret Gürültü Oranı : Siyah Beyaz : Genel Maksatlı Seri Port : Yapay Zeka viii

11 ŞEKİL LİSTESİ Şekil I.1 Şekil I.2 SAYFA NO Görüntü Elde Etmek için Kullanılan Bir Geometrik Yapı Örneği....2 Görmeye Dayalı Proses kontrolü için Kullanılan Emülasyon Sisteminin Blok Şeması... 6 Şekil II.1 Bir Elektronik Kameranın Yapısı Şekil II.2 İnsan Gözünün Yapısı Şekil II.3 Retinanın Yapsı Şekil II.4 Işığın Spektral Bileşenlerine Göre Gözün Bağıl Hassasiyet Karakteristiği Şekil II.5 CCD Kameranın Mimari Yapısı Şekil II.6 Şekil II.7 Şekil II.8 Bir Sayısal Görüntünün Biçimlendirilme Sürecinde Nesne Özelliklerini Ölçülen İşarete Bağlayan Adımlar Zinciri Piksel Koordinat Sistemine Göre Biçimlendirilmiş bir Görüntü Matrisi Gösterimi Venüs Gezegeninin Mikrodalga Radarı ile Elde Edilmiş bir Sayısal Görüntüsü Şekil II.9 Parlaklık ve Kontrast Testi İçin Kullanılan Görüntü Şekil II.10 Parlaklık ve Kontrast Ayarlama Örnekleri Şekil II.11 Gri Ton Ölçekleme Dönüşümü Şekil II.12 Gri Ton Ölçekleme Dönüşümünün Geliştirilmesine İlişkin Bir Uygulama Örneği Şekil II.13 2-boyutlu Delta (Birim İmpuls) Fonksiyonu ve Gözün Birim İmpuls Cevabı Şekil II.14 Yaygın Olarak Kullanılan PSF ler Şekil II.15 Morfolojik İşlem Örnekleri Şekil II.16 Komşuluk Kodlamaları ve Olası Komşuluk İlişkileri Şekil II.17 Nesne Konturunun 1-D Fonksiyon Olarak Temsili Gösterimi Şekil II.18 Araç plakasının görüntü içersindeki konumunun histogram yardımı ile belirlenmesi ve karakterlerin histogram ile segmantasyonu Şekil III.1 Kullanıcı Ana Menüsü Şekil III.2 Düşük Seviyeli İşlemler Arayüzü Şekil III.3 Görüntü Formatı Dönüşüm Alt Menüsü Şekil III.4 Düşük Seviyeli İşlemler Arayüzünde bir Çalışma Örneği Şekil III.5 Orta Seviyeli İşlemler Arayüzü Şekil III.6 Bir Plaka Görüntüsündeki 3 Rakamı için Üretilen Tanımlayıcı Histogramlar Şekil III.7. Orta Seviyeli İşlemler Arayüzünde bir Çalışma Örneği ix

12 Şekil III.8 Plaka Tanıma Kullanıcı Arayüzü Şekil III.9 Gerçek Zamanlı Görüntü İzleme Penceresinin Yapılan Deneyler Sırasındaki Görünüş Şekli Şekil III.10 Sisteme Plaka Tanımlamada ve Tanımlı Plakaları İptal Etmede Kullanılan Arayüzler Şekil III.11 Plaka Tanıma Arayüzünün Çalışmasını Gösteren bir Örnek Şekil III.12 Karakter Tanıma Kullanıcı Arayüzü Şekil III.13 Karakter Tanıma Arayüzü ile Tanınabilecek Karakter Seti Şekil III.14 Karakter Tanıma Arayüzünde Gerçekleştirilen Örnek Çalışma-1.61 Şekil III.15 Karakter Tanıma Arayüzünde Gerçekleştirilen Örnek Çalışma-2 61 Şekil III.16 Donanım Test Kullanıcı Arayüzü Şekil III.17 Plaka Tanıma ve Bariyer Kontrol Sistemine Genel Bakış Şekil III.18 Referans Değerleri Üretmek için Kullanılan Plakalardan Bazıları Şekil III.19 Referans Değerlerin Üretilmesi için Üzerinde Çalışılan Plakalardan Elde Edilen 550 Adet Karakterden Örnekler Şekil III.20 Bir Plaka Görüntüsündeki 4 Rakamı için Üretilen Tanımlayıcı Histogramlar x

13 TABLO LİSTESİ SAYFA NO Tablo II.1 İnsan Görmesi ve Bilgisayarlı Görmenin İşlevsel Bileşenleri... 9 Tablo II.2 Bilgisayarlı Görmede Karşılaşılan Görev Sınıfları xi

14 BÖLÜM I GİRİŞ VE AMAÇ I.1. GİRİŞ Görüntü (imaj, I), bir nesnenin veya nesnelerden oluşan 3-boyutlu gerçek bir sahnenin bir düzlem (görüntü düzlemi) üzerindeki izdüşümüdür, Şekil I.1. Sayısal görüntü, görüntünün uzaysal koordinatları ile, (x,y), görüntü fonksiyonunun, I (x,y), bu noktalarda aldığı değerlerin (renk veya gri ton), sonlu, ayrık büyüklükler olarak dikkate alınan halidir: I (m,n). Görme (vizyon), görüntünün elde edildiği geometrik yapı, ve görüntü üzerinden yapılan ölçümlerden yararlanarak nesne modellerinin oluşturulması sürecidir: Görme = Görüntü geometrisi + Ölçme + Yorum Bu amaçla kullanılan sistemlere görme sistemleri denir. Görme literatürde iki ana başlık altında yer almaktadır: insan görmesi ve bilgisayarlı görme. Literatürde bilgisayarlı görme yerine bazen makine görmesi kavramı da kullanılabilmektedir [1]. Görüntü, 3-boyutlu gerçek dünyanın iki boyutlu bir izdüşümü olduğundan, görüntülenen sahne veya nesnelerin gerçek dünyadaki özellikleri görüntüden doğrudan elde edilemez. Bu amaçla, görüntüden nesne özelliklerini yansıtan karakteristik bilgilerin çıkarılması veya nesne özelliklerinin tahmin edilmesi için çeşitli seviyelerde işlemler yapılması gerekir. Bu işlemler, literatürde görüntü işleme, ve görüntü analizi gibi kavramlarla tanımlanmaktadır. Bununla beraber, bu kavramlarla belirtilen bilimsel çalışma alanlarının sınırları ve ilgi sahaları hakkında, konu ile ilgili araştırmacıların üzerinde ittifak ettiği, genel 1

15 kabul görmüş bir tanımlama yoktur. Örneğin, görüntü işleme bazı araştırmacılara göre, işlem giriş ve çıkışlarının her ikisinin de görüntü olduğu bir disiplin olarak tanımlanır. Bu tanıma göre, bir görüntünün ortalama yoğunluğunu (gri seviyesi) hesaplama gibi basit bir görev bile, bir görüntü işleme operasyonu olarak kabul edilmeyebilir. Dolayısıyla bu tanım, görüntü işleme için gerçekte sınırlı ve sanal bir çerçeve çizmektedir. terslenmiş görüntü düzlemi y' nesne noktası (x',y',z') x' odak uzaklığı r' z' r z x (x,y) iz düşüm noktası y Şekil I.1. Görüntü Elde Etmek için Kullanılan Bir Geometrik Yapı Örneği [2] Buna göre, görüntü işleme ve görüntü analizi kavramlarının her ikisi de benzer uygulamaları çağrıştırabilir. Bununla beraber, görüntü işlemenin daha çok görüntülenen nesnelerin karakteristik özelliklerine ilişkin ölçüm sonuçları üretmeyi amaçlayan çalışmaları kapsadığı, buna karşılık görüntü analizinin ise, daha çok görüntüyü anlama ve yorumlama gibi çalışmaları kapsadığı söylenebilir [3]. Diğer taraftan, nihai amacı öğrenme ve görsel girişlere bağlı olarak etkileşimler (hareket gibi) oluşturmak olan insan görmesi, bilgisayarların yazılım ve donanım özeliklerinden yararlanarak bilgisayarlı görme sistemlerinin geliştirilmesine ilham kaynağı oluşturur. Bu kapsamda, amacı insan zekasını taklit etmek olan yapay zeka (YZ) uygulamaları, bilgisayarlı görme araştırmalarında da önemli bir yer tutar. Bu tespitler ışığında, bir tarafında görüntü işlemenin, diğer tarafında görüntü analizinin bulunduğu bir yapılanmada, bilgisayarla yapılabilecek işlemlerin özelliklerine göre sınıflandırılması daha faydalı bir paradigma sağlar. Buna göre, görme sistemlerinde, bilgisayarla yapılabilecek işlemler üç sınıfa ayrılabilir: Düşük-seviyeli işlemler, Orta seviyeli işlemler, Yüksek seviyeli işlemler. 2

16 Düşük seviyeli işlemler, görüntünün gürültüden arındırılması, kontrast artırma ve görüntü keskinleştirme gibi basit işlemleri içerir. Orta seviyeli işlemler, görüntünün bölgelere veya nesnelere ayrılması (segmentasyon), nesnelerin bilgisayarda işlenmesi için uygun biçimlere indirgenmesi, tanımlanması, ve sınıflandırılması gibi görevleri içerir. Yüksek seviyeli işlemler, görüntü analizinin hedeflenen nihai amacını oluşturan ve normalde insan görmesi ile ilgili algılama ve tanıma fonksiyonlarından ilham alan işlemleri içerir. Nesneleri karakterize eden özellikleri ortaya çıkarmak için matematiksel modellerin veya YZ modellerinin oluşturulması, birer yüksek seviyeli işlem örneğidir. [3] Diğer taraftan, yukarıda sayılan çeşitli seviyelerdeki işlemlerin kullanıldığı bir sayısal görüntü işleme sürecinde, problemlerin çözümü için genellikle çok sayıda görüntü örneği üzerinde simülasyon tabanlı testler yapılır. Bu süreçte, algoritmalar çok kere yeni revizyonlar ile geliştirilip çözümler test edilir ve karşılaştırmalar yapılır. Benzer şekilde, sayısal görüntü işlemeye dayalı bir proses kontrol sürecinde, kabul edilebilir ve uygulanabilir bir sistem çözümüne ulaşmak için de, içinde çeşitli görüntü işleme yöntemlerinin kullanılacağı yoğun deneysel çalışmalara ihtiyaç duyulur. Bu nedenle, bu süreçte aday çözümlerin denenmesi ve prototiplerin hızlı bir şekilde gerçekleştirilmesini kolaylaştıracak yaklaşımların formüle edilmesi önemli yararlar sağlar. I.1.1. Sayısal Görüntü İşlemeye Dayalı Sistem Emülasyonu Sayısal görüntü işlemeye dayalı bir kontrol sürecini geliştirebilmenin en kolay ve en ucuz yolu, bir kişisel bilgisayar (PC) çevresinde, gelişen donanım ve yazılım imkanlarından yararlanarak, bir simülasyon ve/veya emülasyon sistemi oluşturmaktır. Özellikle emülatörler, gerçek sistem davranışlarının oluşturulduğu sanal ortamları başarıyla hazırlama fırsatı verir. Öyle ki, simülatörlerde bütün giriş ve çıkışların doğrudan PC üzerinden yapılması nedeniyle, verilerin gerçek zamanlı işlenmesi ve analizi açısından karşılaşılan sınırlamalar, emülatörlerde basit yazılım ve donanım ilaveleri ile kolayca aşılabilir. Bu nedenle, emülatörler, gerek sayısal görüntü işleme problemlerinin çözümü ve gerekse görüntü işlemeye dayalı proses kontrol sistemlerinin tasarım sürecinde, bu 3

17 işlemlerin denenmesi ve prototiplerin hızlı bir şekilde gerçeklenmesine imkan sağladıklarından, zaman kaybını önler ve maliyetin azaltılması açısından çok önemli yararlar sağlar. Bu amaçla kullanılabilecek esnek ve kapsamlı bir yazılım geliştirme ortamı, yukarıda belirtilen yararlarının yanı sıra, görüntü işleme çözümlerinin taşınabilirliğini sağlama açısından kilit bir rol oynar. MATLAB yazılım paketi, özellikle görüntü işleme araç kutusu (IPT) ve kullanıcı ara yüzü (GUI) oluşturma destekleri ile, yukarıda sayılan görüntü işleme ve görüntü işlemeye dayalı proses kontrol süreci ile ilgili ihtiyaçlara cevap vermektedir [4,5]. I.1.2. MATLAB MATLAB teknik hesaplamalar için kullanılan yüksek performanslı bir dildir. Problemler ve çözümlerinin bilinen matematiksel sembollerle ifade edildiği, hesaplama, görselleştirme ve programlama süreçlerini kullanımı kolay bir çerçevede entegre eder. Tipik kullanım amaçları aşağıda sıralanmıştır: Matematiksel hesaplamalar, Algoritma geliştirme, Veri elde etme, Modelleme, simülasyon ve prototip oluşturma, Veri analizi ve görselleştirme, Bilimsel ve mühendislik grafiklerinin çizimi, Kullanıcı ara yüzü oluşturmayı da içeren uygulama geliştirme. MATLAB, matrix laboratory sözcüklerinin kısaltılmış şeklidir. Bu isimlendirmenin de çağrıştırdığı üzere, MATLAB temel veri elemanı olarak dizileri kullanır. Böylece, özellikle matris biçiminde verilen pek çok teknik hesaplama probleminin kısa sürede çözümünü kolaylaştırır. MATLAB, üniversite ve sanayide analiz, araştırma ve geliştirme çalışmalarını kolaylaştıran çok sayıda araç kutusunu içermektedir. IPT bunlardan birisidir ve görüntü işlemeye ilişkin çok sayıda MATLAB fonksiyonunu (M-fonksiyonları veya M-dosyaları) içermektedir. Bunun yanında, MATLAB ın GUI desteği, görüntü işleme uygulamalarının gerçekleştirilmesinde kolaylıklar sağlamasının yanı sıra, proses kontrol sürecinin emülasyonunu da kolaylaştırmaktadır. 4

18 I.2. AMAÇ Yukarıdaki izahlar ışığında, bu tez çalışmasında, MATLAB yazılım paketin den faydalanarak, PC üzerinde sayısal görüntü işlemeye dayalı kontrol süreçlerine ilişkin prototiplerin kolay, ucuz ve hızlı bir şekilde tasarlanabileceği bir emülasyon sisteminin geliştirilmesi amaçlanmıştır. Sistemde, görmeye dayalı süreç kontrolü için simülasyonların, MATLAB yazılım paketinin GUI desteği ile hazırlanan çeşitli kullanıcı ara yüzleri vasıtasıyla yapılması planlanmıştır. PC dışında kurulacak kontrol sisteminin bir mikrokontrolör çevresinde gerçekleştirilmesi, mikrokontrolör ile GUI arasındaki gerçek zamanlı veri giriş çıkışlarının PC paralel portu üzerinden yapılması, görüntü bilgilerinin GUI ye PC USB portu üzerinden bağlanan bir kamera ile aktarılması tasarlanmıştır. Sistem bu konfigürasyonla çeşitli kontrol süreçlerini emüle edebilecek şekilde düzenlenebilir. Bununla beraber, bu tez çalışmasında, biri karakter tanıma, diğeri de taşıt plakalarının tespiti için kural tabanlı bir nesne tanıma sisteminin geliştirilmesi olmak üzere, iki ayrı amaca hizmet edecek şekilde düzenlenmiştir. Taşıt plakalarının tespiti amacıyla geliştirilen sistemde, 87 adet plaka görüntüsü üzerinde yapılan düşük ve orta seviyeli işaret işleme çalışmaları sonucunda, toplam 550 karakterin her birini temsil histogram tabanlı tanımlayıcı parametreler üretilmiştir. Daha sonra, elde edilen bu verilere dayanarak, plaka karakterlerini tanımlayan bir kural tabanı oluşturulmuştur. Oluşturulan kural tabanlı sistemin test edilmesi için 25 ayrı plaka görüntüsü kullanılmıştır. Bu şekilde oluşturulan kural tabanlı plaka tanıma sistemi, uygulama için oluşturulan GUI ye gömülerek, tanınan plakanın kullanıcı veri tabanında bulunup bulunmadığına ilişkin kararların oluşturulması, buna bağlı olarak da, paralel port üzerinden bir otopark giriş çıkış kontrol sisteminin gerçekleştirilmesi sağlanmıştır. PC üzerinde bir kontrol sürecinin emülasyonunu gerçekleştirmede kullanılacak ara yüzlere ilave olarak, başka bir kısım kullanıcı ara yüzleri de hazırlanarak, bunlar üzerinden düşük, ve orta seviyeli çeşitli görüntü işleme algoritmalarının denenmesine imkan sağlayan bir alt yapı da kurulmuştur. Böylece tez çalışmasında, görüntü işleme eğitimi için kolay kullanılabilir bir eğitim aracının hazırlanması da amaçlanmıştır. 5

19 Geliştirilen görüntü işlemeye dayalı, kural tabanlı plaka tanıma ve otopark kontrol sisteminin emülasyon sürecini temsil eden blok şema Şekil I.2 de verilmiştir. Şekil I.2. Görmeye Dayalı Proses Kontrolü için Kullanılan Emülasyon Sisteminin Blok Şeması Geliştirilen sistemde görüntü işleme ve görüntü analizi çalışmaları kamera görüntülerinin yanı sıra, çeşitli kaynaklardan alınan resim dosyaları üzerinde de yapılabilmektedir. Böylece sistem, akademik anlamda yenilikler içeren görüntü işleme ve/veya görüntü analizi algoritmalarının geliştirilmesi ve test edilmesi için pratik bir test ortamı sağlamaktadır. Sistemin bu özelliğinden yararlanarak ileride görüntü işleme ve/veya analizi üzerine çeşitli algoritma geliştirilme çalışmaları planlanabilecektir. I.3. BÖLÜMLERİN ÖZETİ Bölüm II de bilgisayarlı görme ile ilgili temel konular incelenmiştir. Bu kapsamda, görme sistemleri, görüntü biçimlendirme, görüntü işleme, nesne tanıma ve görüntü işleme algoritmalarının performans değerlendirmesi için kullanılan kriterler ile ilgili temel bilgiler özet olarak derlenmiştir. Bu bölümde ayrıca, görme sistemleri ve görüntü işleme üzerine yapılan bilimsel çalışmalara ilişkin bir literatür taramasının sonuçları da kısaca verilmiştir. Bölüm III de görüntü işleme üzerine düşük ve orta seviyeli işlemlerin gerçekleştirildiği kullanıcı ara yüzleri ile, görmeye dayalı sistem emülasyonu için kullanılan ara yüzler tanıtılmıştır. Bu bölümde ayrıca, görmeye dayalı kural tabanlı 6

20 plaka tanıma sisteminin gerçekleştirilme sürecinde yapılan işaret işleme ve test çalışmaları tanıtılmıştır. Bölüm IV de uygulama sonuçları verilerek değerlendirmeler yapılmıştır. Bölüm V de ileriye dönük çalışmalar için öneriler geliştirilmiştir. 7

21 BÖLÜM II BİLGİSAYARLI GÖRME II.1. GÖRME SİSTEMLERİ Görüntüleme, 3-boyutlu nesnelerin gerçek özelliklerini 2-boyutlu bir düzlemsel uzayda temsil etme olgusudur. Görüntülenen nesnelerin 3-boyutlu dünyadaki gerçek özellikleri, ancak çeşitli görüntü işleme ve analiz yöntemleri kullanılarak belirlenebilir veya tahmin edilebilir. Görme sistemleri, bu amaçlarla görüntünün elde edilmesi, biçimlendirilmesi, saklanması, işlenmesi ve işlem ya da analiz sonuçlarına göre yeni verilerin üretilmesine ilişkin bütün süreçleri içerir. II.1.1. Görme Sistemlerinin Bileşenleri Görme sistemleri, yukarıda belirtilen bütün işlevleriyle birlikte düşünüldüğünde karmaşık sistemlerdir. Bu nedenle, görme sistemlerini aşağıdaki gibi işlevsel bileşenlere ayırarak incelemek kolaylıklar sağlar [1]: Radyasyon (ışık) kaynağı, Kamera, Sensör, İşlem birimi, Aktörler. Radyasyon kaynağı, görüntülenmek istenen sahne ya da nesnelerle etkileşime girecek olan radyasyon (ışıma) enerjisini üreten birimdir. 8

22 Kamera, nesnelerin yaydığı ışıma enerjisini toplayan birimdir. Sensör, alınan enerjiyi genellikle elektriksel boyuttaki uygun bir işarete dönüştüren eleman veya elemanlar dizisidir. İşlem birimi, elde edilen işareti işleyerek görüntüyü biçimlendiren, diğer bir deyişle görüntü matrisini oluşturan birimdir. İşlem biriminde ayrıca, nesnelerin sınıflandırılması, özelliklerinin çıkarılması gibi yoğun hesaplamalar gerektiren işlemler yapılır. Aktörler, aktif görme ya da hareketli bir nesnenin takip edilmesi örneğinde olduğu gibi, görme sisteminin gözleme aktif olarak cevap vereceği durumlarda kullanılan ve görme sistemine yardımcı olan kişiler veya sistemlerdir. Tablo II.1 de insan görmesi ve bilgisayarlı görmenin işlevsel bileşenleri karşılaştırmalı olarak verilmiştir. Tablo II.1. İnsan Görmesi ve Bilgisayarlı Görmenin İşlevsel Bileşenleri [1] Görev İnsan görmesi Bilgisayarlı görme Görüntü elde etme Görüntü biçimlendirme Radyasyon (ışık) seviyesinin kontrolü Odaklama Radyasyon (ışık) seviyesinin çözünürlüğü Iışığın opak yüzeylerden yansıması özelliğinden yararlanarak (pasif) Iışığın kırılması özelliğinden yararlanan optik sistem aracılığıyla Göz merceğinin açıklığının (iris çapı) göz kasları aracılığıyla değiştirilmesi ile Odak uzaklığının göz kasları aracılığıyla değiştirilmesi ile Logaritmik ölçekli Enerjinin elektromanyetik, partiküler, veya akustik yayılım özelliklerinden yararlanarak (aktif veya pasif) Çeşitli sistemler aracılığıyla Akort edilebilen filtreler, filtre çarkları ve motorlu aparatlar aracılığıyla Çeşitli uzaklık ölçme prensibine dayanan otomatik odaklama sistemleri ile Lineer veya logaritmik ölçekli. Lineer ölçekte çözünürlük 8-16 bit aralığında Nesne izleme İşleme ve analiz Göz küresinin yüksek hareketlilik kabiliyeti ile Hiyerarşik olarak organize edilmiş biyolojik sinir ağları ile (paralel işleme) Tarayıcılar ve robot kameralar ile Seri ve paralel işleme (yoğun olarak seri, nadiren paralel işleme) 9

23 II.1.2. Kamera ve Göz Gözün yapısı ve çalışması elektronik kameralara çok benzer. Her ikisi de iki temel bileşenden oluşur: ışık toplayan mercek ve görüntüleme sensörü. Mercek, nesneden gelen ışığın bir kısmını yakalar ve görüntüleme sensörünün üzerinde odaklar. Işıma enerjisi burada görüntü işaretine dönüştürülür. Şekil II.1 ve Şekil II.2 de sırasıyla bir kamera ve insan gözünün iç yapısı gösterilmiştir. Her ikisinde de mercekten kırılarak geçen ışık çevreden sızan ışıkla girişim yapmaması için, ışığa karşı sıkı bir şekilde yalıtılmış kapalı bir ortamda sensör üzerine düşürülür. Şekil II.1. Bir Elektronik Kameranın Yapısı [6] Kamera içi hava ile, gözün içi saydam bir sıvı ile doludur. Her iki mercek sisteminin de ayarlanabilir iki değişkeni vardır: odak uzaklığı ve iris çapı. Kamerada odaklama, merceğin görüntü sensöründen uzağa veya ona doğru fiziksel hareketi ile sağlanır. Buna karşılık göz iki mercek içerir. Bunlar kornea olarak adlandırılan göz küresinin ön kısmındaki bir çıkıntı ve göz içinde ayarlanabilen diğer bir mercektir. Işığın çoğu korneada kırılır, fakat şekli ve yeri değiştirilemez. Odak ayarı iç mercek ile sağlanır [6,14]. Her iki sistemde de, merceğin ne kadar ışığa maruz kalacağını, ve bundan dolayı görüntü algılayıcısının üzerinde oluşan görüntü iz düşümünün parlaklığını kontrol etmek, irisin görevidir. Gözün iris tabakası saydam olmayan kas dokusu ile, 10

24 göz bebeğini (ışığın göze giriş yeri) genişletebilir yada daraltabilir. Kameralarda kullanılan iris, mekanik olarak benzer işlevi yerine getirir. Şekil II.2. İnsan Gözünün Yapısı [6] Tipik olarak bir kamerada ışık giriş açıklığını değiştirme oranı, en küçük açıklığın yaklaşık olarak 300 katına kadar, gözde ise 20 katına kadar arttırılabilir. Bu yapısı dolayısıyla tipik bir kamera göze nazaran daha büyük bir dinamik görüş aralığı sağlayabilir. Bununla beraber, parlak bir gün ışığında kullanılan bir kamera ve mercek kurulumu karanlık bir gecede ayni etkinlikte çalışamaz. Buna karşılık, insan gözü geniş çevresel değişimlere uyum sağlayan büyük bir dinamik görme aralığı sağlar. Bu dinamik aralık sadece iris ile sağlanmaz. Buna asıl katkıyı, sinir hücrelerinin ışığa karşı duyarlılıklarının dinamik aralıkta kalacak şekilde kademeli olarak ayarlanması sağlar. Örneğin, karanlık bir salona girdikten sonra göz düşük ışık seviyesine bir kaç dakika içinde uyum sağlayabilir. Gözün arka kısmını örten ışık algılayıcı iç yüzey retina olarak adlandırılır. Şekil II.3 de gösterildiği gibi, retina, biri ışığı sinirsel işarete dönüştüren, biri görüntü işleyen ve diğeri de optik sinir uçlarından beyne bilgileri aktaran üç ana sinir hücresi katmanına ayrılır. Işığı dönüştüren hücreler, mikroskop altında gözlenen fiziksel yapılarına bağlı olarak, çubuk ve koni hücreleri olmak üzere iki ana sınıfa ayrılır. Çubuk hücreleri çok düşük ışık seviyelerinde çalışabilir. Bu hücreler renk ayrımı yapamaz, üstüne gelen ışık seviyesi az dahi olsa, görüntüyü siyah-beyaz (SB) görüntü olarak algılar. 11

25 Şekil II.3. Retinanın Yapısı [6] Koni hücreleri renk ayırt etme kabiliyetine sahiptir. Üç tip koni hücresi vardır. Bunlar, kırmızı, yeşil ve mavi renk algılayıcı hücrelerdir (RGB kodlayıcılar). Bunların her biri, içerdikleri farklı ışık pigmentlerinden dolayı ışığın değişik dalga boylarına duyarlıdır. Şekil II.4 de ışığın değişik dalga boylarının bu üç alıcı hücreyi uyarabilme karakteristiği gösterilmiştir. Şekil II.4. Işığın Spektral Bileşenlerine Göre Gözün Bağıl Hassasiyet Karakteristiği [6] Çubuk ve koni hücreleri kabaca 3um genişliğindedir. Bunların tümü, retinanın 3*3 cm boyutuna sığan toplam yüzeyi üstünde sıkıca paketlenmiştir. Böylece retina kabaca 100 milyon alıcı hücre dizisinin birleşiminden oluşmuştur. Buna karşılık, 12

26 bağlantı katmanındaki optik sinir hücrelerinin sayısı yaklaşık olarak bir milyondur. Böylece, her bir optik sinir hücresi bağlantı katmanı boyunca ortalama 100 ışık alıcı çubuk ve koni hücresine bağlanır. Retinanın tam ortasında sarı benek olarak adlandırılan küçük bir bölge, yüksek çözünürlüklü görüş için kullanılır. Sarı benek içinde sadece koni hücreleri yer alır. Nesnelere doğrudan bakmak yerine, kenarlarına bakıldığında neden daha iyi bir gece görüşü sağlandığı, burada çubuk hücrelerinin yokluğu ile izah edilmektedir. İnsan görüşünde sarsıntının görüntüye yansıtılmaması olgusu da sarı beneğin küçük boyutları sayesinde sağlanmaktadır. Öyle ki, görüş alanı ani hızlanma ve hareketler esnasında sarı beneğin yüksek çözünürlüğü sayesinde hızlı bir şekilde taranarak uygun görüş bilgileri oluşturulur. Elektronik kameralarda görüntü algılama için yaygın olarak elektriksel yük bağlamalı elemanlar (CCD) kullanılır. CCD kameralar, tipik olarak birkaç mm boyutlarındaki silikon plaka üzerinde gerçekleştirilir. Bu sistemde görüntü, kuyu olarak adlandırılan yük depolayıcılarda biriktirilen elektronların çıkış yükseltecine doğru birbirini takip eden paralel ve seri iletimlerle itilmesi suretiyle okunur. Şekil II.5 de CCD kamerada iki boyutlu görüntünün nasıl okunduğu resimlenmiştir. Şekil II.5. CCD Kameranın Mimari Yapısı [6] Buna göre, CCD mimarisinde iki boyutlu bir alan içindeki görüntü verisi özel bir sıra içinde seri veriye dönüştürülür. Bir görüntü çerçevesi alınarak bütün satırlardaki yüklerin depolanması tamamlandıktan sonra, satırların tümü aynı anda bir üst satıra paralel kaydırılarak ilk satırdan seri yolla okuma yapılır. Böylece, 13

27 satırların tümü 1 numaralı satırdaki yatay kaydedici içine sırasıyla transfer edilir. Buradan yükler seri yolla hızlı bir şekilde yük algılama yükseltecine taşınır [6,14]. II.1.3. Bilginin Rolü Bir bilgisayarlı görme sistemi oluşturulurken esas beklenti, her kademedeki işlemlerin en üst seviyede otomatikleştirilmesidir. Bunu yerine getirmek için, karar oluşturma sürecinde her zaman uygulama ile ilgili bilgiye sahip olunmalı ve uygulamanın amacı bilinmelidir. Bu kapsamda sistem tarafından kullanılan bilgi, nesne özelliklerine ilişkin modeller, görüntü biçimlendirme yöntemi, nesne modelleri ve nesneler arasındaki ilişkileri belirleyen modelleri içerir. Bu bilgiler kullanılmadan, bilgisayarlı görme sistemleri ancak sınırlı uygulama için ve sadece çok sınırlı bir çevrede çalışmak üzere tasarlanabilirler. Diğer taraftan, nesne özelliklerinin ne olduğuna ilişkin elde edilecek bir bilginin türü, görme sisteminin amacına bağlıdır. Cevap ya öznel (kalitatif) veya nesnel (kantitatif) karakterde olabilir. Bazı uygulamalar için orda bir otomobil var gibi öznel bir cevap yeterli olabilir. Bununla beraber, ne ve nerede sorularının cevabı, örnekteki bir şey var gibi nesnenin her hangi bir sınıfa aidiyetini belli eden temel bir özelliğinden, ilgilenilen nesnelerin çeşitli özelliklerinin detaylı bir tanımlamasına kadar geniş bir alanı kapsar [1]. II.1.4. İlgi Alanları ve Görev Sınıfları Günümüzde bilgisayarlı görme uygulamaları hemen her bilimsel ve teknik alanla ilgilidir. Dolayısıyla, çeşitli bilimsel ve teknik alanlar için ayrı uygulama listeleri hazırlamak yerine, bir uygulamadan elde edilen tecrübeyi bir başkasına aktarmak için, çözülmek zorunda olan problemleri belirlemek ve onları farklı sınıflara ayırmak daha yararlı olabilir. Bu yaklaşıma göre oluşturulan bir görev sınıflandırması Tablo II.2 de verilmiştir. Bu tabloda hem 2-boyutlu görüntüleme, hem de 3-boyutlu sanal görüntüleme ile ilgili görevler verilmiştir. Bu görevlerle ilgili uygulamalar arasında, bilgisayarlı görüntü işleme, grafik tasarım, tanıma, ve YZ uygulamaları yer alır. 14

28 Görüntü işleme uygulamaları; görüntüyü zenginleştirme, sıkıştırma, düzeltme, gürültüden arındırma, keskinleştirme veya kontrast artırma gibi düşük seviyeli işlemlerle; görüntünün bölgelere veya nesnelere ayrılması, nesnelerin uygun biçimlere indirgenmesi, tanımlanması, ve sınıflandırılması gibi orta seviyeli işlemleri; ve nesnelerin algılanması ve tanınması gibi yüksek seviyeli işlemleri kapsar. Bilgisayarlı grafik uygulamaları, doğru ve daire gibi temel geometrik şekillerden yararlanarak görüntüler üretme konularını kapsar. Buna göre, bilgisayarlı görme ve bilgisayarlı grafik uygulamalarında biri diğerinin tersi olan amaçlar güdülür. İlkinde görüntünün analizi amaçlanırken, diğerinde görüntünün sentezlenmesi amaçlanır. Bilgisayarla grafik oluşturma yöntemleri, canlandırmada ve sanal gerçeklikte çok önemli bir rol oynar [1]. Tablo II.2. Bilgisayarlı Görmede Karşılaşılan Görev Sınıfları [1] Görevin ilgi sahası 2-boyutlu ve 3-boyutlu nesne geometrisi Uzaktan ölçme Hareket Uzaysal yapı ve doku Yüksek düzeyli görevler 3-boyutlu modelleme Görev 2-boyutlu nesnelerin konum, mesafe, büyüklük ve alan ölçümü 3-boyutlu nesnelerin derinlik ve optik parametrelerinin ölçümü 2-boyutlu nesnelerin biçimi ve şeklinin belirlenmesi 3-boyutlu nesnelerin şeklinin belirlenmesi Nesnelerin yansıtma ve floresan özelliklerinin ölçümü Renk ölçümü Sıcaklık ölçümü Hiperspektral görüntüleme 2-boyutlu hareket alanının (yörünge) belirlenmesi 3-boyutlu hareket alanının (yörünge) belirlenmesi Kenarlar ve doğrular Yerel dalga numarası, ölçek Yerel yönelme (oryantasyan) Doku Parçalara ayırma (segmentasyon) Nesne tanımlama (identifikasyon) Nesne sınıflandırma Model ve bilgi tabanlı tanıma ve hatırlama 3-boyutlu nesne tanıma 3-boyutlu nesne sentezleme Nesne izleme 15

29 İki ve üç boyutlu nesne geometrisine dair görüntü işlemeye dayalı bilgi edinme görevlerine ilişkin literatürden, M. Kert ve E. Özdemir in nesne üzerindeki bölgenin renk sayımına dayalı olarak tek kamera ile dairesel nesnelerin derinlik bilgisini elde ettikleri çalışma ve V.T. Pham ve W.M. A. Smeulders ın belirsiz geometrik şekiller içeren görüntülere dair çalışmaları verilebilir [15,16]. İki ve üç boyutlu hareket kontrolünü içeren, görüntü işleme görevlerinin uygulamalarına gelişen teknoloji ile birlikte mekatronik ve robotik alanlarında sıkça rastlamak mümkün olmuştur. Özellikle sanayideki esnek üretim sistemlerinde fazlaca uygulaması yapılmıştır. W. Zhenzhong, Z. Guangjun ve L. Xin 2 boyutlu bir hareket sisteminin konumlandırma doğruluğunu makine görüş sistemi ile denetledikleri çalışma bu sınıfta sayılabilecek türden görevler içermektedir [17]. İki boyutlu bir düzlem de oluşturulan nesne izdüşümlerimden (görüntü) faydalanarak ilgilenilen nesnenin üç boyutlu modelini oluşturmak hem tıbbi hem de endüstriyel uygulamalarda oldukça önemlidir. Tıbbi anlamda teşhisi kolaylaştırması, endüstriyel anlamda ise tam bir üretim denetimi sağlanması açısından önem taşımaktadır. Bizimde tez çalışmamız sırasında kullandığımız, Hu nun tanımladığı sabit momentler ile 3 boyutlu nesne modeli oluşturan J.A.M. Rodrigueza, A. Asundi ve R. Rodrigueza-Vera nın yapmış oldukları çalışma bu tip görev tanımlarına iyi bir örnektir [12,19]. Uzaysal yapı ve doku analizi türünden görevlere daha çok yüzey analiz sistemleri ve tıbbi uygulamalarda rastlanır. Tıbbi uygulamalarda hastalıklı dokuların iki boyutlu görüntü (röntgen, mamografi, ve BT görüntüleri gibi) analizi ile tespit edilmesi buna bir örnektir. S. Özekes in tıbbi görüntülemede bilgisayar destekli tespit çalışması görüntü işlemeye dayalı olarak hastalık teşhisinin kolaylaştırılmasını sağlayan ve belirtilen türden görevleri içeren bir çalışmadır [20]. Nesne tanıma uygulamaları, gerçekte bir kısım istatistiksel yöntemler gibi, çeşitli düşük ya da orta seviyeli bilgisayarlı görme yöntemlerinin belirli bir algoritmik yapı içerisinde kullanıldığı yüksek seviyeli görüntü işleme uygulamalarıdır. Çoğu endüstriyel uygulamalarda, bu türden uygulama örneklerine rastlanır. YZ uygulamaları, görüntü analizi veya görüntü işlemeye dayalı sistemlerin tasarımında kullanılır. Bilgisayarlı görmede önemli bir yere sahip olan bu uygulamalar, üç aşamalı bir süreç olarak görünebilir [1]: 16

30 Algılama, Tanıma, Aksiyon. Algılama, işaretleri sembollere çevirme; tanıma, sembolleri işleme; aksiyon da sembolleri, dış dünyayı etkiyecek uygun çıkış işaretlerine dönüştürme aşamalarıdır. II.2. GÖRÜNTÜ BİÇİMLENDİRME Görüntü biçimlendirme, bir nesneyi temsil eden işareti, onun geometrik konumunu, ne olduğunu veya özelliklerini yansıtacak şekilde oluşturma sürecidir. Görüntüleme sistemleri, görüntünün biçimlendirilme sürecinde kullanılan donanım birimleri ile, bu süreçte yapılan bütün işlemleri kapsar. II.2.1. Görüntünün Oluşumu Görüntüler, nesnelerin özelliklerini belirleyen bir veya birden çok parametrenin değişimine göre oluşturulur. Örneğin, standart görüntüler nesnelerin yüzeylerinden yansıyan ışık yoğunluğuna göre belirlenir. Ancak, ışık, görüntüleme için kullanılan tek parametre değildir. Örnek olarak, bir entegre devrenin sıcaklığının, bir hastanın atardamarındaki kan akış hızının, deprem sırasındaki yer hareketlerinin uzaysal boyutlara göre değişimini yansıtan ve farklı türden uyarma sistemleri ile üretilen fiziksel büyüklükler de görüntüleme için kullanılan birer parametre olabilir. Bütün bu farklı parametrelerin uzaysal koordinatlara göre değişimini belirleyen görüntüler, genellikle insan gözünün değerlendirebileceği resimler halinde biçimlendirilir. Görüntü biçimlendirme sürecinde nesne özelliklerini görüntüleme sistemi tarafından ölçülen işarete bağlayan adımlar zinciri, Şekil II.6 daki blok diyagramda özetlenmiştir [1]. Buna göre, radyasyonun nesne ile etkileşim şekli, nesnenin görüntülenme prensibini belirler. Örneğin bir kamera görüntüsü cismin üzerine gönderilen ışının nesneden yansıması prensibine göre, bir sayısal röntgen görüntüsü ise, nesneye gönderilen x-ışını radyasyonunun nesne tarafından soğrulma miktarının belirlenmesi prensibine dayanır. Bu çalışmada kullanılan görüntüleme sisteminde, nesneden 17

31 yansıyan ışıma enerjisinin bir kısmı optik sistem vasıtasıyla toplanır ve yayılan enerjinin yoğunluğu ile orantılı bir seviyede algılanır. Bir sensör (veya sensörler dizisi) alınan ışımayı elektriksel işarete çevirir. Daha sonra, işaret örneklenip sayısal hale getirilerek, iki boyutlu bir sayı dizisi halindeki görüntü verisine dönüştürülür. Bununla beraber, görüntüleme sistemleri, nesnelerin 3-boyutlu dünyada ve görüntü düzlemindeki karşılıkları arasında ilişkiyi oluştururken iki farklı yaklaşım kullanabilir: Doğrudan görüntüleme, Dolaylı görüntüleme. Doğrudan görüntüleme sistemleri nesnelerin 3-boyutlu dünyada ve görüntü düzlemindeki karşılıkları arasında noktadan noktaya doğrudan bir ilişki sağlar. Dolaylı görüntüleme sistemleri ise, nesne ile görüntü arasında, yayımlanan ışıma enerjinin uzaysal olarak dağıtılmış yoğunluğuna bağlı bir ilişki sağlar. Ancak bu doğrudan görüntüleme sistemlerinde olduğu gibi noktadan noktaya bire bir ilişki değildir. Işıma Nesne Işıma Elektrksel Sayısal enerjisi özelliği Nesnenin enerjisi Radyasyon işaret görüntü Görüntüleme yoğunluğu A/D Çevrimi, Radyasyonla (ışık) Sistemi Örnekleme S(x',y',z') Etkileşimi R(x',y',z') E(x,y) Sensörü G(x,y) I(m,n) Şekil II.6. Bir Sayısal Görüntünün Biçimlendirilme Sürecinde Nesne Özelliklerini Ölçülen İşarete Bağlayan Adımlar Zinciri [1] Dolaylı görüntüleme sistemlerinde bir görüntünün biçimlendirmesi için, algılanan enerji yoğunluğu esas alınarak, nesnenin görüntü düzlemi üzerindeki iz düşümü yeniden oluşturulur. Böyle görüntüleme örnekleri arasında, radarla görüntüleme, akustik görüntüleme, bilgisayarlı tomografik görüntüleme (BT) ve manyetik rezonanslı görüntüleme (MR) sayılabilir. II.2.2. Veri Yapıları Bir sayısal görüntü, biçimlendirme ve kodlama için kullanılan şemaya bakılmaksızın daima 2-boyutlu bir I (m,n) dizisi ile temsil edilebilir. Buna göre, 3- boyutlu görüntüler, birden çok 2-boyutlu dizi ile temsil edilir. Görüntüyü temsil eden 18

32 bir I (m,n) dizisinin indekslenmesinde kullanılan en uygun protokol, genellikle yatay piksel koordinatının soldan sağa doğru ve ikinci parametre (n) ile, dikey piksel koordinatının yukarıdan aşağıya doğru ve birinci parametre (m) ile temsil edildiği geleneksel matris notasyonunu takip eder. MATLAB da bu indeksleme protokolü piksel koordinatları şeklinde isimlendirilir. Şekil II.7 de satır sayısı M, sütun sayısı N olan ve piksel koordinat sistemine göre biçimlendirilmiş bir sayısal görüntü matrisi verilmiştir [4,7]. I (1,1) I (1,2) I (1,3)..... I (1,N) I (2,1) I (2,2) I (2,3)..... I (2,N) I (m,n) = I (3,1) I (3,2) I (3,3)..... I (3,N) I (M,1) I (M,2) I (M,3)..... I (M,N) Şekil II.7. Piksel Koordinat Sistemine Göre Biçimlendirilmiş bir Görüntü Matrisi Gösterimi Şekil II.8 de, Venüs gezegeninin bir uzay araştırma uydusundan mikrodalga radarı ile elde edilen görüntüsü ve sayısal görüntü matrisinin bir parçası verilmiştir. Bu görüntüdeki satır ve sütun indeksleri, aralığındaki tam sayılarla kodlanmıştır. Görüntünün çözünürlüğü M*N = 200*200 = pikseldir. Şekil II.8 de verilen GT görüntüde piksel verileri 8 bitlik tam sayılar kullanılarak arası sayılarla gösterilmiştir. Burada 0 siyah, 255 beyaz tonu, ara değerler de diğer gri tonları temsil eder. Her pikselin sayısal değeri, gezegen yüzeyinin karşılık gelen bölgesinden yansıyan mikrodalga enerjisinin yoğunluğuna göre belirlenmiştir. Bununla beraber, MATLAB ve diğer bir çok görüntü işleme programlarınca desteklenen ve sayısal görüntünün biçimlendirilmesinde kullanılan veri sınıfları (kodlama şemaları) 4 ana grup halinde sıralanabilir: İndeksli, Renkli (RGB), Gri ton (GT), Siyah-beyaz (SB) kodlama. İndeksli ve RGB sınıfı kodlamalar nesnelerin renkli görüntülenmesinde kullanılır. RGB sınıfı kodlamada, görüntüyü temsil eden her pikselin kırmızı, yeşil ve mavi 19

33 temel renklerine ilişkin tonlar ayrı veri dizilerinde saklanır. GT ve SB sınıfı kodlamalarda ise siyah beyaz veya gri ton görüntü bilgileri tek bir veri dizisinde saklanır. Şekil II.8. Venüs Gezegeninin Mikrodalga Radarı ile Elde Edilmiş bir Sayısal Görüntüsü [6] Piksel verileri bu sınıfların her birinde 8 bitlik tam sayı, 16 bitlik tam sayı veya 32 bitlik gerçek sayı gibi farklı biçimlerde saklanabilir. Bununla beraber, GT görüntüde veriler genellikle 8 bitlik tam sayılarla kodlanır. SB görüntüde her pikselin alabileceği renk siyah veya beyazdır, ve sırasıyla ikili tabandaki 0 ve 1 sayıları ile kodlanır. Bu tez çalışmasının ilerideki aşamalarında yalnız GT ve SB görüntülerle ilgilenilmiştir. Bilimsel araştırmalarda, kişisel bilgisayar uygulamalarında ve TV alıcılarında kullanılan tipik bir sayısal görüntünün çözünürlüğü 512*512 pikseldir. Bununla beraber, teknolojik gelişmeler çözünürlüğü daha iyi olan sayısal görüntüleri elde etmeye fırsat verdiğinden, sayısal röntgen, uzay fotoğrafları ve reklam gibi uygulamalarda ihtiyaç duyulan görüntü kalitesi de giderek daha kolay bir şekilde elde edilebilmektedir. 20

34 Görüntü işlemede en önemli zorluk, işlenecek veri miktarının çok yüksek olması ve bu miktardaki verinin yönetimi sorunudur. Örneğin, bir saniyelik bir sayısal ses kaydı yaklaşık 8 KB, görüntü kaydı ise yaklaşık 8 MB boyutunda bir hafızaya kaydedilebilir. 512*512 piksel çözünürlüklü bir görüntünün, 33.6 Kbps hızındaki modem ile iletimi için yaklaşık bir dakikalık bir süre gerekir. Görüntü çözünürlüğünün 2 katına çıkması halinde (1024*1024), bu süre 4 katına çıkar. Bu nedenle, yeterli olan en düşük çözünürlüklü görüntü kullanmak kolaylıklar sağlar [6]. II.3. GÖRÜNTÜ İŞLEME Bilgisayarlı görmede görüntü analizi ve görüntü işleme için yapılabilecek işlemler, daha önce de belirtildiği gibi, üç ana sınıfa ayrılabilir: düşük-seviyeli, orta seviyeli, ve yüksek seviyeli işlemler. Düşük seviyeli işlemler, parlaklık ve kontrast ayarı, görüntünün gürültüden arındırılması, ve görüntü keskinleştirme gibi basit dönüştürme ve filtreleme işlemlerini kapsar. Düşük seviyeli bir işlem, hem girişinin ve hem de çıkışının görüntü olması ile karakterize olur [3]. Orta seviyeli işlemler, görüntünün bölgelere veya nesnelere ayrılması, nesnelerin tanımlanması ve sınıflandırılması gibi işlemleri içerir. Orta seviyeli bir işlem, genellikle girişlerinin görüntüler, çıkışlarının bu görüntülerden üretilen alan, boyut, kenar, kontur gibi nesnelerin kimliklerini belirlemeye yardım eden çeşitli ölçüler veya özellikler olması ile karakterize olur [3]. Yüksek seviyeli işlemler, görüntü analizinin hedeflenen nihai amacını oluşturan ve normalde insan görmesi ile ilgili algılama ve tanıma fonksiyonlarından ilham alan işlemleri içerir. Bu bölümde, yukarıda sıralanan düşük ve orta seviyeli işlemlerin bir kısmı tanıtılmaktadır. II.3.1. Düşük Seviyeli İşlemler Düşük seviyeli görüntü işleme uygulamaları kapsamında, GT veri yapısına sahip görüntülerin parlaklık ve kontrast ayarı, gri ton ölçekleme dönüşümü, filtreleme ve GT görüntüden SB görüntüye dönüşüm için kullanılan eşikleme yöntemi, SB görüntü üzerinde uygulanan morfolojik işlemler; nesneleri çevreleyen 21

35 konturu belirleme, iskelet çıkarma gibi amaçlarla kullanılan ve pikseller arasındaki geçişleri düzenleyen komşuluk ilişkileri aşağıda açıklanmıştır. II Parlaklık ve Kontrast Ayarı Parlaklık, görüntünün tümünü ilgilendiren aydınlık seviyesi ile ilgili bir kavramdır. Kontrast ise, görüntüdeki nesne veya bölgeler arasındaki parlaklık farkını belirtmek için kullanılır. Bir görüntü, kolay seyredilebilmesi için uygun bir parlaklık ve kontrasta sahip olmalıdır. Şekil II.9 da parlaklık testi için kullanılan bir görüntü verilmiştir. Bu görüntü 80*32 piksel boyutundadır ve her bir piksel arası bir gri ton değerine sahiptir. Resimde 6 farklı parlaklık ve kontrast seviyesi kullanılmıştır. Test görüntüsünün arka planı rasgele gürültü ile doldurulmuştur. Soldan sağa üç kare kutunun piksel değerleri sırası ile 75, 150 ve 225 dir. Her bir kare piksel değerleri arka planlarından çok az farklı iki üçgen içerir. Şekil II.9. Parlaklık ve Kontrast Testi İçin Kullanılan Görüntü [6] Bu test görüntüsü üzerinde parlaklık ve kontrast ayarlarının nasıl yapıldığı Şekil II.10 da gösterilmiştir. Buna göre, Şekil II.10a daki uygulamada parlaklık ve kontrast normal düzeye ayarlanmıştır. Şekil II.10b ve Şekil II.10c de parlaklık değişiminin etkisi gösterilmiştir. Parlaklığın artırılması görüntüdeki her bir pikselin daha aydınlık görünmesini sağlamıştır. Tersine, parlaklığın azaltılması görüntüdeki her bir pikselin daha karanlık görünmesini sağlar. Bu uygulamalarda üçgenlerin hiçbiri, Şekil II.10a dakinden daha iyi görülemez. Bu uygulamada olduğu gibi, düşük kontrastlı nesnelerin çevresinden ayrıt edilebilmesine parlaklık değişimleri çok az katkı sağlar. 22

36 Şekil II.10d de yapılan kontrast ayarına göre, sayısal değeri 75 e yakın olan piksellerin en iyi şekilde görüntülendiğini görülmektedir. Şekil II.10. Parlaklık ve Kontrast Ayarlama Örnekleri [6] Bu ayar sonucunda, örneğin, gri ton değerleri aralığında olan pikseller değerleriyle görüntülenir. Kontrastı artırmak sol taraftaki karenin içindeki üçgenlerin görülebilmesine imkan sağlamıştır. Buna karşılık, ortadaki ve sağdaki kareler doyuma gitmiştir. Kontrast ayarlamanın başka bir yolu da, Şekil II.10e de görüldüğü gibi piksel değerlerinin küçük bir aralığı üzerinde büyütme işlemi yapmaktır. Buna göre, ilgilenilen piksel değerlerinin bulunduğu bölümün merkezinde bir büyütme yapılarak parlaklık kontrolü yapılır. Bu ayar sonucunda, 256 seviyenin sadece 16 tanesi 23

37 doymamış olarak görüntülenir. Ortadaki karenin ayrıntıları daha iyi görülebilir. Ancak, bunun haricindeki her şey doyuma gitmiştir. II Gri Ton Ölçekleme Dönüşümü Şekil II.10 da verilen bütün parlaklık ayarları gerçekte birer düşük seviyeli görüntü işleme uygulamasıdır. Bununla beraber, Şekil II.10f deki görüntünün parlaklık ve kontrast ayarı için yapılan işlemler, düşük seviyeli görüntü işleme tanımlamasına daha uygundur. Burada görüntü işleme sistemi, giriş görüntüsünden çıkış görüntüsünü üretirken daha dinamik bir yol izlemektedir. Sistemin bir örneği Şekil II.10f de verilen giriş/çıkış karakteristiği (gri ton ölçeği dönüşüm karakteristiği), amaca bağlı olarak çeşitli şekillerde tanımlanabilir. Örneğin Şekil II.10f deki uygulamanın amacı, test görüntüsünün iki uçta bulunan karelerinin içindeki üçgenlerin çıkış görüntüsünde daha net görülebilmesini sağlamaktır. Bu yaklaşım, görüntülerin görünüşlerini geliştirmek için güçlü bir yöntem olan gri ton ölçekleme dönüşümünü (gri skala dönüşümü) ortaya çıkarmıştır. Buradaki temel fikir, piksel değerlerinde kontrastı arttırmaktır. Buna ilişkin bir örnek Şekil II.11 de verilmiştir. Bu şekildeki görüntü, tam karanlık ortamda kızılötesi ışığa duyarlı bir CCD kamera kullanılarak elde edilmiştir. Bu görüntülemede kullanılan radyasyon değişkeni ısıdır. Sıcak nesneler daha fazla kızıl ötesi enerji yayar ve görüntüde bunlar daha parlak görünür. Görüntüde, arka plan çok karanlık (soğuk), vücut gri (sıcak), ve kamyonun ızgaraları beyaz (çok sıcak) tonlarda biçimlendirilmiştir. Şekil II.11a daki orijinal görüntüde (giriş görüntüsü) görüş zordur, çünkü piksel değerleri düzensiz dağılmıştır. Görüntünün çoğunda karanlıktan dolayı sahnenin ayrıntıları görülemez. Izgaralar beyaza yakın ve doyumdadır. 24