Gebze Yüksek Teknoloji Enstitüsü Bilgisayar Mühendisliği Bölümü PK.141 41400 Gebze/Kocaeli



Benzer belgeler
Bilgisayarla Görüye Giriş

Hemzemin Geçit Bölgeleri için Görüntüleme Sistemi ile Güvenlik Kontrolü

Bir Aracın Önünde Seyreden Aracın Uzaklığının Tek Kamera Kullanarak Tahmini

5 İki Boyutlu Algılayıcılar

Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü. Bilgisayarla Görme. Proje

Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü. Bilgisayarla Görme. Final

Trafik Yoğunluk Harita Görüntülerinin Görüntü İşleme Yöntemleriyle İşlenmesi

RENK BİLEŞENLERİ YARDIMIYLA HAREKETLİ HEDEFLERİN GERÇEK ZAMANLI TESPİTİ

Dijital (Sayısal) Fotogrametri

Sahne Geçişlerinin Geometrik Tabanlı olarak Saptanması

GÖRÜNTÜSÜ ALINAN BİR NESNENİN REFERANS BİR NESNE YARDIMIYLA BOYUTLARININ, ALANININ VE AÇISININ HESAPLANMASI ÖZET ABSTRACT

POSITION DETERMINATION BY USING IMAGE PROCESSING METHOD IN INVERTED PENDULUM

Dijital (Sayısal) Fotogrametri

CCD KAMERA KULLANARAK SAYISAL GÖRÜNTÜ İŞLEME YOLUYLA GERÇEK ZAMANLI GÜVENLİK UYGULAMASI

Dijital (Sayısal) Fotogrametri

Fotogrametrinin Optik ve Matematik Temelleri

Digital Görüntü Temelleri Görüntü Oluşumu

Görev Unvanı Alan Üniversite Yıl Prof. Dr. Elek.-Eln Müh. Çukurova Üniversitesi Eylül 2014

Lazer-obje (hedef) etkileşimi-yüzey eğim ve pürüzlülüğü

NİCEL METALOGRAFİ (STEREOLOJİ)

DİNAMİK MEKANİK. Şekil Değiştiren Cisimler Mekaniği. Mukavemet Elastisite Teorisi Sonlu Elemanlar Analizi PARÇACIĞIN KİNEMATİĞİ

TASARI GEOMETRİ SINAV SORULARI

KALINLIK VE DERİNLİK HESAPLAMALARI

Mohr Dairesi Düzlem Gerilme

VİDEO GÖRÜNTÜLERİNİN KAÇIŞ NOKTALARI YARDIMIYLA REKTİFİKASYONU

Bilgisayarla Fotogrametrik Görme

VERİ MADENCİLİĞİ (Karar Ağaçları ile Sınıflandırma) Yrd.Doç.Dr. Kadriye ERGÜN

SU ALTI AKUSTİĞİ TEMELLERİ & EĞİTİM FAALİYETLERİ

Elipsoid Üçgenlerinin Hesaplanması Yedek Hesap Yüzeyi olarak Küre

Dijital Fotogrametri

İRİSTEN KİMLİK TANIMA SİSTEMİ

3D INFORMATION EXTRACTION FROM DIGITAL AERIAL IMAGES WITH COMPUTER VISION AND PHOTOGRAMMETRIC SPACE INTERSECTION

TEMEL HARİTACILIK BİLGİLERİ. Erkan GÜLER Haziran 2018

Page 1. İz Düşüm Çeşitleri ve Metotları

KAYMA GERİLMESİ (ENİNE KESME)

Bu makalede, rulman üretim hattının son

PROJEM İSTANBUL ARAŞTIRMA PROJESİ BİLGİSAYARLI GÖRÜ VE SINIFLANDIRMA TEKNİKLERİYLE ARAZİ KULLANIMININ OTOMATİK OLARAK BULUNMASI

ARAZİ ÖLÇMELERİ. Koordinat sistemleri. Kartezyen koordinat sistemi

Rıdvan Özdemir, Mustafa Kaya, Monier Elfarra, Mehmet Önder Efe Türk Hava Kurumu Üniversitesi, Ankara

ARAZİ ÖLÇMELERİ. Koordinat sistemleri. Kartezyen koordinat sistemi

ITAP Fizik Olimpiyat Okulu 2011 Seçme Sınavı

Yinelemeli ve Uyarlanır Ayrıt Saptayıcı Süzgeçleri

Yrd. Doç. Dr. Fatih TOSUNOĞLU Erzurum Teknik Üniversitesi Mühendislik Fakültesi İnşaat Mühendisliği Bölümü

OpenZeka MARC. Mini Otonom Araç Yarışması

Bulanık Mantık Tabanlı Uçak Modeli Tespiti

NDEN BELİRLENEBİLME LME POTANSİYELİ UYDU GÖRÜNTÜLERİNDEN

AMAÇ Araçlardaki Kamera Sistemleri

5. ÜNİTE İZDÜŞÜMÜ VE GÖRÜNÜŞ ÇIKARMA

Deneyim Raporu. , Ankara, Türkiye. {gokhan.urul, gokalp.urul}@intest.com.tr. vahid.garousi@atilim.edu.tr

2015/2016 Bahar Yarıyılı Bitirme Çalışması Konuları. (Doç.Dr. M. Kemal GÜLLÜ)

Pamukkale Üniversitesi Mühendislik Fakültesi - Denizli Tel: (0 258) , (0 258) E-Posta:

YAVAŞ DEĞİŞEN ÜNİFORM OLMAYAN AKIM

BURULMA DENEYİ 2. TANIMLAMALAR:

Mühendislik Mekaniği Statik. Yrd.Doç.Dr. Akın Ataş

Görüntü İşleme. Dijital Görüntü Tanımları. Dijital görüntü ise sayısal değerlerden oluşur.

T.C. GÜMÜŞHANE ÜNİVERSİTESİ MÜHENDİSLİK VE DOĞA BİLİMLERİ FAKÜLTESİ MAKİNE MÜHENDİSLİĞİ BÖLÜMÜ MAKİNE MÜHENDİSLİĞİ DENEYLER II DERSİ

İKİ BOYUTLU ÇUBUK SİSTEMLER İÇİN YAPI ANALİZ PROGRAM YAZMA SİSTEMATİĞİ

Otonom Bir Robotla Statik Ortamda Nesne Etiketleme ÖZET

YOĞUN GÖRÜNTÜ EŞLEME ALGORİTMALARI İLE ÜRETİLEN YÜKSEK ÇÖZÜNÜRLÜKLÜ SAYISAL YÜZEY MODELİ ÜRETİMİNDE KALİTE DEĞERLENDİRME VE DOĞRULUK ANALİZİ

SİNYAL TEMELLERİ İÇİN BİR YAZILIMSAL EĞİTİM ARACI TASARIMI A SOFTWARE EDUCATIONAL MATERIAL ON SIGNAL FUNDAMENTALS

PROJE RAPORU. - Prof. Dr. İrfan ŞİAP - Doç. Dr. Ünal UFUKTEPE

TMMOB Harita ve Kadastro Mühendisleri Odası Ulusal Coğrafi Bilgi Sistemleri Kongresi 30 Ekim 02 Kasım 2007, KTÜ, Trabzon

TÜRK İŞARET DİLİ TANIMA SİSTEMİ ( TURKISH SIGN LANGUAGE RECOGNITION SYSTEM )

Fizik 101: Ders 6 Ajanda. Tekrar Problem problem problem!! ivme ölçer Eğik düzlem Dairesel hareket

ARAZİ ÖLÇMELERİ. Coğrafik Objelerin Temsili. Nokta:

ARAZİ ÖLÇMELERİ. Temel Ödev I: Koordinatları belirli iki nokta arasında ki yatay mesafenin

FOTOGRAMETRİ DAİRESİ BAŞKANLIĞI FAALIYETLERI

Bölüm-4. İki Boyutta Hareket

Geriye Yayılım ve Levenberg Marquardt Algoritmalarının YSA Eğitimlerindeki Başarımlarının Dinamik Sistemler Üzerindeki Başarımı. Mehmet Ali Çavuşlu

Gerilme Dönüşümleri (Stress Transformation)

ÖZGEÇMİŞ VE ESERLER LİSTESİ

EGE ÜNİVERSİTESİ Bilgisayar Mühendisliği. Dr. Kemal YILMAZ, Prof. Dr. Aylin KANTARCI, Prof. Dr. Cezmi AKKIN

Fotogrametride Koordinat Sistemleri

TÜRKİYE NİN BİTKİ ÖRTÜSÜ DEĞİŞİMİNİN NOAA UYDU VERİLERİ İLE BELİRLENMESİ*

Bir Tek Nöron Kullanılarak Resimler Đçerisinde Göz Kısmının Bulunması

Sevim Yasemin ÇİÇEKLİ 1, Coşkun ÖZKAN 2

Genel Bilgiler FLI MAP. Koridor Tipi Çalışmalar. Geniş Alan Çalışmaları

Gerilme Dönüşümleri (Stress Transformation)

Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü. Bilgisayarla Görme. Vize. İris Segmentation. Selçuk BAŞAK

Kablosuz Sensör Ağlar ve Eniyileme. Tahir Emre KALAYCI. 21 Mart 2008

Teknik Rapor Seminer Raporu

TANIMLAYICI İSTATİSTİKLER

KATI CİSİMLERİN BAĞIL İVME ANALİZİ:

BAZI İLLER İÇİN GÜNEŞ IŞINIM ŞİDDETİ, GÜNEŞLENME SÜRESİ VE BERRAKLIK İNDEKSİNİN YENİ ÖLÇÜMLER IŞIĞINDA ANALİZİ

KESİTLERİN ÇIKARILMASI

DENEY 2. Statik Sürtünme Katsayısının Belirlenmesi. Süleyman Demirel Üniversitesi Fen Edebiyat Fakültesi

ARAZİ ÖLÇMELERİ Z P. O α X P. α = yatay açı. ω = düşey açı. µ =eğim açısı. ω + µ = 100 g

NOKTA, ÇİZGİ VE DÜZLEMİN İZDÜŞÜMÜ

FOTOGRAMETRİ KAMERA KALİBRASYONU ÖDEV YÖNERGESİ

Görüntü Eşleştirme Kullanan Temassız Ray Hattı Durum Analizi Yöntemi Contactless Rail Track Condition Analysis Approach Using Image Matching

2015/2016 Bahar Yarıyılı Bitirme Çalışması Konuları. (Doç.Dr. M. Kemal GÜLLÜ)

ÇİFT EŞİK DEĞERLİ GÖRÜNTÜ NETLEŞTİRME YÖNTEMİ

BURULMA DENEYİ 2. TANIMLAMALAR:

BİLECİK ŞEYH EDEBALİ ÜNİVERSİTESİ MÜHENDİSLİK FAKÜLTESİ MAKİNE VE İMALAT MÜHENDİSLİĞİ BÖLÜMÜ

MÜHENDİSLİK MEKANİĞİ (STATİK)

ULAŞIM YOLLARINA AİT TANIMLAR

KUVVET, MOMENT ve DENGE

Elektronik Denetleme Sistemleri

Şekil 8.1: Cismin yatay ve dikey ivmesi

ORM 7420 USING SATELLITE IMAGES IN FOREST RESOURCE PLANNING

Transkript:

Gebze Yüksek Teknoloji Enstitüsü Bilgisayar Mühendisliği Bölümü PK.141 41400 Gebze/Kocaeli Teknik Rapor Seminer Raporu TM #: Başlık: Anahtar Kelimeler: Yazarlar: Demiryollarında hareket halinde olan objelerin bulunması için bir bilgisayarla görme algoritmasının uygulanması Bilgisayarla Görme, Stereo, V-disparity, Engel Bulma Fatih Kaleli Tarih: 16.01.2009 Yayın Dili: Türkçe

Özet: Demiryollarında tren hareketinin haricinde hareket halinde olan objeler, özellikle geçitlerde (hemzemin geçit vs gibi) meydana gelen kazalarda etken olarak ön plana çıkmaktadır. Örneğin geçitlere yaklaşmakta olan bir trenin önündeki demiryolları üzerinden geçmekte olan araç veya insan benzeri objelerin tespiti, bu kazaların önlenmesinde önemli bir çözüm olacaktır. Bu seminer çalışmasında, ileri doğru bakacak şekilde lokomotife monte edilmiş iki kameralı bir vision sisteminden elde edilen görüntülerde, tren hareketinin haricinde, demiryollarında hareket halinde olan objelerin bulunması için U-V-disparity görüntüleri yardımıyla bir bilgisayarla görme algoritmasının uygulanması amaçlanmaktadır. Anahtar Kelimeler: Bilgisayarla Görme, Stereo, V-disparity, Engel Bulma Abstract: Moving objects crossing in front of the train may cause grade-crossing crashes. For instance, detection of obstacles (people, vehicles) crossing in front of the train will be an important potential solution. In this seminar study, we concentrate on detecting of obstacles from train video sequences which is taken off cameras installed in front of a locomotive and the implementation of a computer vision algorithm by using U-V-disparity images. Keywords: Computer Vision, Stereo, V-disparity, Obstacle Detection 2

Demiryollarında hareket halinde olan objelerin bulunması için bir bilgisayarla görme algoritmasının uygulanması Fatih Kaleli GYTE Bilgisayar Mühendisliği Bölümü, fkaleli@bahcesehir.edu.tr 1. Sunuş TCDD istatistiklerine göre 2003-2007 yılları arasında demiryolarında meydana gelen toplam kaza sayısı 2734 olarak belirtilmektedir. Rapora göre bu kazaların 69 u çarpışma şeklinde, 705 i trenin şahsa çarpması şeklinde ve 901 i ise geçit çarpışması şeklinde olan kazalardır. Kazalarda trenin şahsa çarpması sonucu hayatını kaybeden insan sayısı 420 ve geçit çarpışmaları sonucu meydana gelen ölümlerdeki sayı ise 245 dir [1]. İstatistiki verilerin de gösterdiği gibi kazalardaki insan hayatının kaybı ve bununla beraber maddi hasar oldukça yüksektir. Demiryollarında tren hareketinin haricinde hareket halinde olan objeler, özellikle geçitlerde (hemzemin geçit vs gibi) meydana gelen kazalarda etken olarak ön plana çıkmaktadır. Örneğin geçitlere yaklaşmakta olan bir trenin önündeki demiryolları üzerinden geçmekte olan araç veya insan benzeri objelerin tespiti, bu kazaların önlenmesinde önemli bir çözüm olacaktır. Dolayısıyla tren çarpışma uyarı sistemi ve makinistlere yardımcı olarak engel bulma sistemleri oldukça önem kazanmaktadır. Özellikle geçit kazalarındaki faktörler analiz edilerek potansiyel çözümlerin bulunması gerekmektedir. Engel bulma amaçlı olarak sistemlerde lazer sensör, radar vs benzeri donanımlar yaygın olarak kullanılmasına rağmen, bu sensörler donanımsal kısıtlamalardan dolayı yeterli fonksiyonel bilgiyi sağlamamaktadırlar. Özellikle bu sensörlerle dış ortamın bir dereceli olarak tarandığı durumlarda, ince engellerin bulunamaması gibi durumlar ortaya çıkacaktır [3]. Buna ilave olarak tespit edilen engellerin ne olduğu hakkında detaylı bilgi verebilmek ve doğru bir sınıflandırma yapmak mümkün olmamaktadır. 3

Bir bilgisayarla görme sistemi, engellerin tanınması ve sınıflandırılması açısından çok önemli bir veri toplama kaynağıdır. Buradaki problem ise video görüntülerinin çok detaylı bilgi içermesi ve dolayısıyla gerçek zamanlı uygulamalarda gerekli bilginin çok kısa bir sürede çıkartılmasının çok fazla mümkün olmamasıdır. Bir diğer problem ise engel tanımada vision sisteminin yanı sıra lazer, radar benzeri donanımların kullanılması durumunda, bu tarz sistemlerden gelen verinin vision sistemi ile koordineli olarak değerlendirilmesinde ortaya çıkmaktadır. Bu problemlere rağmen gelişen bilgisayar sistemleri ve bilgisayarla görme algoritmaları sayesinde bir çok gerçek zamanlı uygulama için bilgisayarla görme sistemleri tek başına yeterli ve gerekli olan bilgiyi vermektedir. Dış ortamın üç boyutlu yapısının çıkartılması, engel tespit etme ve benzeri problemler için geliştirilen bilgisayarla görme tekniklerinin çoğunluğunda stereo kamera sistemi kullanılmaktadır. Stereo sisteminin kullanıldığı uygulamalarda gerçek zamanlı çalışma kısıtlamalarından dolayı seyrek (sparse) karşılaştırma metodları kullanılmaktadır. Fakat bu tarz yöntemler, ortamın 3B yapısını oldukça yetersiz olarak çıkartacaklardır [4]. Ortamın yapısı hakkında daha doğru ve detaylı bilgi alabilmek için seyrek karşılaştırma yöntemleri yerine yoğun (dense) karşılatırma yöntemleri tercih edilmektedir. Yoğun karşılaştırma yöntemlerinin çoğunluğunun uygulanması ise gerçek zamanlı uygulamalardaki kısıtlamalardan dolayı çok fazla maliyetli olmaktadır. Bu seminer çalışmasında, ileri doğru bakacak şekilde lokomotife monte edilmiş iki kameralı bir vision sisteminden elde edilen görüntüler üzerinde çalışılacaktır. Sistemden alınan video görüntülerinden, tren hareketinin haricinde, demiryollarında hareket halinde olan objelerin bulunması için U-V-disparity görüntüleri yardımıyla bir bilgisayarla görme algoritmasının uygulanması amaçlanmaktadır. Bu yöntem, disparity değerlerinin kullanıldığı belli bir oylama mantığına göre elde edilen görüntülerden, engellerin tespit edilmesinde ve yolun boylamsal profili hakkında bilgi edinilmesinde oldukça yararlı bir yöntem olarak kullanılmaktadır. Bu seminer raporunun genel yapısı aşağıdaki gibidir. Öncelikle çalışma için hazırlanan kamera sistemi ikinci kısımda anlatılmaktadır. Üçüncü kısımda, engel bulma için kullanılan U-V-disparity yöntemi yer almaktadır. Dördüncü bölümde ise deneylerden 4

elde edilen sonuçlar gösterilmektedir. Sonuçların yorumlanması ve ileriye dönük planlara son bölümde yer verilmiştir. 2. Kamera Sistemi Bu seminer çalışmasında ihtiyaç duyulan video görüntüleri için T.C Devlet Demiryolları nın İstanbul Haydarpaşa-Adapazarı arasında çalışan bir lokomotifine, tren yoluna bakacak şekilde aynı tipte iki adet kameradan oluşan bir kamera düzeneği hazırlanmıştır. Bu iki istasyon arasındaki mesafe yaklaşık olarak 150 km dir ve rota üzerinde çok sayıda istasyon, hemzemin geçit bulunmaktadır. Video görüntüleri gerçek zamanlı olarak (640 x 480 çözünürlük, 24 f/s) lokomotifin ön tarafında yer alan bilgisayar ve kamera düzeneği ile alınmıştır. Şekil-1 lokomotifin iç tarafında yer alan kamera düzeneğini ve stereo koordinat sistemini göstermektedir. Şekil 1. Stereo-vision and koordinat sistemi Stereo sisteminde iki görüntü (image) düzleminin demiryolundan aynı yükseklikte ve kameraların epipolar çizgilerinin paralel olması gerekmektedir. Şekil-1 soldaki koordinat sisteminde R (demiryolu koordinat sistemi), R (sol kamera), R (sağ kamera), θ ( a kameraların optic eksen ile yatayla yaptıkları açı), h (kameraların demiryolundan yükseklik değeri) ve b (kameralar arasındaki baseline mesafesi) bilgileri gösterilmektedir. cl cr 5

Bu seminer çalışmasında uygulanacak v-disparity yönteminin görüntü düzlemindeki hesaplamaları aşağıdaki formüllerle gerçekleştirilir [2]: Ra üzerinde yer alan 3B dünya düzlemindeki bir P ( X, Y, Z,1) görüntü üzerindeki bu noktanın projeksiyonu: v = v l = v r [ v θ + α cosθ ]( Y + h) + [ v cosθ α sinθ ] T noktası için, sol ya da sağ v = 0 sin 0 Z ( Y + h)sinθ + Z cosθ (1) formülü ile bulunur. P noktasının disparity değeri denklem 2 ile bulunur. αb Δ = ul ur = (2) ( Y + h)sinθ + Z cosθ 3. U-V-disparity yöntemi ve uygulanan algoritmanın temel basamakları Bu bölümde U-V-disparity yöntemi ile demiryollarında hareket halinde olan objelerin bulunması için uygulanan bilgisayarla görme algoritmasının aşamaları anlatılmaktadır. Şekil-2 de gösterildiği gibi demiryolu üzerinde yer alan bir engelin, görüntü üzerinde yerinin tespiti için öncelikle stereo sisteminden gelen (sol kamera ve sağ kameradan alınan) görüntülerin rectification işlemi gerekmektedir. x y Şekil 2. Demiryolu videosuna ait herhangi bir frame 6

Bu aşamalardan sonra uygulanacak algoritma sırasıyla: 1. Disparity görüntünün oluşturulması 2. U-V-disparity görüntülerin hesaplanması 3. Engellerin yerlerinin bulunması 3.1 Stereo Rectification Stereo karşılaştırma problemi, görüntülere rectification işlemi uygulanırsa daha kolay ve etkin bir şekilde çözülebilir. Bu aşamada sol ve sağ kameradan alınan görüntülerde epipolar çizgilerin yatay olarak hizalanması için transformasyon işlemi uygulanır. Şekil- 3 de epipolar çizgilerin yatay hale getirilmesi gösterilmektedir. Bu işlem sağlandıktan sonra görüntülerde stereo karşılaştırma işlemi tek boyuta indirgenerek, satırlar üzerindeki her bir nokta ya da özellik(feature) noktaları arasındaki fark kolaylıkla bulunabilir [10]. Şekil-4 de ise örnek bir test görüntüsü için bu transformasyon gösterilmektedir. Şekil 3. Stereo rectification Şekil 4. Stereo rectification: üst (sol ve sağ görüntüler), alt (rectification işlemi sonrasındaki görüntüler) 7

3.2 Disparity Görüntünün Oluşturulması Disparity görüntünün oluşturulması karşılaştırma yöntemine göre farklılık gösterecektir. Yoğun (dense) karşılaştırma yöntemi uygulacaksa tüm piksel noktaları için, seyrek (sparse) karşılaştırma yöntemi uygulanacak ise özellik(feature) noktalar için disparity hesaplaması yapılır. Seyrek (sparse) karşılaştırma yöntemi kullanılması ortamın 3B yapısını oldukça yetersiz olarak çıkartacakdır. Dolayısıyla bu çalışmada yoğun (dense) karşılaştırma yöntemi temel alınarak, disparity görüntü oluşturulmaktadır. Test görüntülerdeki tüm noktaların karşılaştırılması için farklı metotlar kullanılmaktadır. Bunlardan bazıları Mutlak Fark (Absolute Difference), Ortalama Kare Hata Bulma (Mean Square Error) ve Normalize Kros Korelasyon (Normalized Cross Correlation, NCC) metotlarıdır. Bu seminer çalışmasında tüm piksel noktaların karşılaştırılması için hızlı çalışması ve ortamın parlaklık durumlarına daha az duyarlı olması sebebiyle Normalize Kros Korelasyon (Normalized Cross Correlation, NCC) yöntemi uygulanmıştır. Normalize Kros Korelasyon (Normalized Cross Correlation, NCC): NCC = ( i, j) W ( i, j) W ( f ( f 1 1 ( i, j) ( i, j) f )( f 1 1 ( i, j) f 2 2 f ) ( f ( i, j) f ) 2 2 ) 2 2 (3) f k ( i, j) herhangi bir k bloğunu, göstermektedir. f k bloğun ortalama değerini, W ise pencereyi Bu yöntem her bir nokta (piksel) için bir blok oluşturur. Bu blok üzerinden NCC (denklem-1) hesaplanır. Maksimum NCC değerini veren nokta (piksel), karşılık gelen nokta olarak belirlenir. Şekil-5 ve Şekil-6 da örnek test görüntü çifti için NCC metodu ile elde edilen disparity görüntü gösterilmektedir. 8

a) sol görüntü b) sağ görüntü c) disparity görüntü Şekil 5. Disparity görüntünün hesaplanması Şekil 6. Disparity görüntünün hesaplanması: farklı disparity değerleri farklı renklerle gösterilmiştir. 3.3 V-disparity görüntünün hesaplanması Disparity görüntü elde edildikten sonraki aşama olan V-disparity görüntünün oluşturulması gerçekleştirilir. Bu aşamada şekil-6 da gösterildiği gibi v ekseni boyunca disparity görüntüdeki aynı değerde olan disparity değerleri toplanır. I Δ H : NCC ile elde edilen disparity görüntü olsun. : disparity görüntüde herhangi bir satırdaki aynı disparity değerine sahip noktaları toplayan fonksiyon olsun. 9

I vδ : elde edilecek v-disparity görüntü olsun. Denklem 4, v-disparity görüntünün hesaplanmasını göstermektedir. I v H ( I Δ ) (4) Δ = Şekil 6 da sağdaki görüntüde verilen sentetik stereo çifti için hesaplanan v-disparity görüntü gösterilmektedir. Görüntüdeki d disparity değerlerini, v ise satır sayısını göstermektedir. a) sol görüntü b) sağ görüntü c) v-disparity görüntü Şekil 6. V-disparity görüntünün hesaplanması 3B dünya düzleminde dik olan yüzeyler, v-disparity görüntüde dik yüzeyleri oluştururken, yatay düzlemler ise v-disparity görüntüde eğik yüzeyleri oluşturmaktadır. Şekil-6 da görüldüğü gibi yol bilgisi, v-disparity görüntüde eğik çizgiyi oluştururken, en yakın yayadan gelen bilgiler ise dik olan çizgiyi oluşturmaktadır. Buradan da anlaşılabileceği gibi v-disparity görüntüdeki eğik olan çizgi ile yolun boylamsal profili hakkında bilgi edinilebilmektedir. Özet olarak v-disparity görüntüde dik olan çizgiler ile 3B dünya düzlemindeki dik objeler gösterilmektedir. Bu da yol üzerindeki engel olabilecek objelerin tespitinde en yararlı bilgiyi içermektedir. Şekil-7 de seminer çalışmasındaki test görüntülerinden elde edilen v-disparity görüntüden de anlaşılabileceği gibi demiryolu üzerindeki insandan gelen disparity bilgileri, v-disparity görüntüde dik olan çizgiyi göstermektedir. 10

3.4 Yanal (lateral) bilgi için U-disparity görüntünün hesaplanması Dikey yüzeylerin bulunmasının yanı sıra engellerin yerlerinin doğru tespiti için yatay konumdaki yerinin de tespiti gerekmektedir. U-disparity görüntünün oluşturulması bu bilginin elde edilmesinde önemli bir aşamadır. U-disparity görüntü, v-disparity görüntünün aksine sutünlar üzerindeki aynı disparity değerlerine sahip noktaların toplanarak oluşturulması ile elde edilir. Bu görüntü sayesinde dikey olan yüzeylerin yatayda oluşturacakları çizgilerden yerlerin tespiti gerçekleştirilmektedir. Şekil-8 de örnek test görüntüsünden elde edilen u-disparity görüntü yer almaktadır. Şekil 7. a) test görüntü b) v-disparity 3.5 Engellerin yerlerinin belirlenmesi Bir engelin yerinin tespiti için yolun boylamsal profiline, engelin yüksekliğine ve yanal pozisyon bilgisine ihtiyaç vardır. Yolun boylamsal profili ve engelin yükseklik bilgisi v- disparity görüntüden, engelin yanal pozisyon bilgisi ise u-disparity görüntüden elde edilmektedir. Sonuç olarak her iki görüntüden (V-disparity ve U-disparity) dikey ve yatay çizgilerin koordinat noktalarının kesişimi ile görüntü üzerindeki engelin piksel cinsinden yeri bulunmaktadır. Disparity değerleri ve kalibrasyon verileri kullanılarak stereo 11

üçgenleme yöntemi ile engelin gerçek dünya düzlemi üzerindeki 3B noktalarının yeri tespit edilebilir. Şekil-8 de test görüntü üzerinde u-v-disparity görüntülerden gelen bilgilerin kesişimi ile demiryolu üzerindeki engelin yeri kolaylıkla tespit edilebilmektedir. Şekil 8. Engelin yerinin görüntü üzerinde tespit edilmesi Üst: u-disparity, eşik değeri ile u-disparity, orta: test görüntü, sağ: eşik değeri ile v-disparity, v-disparity Şekil 9. Engelin yerinin görüntü üzerinde tespit edilmesi üst: sol, sağ ve disparity görüntü, alt: sırasıyla u-disparity, v-disparity, u-disparity tanım kümesi ve v- disparity tanım kümesi 12

V-disparity yöntemi kullanarak engellerin yerlerinin belirlenmesindeki temel problem yakın dikey yüzeylerin birbirlerinden doğru bir şekilde ayırt edilememesidir. Şekil-9 da örnek sentetik görüntülerden elde edilen v-disparity ve u-disparity görüntülerdeki yatay ve dikey çizgilerin karşılaştırılması numaralandırılmış olarak gösterilmektedir [5]. 4. Deneysel Sonuçlar U-V-Disparity yöntemi demiryolu görüntülerine uygulanarak elde edilen sonuçlar aşağıda yer almaktadır. Bulunan dikey yüzeyler için herhangi bir sınıflandırma yapılmaması nedeniyle demiryolu görüntülerindeki mevcut olan tüm dikey yüzeyler engel olarak gösterilmektedir. Deney görüntülerinde u-v-disparity yönteminin genel olarak başarılı sonuçlar verdiği gözükmektedir. Özellikle demiryolu üzerindeki objelerin tespiti doğru bir şekilde yapılabilmektedir. Fakat eğer yatay düzlemin üzerindeki dik yüzeyler çok yakın sıklıkta yer alıyorsa bunları birbirinden ayırt edebilmek ve u-vdisparity görüntülerdeki yatay ve dikey çizgileri karşılaştırmak oldukça zor bir durum haline gelmektedir. a) b) c) g) d) e) f) Şekil 10. Yüzeylerin bulunması a)u-disparity tanım kümesi, b)u-disparity, c) eşik değeri ile u-disparity, d)v-disparity tanım kümesi, e)v-disparity, f)eşik değeri ile v-disparity, g)test görüntü 13

Örneğin şekil-10 daki görüntülerde tren yolundaki insan çok kolay olarak bulunabilmesine karşın görüntünün sağ tarafında yer alan ağaçlar arasındaki disparity değişimi az olduğundan ayırt edebilmek güçleşmektedir. a) b) c) g) d) e) f) Şekil 11. Yüzeylerin bulunması a)u-disparity tanım kümesi, b)u-disparity, c)eşik değeri ile u-disparity, d)v-disparity tanım kümesi, e)v-disparity, f)eşik değeri ile v-disparity, g)test görüntü Benzer olarak şekil-11 de demiryolu üzerinde yer alan iki insan doğru bir şekilde bulunabilmektedir. Şekil-11 soldaki ve üsteki görüntüler ise u-disparity ve v-disparity görüntüleri ile bu görüntülerde yer alan çizgilerin karşılaştırılmasını göstermektedir. U- V-disparity görüntülere bir eşik değeri uygulanarak dikey ve yatay çizgilerin daha kolay tespitinin yapılması amaçlanmıştır. Buna ilave olarak çizgilerin kolayca çıkartılması için hough transform gibi yöntemlerde u-v-disparity görüntülere uygulanabilir. U-V-disparity ile engel bulmada bir başka durum ise; stereo teoreminden derinlik ve disparity ters orantılı olarak değiştiği için, çok uzakta yer alan objelerin disparity değişimi küçük olacağından, bu engellerin arka plandan seçilebilmesi ayrı bir problem olarak ortaya çıkmaktadır. Şekil-12 de bu duruma örnek olarak demiryolu üzerindeki 14

insanın bulunması, daha önceki görüntülere göre daha zor tespit edilmektedir. Eğer en arkadaki ağaçlık alana yakın olarak demiryolu üzerinde daha uzakta bir engel olursa, bu engelin ağaçlık bölgeden ayrı olarak doğru bir şekilde tespit edilmesi bu yöntemle mümkün olmayacaktır. a) b) c) d) Şekil 12. Yüzeylerin bulunması ve engellerin tespiti a) eşik değeri ile u-disparity, b) eşik değeri ile v-disparity, c) test görüntü ve d) disparity görüntü. a) b) c) d) Şekil 13. Yüzeylerin bulunması ve engellerin tespiti a) eşik değeri ile u-disparity, b) eşik değeri ile v-disparity, c) test görüntü ve d) disparity görüntü. 15

Son olarak şekil-13 te hemzemin geçitten geçmekte olan bir aracın u-v-disparity ile bulunması gösterilmektedir. 5. Sonuç ve Gelecekte Yapılacak Çalışmalar Bu seminer çalışmasında, tren hareketinin haricinde, demiryollarında hareket halinde olan objelerin bulunması için u-v-disparity görüntüleri ile bir bilgisayarla görme algoritmasının demiryolu görüntülerine uygulanması gerçekleştirildi. Deneysel sonuçlarda detaylı olarak belirtildiği gibi u-v-disparity yaklaşımı ile genel olarak demiryolları görüntülerindeki dikey yüzeyler başarılı bir şekilde bulundu. Bulunan dikey yüzeyler arasında herhangi bir sınıflandırma yapılmadığı için belli bir eşik değerinin üstündeki dikey olan her yüzey engel olarak dikkate alındı. Bu durumda demiryolunun üzerindeki insan, araç ve benzeri objelerin yanı sıra arkaplan olarak kabul edilebilecek ağaç, direk benzeri dikey yüzeye sahip objeler de engel olarak algılanmaktadır. Bu durumun önlenebilmesi için bir ileri çalışmaya daha ihtiyaç vardır. Bu da öncelikle demiryolu üzerinde olan dikey yüzeylerin engel olabileceği bunun dışında kalanların ise dikkate alınmayacağı şeklinde bir yaklaşım ile demiryolu üzerinde olan engeller tespit edilebilir. Bunun için öncelikle demiryolu bilgisinin tüm görüntüden çıkartılması gerekmektedir. İleri çalışmalarda engellerin sınıflandırılması, özellikle uzakta yer alan engellerin bulunabilmesinin sağlanması ve demiryolu bilgileri çıkartılarak sadece üzerindeki ya da çok yakınında yer alan engellerle ilgilenilmesi amaçlanmaktadır. 16

Kaynakça [1] T.C.D.D İstatistik Yıllığı, 2003-2007. http://www.tcdd.gov.tr/genel/istatistik.htm [2] Raphael Labayrade, Didier Aubert ve Jean-Phillippe Tarel: Real Time Obstacle Detection in Stereovision on Non Flat Road Geometry Through V-disparity Representation, IEEE Transactions On Intelligent Vehicle Sympossium, 2002. [3] Alberto Broggi, Claudio Caraffi, Rean Isabella Fedriga ve Paolo Grisleri: Obstacle Detection with Stereo Vision for Off-Road Vehicle Navigation, CVPR 05. [4] N.Hautiere, R.Labayrade, M.Perrollaz ve D. Aubert: Road Scene Analysis by Stereovision: a Robust and Quasi-Dense Approach, ICARCV06. [5] Zhencheng Hu, Francisco Lamosa ve Keiichi Uchimura: A Complete U-V-Disparity Study for Stereovision Based 3D Driving Environment, Proceedings of the Fifth International Conference on 3-D Digital Imaging and Modeling (3DIM 05). [6] Yi Wei, Yu Li ve Shushu Hu: On-road Obstacle Detection based on Stereovision Analysis, Proceedings of the 2007 IEEE International Conference on Mechatronics and Automation, Harbin, China, August 5-8, 2007. [7] N. Suganuma, N.Fujiwara: An Obstacle Extraction Method Using Virtual Disparity Image, Proceedings of the 2007 IEEE Intelligent Vehicles Sympossium, Istanbul, Turkey, June 13-15, 2007. [8] Claudio Caraffi, Stefano Cattani ve Paolo Grisleri: Off-Road Path and Obstacle Detection Using Decision Networks and Stereo Vision, IEEE Transaction on Intelligent Transportation Systems, Vol. 8, No: 4, December 2007. [9] Nicolas Soquet, Didier Aubert ve Nicolas Hautiere: Road Segmentation Supervised by an Extended V-Disparity Algorithm for Autonomous Navigation, in Proc. IEEE Intelligent Vehicles Symposium, 13-15 June 2007, pp. 160 165. [10] Marc Pollefeys, Reinhard Koch ve Luc Van Gool: A simple and efficient rectification method for general motion, IEEE ICCV 99. [11] Kunsoo Huha, Jaehak Park, Junyeon Hwang, Daegun Hong: A stereo vision-based obstacle detection system in vehicles, Optics and Lasers in Engineering, 2008. 17