Yol üzerinde trafik ve araç durumunun video analiz yöntemleri ile incelenmesi

Transkript

1 Yol üzerinde trafik ve araç durumunun video analiz yöntemleri ile incelenmesi Cem Çandar, Ö. Nezih Gerek Anadolu Üniversitesi, Elektrik-Elektronik Müh. Böl., Eskişehir ÖZETÇE Trafik akışının ve araç durumunun otomatik incelenmesi ve gerektiğinde log tutularak alarm üretilmesi, konuyla ilgili kuruluşlara önemli katkılar sağlayacaktır. Bu çalışmada, bu amaca yönelik bir yöntem geliştirilmiştir. Yöntemin deney aşamasında yol üzerinde bulunan sabit kameralardan video görüntüleri alınmış ve benzeşim çalışmaları yapılmıştır. Geliştirilen yöntemin kullanılan çok sayıda deney verisi üzerinde başarılı sonuçlar verdiği gözlenmiştir. Uygulanan algoritma, bahsedilen türde video incelenmesi için kurala dayalı olarak çalışmaktadır. Bu nedenle çalışma sonunda yol ve trafik analizi için bir uzman sistem geliştirilmiştir. 1. GİRİŞ Video görüntüleri ses, olay, yer ve zaman bileşenleri ile kompleks bir veriyi temsil etmektedir. Bu geniş içeriğin analizinden elde edilecek sonuçların çeşitliliği sayısal video işlemeye verilen önem ve gösterilen ilgiyi gün geçtikçe arttırmaktadır. Hareket halindeki üç boyutlu bir nesnenin zamana göre, uzaydaki ardışık çizgisel ve açısal konumlarından yararlanarak hareketinin takip edilmesi kontrol uygulamaları açısından son derece önemlidir. Video analizindeki önemli aşamalardan biri video geçişlerinde hareketli cisimlerin tespit edilmesidir. Hareketli hedeflerin bulunması savunma ve güvenlik sistemlerinde olduğu gibi, yol trafik kontrolü [1], otopark kontrolü gibi durumlarda da önem kazanmaktadır. Yoldaki araçların hareketleri analiz için baz alınırken, bu hareketlerin ürettiği alarmlar olan; sollama, yakın takip, kaza, aşırı sürat [2], yabancı cisim, vs. hareket senaryolarını oluşturmaktadır. Hareket verilerine doğru ulaşabilmek ise veri görüntüdeki ilgilenilen nesnenin şekil ve konum bilgilerinin [3] minimum hatayla tespit edilmesini gerektirmektedir. Görüntüde aranan nesnenin kenarlarının doğru ve hatasız bulunması ya da cisim hareketinin hassas tespit edilmesi [4], cismin gerçek şeklini de ortaya çıkarmaktadır. Bu çalışmada cisim şekilleri, video serisindeki kareler arası fark ve kenar bulma algoritmalarıyla belirlenmektedir. Zaman ekseninde dizelenmiş video karelerindeki bu nesne şekillerinin anlamlı hareketlerinin yorumlanabilmesi için kurala dayalı bir algoritma geliştirilmiştir. Gerçekleşebilecek pek çok hareket senaryoları göz önünde tutularak geliştirilen bu algoritmada, ilgilenilen nesnenin geçmiş zamandaki hareketleri, beklenen cisim hareketi için temel olmuştur. Hareket tahmini ile ilgili yapay sinir ağlarının ve bulanık mantığın kullanımı, önceki hareketin olasılık dağılımı ile geleceğin tahmini [5,6] sunulabilecek alternatif yollardır. 2. HAREKET ANALİZİ Sayısal resimlerde günümüze kadar yapılan hareket analizi yöntemlerini üç farklı başlık altında toplamak mümkündür. Bunlar sırasıyla; blok tabanlı hareket analizi yöntemi (Block-Based Motion 1

2 Analysis), piksel tabanlı hareket analizi yöntemi (Pixel-Based Motion Analysis) ve bölge tabanlı hareket analizi yöntemi (Region-Based Motion Analysis) dir [7]. Bu çalışma ile sunulan yöntem ardışıl iki resmin farkı esasına dayanmaktadır. Bu metot bölge tabanlı hareket analizi yönteminin varyantı olarak düşünülebilir. Elde edilen bu fark resminde kenar haritaları bulunarak video karelerindeki hareketli piksellere ulaşılması problemin çözümü için uygun görülmüştür. Arka plan görüntüsünden bu şekilde ayrıştırılan piksel gruplarının yoğun ve kararlı olduğu bölgeler sayısal görüntü işleme yöntemleri ile bulunup incelenmektedir. Böylece resimlerde var olan ve/veya olmayan hareketli cisimler tespit edilmektedir. 2.1 Yol Sınırları Alınan görüntünün tamamı amacımız için kullanılmak zorunda olmayabilir. Bu nedenle analiz için kullanılacak yol resminde yolun sınırları kullanıcı yardımı ile belirlenmektedir. Yolun sol-alt, solüst, sağ-alt ve sağ-üst köşeleri belirtilerek dörtgen bir ilgi bölgesi oluşturulmaktadır. İncelenecek tüm hareketin bölgesi; A(x 1,y 1 ), B(x 2,y 2 ), C(x 3,y 3 ) ve D(x 4,y 4 ) yol köşe noktaları ile sınırlıdır (Şekil 2.1). Şekil 2.1. Yol sınırları çizilerek oluşturulan ilgi bölgesi. Bu ilgi bölgesinin içerisindeki her o(m,n) noktası, Şekil 2.1 de gösterilen l 1, l 2, l 3 ve l 4 doğruları için; doğru denklemlerinde l 1 (m,n)>0, l 2 (m,n)>0, l 3 (m,n)>0 ve l 4 (m,n)<0 eşitsizliklerini sağlamak zorundadır. 2.2 Fark Resmi Çalışmadaki fark görüntülerinin (Şekil 2.2.(c)) elde edilmesinde referans resmi olarak yolun boş halindeki resmi kullanılmaya başlanmaktadır. Zaman ilerledikçe aydınlatma, ışık şiddeti, vs. şartlarının değişmesini referans resme yansıtmak amacı ile, her yeni görüntüdeki hareketsiz bölgeler referans resmine yamanmaktadır. Referans (Şekil 2.2.(b)) ve o anki video kareleri (Şekil 2.2.(a)) fark işlemine tabi tutulmadan önce tüm renk bileşenleri bir ön temizleme işleminden geçmektedir. Ön temizlemede kullanılan medyan filtreleme sonucunda kameranın ürettiği gereksiz gürültü noktacıkları giderilirken, keskin renk geçişinin olduğu kenarlar korunmaktadır. (a) (b) (c) Şekil 2.2. (a)-incelenen kare, (b)-referans resmi, (c)-fark resmi. 2

3 2.3 Bölütleme Tek renkli görüntülerin bölütlenmesi algoritmaları, gri seviye değerlerinin süreksizlik ve benzerlik parametrelerine dayanır. Görüntü üzerindeki süreksizlikleri bulmanın en yaygın yolu, görüntü üzerinde bir maskenin dolaştırılmasıdır. Maskenin kapsadığı bölgedeki gri seviyelerden yararlanılarak çeşitli katsayılar hesaplanır ve bu katsayılara göre süreksizlikler bulunur [8]. Bu çalışmada, yukardaki yöntem her renk bileşeni üzerine ayrı ayrı uygulanmakta ve sonuçlar birleştirilerek renkli resimlerin kullanılabilirliği sağlanmıştır. Fark resminde sıfırdan farklı piksel değerine sahip pikseller potansiyel olarak hareketli bölge adayıdır. Bu aday bölgeden yola çıkılarak, o anki resim üzerinde kenar bulma yöntemi uygulanmakta; kararlı grup oluşturan hareketli bölgeler bulunmaktadır (Şekil 2.3.(a)). Bu bölgelerden ilgi bölgesi içerisinde kalanlar seçilip ikili görüntü işleme yöntemleri kullanılarak iyileştirilmektedir (Şekil 2.3.(b)-(c)). Bu inceleme sonucunda belirlenen eşik değerini geçen, bir araca ait olabilecek büyüklükteki ve ilgi bölgesindeki parçalar sınıflandırılmakta ve ayrı ayrı numaralandırılmaktadır. (a) (b) (c) (d) Şekil 2.3. (a)-fark resminin tüm kenarları, (b)-ilgi bölgesindeki kenarlar, (c)-iyileştirilen kenar, (d)- Cisim bölgesi. Kenar resmine uygulanan morfolojik fonksiyonlar sayesinde kenar haritaları belirgin hale getirilmektedir (Şekil 2.3.(c)). Kenar resminde, 8 li köşegen ve köprü bağlantılı olan pikseller birleştirilerek bu belirginleştirme işlemi yapılır. 2.4 Cisim Bölgeleri Çalışmamızda her bir hareketli yer grubunun etrafını saracak en küçük dik açılı kutu (kare veya dikdörtgen), cisim bölgesi olarak ele alınmıştır (Şekil 2.3-(d)). Bulunan bu kutu veya kutucuklar, video serisi süresince çeşitli doğrultularda ve bazen de şekillerini az da olsa değiştirerek hareket etmektedir. Video serisi süresince zaman zaman görüntüdeki gürültüler nedeniyle kenar bulma algoritması tutarsız sonuçlar vermektedir. Bu ise cismi çevreleyen kutuların bölünmesi veya birleşmesini doğurmaktadır. Birleşme hatası, kenar haritası üzerinde bir cisme ait olduğu düşünülen kenarların maksimum-minimum noktalarının, diğer cisimlere ait olduğu düşünülen kenar çizgilerinin maksimum-minimum değerleriyle düşey ve yatay eksende karşılaştırılması yöntemiyle engellenmektedir. Karşılaştırma sonucunda elde edilen neticeye göre farklı cisimlere ait kenar kesişmesi varsa; bu kesişmeyi yaratan noktalar bulunup değerleri düzeltilerek cisim bölgelerinin kesişmeleri engellenmektedir. Durum bölünme hatası ise, hareket kurallarını temel alan bir algoritma ile düzeltilmektedir. Bu ayrıştırma işlemlerinden sonra yapılan markalama işlemi ile cisim çerçeveleri daha gürbüz hale getirilmektedir. Bu çerçevelerin köşe koordinat noktaları, alanları ve merkez noktaları, yakalanan her bir cismin özniteliklerini oluşturmaktadır. Bu işlemlerden sonra çevrelenen her bir görüntü bölütü ayrı bir cismi temsil etmektedir. 3

4 (a) (b) (c) Şekil 2.4. Kesişme. (a)-incelenen resim, (b)-çerçeveleme sonrasında kesişen iki ayrı ait kenar haritaları, (c)- birbirinden ayrıştırılan çerçeveler. 3. CİSİM HAREKETİ İncelenen resim üzerindeki çerçevelerin köşe koordinat bilgileri yeni verileri alta eklenip, eski bilgileri yukarı kaydırılan, ve en üstteki bilgilerin iptal edildiği bir matriste tutulmaktadır. Zaman ilerledikçe değişen tüm koordinat bilgileri, değişimlerine göre değerlendirilmekte ve bu farklılıklarıyla cisim hareketlerine anlam vermektedir. Görüntü üzerinde yakalanan cisim çerçevelerinin her birinin orta noktaları arasında ilişkiler kurularak cisimlerin hareketlerini tanımlayacak parametreler hesaplanmaktadır. 3.1 Cisim Takibi İncelenen resimlerden görüntü işleme metotlarıyla elde edilen tüm veriler, her görüntü için bir matriste tutulmaktadır. Bu matrislerin diziliminde, aynı cisme ait tüm verilerin aynı sütunda yer almasına dikkat edilmiştir. Böylece bir cisme ait veriye ulaşmak daha kolay olacaktır. Cisimler, ard arda gelen resimlerdeki yerleri arasındaki mesafeye göre birer hareket vektörü üretir. Bazı durumlarda, tek bir cisme ait olarak süregelmekte olduğu tespit edilen bir dörtgen, bir gürültü veya kenar zayıflaması nedeniyle oluşan kopma sonucunda iki ayrı dörtgen olarak bulunabilmektedir. Kimi zaman da birbirine çok yakın giden araçlar tek bir dörtgen olarak algılanabilmektedir. Bu tür problemler kurala dayalı bir sistem ile, tüm video serisi ele alınarak giderilmeye çalışılmıştır. Örneğin önceden beri tek bir cisimmiş gibi gelip, sonradan ikiye bölünen ve ardından tekrar birleşen bölgeler, gürültü veya kenar zayıflaması nedenli kopma olarak düşünülmüştür. Buna karşılık yakın takipteki iki araç, kamera açısı sayesinde belli bir süre sonra ayrılmaya başlar ve hareketine ayrı ayrı devam ederse, bunun aslında iki yakın araç olduğuna karar verilmektedir. Buna benzer 10 civarında senaryo için ayrı ayrı kurallar oluşturulmuştur. Toplamda, yeni görüntü karesinde bulunan cismin, önceki karedeki hangi cismin hareket etmiş olanına karşılık geldiği bilgisini üreten tümleşik bir sisteme karşılık gelen uzman sistem elde edilmiştir. Bu sistem, zaman ekseninde geçmişteki veriyi kullanarak ileriyi tahmin etme mantığıyla işlemektedir. İlk satır düzenleme yöntemi ile başlangıç vektörleri mantıksal bir yaklaşımla çıkarılmaktadır. Bu yöntemde, başlangıç için 3 adet görüntü karesinin işlenmiş ve orta nokta değerleri hesaplanmış olması gerekmektedir. Orta nokta matrisinin ikinci satırındaki (incelenen ikinci karede bulunan hareketli cisimlerin verileri bu satırda bulunmaktadır) koordinat bilgilerinden yararlanılarak bu düzenleme yapılmaktadır. İkinci satırda hareket verisi bulunan bir cisim için, birinci satırda bulunan hareket verileri arasından, hareket boyuna sahip olabilecek en yakın değer, aynı cismin hareketi olarak düşünülür. Aynı işlem 2. satır ile 3. satır arasında da yapılır. İkinci satırda ele alınan cisim verisi ile 1. ve 3. satırda bu cismin hareketini destekleyen değerler aynı sütuna yazılır. Sistemin örnek uygulaması Tablo 3.1 de görülmektedir. 4

5 Düzenlenmemiş orta nokta Düzenlenmiş orta nokta Cisim1 Cisim2 Cisim3 Cisim1 Cisim2 Cisim3 X 1 Y 1 X 2 Y 2 X 3 Y 3 X 1 Y 1 X 2 Y 2 X 3 Y Tablo 3.1. İlk düzenleme öncesinde orta noktalar ve düzenleme sonrası orta noktalar. İrdelenen her sütunda, hareket tahmini kadar ilerlemiş cisimler olması gerekir. Bu nedenle eklenen yeni satırdaki koordinatlar, üst satırlardan üretilen hareket tahminine uygun yerlere gelecek şekilde yeniden sıralanmakta, ve matrisin altına eklenmektedir. Böylece analiz edilen video karesindeki cismin bir sonraki karede doğru sütunu takip etmesi sağlanmaktadır. Örnek bir cisim için hareketinin son 3 verisi (Tablo 3.2 de numaralı satırlar), incelenen kare için hareket tahminine göre beklenen koordinatlar ve bulunan gerçek koordinatlar (Tablo 3.2 de 4 numaralı satır) Tablo 3.2 deki gibi oluşmaktadır. Köşe koordinatları Beklenen koordinat değerleri Bulunan orta-nokta Beklenen orta-nokta X min X max Y min Y max X min X max Y min Y max X Y X Y Tablo 3.2. Gerçek ve tahmini cisim kutusu koordinatları. Analizde ilk üç video karesinin incelenmesinden sonra, incelen her kareden elde edilen hareketli cisim verileri, hareket tahmini yapıldıktan sonra kendilerine ait sütunlara yerleştirilmektedir. İncelenen karedeki cisimlerin koordinat verilerine, cisimlerin hareket yönüne göre, eklenen ya da çıkarılan standart sapma değerleri tahmin dörtgeni oluşturur. Bu yaklaşıma göre koordinatlarından yararlanılan cisim, bir sonraki karede bu bölgenin içinde veya civarında olacaktır. Bir sonraki kare için belirlenen tahmin dörtgeninin orta noktasına, o karenin analizi sonrasında en yakın orta nokta bulunur. Bulunan bu nokta hareket tahmini yapılan sütunun ilgili satırına yazılır. Geliştirilen bu algoritmanın akış diyagramı Şekil 3.1 de verilmiştir. Var İncelenen Sayı Alt satırdaki Sayı Aynı satırda yakın Farkı hesapla Evet Yok Hareket sınırı içinde mi? Var Alt satırda yakın Hayır Alt satırda yakın ara, bulduğun ilk yakınla olduğun sütunu yer değiştir. Yok İki yakını birleştir ve olduğun sütuna yaz, yakın değerini boşalt. Diğerine geç İki yakını birleştir ve olduğun sütuna yaz, yakın değerini boşalt. Diğerine geç Şekil 3.1. Hareket Algoritması 5

6 4. SONUÇ Trafik ve yol-akış analizi probleminin çözümünde, fark esasına ve bölge tabanlı hareket analizi yöntemine dayanan bu metotla başarılı sonuçlar elde edilmiştir. Normal akışa ait görüntü almak, fiziksel açıdan daha kolay olmaktadır. Deneylerimizde, kullanılan tüm video görüntülerinde şerit ihlali, yakın takip, aşırı hız, vs. tarzı pek çok problemin yer aldığı kısımların tamamında problemler tespit edilerek alarm üretilmiştir. Buna karşılık 5 dakikalık 20 video serisinden 3 tanesinde, her birinde ikişer tane olmak üzere hatalı alarm üretme durumu meydana gelmiştir. Alarm durumlarının log larının tutulduğu ve sonradan incelenebileceği göz önüne alınırsa, gerçek alarmların kaçırılmamasının, normal durumları gürültü nedeniyle alarm olarak algılamadan daha önemli olduğu söylenebilir. Şekil 4.1 de sırasıyla (a) arka fon ve ilgi alanı (b),(c) hareketli tespit edilen cisimler, ve (d) bu cisimlerin hareket takibi nokta, baklava dilimi, ve üçgen ile gösterilmekte verilmiştir. Şekil: 4.1: Sonuçlar Geliştirilen sistemin güvenilirliğinin denenebilmesi için çok miktarda veri ve trafik durumu üzerinde denenmesi gerekmektedir. İleriki aşamalarda bu istatistiklerin elde edilmesine yönelik çalışmalar yapılması planlanmaktadır. KAYNAKÇA [1]. Foresti G.L., Object Recognition and Tracking for Remote Video Surveillance, IEEE Transactions on Circuits and Systems for Video Tech., Vol.9, No.7, Oct.1999, s [2]. Chan P.K.M., Li C.K, Motions of Multiple Objects Detection based on Video Frames, IEEE International Symposium on Consumer Electronics, Hong Kong, 2000, s [3]. Cucchiara R., Mello P., Piccardi M., Image Analysis and Rule-Based Reasoning for a Traffic Monitoring, IEEE Transactions on Intelligent Transportation Systems, Vol.1, N.2, IEEE Press, 2000, s [4]. Koller D., Daniilidis K., Nagel H.-H., Model-Based Object Tracking in Monocular Sequences of Road Traffic Scenes, International Journal of Computer Vision 10:3, 1993, s [5]. Cucchiara R., Grana C., Piccardi M., Prati A., Statistic and Knowledge-based Moving Object Detection in Traffic Scenes, in Proceedings of the 3rd IEEE Conference on Intelligent Transportation Systems (ITSC2000), IEEE Computer Society Press, Oct.2000,s [6]. Rosenberg Y., Werman M., Real-Time Object Tracking from a Moving Video Camera: A Software Approach on a PC, IEEE Workshop on App. of Comp. Vis., Princeton, Oct. 1998, s [7]. Stiller C., Konrad J., Estimating Motion in Image Sequence: A Tutorial on Modeling and Computation of 2D Motion, IEEE Signal Process. Mag.,vol. 16, July 1999, s [8]. Gonzalez R.C., Woods R.E., Dijital Image Processing, Addison-Wesley,