Tek Kamera Kullanarak Nesne-Kamera Arasındaki Uzaklığın Belirlenmesi İçin Bir Yöntem A method for determination of object-camera distance by using single camera Fatma Kuncan 1, Mehmet Yıldırım 2 1,2 Bilişim Sistemleri Mühendisliği Bölümü Kocaeli Üniversitesi, Umuttepe Kampüsü fatma.kuncan@kocaeli.edu.tr, myildirim@kocaeli.edu.tr Özetçe Bu çalışmada, son yıllardaki teknolojik gelişimlere bağlı olarak birçok alanda yaygın bir şekilde kullanılan görüntü işleme metotları ile nesne tespiti ve belirlenen nesnenin kameraya olan uzaklığının belirlenmesi üzerinde çalışılmıştır. Tek web kamera kullanılarak, daha düşük maliyetle, nesnelerin kameraya olan uzaklıklarını ölçmek için robotik uygulamalarda kullanılabilecek bir yöntem önerilmiştir. Elde edilen sonuçlar üzerinden algoritma optimize edilerek nesneler arasındaki uzaklığı belirlemede kullanılabilecek bir algoritma geliştirilmiştir. Sistem gerçek zamanlı olarak test edilmiş ve sonuçlar gözlemlenmiştir. Geliştirilen algoritmanın kullanılan diğer yöntemlerle karşılaştırılması yapılmış ve başarımının daha yüksek olduğu belirlenmiştir. Abstract In this study, object detection and determination of objectcamera distance are studied by using image processing methods, which are used widely in many areas in recent years depend on technological development. A low cost method that can be used in robotic applications is proposed to measure distance of the object to the camera by using single camera. The results are optimized through a developed algorithm can be used to determine the distance between the objects. The system was tested in real-time and results were observed. A comparison with another method was realized and the proposed method was found to be more successful. 1. Giriş Günümüzde insanların sürekli yer değiştirmesi ve hareket halinde olmasından dolayı sabit görevleri yerine getiren robotların beklenildiği kadar faydalı olmadığı görülmüş ve bu yüzden daha kullanışlı mobil robotların tasarlanması ve üretilmesi amaçlanmıştır. Mobil robotların çevrelerini tanıması, bulundukları ortamdan bilgi toplaması ve bu bilgiler doğrultusunda karar verme mekanizmalarının geliştirilmesi gerekmiştir. Robotların bu gereksinimlerini karşılayabilmeleri için çevrelerini algılayabilecek farklı özellikte sensörlere ihtiyaç duyulmuştur [1]. İnsanın, çevresini keşfetmesi ve hareket edebilmesi için ihtiyaç duyduğu görme duyusunun, kamera kullanımı sayesinde mobil robotlara aksettirilmesiyle, görme tabanlı mobil robot çalışmalarının önü açılmıştır. İnsan gözü ile nesnelerin fark edilmesine benzer şekilde, nesnelerin insana olan uzaklıklarının, büyüklüklerinin ve hareketlerinin, kamera kullanımı yoluyla sağlanmasına yönelik çalışmalar son yıllarda ağırlık kazanmıştır. Bu amaca yönelik olarak gerekli olan görüntünün işlenmesi çok vakit aldığından çoğu robot sisteminde kameranın dışında robot kontrolleri için görsel olmayan sensörler de kullanılmaktadır. Ancak, nesnelerin robota olan uzaklıklarının tespiti için bu sensörlerden çok sayıda kullanılmasına duyulan ihtiyaç, maliyetin artması açısından bir dezavantaj olarak ortaya çıkmaktadır. Dolayısıyla, pratikte robot kontrollerinde kamera kullanılması daha avantajlı bir hale gelmiştir. Kameralar kullanılarak basit nesne uzaklık yöntemleri geliştirilmiştir. Kamera ve lazer kullanarak nesne yüzey alanından bağımsız robotlar için düşük maliyetli nesne uzaklık yöntemleri geliştirilmiştir [2]. Kamera kullanımıyla elde edilen diğer bir üstünlük ise sadece nesnelerin bize olan uzaklıklarının tespiti değil aynı zamanda nesnelerin renkleri, desenleri ve şekilleri hakkındaki bilgilerin de beraberinde elde edilebilmesidir [3]. Bu çalışma kapsamında görüntü işleme yöntemleri kullanılarak nesne tespiti ve tespit edilen nesnenin kameraya olan uzaklığının belirlenmesi üzerinde çalışılmıştır. Çeşitli nesneler kullanılarak farklı yöntemlerle nesnelerin kameraya uzaklığı hesaplanmaya çalışılmıştır. Görüntü işlemede sıkça kullanılan yöntemlerin uzaklık ölçümünde uygulanabilirliği incelenmiştir. Kullanılan yöntemlerin uzaklık belirlemedeki başarımı karşılaştırılmıştır. Elde edilen sonuçlar üzerinden nesne uzaklık belirlemede kullanılabilecek bir algoritma geliştirilmiştir. Sistem gerçek zamanlı olarak test edilmiş ve sonuçlar gözlemlenmiştir. 2. Nesne Kestirimi İnsanların güvenlik istekleri gün geçtikçe artmaktadır. İnsanbilgisayar etkileşiminin artması ve bilgisayarlı otomasyon sistemlerinin insan hayatına etkisi düşünüldüğünde, sağlıklı bir güvenlik sisteminin temel taşlarından birisi haline gelen gözetleme sistemleri daha da önem kazanmaktadır. Bir güvenlik sistemi için en temel bileşen genellikle bir gözcü veya gözetleme sistemi olarak ifade edilebilir. Böyle bir sistem, elektronik olarak veya bilgisayar tabanlı bir yapı ile görüntü işleme teknikleri kullanarak, insanın bakmadığı zamanlarda da gözetlenmesi istenilen bölgeyi gözetlemekte ve hareketli nesnelerin tespit ve takibini (T-ve-T) yapabilmektedir. Hareketli nesne veya nesneleri tespit ve sonrasında da takip etme, bilgisayarlı görme kapsamında ele alınan büyük bir problemdir [4]. 937
Bu çalışmada, çeşitli nesneler için farklı yöntemler kullanılarak nesne kestirimi yapılmıştır. Belirlenen nesnenin farklı matematiksel algoritmalar yardımıyla kameraya olan uzaklığı hesaplanmıştır. Çalışmada kullanılan yöntemler aşağıda verilmektedir. Nesne kestirimi o HSV Uzayında Eşikleme o Histogram Eşikleme o Filtreleme [median filtre] o Bağlantılı Bileşenlerin Etiketlenmesi (Connected-Component Labeling) Uzaklık hesabı o Sınıflandırma Nesne kestirimi çalışma için hayati önem taşımaktadır. Uzaklık ölçümü nesne kestirimi yapıldıktan sonra nesnenin kapladığı piksel alanına bakılarak yapılmaktadır. 2.1. HSV Uzayında Eşikleme RGB renk uzayında parlaklığa bütün bileşenlerin etkisi bulunmaktadır. HSV uzayında ise, RGB uzayından farklı olarak, parlaklığa sadece H değerinin etkisi vardır. Sistemlerin çalışmasında kararsızlığa yol açan parlaklık etkisini en aza indirmek için, alınan görüntü HSV uzayına dönüştürülmüştür. HSV uzayına dönüştürülmüş resimler üzerinde deneme yanılma yoluyla belirlenen bir eşik uygulanmıştır. Böylece, nesne kestiriminin değişik ortam şartlarında dahi daha kararlı çalışması sağlanmıştır. 2.2. Histogram Eşikleme Histogram, sayısal bir resim içerisinde her renk değerinden kaç adet olduğunu gösteren bir grafiktir. Bu grafiğe bakılarak resmin parlaklık durumu ya da tonları hakkında bilgi sahibi olunabilir [5]. Apsis ekseni gri seviyesini gösterirken ordinat ekseni ise meydana gelme sıklığını göstermektedir. Şekil 2: Histogram eşikleme Şekil 2 de nesne ve nesneye ait histogram grafiği gösterilmektedir. Şekildeki kırmızı çember ile alınan bölgenin yatay ekseni, nesnenin gri seviye aralığını göstermektedir. Dikey eksen ise o gri seviyesinde kaç adet piksel olduğunu göstermektedir. Nesne kameraya yaklaştığında gri seviye aralığı aynı olacak fakat gri seviyesinin piksel sayısı artacaktır. Çünkü nesne yaklaştıkça, görüntüde daha çok alan yani piksel kaplayacaktır. Şekil 1: a)rgb imge (b) HSV imge (c) Eşiklenmiş imge Şekil 1 de, RGB uzayından HSV uzayına dönüştürülmüş ve eşiklenmiş görüntü gösterilmektedir. Işık şiddetinin değiştiği durumlarda gürültüler oluşmaktadır. Oluşan gürültülerin giderilmesinde ve nesnenin daha net olarak belirlenmesi için morfolojik işlemler kullanılmıştır. Aynı zamanda gerekli durumlarda görüntüye filtreleme işlemi uygulanmıştır. Filtre olarak median filtre kullanılmıştır. Özellikle 15m ye kadar yapılan ölçümler için eşikleme sonrası oluşan gürültülerden daha kolay kurtulmak için bağlantılı bileşenlerin etiketlenmesi (Connected-Component Labeling) yöntemi kullanılmıştır. Geliştirilen algoritmada, nesne kestirimi yaparken HSV eşikleme kullanılmıştır. Yöntemler çeşitli nesneler için denenmiştir. Şekil 3: Alınan üç örnek görüntüye ait histogram değerlerinin karşılaştırılması Şekil 3 te alınan üç örnek görüntüye ait histogram grafikleri gösterilmiştir. Şekilden de gözleneceği gibi, nesneyi ifade eden gri seviye değerindeki piksel sayısı değişmektedir. Nesne yaklaştıkça nesneyi ifade eden piksel sayısı artmakta, nesne uzaklaştıkça piksel sayısı azalmaktadır. Sistemin çalışma mantığı olan yakındaki nesnelerin daha fazla piksel kaplayacağı Histogram eşikleme yöntemine de uygulanabilir. Nesne için en uygun gri seviye aralığı belirlenmiştir. Uygun gri seviye aralığı alınarak nesne kestirimi yapılmıştır. Belirlenen nesnenin piksel sayısına göre (1) denklemi kullanılarak nesnenin uzaklığı belirlenmiştir. Sistem gerçek zamanlı olarak gri seviye aralığında nesne hareketi sonucunda piksel sayısının değişmesine bakılarak gerçeklenmiştir. Kullanılan nesnelere göre ve ışık şiddetine göre ölçülen uzaklığın doğruluğu değişmektedir. En iyi şartlarda başarım %90,7 civarındadır. 938
2.3. Filtreleme Filtreleme işlemi, görüntü işlemede ön işlem olarak çok sık kullanılan bir tekniktir. Görüntü işlemede kullanılabilecek birçok filtre arasından, istenilen kriterlere en uygununun seçilmesi gerekmektedir [6]. Bu çalışmada gürültüleri temizlemek için ortanca filtresi (Median Filter) kullanılmıştır. Eşikleme işlemi sonucunda siyah-beyaz olarak elde edilen görüntüde gürültülerdir. Bu gürültüler genellikle, literatürde tuz biber gürültüsü olarak isimlendirilen gürültülerdir. Ortanca filtresi tuz biber gürültülerinin giderilmesinde oldukça başarılı sonuçlar vermektedir. Bu çalışmada da bazı nesnelerin tespiti için ortanca filtresi kullanılmıştır. 2.4. Bağlantılı Bileşenlerin Etiketlenmesi (Connected- Component Labeling) Görüntü işleme tekniklerine dayalı programlarda sıkça kullanılan bir yöntemdir. İkili resimler üzerinde uygulanır ve üzerindeki bağımsız bileşenleri ayrı renkler ile etiketler. Böylece farklı bileşenlerin konumlarını tespit etmek kolaylaşır [7]. Bu çalışmada, özellikle 15 metreye kadar yapılan ölçümlerde kullanılmıştır. Görüntüler uzaktan çekildiği için fazla gürültü oluşmuştur. Eşikleme sonucunda siyah-beyaz olarak elde edilen görüntüde aranan nesne en büyük piksel alanına sahip olmaktadır. Gürültüleri filtrelemeye gitmeden direkt yöntem kullanılarak nesne tespiti yapılmıştır. Yöntem aynı zamanda nesnenin kapladığı piksel sayısını vermektedir. Bu çalışmada nesnenin piksel sayısı istendiği için oldukça kullanışlı bir yöntemdir. 3. Uzaklık Hesabı ve Sistemin Gerçek Zamanlı Gerçeklenmesi Uzaklık hesaplama işlemi, yakın nesnelerin uzak nesnelere göre görüntüde daha fazla piksel kaplaması mantığına göre yapılmıştır. Bu bağlamda, referans olarak kabul edilen görüntüde nesne tespiti yapıldıktan sonra, kameraya uzaklığı önceden bilinen nesnenin görüntüde kaç piksel kapladığı hesaplanmıştır. Daha sonra, ikinci bir görüntü alınarak aynı işlemler sonucunda ikinci görüntünün de piksel sayısı hesaplanmıştır. Referans olarak kabul edilen görüntüde nesnenin kameraya olan uzaklığı referans mesafesi olarak kabul edilmiştir. Elde edilen piksel sayıları oranlanarak referans mesafe ile çarpılmıştır. Böylece ikinci görüntüden nesnenin kameraya olan uzaklığı belirlenmiştir. Referans görüntünün kameraya olan uzaklığı, referans görüntünün piksel sayısı (P1) ve her iterasyonda alınacak olan görüntünün piksel sayısı (P2) bilinmektedir. Bu durumda ters orantı kurularak iterasyonlar boyunca alınan görüntüdeki nesnenin kameraya olan uzaklığı hesaplanabilmektedir. Referans_Uzaklik (L) Aranan_Uzaklik Aranan_Uzaklik= P 1 Lx P 2 Referans_Imgenin_Piksel_Sayisi (P1) Alinan_Imgenin_Piksel_Sayisi (P2) Yukarıdaki (1) denklemi kullanılarak çeşitli nesneler üzerinde uzaklık hesaplamaları yapılmıştır. Nesne uzaklık hesaplama işlemi gerçek zamanlı olarak Şekil 4 deki akış (1) diyagramı kullanılarak yapılmıştır. Denklem (1) kullanılarak 50 cm deki görüntü referans olarak kullanılmıştır. Elde edilen sonuçlar Şekil 5 te gösterilmektedir. Şekil 4: Sistem akış diyagramı Şekil 5: 50cm referans görüntüye göre ölçüm sonuçları Sistem, nesne referans mesafesinden uzaklaştıkça hatalı sonuçlar vermektedir. Nesne ne kadar uzakta olursa hata oranı o kadar çok artmaktadır. Bunun sebebi 1 cm karşılık gelen piksel sayısının nesnenin uzaklığına göre değişmesi olarak belirlenmiştir. Örneğin; tek referans görüntü kullanıldığında alınan görüntünün piksel sayısında 315 piksellik değişim olduğunda nesnenin konumu 1 cm değişmiştir yorumu yapılmaktaydı. Oysaki 20-30 cm arasında 1 cm lik değişim 1419 piksele, 80-90 cm arasında 1 cm lik değişim 53 piksele karşılık gelmektedir. Doğal olarak nesnenin 1 cm lik değişimi için genel bir piksel sayısı belirlemek yanlış olacaktır. Sistem daha büyük bir nesne referans uzaklığı 1m için 1-5m aralığında test edilmiştir. Ölçümler 2,3,4,5 m için yapılmıştır. Örnek alınan uzaklıklardaki piksel değerleri ve ölçülen uzaklıklar Tablo 1 de gösterilmektedir. Tablo 1: 1 m referans görüntüye göre piksel sa Uzaklık [m] Piksel Ölçülen uzaklık [m] 2 2334 2.57 3 1368 4.39 4 941 6.39 5 743 8.09 939
Şekil 6 da referans görüntü 1m uzaklıkta iken 1-5 m aralığında yapılan ölçüm sonucunda elde edilmiş sonuçlar grafiksel olarak gösterilmektedir. 3.1. Sınıflandırma Sınıflandırma, birçok bilim dalında kullanılan bir karar verme işlemidir. Görüntü sınıflandırma işleminde amaç, bir görüntüdeki bütün pikselleri çalışma uzayında karşılık geldikleri sınıflar veya temalar içine otomatik olarak atamak, yerleştirmektir [8]. Bu çalışmada kullanılan nesne için belirli aralıklarla örnekler alınmıştır. 20-110 cm aralığında ölçüm yapan bir sistem için 10 cm lik aralıklarla 10 örnek alınmıştır. Alınan her örnekte nesne kestirimi yaparak, nesnenin kapladığı piksel hesaplanmıştır. Art arda alınan iki örnek görüntüdeki nesnenin piksel sayısına göre sınıflar oluşturulmuştur. Alınan referans görüntülere göre oluşturulmuş sınıflar Tablo 2 de gösterilmektedir. Tablo 2: Oluşturulan sınıflar Şekil 6: 1m referans görüntüye göre ölçüm sonuçları Oluşan hatanın sebebi araştırılmıştır. Nesne kameraya yaklaştıkça piksel sayısının logaritmik olarak arttığı gözlemlenmiştir. Bu şartlar altında, (1) denklemi ile verilen doğrusal bir denklem sistemini kullanmak yapılan ölçümlerin hatalı sonuçlar vermesine yol açmıştır. 1 cm değişim için genel bir piksel değerinin olamayacağı sonucuna varılmıştır. Şekil 7 de 1 cm değişim için 20-110 cm aralığındaki görüntüler için piksel değişimi gösterilmektedir. Şekil 7: Piksel/cm grafiği Bu durumu ortadan kaldırmak için ölçüm aralığında belirli aralıklarla referans görüntüler alınmıştır. Her 10 cm de bir referans görüntü alınarak sınıflar oluşturulmuştur. Böylece her aralığa gelen piksel sayısı daha hassas olarak belirlenebilmiştir. Nesne için hesaplanan piksel sayısına göre nesnenin kameraya olan uzaklığı belirlenmiştir. Referans görüntülerin uzaklıkları ile referans görüntülerdeki nesnelerin piksel sayıları Tablo 1 de gösterilmektedir. Sistem çalışırken, nesnenin uzaklığının hesaplanmasında ilk olarak nesne kestirimi yapılmış ve kestirilen nesnenin kaç piksel kapladığı hesaplanmıştır. Hesaplanan piksel sayısına göre nesnenin referans görüntülerdeki piksel sayısına göre olabileceği uzaklık sınıfı belirlenmiştir. Sınıflar oluşturulmasının nedeni nesnenin kapladığı piksel sayısının uzaklığına bağlı olarak logaritmik değişmesinden dolayıdır. Böylece 1 cm karşılık gelen piksel sayısı daha hassas olarak belirlenebilmiştir. Örneğin, 1000 piksel hesaplandığında nesnenin kameraya uzaklığı 30-40 cm arasındadır. Yani uzaklık hesabı için sınıf 2 ye atanır. Bu aralıkta 1 cm değişeme denk gelen piksel sayısı (16166-9710)/10 = 645,6 [piksel/cm] olarak belirlenmektedir. Hesaplanan piksel sayının aralıktaki sınır pikselden farkına bakılmaktadır. Tüm aralıklar için sınır piksel hep daha düşük olana göre yapılmıştır. Piksel farkının belirlenmesinden sonra bu fark 1cm deki değişimin piksel karşılığı hesaba katılarak cm ye çevrilmektedir. Yine kullanılan sınır piksel sayısının cm karşılığı ile hesaplanan cm farkı kullanılarak nesnenin kameraya olan uzaklığı belirlenmiştir. 940
Şekil 8: Geliştirilen yönteminin sonuçları Geliştirilen algoritmanın test edilmesi sonucunda, ölçülen uzaklık ile gerçek uzaklık arasındaki ilişki Şekil 8 de gösterilmiştir. Geliştirilen bu algoritmaya göre, nesne uzaklık ölçümü %97,2 gibi oldukça başarılı sonuçlar vermektedir. Sistemin uzaklık hesabı yapma süresi 95 ms civarındadır. 4. Sonuçlar Nesnelerin uzaklığının belirlenmesinde ve görüntüden derinlik bilgisi elde etmede kinect kameralar kullanılmaktadır. Kinect kamera iki adet kameradan oluşmaktadır. Bu çalışmada, web kamerası kullanılarak renk tabanlı nesne takibi gerçekleştirilmiş ve nesne uzaklık ölçümünde kullanılabilecek bir yöntem geliştirilmiştir. Geliştirilen yöntemin nesne uzaklık ölçümündeki başarımı histogram eşikleme yöntemiyle karşılaştırılmıştır. Geliştirilen yöntemin başarım oranı Şekil 9 da görüldüğü gibi % 97,2 dir. Sistemin cevap verme süresi yaklaşık olarak 95 ms dir. Yöntem 20-110 cm arasında test edilmiştir. Daha geniş çalışma aralığında da başarım oranının çok değişmeyeceği öngörülmektedir. Çünkü başarım oranı alınan referans görüntü sayısına bağlıdır. Ne kadar çok referans görüntü alınır ve buna bağlı olarak ne kadar çok sınıf oluşturulursa başarım oranı da o kadar artacaktır. Sistem kübik ve silindirik nesneler için gayet başarılı çalışmaktadır. Yüzey alanı değişken nesneler için sistem yanlış çalışmaktadır. Belirli bir koridorda gidecek olan gezgin robotlarda kenarlara konulacak plakalarla önerilen yöntem kullanılarak ne kadar ilerlendiği ve yön bilgisi bulunabilir. Çalışma 30 fps USB webcam ile yapılmıştır. Alınan görüntünün çözünürlüğü 240x320 dir. Çözünürlüğü daha yüksek bir kamera kullanılarak daha başarılı ölçüm yapılabilir. Ayrıca yöntem bir mobil robotta kullanılırsa değişken ortam şartları (ışığın nesne üzerine geliş açısı, şiddeti vb.) yanlış ölçüm yapılmasına sebebiyet verecektir. Şekil 9: Kullanılan yöntemlerin karşılaştırılması Böylece, çeşitli sensörler kullanmadan tek bir kamerayla, robotik uygulamalarda uzaklık ölçmede kullanılabilecek bir yöntem geliştirilmiştir. Kaynakça [1] CANAN, S., Yapay sinir ağları ile GPS destekli navigasyon sistemi, Doktora Tezi, Selçuk Üniveristesi, Fen Bilimleri Enstitüsü, 2006. [2] Tı-Ho Wang1, Mıng-Chıh Lu1, Weı-Yen Wang2, Cheng-Yen Tsaı, Distance Measurement Using Single Non-metric CCD Camera, Proceedings of the 7th WSEAS Int. Conf. on Signal Processing, Computational Geometry & Artificial Vision, Athens, Greece, August 24-26, 2007. [3] Yılmaz, N., Sağıroğlu Ş. ve Bayrak, M., Genel Amaçlı Web Tabanlı Mobil Robot: SUNAR, Gazi Üniversitesi, Mühendislik Mimarlık Fakültesi Dergisi, Cilt 21, No: 4, 745-752, 2006. [4] Melih Kuncan, H.Metin Ertunç, Gürkan Küçükyıldız, Berkan Hızarcı, Hasan Ocak, Sıtkı Öztürk, Görüntü İşleme Tabanlı Zeytin Ayıklama Makinesi, Otomatik Kontrol Ulusal Toplantısı, TOK2013, 26-28 Eylül 2013, Malatya [5] Breu H., Gil J., Kirkpatrick D., Werman M., Linear time Euclidean distance transform algorithms, IEEE Transactions on Pattern Analysis And Machine Intelligence, 1995, 17, 529-533. [6] Demigny D., On Optimal Linear Filtering for Edge Detection, IEEE Transactions On İmage Processing, 2002, 11, 728-737. [7] http://www.atasoyweb.net/baglantili-bilesen-etiketleme- Connected-Component-Labeling, son erişim: 30 Mart 2015. [8] Melih Kuncan, Görüntü İşleme Tabanlı Zeytin Ayıklama Makinesi, Kocaeli Üniversitesi, FBE, Yüksek Lisans Tezi, 2013. 941