Raf Görüntüleri Üzerinde Nesne Tanımaya Dayalı Planogram Eşleştirme



Benzer belgeler
Sahne Geçişlerinin Geometrik Tabanlı olarak Saptanması

Sözlük Kullanarak Türkçe için Kavram Madenciliği Metotları Geliştirme

Yüz Tanımaya Dayalı Uygulamalar. (Özet)

BÖLÜM 9 NORMAL DAĞILIM

GÖRÜNTÜSÜ ALINAN BİR NESNENİN REFERANS BİR NESNE YARDIMIYLA BOYUTLARININ, ALANININ VE AÇISININ HESAPLANMASI ÖZET ABSTRACT

Kelebek Görüntülerin Sınıflandırılmasında Yeni Yerel İkili Örüntüler

Page 1. b) Görünüşlerdeki boşluklar prizma üzerinde sırasıyla oluşturulur. Fazla çizgiler silinir, koyulaştırma yapılarak perspektif tamamlanır.

4.1. Grafik Sihirbazını kullanarak grafik oluşturma

Microsoft Excel. Çalışma Alanı. Hızlı Erişim Çubuğu Sekmeler Başlık Formül Çubuğu. Ad Kutusu. Sütunlar. Satırlar. Hücre. Kaydırma Çubukları

SÜREKLĠ OLASILIK DAĞILIMLARI

SÜREKLİ RASSAL DEĞİŞKENLER

4. HAFTA ENM 108 BİLGİSAYAR DESTEKLİ TEKNİK RESİM. Yrd.Doç.Dr. İnan KESKİN.

NDEN BELİRLENEBİLME LME POTANSİYELİ UYDU GÖRÜNTÜLERİNDEN

ELEK ANALİZİ meş (mesh) numarası

Makine Öğrenmesi İle Duygu Analizinde Veri Seti Performansı

Mean Shift Ve Gaussian Filtre İle Gölge Tespiti Shadow Detection With Mean Shift And Gaussian Filter

22. Ölçü ve Kot Eklemek

2. (x 1 + x 2 + x 3 + x 4 + x 5 ) 10 ifadesinin açılımında kaç terim vardır?

Bilgisayarla Görüye Giriş

PROJEM İSTANBUL ARAŞTIRMA PROJESİ BİLGİSAYARLI GÖRÜ VE SINIFLANDIRMA TEKNİKLERİYLE ARAZİ KULLANIMININ OTOMATİK OLARAK BULUNMASI

Kiriş oluşturmak Kiriş geçerli ayarları ile çalışmak Kirişler ve diğer elemanlar arasında 3D kesişim önceliği

Web Madenciliği (Web Mining)

Yükleme Emrinde bulunan belge numarası, kamyon plaka numarası ve şoför adının irsaliyeye taşınması,

2. (v+w+x+y+z) 8 ifadesinin açılımında kaç terim vardır? 3. log 5 0, olduğuna göre sayısı kaç basamaklıdır?

YANLILIK. Yanlılık örneklem istatistiği değerlerinin evren parametre değerinden herhangi bir sistematik sapması olarak tanımlanır.

Yrd. Doç. Dr. Fatih TOSUNOĞLU Erzurum Teknik Üniversitesi Mühendislik Fakültesi İnşaat Mühendisliği Bölümü

Uzaktan Algılama Uygulamaları

QUANTILE REGRESYON * Quantile Regression

BÖLÜM 11 Z DAĞILIMI. Şekil 1. Z Dağılımı

GÖRÜNTÜ İŞLEME HAFTA 4 DÖNÜŞÜMLER UZAYSAL FİLTRELEME

Trafik Yoğunluk Harita Görüntülerinin Görüntü İşleme Yöntemleriyle İşlenmesi

2. Aşağıdaki pseudocode ile verilen satırlar işletilirse, cnt isimli değişkenin son değeri ne olur?

T.C. KIRIKKALE ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ YAPAY SİNİR AĞLARI. Doç.Dr. Necaattin BARIŞÇI FİNAL PROJESİ

Proje/Sipariş/İş Emri (PSI) Bazında Maliyet Analizi

DESTEK DOKÜMANI. 3 al 2 öde kapmanyası - 3 tane ürün alana fiyatı en düşük olan ürünün bedava verilmesi,

16. Kesit ve Cephe Aracı

LOCAL BINARY PATTERN YÖNTEMİ İLE YÜZ İFADELERİNİN TANINMASI

Örnek...4 : İlk iki sınavında 75 ve 82 alan bir öğrencinin bu dersin ortalamasını 5 yapabilmek için son sınavdan kaç alması gerekmektedir?

Algoritmalar. Arama Problemi ve Analizi. Bahar 2016 Doç. Dr. Suat Özdemir 1

24. Yazdırma ve Plot Alma

Büyük Veri İçin İstatistiksel Öğrenme (Statistical Learning for Big Data)

Görüntü İşleme. K.Sinan YILDIRIM Cenk İNCE Tahir Emre KALAYCI. Ege Üniversitesi Bilgisayar Mühendisliği Bölümü 2003

K En Yakın Komşu Methodu (KNearest Neighborhood)

Concept Learning. Araş. Gör. Nesibe YALÇIN BİLECİK ÜNİVERSİTESİ. Yapay Zeka - Kavram Öğrenme

BİYOİSTATİSTİK TABLO VE FRAFİK YAPIMI

Market Raflarında Dönüşüm ve Ölçeklendirmeye Dayanıklı Nesne Tanıma

Görüntü İşleme. Dijital Görüntü Tanımları. Dijital görüntü ise sayısal değerlerden oluşur.

Haar Dalgacıkları ve Kübik Bezier Eğrileri İle Yüz İfadesi Tespiti Facial Expression Detection With Haar Wavelet and Cubic Bezier Curves

Bir Tek Nöron Kullanılarak Resimler Đçerisinde Göz Kısmının Bulunması

ÖZGEÇMİŞ VE ESERLER LİSTESİ

ARAZİ ÖLÇMELERİ. Temel Ödev I: Koordinatları belirli iki nokta arasında ki yatay mesafenin

Mühendislikte İstatistiksel Yöntemler

GO PLUS ÜRÜN FARK DOKÜMANI

RENK BİLEŞENLERİ YARDIMIYLA HAREKETLİ HEDEFLERİN GERÇEK ZAMANLI TESPİTİ

TIGER PLUS ÜRÜN FARK DOKÜMANI

Yöneylem Araştırması II

DESTEK DOKÜMANI. FORM Ba ve Bs

EROZYONUN KANTİTATİF OLARAK BELİRLENMESİ. Dr. Şenay ÖZDEN Prof.Dr. Nuri MUNSUZ

Kan Damarı Genişliği Değişiminin Ölçülmesinde Medikal Görüntü İşlemenin Uygulanması

Merkezi Yığılma ve Dağılım Ölçüleri

BİYOMETRİK İRİS SINIFLANDIRMA SİSTEMLERİ

Yapısal Analiz Programı SAP2000 Bilgi Aktarımı ve Kullanımı. Doç.Dr. Bilge Doran

Yüz Örüntülerinden Cinsiyet Tespitinde Hibrit Özniteliklerle Performans Geliştirme

LED IŞIK KAYNAKLARININ RENK SICAKLIĞININ GÖRÜNTÜ İŞLEME TEKNİKLERİ KULLANILARAK BELİRLENMESİ. İsmail Serkan Üncü, İsmail Taşcı

MOD419 Görüntü İşleme

AMAÇ Araçlardaki Kamera Sistemleri

Sürekli Rastsal Değişkenler

Görüntü Segmentasyonu (Bölütleme)

Tanımlayıcı İstatistikler. Yrd. Doç. Dr. Emre ATILGAN

İstatistik ve Olasılığa Giriş. İstatistik ve Olasılığa Giriş. Ders 3 Verileri Sayısal Ölçütlerle İfade Etme. Verileri Sayısal Ölçütlerle İfade Etme

İRİSTEN KİMLİK TANIMA SİSTEMİ

Kod Listeleri Genel Yapısı

Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü. Bilgisayarla Görme. Final

YÜKSEK KAPASİTELİ YÜK HÜCRELERİNİN DOĞRULANMASI

TÜRKİYE NİN BİTKİ ÖRTÜSÜ DEĞİŞİMİNİN NOAA UYDU VERİLERİ İLE BELİRLENMESİ*

Kalibrasyon için iki yöntem vardır, 1. Hesaplama yöntemi

K-MEANS, K-MEDOIDS VE BULANIK C-MEANS ALGORİTMALARININ UYGULAMALI OLARAK PERFORMANSLARININ TESPİTİ

Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü. Bilgisayarla Görme. Proje

İçerik. Giriş. Başlangıç Teminatı Geriye Dönük Testi. Hesap Bazında Geriye Dönük Test. Ürün Bazında Geriye Dönük Test. BİAŞ PP Geriye Dönük Test

HOG Temelli Bir Yöntem ile Ölçek ve Yönden Bağımsız Gerçek Zamanlı Nesne Tanıma

SONLU ELEMANLAR YÖNTEMI ile (SAP2000 UYGULAMASI) 3D Frame Analysis. Reza SHIRZAD REZAEI

TAPU VE KADASTRO BİLGİ SİSTEMİ

Prof.Dr.İhsan HALİFEOĞLU

Doğrusal Denklemler Sis./Sys. of Linear Equations

TMMOB Harita ve Kadastro Mühendisleri Odası Ulusal Coğrafi Bilgi Sistemleri Kongresi 30 Ekim 02 Kasım 2007, KTÜ, Trabzon

BİYOİSTATİSTİK Uygulama 4 Yrd. Doç. Dr. Aslı SUNER KARAKÜLAH

YZM 3217 YAPAY ZEKA DERS#10: KÜMELEME

VERİ MADENCİLİĞİ (Sınıflandırma Yöntemleri) Yrd.Doç.Dr. Kadriye ERGÜN

BIP116-H14-1 BTP104-H014-1

Bölüm 2: Kuvvet Vektörleri. Mühendislik Mekaniği: Statik

Özyineleme (Recursion)

Türkiye de Sigara Fiyatları ve Tüketim İlişkisi

5 İki Boyutlu Algılayıcılar

Gerçek uygulamalarda, standart normal olmayan sürekli bir rassal. değişken, sıfırdan farklı bir ortalama ve birden farklı standart sapma

Doküman dili tanıma için ikili örüntüler tabanlı yeni bir yaklaşım

BÖLÜM 11. Çizim elemanlarına tarama işlemleri yapar.

BÖLÜM 12 STUDENT T DAĞILIMI

KARADENİZ TEKNİK ÜNİVERSİTESİ MADEN MÜHENDİSLİĞİ BÖLÜMÜ MADEN İŞLETME LABORATUVARI DENEY ADI: AGREGA ELEK ANALİZİ VE GRANÜLOMETRİ EĞRİSİ

sınanması zorunluluktur sınama mecburiyeti

Transkript:

Raf Görüntüleri Üzerinde Nesne Tanımaya Dayalı Planogram Eşleştirme Ünsal Gökdağ 1,3, Mehmet Yasin Akpınar 2,3 1 Yıldız Teknik Üniversitesi, Bilgisayar Mühendisliği Bölümü, İstanbul 2 Boğaziçi Üniversitesi, Bilgisayar Mühendisliği Bölümü, İstanbul 3 İdea Teknoloji Çözümleri, İstanbul unsal.gokdag@ideateknoloji.com.tr, mehmet.akpinar@ideateknoloji.com.tr Özet: Perakende satış sektörü için market raflarında hangi ürünlerin ne kadar kaldığının bilgisi oldukça önemlidir. Bugüne kadar yapılan uygulamalarda genellikle bu bilginin tespiti bir çalışan tarafından manuel olarak yapılmaktadır. Bu çalışmada, iş gücü ve zaman bakımından maliyetli olan bu soruna çözüm bulmak amacıyla mobil bir cihaz ile alınan market raf görüntüleri üzerinden nesne tespiti yapılarak raf içerisindeki yerleşimlerinin elde edilmesi amaçlanmaktadır. Bunun için iki farklı yöntem geliştirilmiş olup, ikisinin de sonuçları kıyaslanarak sunulmuştur. Her iki yötem de çeşitli ön eleme aşamalarından sonra elde edilen koordinatları eleyerek doğru sonuca ulaşmaya çalışmıştır. Yapılan ölçümler sonucu birinci yöntemin %92.22, ikinci yöntemin ise %94 f-skoruna sahip olduğu ölçülmüştür. Anahtar Sözcükler: Nesne Tespiti, Planogram Eşleştirme Object Detection Based Planogram Matching on Shelf Images Abstract: In the retail marketing, relevant location of the products are important. Almost all of the work in location determination are done manually in today s working environment. In this study, we produced two different automatic product detection methods in retail marketing shelves. Both methods apply the same pre-processing methods on images and then differ in further elimination methods in terms of both methods and parameters. We showed that first method achieves 92,22% and the second method achieves 94% f-score in retail product coordinate estimation. Keywords: Object Detection, Planogram Matching 1. Giriş Perakende satış sektörünün sıkça karşı karşıya geldiği raflarda ürün bulunmama problemi (Out-of-shelf problem) temel olarak iki sebepten kaynaklanmaktadır. Birinci sebep, ürün sipariş edilmemesi veya sipariş edilen ürünlerin talebi karşılamamasının sonucunda meydana gelmektedir. İkinci sebep ise tedarikçi veya üreticiden kaynaklanan stok eksikliğinin sonucudur [1]. Bu çalışmada birinci sebebi hedef alan, market raflarından otomatik olarak ürün tespit eden ve planogram eşleşmesi yaparak eksik olan veya yanlış yerleştirilmiş ürünleri tespit eden bir sistem üzerinde çalışılmıştır. Sistem temel olarak iki aşamada çalışmaktadır. İlk aşama ürün kutularının tespiti ve planogram eşitliğinin sağlanması, ikinci aşama ise tespit edilen ürün kutularının marka ayrımının yapılmasıdır. Ürün kutularının doğru olarak tespit edilebilmesi ikinci aşamanın performansını doğrudan etkilemektedir. Bu bildiride algoritmaya gelen raf görüntüsü ve planogramda bulunan satır ve sütun sayısıyla çalışmaya başlayan sistemin, marka tanımaya kadar olan kısmı iki ayrı metodun kıyaslanmasıyla beraber anlatılacaktır. Bildirinin genel akışı ise şu şekildedir. İlgili Çalışmalar Bölümü nde daha önce yapılan çalışmalar ve yaklaşımlar benzer ve farklı yönleriyle beraber anlatılmıştır. Ardından Metotlar Bölümü nde, önişleme ile birlikte önerilen yöntemler adım adım ele alınmıştır.

Sonuçlar Bölümü nde iki algoritmadan elde edilen oranlar sunulurken, Kıyaslama Bölümü nde yaklaşımların güçlü ve zayıf yönleri anlatılmaktadır. Son olarak Kapanış Bölümü nde sistem performansının artırılması için yapılabilecek eklemelerden bahsedilip ve bildirinin özeti yapılmaktadır. 2. İlgili Çalışmalar Literatürde nesne tespiti (object detection) ve nesne tanıma (object recognition) çalışmalarına oldukça sık rastlanmakla beraber genellikle bu çalışmalar sistem yapıları bakımından ikiye ayrılmaktadır. Bazı çalışmalar doğrudan nesne tanıma üzerine yoğunlaşmaktadır. Bu çalışmalardan biri olan, 2008 yılında tamamlanmış bir çalışmada gerçek hayat resimleri (real life pictures) üzerinde logo tanıma yapılmaktadır [3]. Çalışmada önerilen yöntem ile nesne tespiti yapılmaksızın görüntü üzerinde logo araması doğrudan gerçekleştirilmektedir. 2010 yılında gerçekleştirilen bir başka çalışmada ise görme engelliler için market raflarında ürün tespiti yapılmaktadır [6]. Bu yöntemde de önceden nesne tespiti yapılmadan doğrudan ürün tanıma yönüne gidilmiştir. Az sayıdaki ürün tespiti için bu yöntemler var ya da yok bilgisini çıkarmada yeterli olsa da, yüksek doğruluk oranı isteyen sistemlerde ve/veya tespit edilen ürün sayısı ve raf içerisindeki yerleşimleri söz konusu olduğunda etkili olamamaktadırlar. Bu durumda önce nesne tespiti yapılıp sonrasında tespit edilen kısımlar üzerinden nesne tanımak daha uygun bir çözümdür. Bu yaklaşımın en çok kullanıldığı alanlardan bir tanesi yüz tanıma (face recognition) olarak karşımıza çıkmaktadır. İnsan yüzündeki bazı özellikler genel itibariyle benzer olduğu için (göz, burun, ağız vb.) bir görüntü içerisinde bir insan yüzü olup olmadığını tespit etmek, bu yüzün kime ait olduğunu söylemekten daha kolay ve hızlıdır. 1999 [4] ve 2000 [7] yıllarında yapılan iki ayrı çalışmada da bu yaklaşım benimsenmiş olup oldukça hızlı ve yüksek doğruluğa sahip sonuçlar elde edilmiştir. Bu bildiride anlatılan metotlar da ikinci anlayış ile yola çıkılarak hazırlanmış olup, en-boy oranı fazla değişmeyen her ürün grubu için uygulanabilmektedir. İnsan yüzündeki benzer özellikler yerine ürün kutularının şekli baz alınmıştır. 3. Metotlar Önerilen yöntemlerde girdi olarak raf görüntüsü ile planogramda bulunan satır ve sütun sayıları kullanılmaktadır. Çıktı olarak ise görüntüden mümkün olduğu kadar doğru sayıda ürün kutusu ve yerleşim bilgisi beklenmektedir. 3.1 Önişlemler İlgili çalışmalar bölümünde de değinildiği gibi önerilen metotların uygulanabilmesi için öncelikle raf görüntüsü üzerinde ürünlerin tespit edilmesi gerekmektedir. Nesne tespitinin ardından iki adet eleme işlemi performansı önemli ölçüde artırmaktadır. Bu iki eleme işlemi maliyet açısından hızlı ve iki metotta da bulunduğundan dolayı nesne tespitiyle beraber önişlem olarak anlatılmıştır. 3.1.1 Nesne Tespiti (Object Detection) Algoritmanın ilk önişlem basamağı olan nesne tespiti için Viola-Jones algoritmasını [5] baz alan katmanlı filtre (cascaded-filter) kullanılmıştır. Matlab de hazır halde bulunan traincascadeobjectdetector() metoduyla parametreler değiştirilerek eğitim yapılmış ve sonuçları karşılaştırılmıştır. Eğitim için manuel olarak kırpılmış olan ürün fotoları pozitif örnek olarak, yine manuel olarak raf görüntülerinden kırpılmış olan ancak ürünün tamamını kapsamayan ya da hiç ürün içermeyen fotolar negatif örnek olarak kullanılmıştır. Parametrelerden truepositiverate = 0,995 ve falsealarmrate = 0,01 seçildiğinde 3 featuretype dan LBP nin (local binary patterns) en iyi sonuç verdiği görülmüştür. Böylece eğitim tamamlanmış ve

elde edilen.xml uzantılı dosya nesne tespitinde kullanılmak üzere kaydedilmiştir. Ürün tespiti yapılmak istenen raf görüntüsü üzerinde nesne tespiti gerçekleştiriliken raf planogramında bulunması gereken ürün sayısı satır ve sütun olarak algoritmaya verilmektedir. Bu bilgiden yola çıkılarak tespit edilecek nesnelerin azami ve asgari boyutları hesaplanmaktadır. Görüntünün rafın tamamını içerdiği var sayılarak, tespit edilecek ürünlerin azami yüksekliği görüntü yüksekliğinin rafın satır sayısına bölünmesiyle elde edilmiştir. Asgari yükseklik ise azami yüksekliğin 1/5'i olarak kabul edilmiştir. Şekil 1 de bu işlemin uygulandığı örnek bir raf görünmektedir. değerleri dışında kalan kutuların elenmesidir. Yapılan testlerde birinci metot için alt eşik değerinin ortalama kutu boyutunun yarısı ve üst eşik değerinin ortalama kutu boyutunun 1,5 katı olarak belirlenmesi uygun görülmüş, ikinci test için ise alt eşik değerinin ortalama kutu boyutunun 0,6 katı, üst eşik değerinin ortalama kutu boyutunun 1,5 katı şeklinde ayarlanmıştır. Burada asıl amaç medyan elemesini bozabilecek olan çok sayıdaki ufak ürün kutusunun (olması gereken kutu boyutunun 10 da birinden daha küçük) elenmesidir. Şekil 2 de birinci metot için ortalama boyut elemesi yapılmış bir raf görüntüsü yer almaktadır. Şekil 2 Ortalama Boyut Elemesi Sonucu Şekil 1 Nesne Tespiti Sonucu Katmanlı filtre ile tespit edilen ürünler içerisinde doğru tespit edilen ürün kutularının yanısıra hatalı tespit edilmiş kutular da bulunmaktadır. Bu aşamadan sonraki her adım yanlış tespit edilen ürünlerin elenmesi veya yanlış tespit edilen ürünlerden doğru kutuların tahmin edilmesi için yapılmaktadır. 3.1.2 Ortalama Boyut Elemesi (Mean Filter) İlk eleme aşaması olan ortalama boyut elemesi, isminden de anlaşılacağı gibi tespit edilmiş kutuların ortalama boyutları hesaplandıktan sonra belirlenen alt ve üst eşik 3.1.3 Medyan Elemesi (Median Filter) Bir önceki eleme işleminde olduğu gibi bu adımda da benzer bir yaklaşım tercih edilmiştir. Ancak eleme esnasında ortalama kutu boyutu yerine medyan kutu boyutu dikkate alınmıştır. Yapılan testlerde birinci metot alt eşik değerinin medyan kutu boyutunun 0,8 katı ve üst eşik değerinin medyan kutu boyutunun 1,5 katı üzerinden, ikinci metot ise alt eşik değerini medyan kutu yüksekliğinin 0,6 katı, üst eşik değerini ise medyan kutu yüksekliğinin 1,4 katı olarak belirlenmesi uygun görülmüştür. Şekil 3 te son önişlemden geçirilmiş bir raf görüntüsü bulunmaktadır.

Bu aşamada satır tespiti yapabilmek için dikey eksende yukarıdan aşağıya doğru tarama yaparak her piksel değeri için o yatayda kaç adet ürün kutusu tespit edildiği sayılır. Elde edilen histogram, yanlış tespit edilen kutulardan kaynaklanan gürültüden kurtulmak için Gauss Filtresi ne (Gaussian Filter) sokulur [2]. Bu şekilde yumuşatılan eğride tepe noktalarının satırların orta noktalarını, çukur noktalarının ise satırların ayrıldıkları çizgileri belirtmesi beklenir. Şekil 4 te satır çizgileri tespit edilmiş raf görüntüsü sunulmuştur. Şekil 3 Medyan Elemesi Sonucu 3.2 Metot 1 Önişlemlerden geçen görüntü üzerinde önce satır çizgisi tespiti yapılır. Sonrasında ise bir dizi eleme operasyonuyla fazlalık kutuların bulunup çıkarılmasına devam edilir. 3.2.1 Satır Çizgisi Tespiti (Row Line Detection) Planogram eşleştirmesinin başarılı bir şekilde yapılabilmesi için planograma uygun sayıda satır tespiti gerekmektedir. Ayrıca, satırların doğru tespit edilmesi de oldukça büyük önem taşımaktadır. 3.2.2 Satır Ayrımı (Row Separation) Tespit edilen ürün kutuları satırların ayrıldıkları çizgilere olan konumlarına göre ayrılarak raf içerisindeki her satır ayrılmış olur. Raf etrafında farklı ürünlerin bulunduğu bazı durumda yanlış tespit edilen ürünlerden dolayı fazla satır çizgisi tespit edilebilmektedir. Bu durumda ise en yüksek ürün miktarına sahip satırlar seçilerek geri kalan kutular elenir. 3.2.3 Satır Bazlı Eleme (Mid Filter) Genellikle rafın arka planında bulunan desenlerden dolayı satıra uymayan ancak iki satır çizgisi arasında bulunduğu için önceki adımlarda elenmeyen bazı ürünler bulunabilmektedir. Şekil 4 Raf Çizgileri Şekil 5 Satır Bazlı Eleme Sonucu

Bu kutuların elenmesi daha sonra yapılacak olan çakışma elemesine kolaylık sağlamaktadır. Bu işlem için tespit edilen kutunun dikey eksendeki orta noktasının ilgili satırdaki tüm kutuların orta noktaları ortalamasına olan uzaklığı hesaplanır. Eğer bu uzaklık kutu yüksekliğinin çeyreğinden daha fazlaysa kutu elenir. Şekil 5 te ayrımı yapılmış satırlara göre elemeden geçirilmiş raf görüntüsü görülmektedir. 3.2.4 Çakışma Elemesi (Overlap Filter) Satır bazlı elemenin ardından elenmemiş olan kutulardan üst üste olan veya birbirine çok yakın tespit edilen kutuların elenmesi gerekmektedir. Bu adımda önce ilgili satırdaki kutular yatay eksendeki pozisyonlarına göre sıralanır. Bunun ardından en soldan başlanarak ikişer ikişer kutuların çakışan alanları hesaplanır. Eğer ardışık iki kutunun çakışan alanı küçük olan kutunun alanının yarısından fazlaysa bu iki kutunun aynı ürünü gösterdiği anlaşılmaktadır. Bu durumda elenmesi gereken kutuya karar verebilmek için iki kutunun da dikey eksendeki orta noktalarının ilgili satırdaki tüm kutuların orta noktaları ortalamasına olan uzaklığı hesaplanır. Bu uzaklık fazla olan kutu elenir. Şekil 6 da metot 1 in son işleminden geçirilmiş raf görüntüsü mevcuttur. Böylece yanlış tespit edilen ürünler ayıklanmış olur ve planogram eşleştirmesi için görüntü hazır hale gelir. Her satır için sırayla her ürünün yeri belirtilerek planogram eşleştirme tamamlanır. 3.3 Metot 2 İkinci metot opencv üzerinde çalışmakta olan bir sistem olmakla beraber, birinci metottaki yönteme oldukça benzerlik göstermektedir. Ancak opencv nin MATLAB ortamından daha alt seviye bir dille yazılmış olması ek olarak bazı parametrelerin değiştirilebilmesine olanak sağlamıştır. 3.3.1 Satır Çizgisinin Tespiti (Row Line Detection) Bu metotta satır çizgilerinin tespiti için Gauss Karışım Modeli (Gaussian Mixture Model) kullanılmıştır. Gauss karışım modeli verinin istenilen miktarda kümelenmesini, bu esnada da başarım kriteri olarak birbirinden bağımsız Gauss dağılımlarına ne kadar yakınsadıklarını (koşullu olasılık) ölçer. Bu metodun satır çizgilerini tespit edebilmek için elde edilmiş olan ürün koordinatlarının bir işlemden geçmesi gerekir. Şekil 7 Raf Çizgileri Şekil 6 Çakışma Elemesi Sonucu Ürün koordinatları, sol üst köşenin x ve y koordinatı ile ürünün yüksekliği ve genişliği

şeklinde tutulur. Raf konumu tespit etmek için sistem iki boyuttan bir boyuta indirgenmiş ve bu süreçte objelerin sadece y koordinatı bilgisi kullanılmıştır. Kümeleme işleminden önce her ürünün tanımlı olduğu y koordinatı için bir adet sayı girilmiştir. Bu sayede sistem, bütün ürünlerin hangi y koordinatı için kaç tane olduğu bilecek ve bunun üzerinden kümeleme işlemi yapacaktır. Gauss karışım modeli eğitimi sonucunda belirlenen küme merkezleri rafların orta noktasını göstermektedir. Şekil 7 de bu işlemi yapılmış raf görüntüsü yer almaktadır. 3.3.2 Satır Bazlı Eleme (Mid Filter) Satır çizgileri tespit edildikten sonra herhangi bir satıra yeteri kadar yakın olmayan ürünlerin elenmesi işlemi gerçekleştirilir. Bu işlem için öncelikle raf çizgileri arasındaki ortalama uzaklık hesaplanır ve bu uzaklığa ortalama raf yüksekliği denir. Daha sonra bütün ürünlerin merkez koordinatı ile bütün rafların merkez koordinatı arasındaki uzaklık hesaplanır. Eğer bu uzaklık ortalama raf yüksekliğinin 4 te birinden fazla ise o ürün sistemden çıkartılır. Ürünün sistemde kalması durumunda ürün merkezi ile en kısa mesafeyi veren satır ürünün satır numarası olarak kaydedilir. Şekil 8 de satır bazlı elemesi yapılmış raf görüntüsü bulunmaktadır. 3.3.3 Çakışma Elemesi (Overlap Filter) Sistem üzerindeki koordinatlar büyüklüklerine göre ve raf çizgisine göre olan konumlarından dolayı elendikten sonra birbirine göre eleme işlemi yapılmaya başlanmıştır. Bu evrenin kullanılma sebebi doğru koordinatta olsa bile, birbirinin üzerinde olan ürünlerin doğru şekilde elenmesini sağlamaktır. İki ürünün üst üste kesişmesini ölçeklemek için ortak alan oranı metriği kullanılmıştır. Bu oran iki dikdörtgenin (ürün) kesişim alanının, bu iki dikdörtgenin birleşiminin oluşturduğu şeklin alanına oranıdır. Bu oran iki ürün aynı boyda ise ve birbiri ile tamamen örtüşüyorsa 1, ürünler birbirinden tamamen ayrıksa 0 verir. Her ürün ikilisi bu teste tutulur ve kesişim oranına göre filtrelenir. Eğer iki ürün arasındaki oran 0.6 dan büyükse, bu iki üründen yüksekliği medyan ürün yüksekliğinden daha büyük olanı elenir. Şekil 9 Çakışma Elemesi Sonucu Şekil 8 Satır Bazlı Eleme Sonucu Raf ürünleri üzerindeki bir diğer problem ise tespit edilen ürün koordinatlarının gerçek ürün koordinatı ile bir miktar örtüşmesi ancak merkezlerinin gerçek ürün merkezinden uzak olmasıdır. Bu durumda iki ürün de gerçek ürün alanının bir miktarını kaplar ancak iki

ürün koordinatı da yeteri kadar başarılı bir konum vermemektedir. Bu durumları elemek için yine çakışma elemesi kullanılır. Eğer iki ürünün çakışma oranı 0.25 ile 0.6 arasında ise iki ürünün merkez koordinatları ve büyüklük ortalamaları alınıp orta noktada yeni bir ürün oluşturulur ve diğer iki ürün elenir. Şekil 9 da çakışma elemesi gerçekleştirilmiş raf görüntüsü verilmiştir. Bütün bu işlemlerden sonra koordinatlar planogram eşleştirme için hazır hale getirilmiştir. Elde edilen ürün koordinatları üzerinden yapılan sınıflandırma ile ürün markaları planograma yerleştirilir. 4. Sonuçlar İki metodun kıyaslanabilmesi için ortak veri kümesi üzerinde bir test düzeneği kurulmuştur. Bu düzenekte 200 adet sigara kutuları içeren gerçek market raf görüntüsü kullanılmıştır. Görüntülerdeki kutular manuel olarak tespit edilip pozisyon ve boyut bilgileri kaydedilmiştir. Başarım kriterlerini tespit edebilmek için manuel tespit edilen kutular ile metotların çıktısında elde edilen kutular kıyaslanmıştır. Bu kıyaslamada ilgili kutuların merkez noktalarının öklid mesafesinin, tespit edilen kutunun boyuna oranı hesaplanmıştır. Bu oran belli bir eşik değerinin altında kalıyorsa kutunun doğru tespit edildiği kabul edilip, aksi takdirde yanlış tespit edildiği varsayılmıştır. Eşik değeri %5-%30 arasında %1 lik artışlar şeklinde değiştirilerek test işlemi tekrarlanmış ve sonuçlar Şekil 10 da kesinlik (precision), geri getirme (recall) ve f-skoru (f-score) olarak verilmiştir. 5. Kıyaslama İki metodun da başarım oranları birbirine yakın çıkmasına karşın tekniklerinde yatan bazı temel farklılıklar sebebiyle ufak değişiklikler saptanmıştır. Satır çizgisi tespitinde metot 2 nin Gauss Karışım Modeli yle satırların orta noktalarını tespitinde daha başarılı olduğu görülmüştür. Öte yandan, satır bazlı eleme sonuçlarında metot 1 de satırlara uymayan ürünlerin elenmesi çakışma elemesini daha da kolaylaştırmıştır. En yüksek kesinlik değeri (%96,68) metot 1 de tespit edilirken, en yüksek geri getirme (%94,43) ve f-skoru (%94,00) değerleri metot 2 de alınmıştır (%30 izin verilen hata durumlarında). Bu durum birinci metodun yanlış pozitif oranının, ikinci metodun ise yanlış negatif oranının daha düşük olması ile açıklanabilir. 6. Kapanış Yapılan araştırmalardan ve kıyaslamalardan sonra her iki metodun da ticari kullanım için yeterli ölçüde başarılı olduğu görülmüştür. Bu çalışmanın çıktısı üzerinden nesne tanıma Şekil 10 Metotların Başarım Oranları (Kesinlik, Geri Getirme, F-Skoru)

algoritması çalıştırılarak ticarileşebilecek bir ürün çıkarılması sağlanacaktır. Bu bildiride, perakende ürün satış noktalarında sıkça karşılaşılan bir probleme otomatik bir sistem ile çözüm aranmıştır. Problemin kaynağına değinilip çözümü için daha önce başvurulan yöntemler ile benzer problemleri içeren literatür araştırması yapılmıştır. Geliştirilen iki metot adım adım anlatılıp resimlerle desteklenmiştir. Metotların başarımları sunulmuş ve karşılaştırılmıştır. Projenin ileriki aşamalarında elenen ürün koordinatları üzerinden oluşturulan bir yapı yardımıyla olası eksik kutuların yerinin bulunması için sonucun iyileştirilmesi planlanmaktadır. Bu aşama için eksik koordinatların tespitinden sonra homografik dönüşümler ile olması gereken koordinatların ölçeklenip resim içerisindeki konumlarına konulması planlanmaktadır. Doğru bir homografik filtre yardımı ile çok düşük izin verilen hata miktarlarında dahi oldukça yüksek başarım oranları elde edilebilecektir. 7. Teşekkür Bu çalışmamız TÜBİTAK TEYDEB tarafından 3130322 no lu VisionFetch Projesi kapsamında desteklenmiştir. Ayrıca, Boğaziçi Üniversitesi Bilgisayar Mühendisliği Bölümü nden Prof.Dr. Fatih Alagöz ve G.Y.T.E. (G.T.Ü.) Bilgisayar Mühendisliği Bölümü nden Doç.Dr. Yusuf Sinan Akgül e katkılarından dolayı teşekkür ederiz. 8. Kaynaklar [1] D. A. Papakiriakopoulos, Automatic Detection of Out-Of-Shelf Products in the Retail Sector Supply Chain, Athens University of Economics and Business, Ph.D. Thesis. [2] G. Varol, R. S. Kuzu, "Toward retail product recognition on grocery shelves." International Conference on Image, Vision and Computing, Paris (2014). [3] J. Kleban, X. Xie and W. Y. Ma, Spatial pyramid mining for logo detection in natural scenes, IEEE International Conference on Multimedia and Expo (2008). [4] Nefian, A.V.; Hayes, M.H., "An embedded HMM-based approach for face detection and recognition," Proceedings., 1999 IEEE International Conference on, vol.6, no., pp.3553-3556 vol.6, 15-19 (1999). [5] P. Viola and M. Jones, Rapid object detection using a boosted cascade of simple features, CVPR, 511 518, (2001). [6] T. Winlock, E. Christiansen and S. Belongie, Toward real-time grocery detection for the visually impaired, CVPRW, 49 56, (2010). [7] Yongmin Li; Shaogang Gong; Liddell, H., "Support vector regression and classification based multi-view face detection and recognition," Proceedings. Fourth IEEE International Conference on, vol., no., pp.300-305 (2000)