791. Linux Kullanıcıları Derneği Üyesi

Transkript

1 O p e n C V i l e B i l g i s a y a r l a G ö r m e

2 O p e n C V i l e B i l g i s a y a r l ı G ö r m e İsmet YALABIK 791. Linux Kullanıcıları Derneği Üyesi Araştırma Görevlisi Görüntü İşleme ve Örüntü Tanıma Laboratuvarı Bilgisayar Mühendisliği Bölümü Orta Doğu Teknik Üniversitesi ismet@ceng.metu.edu.tr web: 2

3 B i l g i s a y a r l ı G ö r m e N e d i r? Göz-Beyin İlişkisi Görme, Tanıma, Algılama Görüntünün Algılanması Nesnelerin Ayrıştırılması Nesnelerin Tanınması Nesnelerin Eşleştirilmesi 3

4 O p e n C V N e d i r? İlgili alanlardaki araştırma ve geliştirmeyi desteklemek için evrensel bir araç kutusu oluşturmak Bilgisayarla Görme İnsan-Bilgisayar Etkileşimi Robot Bilimi Biyoenformatik Güvenlik Görüntüleme 4

5 O p e n C V ' n i n A n a h t a r Ö z e l l i k l e r i Cross-platform Orta ile ileri seviyeli API 350'den fazla C fonksiyonu Birkaç C++ sınıfı Phyton eklentileri Çok az kütüphane bağımlılığı IPP(Intel Performance Primitives) desteği 5

6 O p e n C V T a r i h ç e s i Başlangıç: 2000, intel sourceforge.net'e geçiş CVPR-2001 Stanley aracının anahtar kütüphanesi (2M $lık darpa yarışı birincisi) 6

7 O p e n C V K ü t ü p h a n e s i A n a Y a p ı s ı Temel Yapılar Nokta Dikdörtgen Ölçüt Matris Görüntü Ayrık Matris 7

8 O p e n C V : T e m e l Y a p ı l a r typedef struct CvPoint { int x; /* x-coordinate, usually zero-based */ int y; /* y-coordinate, usually zero-based */ } CvPoint; typedef struct CvRect { int x; /* x-coordinate of the left-most rectangle corner[s] */ int y; /* y-coordinate of the top-most or bottom-most rectangle corner[s] */ int width; /* width of the rectangle */ int height; /* height of the rectangle */ } CvRect; 8

9 O p e n C V : T e m e l Y a p ı l a r typedef struct _IplImage { int nsize; /* sizeof(iplimage) */ int ID; /* version (=0)*/ int nchannels; /* Most of OpenCV functions support 1,2,3 or 4 channels */ int alphachannel; /* ignored by OpenCV */ int depth; /* pixel depth in bits: IPL_DEPTH_8U, IPL_DEPTH_8S, IPL_DEPTH_16U, IPL_DEPTH_16S, IPL_DEPTH_32S, IPL_DEPTH_32F and IPL_DEPTH_64F are supported */ char colormodel[4]; /* ignored by OpenCV */ char channelseq[4]; /* ditto */ int dataorder; /* 0 - interleaved color channels, 1 - separate color channels. cvcreateimage can only create interleaved images */ int origin; /* 0 - top-left origin, 1 - bottom-left origin (Windows bitmaps style) */ int align; /* Alignment of image rows (4 or 8). OpenCV ignores it and uses widthstep instead */ int width; /* image width in pixels */ int height; /* image height in pixels */ struct _IplROI *roi; /* image ROI. when it is not NULL, this specifies image region to process */ struct _IplImage *maskroi; /* must be NULL in OpenCV */ void *imageid; /* ditto */ struct _IplTileInfo *tileinfo;/* ditto */ int imagesize; /* image data size in bytes (=image->height*image->widthstep in case of interleaved data)*/ char *imagedata; /* pointer to aligned image data */ int widthstep; /* size of aligned image row in bytes */ int BorderMode[4]; /* border completion mode, ignored by OpenCV */ int BorderConst[4]; /* ditto */ char *imagedataorigin; /* pointer to a very origin of image data (not necessarily aligned) - it is needed for correct image deallocation */ } IplImage; 9

10 O p e n C V : T e m e l O p e r a s y o n l a r Aritmetik, Mantık ve Karşılaştırmalar Matris Aritmetiği, Mantık İşlemeleri İstatistik Permütasyonlar ve Dönüşümler Ayırma, Çevirme, Tekrarlama Lineer Cebir Normalizasyon, Çapraz Çarpım, Ters Rastgele Sayı Üreticisi 10

11 O p e n C V : T e m e l V e r i Y a p ı l a r ı Hafıza depoları Sekanslar Kümeler Çizgeler Ağaçlar 11

12 O p e n C V : T e m e l V e r i Y a p ı l a r ı #define CV_SEQUENCE_FIELDS() \ int flags; /* micsellaneous flags */ \ int header_size; /* size of sequence header */ \ struct CvSeq* h_prev; /* previous sequence */ \ struct CvSeq* h_next; /* next sequence */ \ struct CvSeq* v_prev; /* 2nd previous sequence */ \ struct CvSeq* v_next; /* 2nd next sequence */ \ int total; /* total number of elements */ \ int elem_size; /* size of sequence element in bytes */ \ char* block_max; /* maximal bound of the last block */ \ char* ptr; /* current write pointer */ \ int delta_elems; /* how many elements allocated when the sequence grows (sequence granularity) */ \ CvMemStorage* storage; /* where the seq is stored */ \ CvSeqBlock* free_blocks; /* free blocks list */ \ CvSeqBlock* first; /* pointer to the first sequence block */ typedef struct CvSeq { CV_SEQUENCE_FIELDS() } CvSeq; 12

13 O p e n C V : K a l a n A n a F o n k y o n l a r Eğri ve Şekil Çizme Fonksiyonları Metin Yazma Fonksiyonları Dosya Depoları, okuma/yazma Hata kontrolü Hafıza Yönetimi ve sistem çağrıları 13

14 O p e n C V : Ş e k i l Ç i z m e Şekil, Çizgi, Metin Uygulaması uygulama-1 (edge) 14

15 O p e n C V : G ö r ü n t ü İ ş l e m e Kenar, Köşe İşlemleri İnterpolasyon, Geometrik Transformasyon Morfolojik İşlemler Filtreler ve Renk Dönüşümleri Görüntü Bölütleme Özel Görüntü Dönüşümleri Histogram Eşleştirme 15

16 O p e n C V : K e n a r l a r, K ö ş e l e r Sobel Filtresi Laplace Filtresi Canny Kenar Yöntemi Harris Köşe Yöntemi Minimum Eigen Değeri Yöntemi 16

17 O p e n C V : C a n n y K e n a r B u l m a Canny Kenar Bulma Uygulaması uygulama-2 (edge) 17

18 O p e n C V : I n t e r p o l a s y o n v e G e o m e t r i k D ö n ü ş ü m l e r Büyütme, küçültme Affine Dönüşümler Rotasyon Logpolar Double-click to add graphics 18

19 O p e n C V : M o r f o l o j i k İ ş l e m l e r Erode Dilate Yapısal Elemanın Oluşturulması Gelişmiş Morfolojik Dönüşümler 19

20 O p e n C V : M o r f o l o j i k İ ş l e m l e r Morfoloji Uygulaması uygulama-3 (morphology) 20

21 O p e n C V : F i l t r e l e r v e R e n k D ö n ü ş ü m l e r i Düzleştirme Konvolüsyon Filtreleri İntegral Görüntü Eşik Uygulama Renk Uzayı Dönüşümleri 21

22 O p e n C V : P i r a m i t l e r Piramit Bölütleme Uygulaması uygulama-4 (pyramid_segmentation) 22

23 O p e n C V : G ö r ü n t ü B ö l ü t l e m e FloodFill, Birleşik Bileşenleri Bulma 23

24 O p e n C V : G ö r ü n t ü B ö l ü t l e m e Birleşik Bileşenler Uygulaması uygulama-5 (contours) 24

25 O p e n C V : G ö r ü n t ü B ö l ü t l e m e Watershed Uygulaması uygulama-6 (watershed) 25

26 O p e n C V : Ö z e l G ö r ü n t ü D ö n ü ş ü m l e r i Hough Çizgi Dönüşümleri Mesafe Dönüşümleri 26

27 O p e n C V : Ö z e l G ö r ü n t ü D ö n ü ş ü m l e r i Hough Çizgi Dönüşümü Uygulaması uygulama-7 (houghlines) 27

28 O p e n C V : Ö z e l G ö r ü n t ü D ö n ü ş ü m l e r i Laplace Dönüşümü Uygulaması uygulama-8 (laplace) 28

29 O p e n C V : H i s t o g r a m Histogram Uygulaması uygulama-9 (demhist) 29

30 O p e n C V : H i s t o g r a m cvlut( src_image, dst_image, lut_mat ); cvshowimage( "image", dst_image ); cvcalchist( &dst_image, hist, 0, NULL ); cvzero( dst_image ); cvgetminmaxhistvalue( hist, 0, &max_value, 0, 0 ); cvscale( hist->bins, hist->bins, ((double)hist_image- >height)/max_value, 0 ); /*cvnormalizehist( hist, 1000 );*/ cvset( hist_image, cvscalarall(255), 0 ); bin_w = cvround((double)hist_image->width/hist_size); for( i = 0; i < hist_size; i++ ) cvrectangle( hist_image, cvpoint(i*bin_w, hist_image->height), cvpoint((i+1)*bin_w, hist_image->height - cvround(cvgetreal1d(hist->bins,i))), cvscalarall(0), -1, 8, 0 ); cvshowimage( "histogram", hist_image ); } int main( int argc, char** argv ) { // Load the source image. HighGUI use. src_image = cvloadimage( argc == 2? argv[1] : file_name, 0 ); dst_image = cvcloneimage(src_image); hist_image = cvcreateimage(cvsize(320,200), 8, 1); hist = cvcreatehist(1, &hist_size, CV_HIST_ARRAY, ranges, 1); lut_mat = cvcreatematheader( 1, 256, CV_8UC1 ); cvsetdata( lut_mat, lut, 0 ); cvnamedwindow("image", 0); cvnamedwindow("histogram", 0); cvcreatetrackbar("brightness", "image", &_brightness, 200, update_brightcont); cvcreatetrackbar("contrast", "image", &_contrast, 200, update_brightcont); update_brightcont(0); cvwaitkey(0); cvreleaseimage(&src_image); cvreleaseimage(&dst_image); cvreleasehist(&hist); if(!src_image ) { printf("image was not loaded.\n"); return -1; } 30 } return 0; #ifdef _EiC main(1,"demhist.c"); #endif

31 O p e n C V : H i s t o g r a m #ifdef _CH_ #pragma package <opencv> #endif #ifndef _EiC #include "cv.h" #include "highgui.h" #include <stdio.h> #endif char file_name[] = "baboon.jpg"; int _brightness = 100; int _contrast = 100; int hist_size = 64; float range_0[]={0,256}; float* ranges[] = { range_0 }; IplImage *src_image = 0, *dst_image = 0, *hist_image = 0; CvHistogram *hist; uchar lut[256]; CvMat* lut_mat; /* brightness/contrast callback function */ void update_brightcont( int arg ) { int brightness = _brightness - 100; int contrast = _contrast - 100; int i, bin_w; float max_value = 0; 31 if( contrast > 0 ) { double delta = 127.*contrast/100; double a = 255./( delta*2); double b = a*(brightness - delta); for( i = 0; i < 256; i++ ) { int v = cvround(a*i + b); if( v < 0 ) v = 0; if( v > 255 ) v = 255; lut[i] = (uchar)v; } } else { double delta = -128.*contrast/100; double a = (256.-delta*2)/255.; double b = a*brightness + delta; for( i = 0; i < 256; i++ ) { int v = cvround(a*i + b); if( v < 0 ) v = 0; if( v > 255 ) v = 255; lut[i] = (uchar)v; } }

32 O p e n C V : Y a p ı s a l A n a l i z Kontur İşleme Kontur alanı, çizgi uzunluğu, kontur ağaçları İşlemsel Geometri İki kareyi kapsayan en küçük kare Elips oturtma, çizgi oturtma convexhull Düzlemsel Alt Bölümlemeler Voronin Diyagramları 32

33 O p e n C V : Y a p ı s a l A n a l i z Convexhull Uygulaması uygulama-10 (convexhull) 33

34 O p e n C V : H a r e k e t A n a l i z i, N e s n e İ z l e m e Arka Plan İstatistiklerinin Toplanması Hareket Şablonları Nesne İzleme Optik Akış Tahmin Ediciler 34

35 O p e n C V : H a r e k e t A n a l i z i, N e s n e İ z l e m e Nesne İzleme Uygulaması uygulama-11 (camshiftdemo) 35

36 O p e n C V : Ö r ü n t ü T a n ı m a Nesne Tanıma Nesne Tanımaya Yönelik Basit Haar Özniteliklerinin Çıkarılması Yüz Bulma Uygulaması 36

37 O p e n C V : Y ü z B u l m a #include "cv.h" #include "highgui.h" CvHaarClassifierCascade* load_object_detector( const char* cascade_path ) { return (CvHaarClassifierCascade*)cvLoad( cascade_path ); } void detect_and_draw_objects( IplImage* image, CvHaarClassifierCascade* cascade, int do_pyramids ) { IplImage* small_image = image; CvMemStorage* storage = cvcreatememstorage(0); CvSeq* faces; int i, scale = 1; /* if the flag is specified, down-scale the input image to get a performance boost w/o loosing quality (perhaps) */ if( do_pyramids ) { small_image = cvcreateimage( cvsize(image->width/2,image->height/2), IPL_DEPTH_8U, 3 ); cvpyrdown( image, small_image, CV_GAUSSIAN_5x5 ); scale = 2; } /* use the fastest variant */ faces = cvhaardetectobjects( small_image, cascade, storage, 1.2, 2, CV_HAAR_DO_CANNY_PRUNING ); /* draw all the rectangles */ 37

38 O p e n C V : Y ü z B u l m a for( i = 0; i < faces->total; i++ ) { /* extract the rectanlges only */ CvRect face_rect = *(CvRect*)cvGetSeqElem( faces, i, 0 ); cvrectangle( image, cvpoint(face_rect.x*scale,face_rect.y*scale), cvpoint((face_rect.x+face_rect.width)*scale, (face_rect.y+face_rect.height)*scale), CV_RGB(255,0,0), 3 ); } } if( small_image!= image ) cvreleaseimage( &small_image ); cvreleasememstorage( &storage ); /* takes image filename and cascade path from the command line */ int main( int argc, char** argv ) { IplImage* image; if( argc==3 && (image = cvloadimage( argv[1], 1 ))!= 0 ) { CvHaarClassifierCascade* cascade = load_object_detector(argv[2]); detect_and_draw_objects( image, cascade, 1 ); cvnamedwindow( "test", 0 ); cvshowimage( "test", image ); cvwaitkey(0); cvreleasehaarclassifiercascade( &cascade ); cvreleaseimage( &image ); } return 0; } 38

39 O p e n C V : D i ğ e r Ö z e l l i k l e r Kamera Kalibrasyonu Poz Tahmini 39

40 N i y e O p e n C V? Birçok kullanılabilir ve literatürde başarılı çalışmalara yer veriyor Özellikle işlemci bazında optimizasyon ile programların çok hızlı çalışması sağlanıyor Çok basit bir kullanım olanağı sağlıyor Gelişmiş arayüz fonkyonları sayesinde kullanıcı etkileşimini yükseltiyor Kamera kullanımını kolay kılan özellikleri 40

41 N i y e Ö z g ü r Y a z ı l ı m? Paylaşarak hayatımızı güzelleştirmek için... 41

42 O p e n C V OpenCV'i Nereden Bulabilirim?

43 O p e n C V Teşekkürler, Sorularınız??? 43