İTÜ LİSANSÜSTÜ DERS KATALOG FORMU (GRADUATE COURSE CATALOGUE FORM) Dersin Adı Sayısal Video İşleme Course Name Digital Video Processing Kodu (Code) TEL520E Lisansüstü Program (Graduate Program) Dersin Türü (Course Type) Yarıyılı (Semester) Bahar (Spring) Kredisi (Local Credits) AKTS Kredisi (ECTS Credits) Ders Seviyesi (Course Level) 3 7.5 YL (M.Sc.) Telekomünikasyon Mühendisliği (Telecommunications Engineering) Seçmeli (Elective) Dersin Dili (Course Language) İngilizce (English) Dersin İçeriği (Course Description) 30-60 kelime arası İmgeleme modelleri, uzamda-zamanda örnekleme ve örnekleme yapılarının dönüşümü. 2B ve 3B hareket kestirim teknikleri. Parametrik ve parametric olmayan hareket kestirim teknikleri. Çerçeve-tabanlı ve nesne-tabanlı video sıkıştırma metodları. Video iletim standartları. Video akışlama ve IP ye uygun video iletimi. Güncel uygulamalar: Mobil çoğuortam uygulamalrı, nesne takibi, içerik-tabanlı video indeksleme, arama ve getirme, video kopya sezimi- video parmakizi çıkarma, super çözünürlüklü video. Image formation models, spatio-temporal sampling and sampling structure conversion. 2D and 3D motion estimation techniques. Parametric and non parametric motion estimation. Framebased and object-based video compression methods.video communication standards. Video streaming and video over IP. A number of advanced application topics will be covered including mobile multimedia applications, object tracking, content-based video indeing, search and retrieval, video copy detectiion-fingerprinting and super resolution video. Dersin Amacı (Course Objectives) Maddeler halinde 2-5 adet 1. Sayısal video işaretlerinin modellenmesi ve işlenmesine ilişkin temel teorik altyapının verilmesi ve tekniklerin tanıtılması. 2. 2B ve 3B hareket kestirim metodlarına ilişkin teorik altyapının kazandırılması. 1. To introduce fundamental theory and techniques for efficient representation and processing of digital video signals. 2. To provide the required theoretical framework for the estimation of 2D and 3D motion. Dersin Öğrenme Çıktıları (Course Learning Outcomes) Maddeler halinde 4-9 adet Bu dersi başarıyla tamamlayan yüksek lisans/doktora öğrencileri aşağıdaki konularda bilgi, beceri ve yetkinlik kazanırlar; 1. Sayısal video işlemenin temelleri 2. 2B ve 3B hareket modelleme 3. Parametrik hareket kestirimi 4. Parametric olmayan hareket kestirimi 5. 2B hareketten 3B hareket kestirimi 6. Güncel video modelleme, işleme ve iletim teknolojileri
M.Sc./Ph.D. students who successfully pass this course gain knowledge, skill and competency in the following subjects; 1. Basics of digital video processing 2. 2D and 3D motion modeling 3. Parametric motion estimation 4. Non parametric motion estimation 5. Estimation of 3D motion from 2D 6. Latest video representation, processing and transmission technologies Kaynaklar (References) En önemli 5 adedini belirtiniz 1. Digital Video Processing, A. M. Tekalp, Prentice Hall, 1995, ISBN 0-13-190075-7. 2. Video Processing and Communications, Y. Wang, J. Ostermann, and Y. Zhang, Prentice Hall, 2002, ISBN 0-13-017547-1.. 3. Digital Video: An Introduction to MPEG-2, B.G. Haskell, A. Puri, and A.N. Netravali, Chapman&Hall,1997,ISBN 0-412-08411-2. Ödevler ve Projeler (Homework & Projects) Laboratuar Uygulamaları Öğrencilere dersi daha iyi anlamaları ve bilgisayar kullanımını teşvik amacı ile ödev verilecektir. Homework assignments will be given in order to clarify theoretical subjects and to encourage the use of computer programs. (Laboratory Work) Bilgisayar Kullanımı (Computer Use) ÖDEVLER VE DÖNEM PROJESI ILE IÇIN ÇOK SYAIDA ALGORITMA BILGISAYAR ORTAMINDA GERÇEKLENECEKTIR. Diğer Uygulamalar (Other Activities) Başarı Değerlendirme Sistemi Faaliyetler (Activities) Adedi* (Quantity) Yıl İçi Sınavları (Assessment Criteria) (Midterm Eams) Kısa Sınavlar (Quizzes) Ödevler (Homework) Projeler (Projects) Dönem Ödevi/Projesi (Term Paper/Project) Laboratuar Uygulaması (Laboratory Work) Diğer Uygulamalar (Other Activities) Final Sınavı (Final Eam) *Yukarıda Belirtilen Sayılar Minimum Olup Yerine Getirilmesi Zorunludur. Değerlendirmedeki Katkısı, % (Effects on Grading, %) 6 60 1 40
DERS PLANI Hafta Konular Dersin Çıktıları 1 Hareket modelleme. 3B tan 2B ye izdüşürme. 1 2 Uzam değişimli imge modelleme. 1 3 2B hareket kestirimi.bolk eşleme metodları. Lucas ve Kanade metodu. 1,2 4 Çerçeve-tabanlı hareket kestirimi. 1, 2 5 Parametrik hareket modelleri. 1,3 6 Mesh tabanlı hareket kestirimi. Optik akışa dayalı metodlar. 1,4 7 Parametrik olmayan hareket kestirim metodları 1,4 8 Bulanıklık ve gürültü giderme 6 9 Hareket bölütleme ve tabakalı video modelleme 6 10 2B hareketten 3B hareket kestirimi. 5 11 Derinlik kestirimi. 5 12 Video sıkıştırma. Çerçeve tabanlı sıkıştırma. Nesne-tabanlı sıkıştırma. 6 13 Video iletişimi-video akışlama ve hata giderimi 6 14 Dönem projesi sunuşları. 1 COURSE PLAN Weeks Topics Course Outcomes 1 Motion representation. Projection from 3D to 2D. 1 2 Space varying image formation. 1 3 2D Motion estimation-block-matching methods. Lucas and Kanade method. 1,2 4 Frame-based motion estimation. 1, 2 5 Parametric motion models. 1,3 6 Mesh based motion estimation. Optical flow based methods. 1,4 7 Non parametric motion estimation methods. 1,4 8 Deblurring, noise reduction 6 9 Motion segmentation and layered video representations 6 10 3D motion estimation from 2D 5 11 Depth estimation 5 12 Video compression. Frame based compression. Object based compression (MPEG-4) 6 13 Video communication- video streaming and error resilience 6 14 Term project presentations. 1
Dersin Telekomünikasyon Mühendisliği. Programıyla İlişkisi Programın mezuna kazandıracağı bilgi, beceri ve yetkinlikler (programa ait çıktılar) 1: Az, 2. Kısmi, 3. Tam Katkı Seviyesi 1 2 3 i. Telekomünikasyon Mühendisliği alanında bilgilerini uzmanlık düzeyinde geliştirebilme ve bu bilgileri kullanarak sorunları çözümleyebilme (Bilgi ve Beceri). ii. Telekomünikasyon Mühendisliği nin ilişkili olduğu disiplinler arası etkileşimi kavrayabilme, edindiği bilgileri farklı disiplin alanlarından gelen bilgilerle bütünleştirerek yorumlayabilme ve yeni bilgiler üretebilme (Beceri). iii. Telekomünikasyon Mühendisliği ile ilgili uzmanlık gerektiren sorunların çözümü için yeni yaklaşımlar geliştirebilme, sorumluluk alarak çözüm üretebilme ve uzmanlık gerektiren bir çalışmayı bağımsız olarak yürütebilme (Bağımsız Çalışabilme ve Sorumluluk Alabilme Yetkinliği). iv. Telekomünikasyon Mühendisliği nde edindiği uzmanlık düzeyindeki bilgi ve becerileri eleştirel bir yaklaşımla değerlendirebilme (Öğrenme Yetkinliği). v. Telekomünikasyon Mühendisliği ndeki güncel gelişmeleri ve kendi çalışmalarını ulusal veya uluslararası gruplara, yazılı, sözlü ve görsel olarak sistemli biçimde aktarabilme (İletişim ve Sosyal Yetkinlik). vi. İngilizce kullanarak sözlü ve yazılı iletişim kurabilmek (İletişim ve Sosyal Yetkinlik). vii. Bilgisayar yazılımı ile birlikte bilişim ve iletişim teknolojilerini yüksek düzeyde kullanabilme (İletişim ve Sosyal Yetkinlik). viii. Telekomünikasyon Mühendisliği ile ilgili verilerin toplanması, yorumlanması, uygulanması ve duyurulması aşamalarında toplumsal, bilimsel, kültürel ve etik değerleri gözeterek denetleyebilme ve bu değerleri öğretebilme (Alana Özgü Yetkinlik). i. Telekomünikasyon Mühendisliği ile ilgili konularda uygulama planları geliştirebilme ve elde edilen sonuçları, kalite süreçleri çerçevesinde değerlendirebilme (Alana Özgü Yetkinlik). Relationship between the Course and Telecommunications Engineering.. Program Program Outcomes i. Developing and intensifying knowledge that requires epertise in the area of Telecommunication Engineering, and gaining the skills necessary to analyze and solve problems using this knowledge (Knowledge and Skill) ii. Grasping the inter-disciplinary interaction related to Telecommunication Engineering, interpreting and forming new types of knowledge by combining the knowledge from Telecommunication Engineering and the knowledge from various other disciplines (Skill). iii. Developing new approaches to solve the comple problems arising in Telecommunication Engineering, coming up with solutions while taking responsibility and carrying out a specific study independently. (Competence to Work Independently and Take Responsibility). iv. Assessing the knowledge and skill gained in the area of Telecommunication Engineering with a critical view (Learning Competence). v. Systematically transferring the current developments and one s own work in Telecommunication Engineering, to other groups in written, oral and visual forms (Communication and Social Competency). vi. Establishing written and oral communication in English (Communication and Social Competency). vii. Competence in using the computer software together with the information and communication technologies. (Communication and Social Competency). viii. The ability to control the collecting, interpreting, practicing and announcing processes of the Telecommunication Engineering related data taking into consideration scientific, cultural and ethical values and the ability to teach these values to others (Area Specific Competency). i. Developing application plans concerning the subjects related to Telecommunication Engineering and the ability to evaluate the end results of these plans within the frame of quality processes (Area Specific Competency). Level of Contribution 1 2 3 1: Little, 2. Partial, 3. Full Düzenleyen (Prepared by) Prof. Dr. Bilge Günsel Tarih (Date) 11.6.2011 İmza (Signature)