İTÜ LİSANSÜSTÜ DERS KATALOG FORMU (GRADUATE COURSE CATALOGUE FORM) Dersin Adı Konuşma ve Ses İşaret İşleme Course Name Speech and Audio Signal Processing Kodu (Code) TEL527E Lisansüstü Program (Graduate Program) Dersin Türü (Course Type) Yarıyılı (Semester) Güz (Fall) Kredisi (Local Credits) AKTS Kredisi (ECTS Credits) Ders Seviyesi (Course Level) 3 7.5 Yüksek Lisans ( MSc) Telekomünikasyon Mühendisliği (Telecommunications Engineering) Seçmeli (Elective) Dersin Dili (Course Language) İngilizce (English) Dersin İçeriği (Course Description) 30-60 kelime arası Konuşma ve ses işleme çok geniş bir alan olduğu için dersin ilk haftalarında ses işaretinin işlenmesi ve işitsel algı ile ilgili gerekli bilgiler verilecektir. İlerleyen haftalarda çeşitli uygulama alanları kapsamında daha detaylı analiz ve sentez yöntemleri incelenecektir. Bu kapsamda psikoakustik maskeleme, MP3, OGG ve benzeri ses sıkıştırma yöntemleri, konuşma ve konuşmacı tanıma, müzik analizi ve geri çatma ile mükemmel ses karışım organizasyonları irdelenecektir. Sayısal ses güvenliği ve ses damgalama, ses parmakizi çıkarma sistemleri ve bunlara yönelik olarak geliştirilen işitsel içerik indeksleme teknikleri anlatılacaktır. Since speech and sound processing has an etensive content range, preliminary information regarding auditory perception and processing of speech signals will be given in the beginning of the course. More comprehensive analysis and synthesis methods, along with related applications will be eamined in subsequent weeks. Psychoacoustic masking, compression techniques such as MP3 and OGG, speech and speaker recognition, music analysis and perfect sound miture organizations by reconstruction are among the topics that will be covered. As well as digital sound protection, watermarking and fingerprinting systems, auditory content indeing techniques developed solely for these systems will be eposed. Dersin Amacı (Course Objectives) Maddeler halinde 2-5 adet Bu ders, öğrencilere mevcut ses tanıma teknolojileri ile ilgili gelişmiş yöntemleri öğretmeyi ve konu ile ilgili ayrıntılı teorik temel oluşturmayı hedeflemektedir. Amaçlanan; kısaca, konuşma ve ses işaretlerinin özniteliklerinin belirlenmesi, bozulma gidermeye yönelik işaret işleme yöntemlerinin öğretilmesi, öğrenciye istatistiksel örüntü tanıma teknolojisinden yararlanarak modern konuşma, ses ve konuşmacı tanıma ile müzik sentezleme sistemleri tasarlama becerisi kazandırmaktır. 1. This course will introduce the fundamentals of the modern speech analysis and auditory perception of speech signals. 2. Techniques for comprehensive analysis and synthesis methods will be eplained. 3. Psychoacoustic masking, compression techniques such as MP3 and OGG, speech and speaker recognition, music analysis and perfect sound miture organizations by reconstruction will be covered. 4. Digital sound protection, watermarking and fingerprinting systems, auditory content indeing techniques will be eposed. Dersin Öğrenme Çıktıları Bu dersi başarıyla tamamlayan yüksek lisans/doktora öğrencileri aşağıdaki konularda bilgi, beceri ve yetkinlik kazanırlar; (Course Learning Outcomes)
Outcomes) Maddeler halinde 4-9 adet M.Sc./Ph.D. students who successfully pass this course gain knowledge, skill and competency in the following subjects; 1. Fundamentals of the modern speech analysis methods. 2. Auditory perception of speech signals. 3. Parametric and nonparametric modeling of speech signals for analysis and synthesis. 4. Psychoacoustic masking, compression techniques, fingerprinting and speaker recognition. Kaynaklar (References) En önemli 5 adedini belirtiniz 1. B. Gold and N. Morgan, Speech and Audio Signal Processing: Processing and Perception of Speech and Music, Wiley 2000. 2. L.R.Rabiner and R.W.Schafer, Digital Processing of Speech Signals, Prentice Hall 1978. 3. J. Benesty,M. M. Sondhi and Y Huang (eds.), Springer Handbook of Speech Processing and Speech Communication, Springer, 2008. 4. H. Perez-Meana, Advances in Audio and Speech Signal Processing : Technologies and Applications, IGI Publishing, 2006. Öğrencilere dersi daha iyi anlamaları ve bilgisayar kullanımını teşvik amacı ile düzenli ödev verilecektir. Homework assignments will be given in order to clarify theoretical subjects and to encourage the use of computer programs. Laboratuar Uygulamaları (Laboratory Work) Bilgisayar Kullanımı (Computer Use) Diğer Uygulamalar (Other Activities) Başarı Değerlendirme Sistemi Faaliyetler (Activities) Adedi* (Quantity) Yıl İçi Sınavları (Assessment Criteria) (Midterm Eams) Kısa Sınavlar (Quizzes) Ödevler (Homework) Projeler (Projects) Dönem Ödevi/Projesi (Term Paper/Project) Laboratuar Uygulaması (Laboratory Work) Diğer Uygulamalar (Other Activities) Final Sınavı (Final Eam) *Yukarıda Belirtilen Sayılar Minimum Olup Yerine Getirilmesi Zorunludur. Değerlendirmedeki Katkısı, % (Effects on Grading, %) 1 30 6 40 1 30 DERS PLANI
Hafta 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Konular Dersin Çıktıları COURSE PLAN Course Weeks Topics Outcomes 1 Acoustics fundamentals: Sound, waves, waveguides, resonance, energy transfer. 1 2 Auditory perception fundamentals: the ear, auditory physiology, psychophysics, auditory scene analysis. Acoustic masking. 1 3 Speech models and speech synthesis: Pitch, LPC, cepstrum, transform domain models. 1,2 4 Speech recognition: Features, hidden Markov models, miture models. 1,2 5 Audio and speech classification, generative and discriminative models. 1,2,3 6 Nonspeech: Characterization of nonspeech and music signals, sinewave modeling. 1,2,3 7 Sound mitures and separation: ICA and model-based separation. 4 8 Speech and audio compression: AAC, MP3, OGG. 2 9 Speech coding and high-quality audio compression. 3,4 10 Digital security of audio signals. Watermarking. 3,4 11 Speech and audio content representation. 3,4 12 Audio and speech indeing, search and retrieval. Audio fingerprinting, 3,4 13 Music analysis and recognition: Transcription, summarization, and similarity. 4 14 Term project presentations. 1,2
Dersin Telekomünikasyon Mühendisliği... Programıyla İlişkisi Programın mezuna kazandıracağı bilgi, beceri ve yetkinlikler (programa ait çıktılar) Katkı Seviyesi 1 2 3 i. Telekomünikasyon Mühendisliği alanında bilgilerini uzmanlık düzeyinde geliştirebilme ve bu bilgileri kullanarak sorunları çözümleyebilme (bilgi ve beceri). ii. Telekomünikasyon Mühendisliği nin ilişkili olduğu disiplinler arası etkileşimi kavrayabilme, edindiği bilgileri farklı disiplin alanlarından gelen bilgilerle bütünleştirerek yorumlayabilme ve yeni bilgiler üretebilme (beceri). iii. Telekomünikasyon Mühendisliği ile ilgili uzmanlık gerektiren sorunların çözümü için yeni yaklaşımlar geliştirebilme, sorumluluk alarak çözüm üretebilme ve uzmanlık gerektiren bir çalışmayı bağımsız olarak yürütebilme (Bağımsız Çalışabilme ve Sorumluluk Alabilme Yetkinliği). iv. Telekomünikasyon Mühendisliği nde edindiği uzmanlık düzeyindeki bilgi ve becerileri eleştirel bir yaklaşımla değerlendirebilme (Öğrenme Yetkinliği). v. Telekomünikasyon Mühendisliği ndeki güncel gelişmeleri ve kendi çalışmalarını ulusal veya uluslar arası gruplara, yazılı, sözlü ve görsel olarak sistemli biçimde aktarabilme (İletişim ve Sosyal Yetkinlik). vi. İngilizce kullanarak sözlü ve yazılı iletişim kurabilmek (İletişim ve Sosyal Yetkinlik). vii. Bilgisayar yazılımı ile birlikte bileşim ve iletişim teknolojilerini yüksek düzeyde kullanabilme (İletişim ve Sosyal Yetkinlik). viii. Telekomünikasyon Mühendisliği ile ilgili verilerin toplanması, yorumlanması, uygulanması ve duyurulması aşamalarında toplumsal, bilimsel, kültürel ve etik değerleri gözeterek denetleyebilme ve bu değerleri öğretebilme (Alana Özgü Yetkinlik). i. Telekomünikasyon Mühendisliği ile ilgili konularda uygulama planları geliştirebilme ve elde edilen sonuçları, kalite süreçleri çerçevesinde değerlendirebilme (Alana Özgü Yetkinlik). 1: Az, 2. Kısmi, 3. Tam Relationship between the Course and Telecommunications Engineering.. Program Program Outcomes i. Developing and intensifying knowledge that requires epertise in the area of Telecommunication Engineering, and gaining the skills necessary to analyze and solve problems using this knowledge (knowledge and skill) ii. Grasping the inter-disciplinary interaction related to Telecommunication Engineering, interpreting and forming new types of knowledge by combining the knowledge from Telecommunication Engineering and the knowledge from various other disciplines (skill). iii. Developing new approaches to solve the comple problems arising in Telecommunication Engineering, coming up with solutions while taking responsibility and carrying out a specific study independently. (Competence to work independently and take responsibility). iv. Assessing the knowledge and skill gained in the area of Telecommunication Engineering with a critical view (Learning Competence). v. Systematically transferring the current developments and one s own work in Telecommunication Engineering, to other groups in written, oral and visual forms (Communication and Social Competency). vi. Establishing written and oral communication in English (Communication and Social Competency). vii. Competence in using the computer software together with the information and communication technologies. (Communication and Social Competency). viii. The ability to control the collecting, interpreting, practicing and announcing processes of the Telecommunication Engineering related data taking into consideration scientific, cultural and ethical values and the ability to teach these values to others (Area Specific Competency). i. Developing application plans concerning the subjects related to Telecommunication Engineering and the ability to evaluate the end results of these plans within the frame of quality processes (Area Specific Competency). Level of Contribution 1 2 3 1: Little, 2. Partial, 3. Full
Düzenleyen (Prepared by) Prof. Dr. Tayfun Akgül Tarih (Date) 20.06.2011 İmza (Signature)