İTÜ LİSANSÜSTÜ DERS KATALOG FORMU (GRADUATE COURSE CATALOGUE FORM)

Transkript

1 İTÜ LİSANSÜSTÜ DERS KATALOG FORMU (GRADUATE COURSE CATALOGUE FORM) Dersin Adı Doğal Dil İşlemede İstatistiksel Yöntemler Course Name Statistical Methods in Natural Language Processing Kodu (Code) BLG62 Lisansüstü Program (Graduate Program) Yarıyılı (Semester) Bahar (Spring) Kredisi (Local Credits) AKTS Kredisi (ECTS Credits) Ders Seviyesi (Course Level) 3 7,5 Doktora (Ph.D.) Bilgisayar Mühendiliği (Computer Engineering) Dersin Türü (Course Type) Seçmeli (Elective) Dersin Dili (Course Language) Türkçe (Turkish) Dersin İçeriği (Course Description) 3060 kelime arası Derlem Tanımı, Derlem Tabanlı Çalışma ve Değerlendirme, TTesti, Kikare ve Ortak Bilgi yöntemleri kullanarak birlikteliklerin bulunması, İstatistiksel Dil Modelleme, İstatistiksel Kestirim, En Büyük Olabilirlik Kestirimi, Seyrek Veri Sorunları, Yumuşatma Yöntemleri, NGram Üretilmesinde Doğrusal Aradeğerleme, GeriÇekilme Yöntemi, Saklı Markov Modelleri ile Sözcük Etiketleme, Sözcük Türü Belirsizliği Giderme, En büyük Entropi Modelleri ile Sözcük Etiketleme (Mantıksal Regresyon), Koşullu Rassal Alanlar, Bir sınıflandırma problemi olarak Doğal Dil İşleme, Bellek Tabanlı Yaklaşımlar, Karar Destek Makineleri ile Cümle Ayrıştırma, Çizge Tabanlı Yöntemler ile Cümle Ayrıştırma, Sözcük anlam belirsizliği giderimi Corpora Definition, Corpus based experiments and Evaluations, Finding Collocations using statistical tests (Ttest, 2 test and mutual information), Statistical Language modeling (estimation, maximum likelihood estimation, sparse data problems, smoothing, interpolation and backoff models), Partsofspeech tagging using Hiddden Markov Models, Morphological Disambiguation, Partsofspeech tagging using Maximum Entropy Models (Logistic Regression), Conditional Random Fields, Natural Language Processing as a classification problem, Memory Based Methods, Statistical Syntax Analysis using Support Vector Machines, Statistical Syntax Analysis using Graphical Models, Word Sense Disambiguation Dersin Amacı (Course Objectives) Maddeler halinde 25 adet Günümüzde bilgi teknolojilerindeki hızlı gelişme ile beraber işlenebilir sayısal veri miktarı hızla artmıştır. Doğal dilde yazılan bu metinlerin otomatik olarak işlenmesi ve anlamlandırılması günümüzde üzerinde en çok çalışılan araştırma alanlarından biridir. Bu dersin amacı, doğal dil işlemede kullanılan en güncel istatistik ve makine öğrenmesi tabanlı yöntemlerin öğrencilere aktarılmasıdır. Bu yöntemler veriye bağımlı olduğu için dersin başında öncelikle derlem tanımı ve derlem tabanlı çalışma yöntemleri ve değerlendirme metrikleri tanıtılmaktadır. The quantity of processable digital data increased very rapidly due to the rapid growth in information technologies in recent years. The automatic processing of this data written in natural languages is one of the mostly worked research topics nowadays. The main objective of this course is to present modern statistical and machine learning based solutions for natural language processing topics like parsing, partofspeech tagging, and word sense disambiguation. Since almost all of these statistical techniques require training data, the corpus definition and corpus based experiments and evaluation metrics are covered at the beginning of the course. Dersin Öğrenme Çıktıları (Course Learning Outcomes) Maddeler halinde 49 adet. Öğrenciler istatistiksel doğal dil işleme yöntemlerinin temellerini öğreneceklerdir. 2. Öğrenciler büyük miktarda işlenmemiş veriyi işleyebilmeyi öğreneceklerdir. 3. Öğrenciler deneysel çalışma yapma ve sonuçların istatistiksel anlamlılığını ölçebilmeyi öğreneceklerdir. 4. Öğrenciler bir doğal dil işleme probleminin nasıl bir makine öğrenmesi problemi olarak ele alınabileceğini öğreneceklerdir. 5. Öğrenciler doğal dil işlemede kullanılan güncel makine öğrenmesi yöntemleri hakkında bilgi edineceklerdir.. The students will learn the fundamentals of statistical natural language processing. 2. The students will be able to process large size raw data. 3. The students will learn to make experimental study and evaluate the results based on their statistical significance. 4. The students will learn how to handle a natural language processing problem as a machine learning task. 5. The students will be informed about modern machine learning methods used in natural language processing.

2 Kaynaklar (References) En önemli 5 adedini belirtiniz Ödevler ve Projeler (Homework & Projects) Laboratuar Uygulamaları (Laboratory Work) Bilgisayar Kullanımı (Computer Use) Diğer Uygulamalar (Other Activities) [] Manning, C., and Schütze, H., 999. Foundations of Statistical Natural Language Processing, MIT Press. Cambridge, MA. [2] Kübler, S., McDonald, R., Nivre, J., 200. Dependency Parsing, Synthesis Lectures on Human Language Technologies. [3] Jurafsky, D., Martin, J. H., Speech and language processing : An Introduction to Natural Language Processing, computational linguistics, and speech recognition (2/E), Prentice Hall. [4] Alpaydin, E., Introduction to Machine Learning The MIT Press 2 Ödev, Proje 2 Homeworks, Project Öğrencilerin Dönem Projelerini ve Ödevlerini Bilgisayar kullanarak yapmaları gerekmektedir. The Students should prepare theır term project and homeworks by wrıtıng computer programs Öğrencilerın dönem içerisinde önceden belirlenmiş bir araştırma makalesıne hazırlanarak bu konuda tartışma yapmaları beklenmektedir. Başarı Değerlendirme Sistemi (Assessment Criteria) The students wıll make a dıscussıon on a research artıcle. (determıned prevıuosly by the course ınstructor) Faaliyetler Adedi* Değerlendirmedeki Katkısı, % (Activities) (Quantity) (Effects on Grading, %) Yıl İçi Sınavları % 25 (Midterm Exams) (25 %) Kısa Sınavlar %5 (Quizzes) (5 %) Ödevler 2 % 30 (Homework) (35 %) Projeler % (Projects) Dönem Ödevi/Projesi % 35 (Term Paper/Project) (35 %) Laboratuar Uygulaması (Laboratory Work) Diğer Uygulamalar (Other %5 Activities) Makale Tartışması (5 %) Article Discussion Final Sınavı 0 (Final Exam) *Yukarıda Belirtilen Sayılar Minimum Olup Yerine Getirilmesi Zorunludur.

3 DERS PLANI Hafta Konular Dersin Çıktıları İstatistiksel Dil İşleme Konusuna Giriş ve Ders Hedefleri 2 Matematiksel Alt Yapı ve Bilgi Teorisine Giriş (Başarım Ölçütleri: Perpleksite ve Entropi, Gürültülü Dil Modeli) 3 Derlem Tanımı, Derlem Tabanlı Çalışma ve Değerlendirme 2,3 4 TTesti, Kikare ve Ortak Bilgi yöntemleri kullanarak birlikteliklerin bulunması 3 5 İstatistiksel Dil Modelleme İstatistiksel Kestirim, En Büyük Olabilirlik Kestirimi, Seyrek Veri Sorunları, Yumuşatma Yöntemleri, NGram Üretilmesinde Doğrusal Aradeğerleme, GeriÇekilme Yöntemi. 6 Saklı Markov Modelleri ile Sözcük Etiketleme,2 7 Sözcük Türü Belirsizliği Giderme,2 8 En büyük Entropi Modelleri ile Sözcük Etiketleme (Mantıksal Regresyon) 5 9 Koşullu Rassal Alanlar 4,5 0 Bir sınıflandırma problemi olarak Doğal Dil İşleme 4 Bellek Tabanlı Yaklaşımlar 4,5 2 Karar Destek Makineleri ile Cümle Ayrıştırma 4,5 3 Çizge Tabanlı Yöntemler ile Cümle Ayrıştırma 4,5 4 Sözcük anlam belirsizliği giderimi (denetimli ve denetimsiz yöntemler) 4,5 COURSE PLAN Weeks Topics Course Outcomes Introduction to Statistical Natural Language Processing and Course Objectives 2 Mathematical Foundations and Introduction to Information Theory(Perplexity, Entropy, Noisy Channel Model) 3 Corpora Definition, Corpus based experiments and Evaluations 2,3 4 Finding Collocations using statistical tests (Ttest, 2 test and mutual information) 3 5 Statistical Language modeling (estimation, maximum likelihood estimation, sparse data problems, smoothing, interpolation and backoff models) 6 Partsofspeech tagging using Hiddden Markov Models,2 7 Morphological Disambiguation,2 8 Partsofspeech tagging using Maximum Entropy Models (Logistic Regression) 5 9 Conditional Random Fields 4,5 0 Natural Language Processing as a classification problem 4 Memory Based Methods 4,5 2 Statistical Syntax Analysis using Support Vector Machines 4,5 3 Statistical Syntax Analysis using Graphical Models 4,5 4 Word Sense Disambiguation using supervised and unsupervised methods 4,5

4 Dersin Bilgisayar Mühendisliği Doktora Programıyla İlişkisi Programın mezuna kazandıracağı bilgi, beceri ve yetkinlikler (programa ait çıktılar) i. Yüksek lisans yeterliliklerine dayalı olarak, Bilgisayar Mühendisliği alanındaki güncel verileri düzeydeki bilgileri özgün düşünce ve/veya araştırma ile uzmanlık düzeyinde geliştirebilme, derinleştirebilme ve Bilgisayar Mühendisliği alanına yenilik getirecek özgün tanımlara ulaşabilme (bilgi). ii. Bilgisayar Mühendisliği alanının ilişkili olduğu disiplinlerarası etkileşimi kavrayabilme; yeni ve karmaşık fikirleri analiz, sentez ve değerlendirmede uzmanlık gerektiren bilgileri kullanarak özgün sonuçlara ulaşabilme (bilgi). iii. Bilgisayar Mühendisliği alanındaki yeni bilgileri sistematik bir yaklaşımla değerlendirebilme ve kullanabilme (beceri). iv. Bilgisayar Mühendisliği alanına yenilik getiren, yeni bir düşünce, yöntem, tasarım ve/veya uygulama geliştirebilme ya da bilinen bir düşünce, yöntem, tasarım ve/veya uygulamayı farklı bir alana uygulayabilme, özgün bir konuyu araştırabilme, kavrayabilme tasarlayabilme, uyarlayabilme ve uygulayabilme (beceri). v. Yeni ve karmaşık düşüncelerin eleştirel analizini, sentezini ve değerlendirmesini yapabilme (beceri). vi. Bilgisayar Mühendisliği alanı ile ilgili çalışmalarda araştırma yöntemlerini kullanabilmede üst düzey beceriler kazanmış olma (beceri). vii. Bilgisayar Mühendisliği alanına yenilik getiren, yeni bir düşünce, yöntem, tasarım ve/veya uygulama geliştiren ya da bilinen bir düşünce, yöntem, tasarım ve/veya uygulamayı farklı bir alana uygulayan özgün bir çalışmayı bağımsız olarak gerçekleştirerek alanındaki ilerlemeye katkıda bulunabilme (Bağımsız Çalışabilme ve Sorumluluk Alabilme Yetkinliği). viii. Bilgisayar Mühendisliği alanı ile ilgili en az birer adet bilimsel makaleyi ulusal ve uluslararası hakemli dergilerde yayınlayarak veya özgün bir yapıt üreterek ya da yorumlayarak alanındaki bilginin sınırlarını genişletebilme (Bağımsız Çalışabilme ve Sorumluluk Alabilme Yetkinliği). ix. Özgün ve disiplinlerarası sorunların çözümlenmesini gerektiren ortamlarda liderlik yapabilme (Bağımsız Çalışabilme ve Sorumluluk Alabilme Yetkinliği). x. Yaratıcı ve eleştirel düşünme, sorun çözme ve karar verme gibi üst düzey zihinsel süreçleri kullanarak Bilgisayar Mühendisliği alanı ile ilgili yeni düşünce ve yöntemler geliştirebilme (Öğrenme Yetkinliği). xi. Sosyal ilişkileri ve bu ilişkileri yönlendiren normları eleştirel bir bakış açısıyla inceleyebilme, geliştirebilme ve gerektiğinde değiştirmeye yönelik eylemleri yönetebilme (İletişim ve Sosyal Yetkinlik). xii. Uluslararası platformlarda, uzman kişiler ile Bilgisayar Mühendisliği alanındaki konuların tartışılmasında özgün görüşlerini savunabilme ve Bilgisayar Mühendisliği alanındaki yetkinliğini gösteren etkili bir iletişim kurabilme (İletişim ve Sosyal Yetkinlik). xiii. Bilgisayar Mühendisliği alanındaki bilimsel, teknolojik sosyal veya kültürel ilerlemeleri tanıtarak, yaşadığı toplumun bilgi toplumu olma ve bunu sürdürebilme sürecine katkıda bulunabilme (Alana Özgü Yetkinlik). xiv. Bilgisayar Mühendisliği alanı ile ilgili karşılaşılan sorunların çözümünde stratejik karar verme süreçlerini kullanarak işlevsel etkileşim kurabilme (Alana Özgü Yetkinlik). xv. Bilgisayar Mühendisliği alanı ile ilgili konularda karşılaşılan toplumsal, bilimsel, kültürel ve etik sorunların çözümüne katkıda bulunabilme ve bu değerlerin gelişimini destekleyebilme (Alana Özgü Yetkinlik). Katkı Seviyesi 2 3 : Az, 2. Kısmi, 3. Tam

5 Relationship between the Course and Computer Engineering Graduate (PhD) Curriculum Program Outcomes Level of Contribution 2 3 i. Developing and intensifying the current and highlevel knowledge in the Computer Engineering area with the use of original thinking and/or research processes and in a specialistic level, based upon the competency in M.S. level (knowledge). ii. Grasping the interdisciplinary interaction related to the area of Computer Engineering; reaching original results by using the specialistic knowledge in analyzing, synthesizing and evaluating new and complex ideas (knowledge). iii. The ability to evaluate and use new information in the area of Computer Engineering with a systematical approach (skill). iv. Developing a new idea, method, design and/or application which brings about innovation in the area of Computer Engineering; or, applying a conventional idea, method, design and/or application to a different environment; researching, grasping, designing and applying an original subject (skill). v. The ability to critically analyze, synthesize and evaluate the new and complex ideas (skill). vi. Acquiring the most developed skills about using the research methods in studies in the related to the area of Computer Engineering (skill). vii. Contributing to the progress in the area of Computer Engineering by independently carrying out a study which uses a new idea, method, design and/or application which brings about innovation in the area; or, applying a conventional idea, method, design and/or application to a different environment (Competence to work independently and take responsibility). viii. Expanding the limits of knowledge in the area of Computer Engineering by publishing at least one scientific article in an international peer reviewed journal and/or creating or interpreting an original work (Competence to work independently and take responsibility). ix. Fulfilling the leader role in the environments where solutions are sought for the original and interdisciplinary problems (Competence to work independently and take responsibility). x. Developing new ideas and methods related to Computer Engineering by making use of high level intellectual processes such as creative and critical thinking, problem solving and decision making (Learning Competence). xi. Ability to see and develop social relationships and the norms directing these relationships with a critical look and the ability to direct the actions to change these when necessary (Communication and Social Competency). xii. The ability to establish effective communication with experts in the international environments to discuss the subjects related to Computer Engineering and to defend original opinions, showing one s competency in the area of Computer Engineering (Communication and Social Competency). xiii. Contributing to the society s state and progress towards being an information society by announcing and promoting the technological, scientific and social developments in the area of Computer Engineering (Area Specific Competency). xiv. Ability to establish effective communication in solving the problems faced in the area of Computer Engineering, by using the strategic decision making processes (Area Specific Competency). xv. Contributing to the solution of social, scientific, cultural and ethical problems related to Computer Engineering and promoting the development of these values (Area Specific Competency). : Little, 2. Partial, 3. Full Düzenleyen (Prepared by) Yrd.Doç.Dr.Gülşen Eryiğit Tarih (Date) İmza (Signature)