DOĞRULAMAVEGEÇERLEMEYAKLAŞIMLARININGÖREVUZAYI KAVRAMSALMODELERİNEYÖNELİKİNCELENMESİ Utkan ERYILMAZ (a), Semih BİLGEN (b), Orhun MOLYER (c) a) Orta Doğu Teknik Üniversitesi-Türk Silahlı Kuvvetleri MODelleme ve SİMülasyon Araştırma ve Uygulama MERkezi, 06531, Ankara, utkan@metu.edu.tr (b) Orta Doğu Teknik Üniversitesi, Elektrik-Elektronik Müh. Böl., 06531, Ankara, Semih-Bilgen@metu.edu.tr Gnkur. BİLKARDEM Başkanlığı, Ankara, omolyer@tsk.mil.tr ÖZET Bu çalışmanın amacı doğru ve kullanılabilir simülasyon sonuçları elde edilmesini sağlamak için görev uzayı kavramsal modellerinin güvenilirliğini artırmaya yönelik değişik yaklaşımların incelenmesidir. Bu bağlamda kavramsal model, gerçek sisteme ait tüm kavramları içeren hem alan uzmanlarının hem de modelleyicinin anlayabileceği soyut ve ideal bir tanımlamadır. Hataların simülasyon geliştirme yaşam döngüsünde birikmeksizin erken aşamalarda-çalıştırılabilir model geliştirmeye başlamadan önce- doğrulama ve geçerleme (DG) teknikleri ile tespit edilmesi ve giderilmesi, simülasyon geliştirme sürecinin arzu edilen özelliklerindendir. Bu özelliğin sürece kazandırılmasına katkı sağlamak üzere geliştirilmekte olan Kavramsal Modelleme Aracı (KAMA), DG si amaçlanan modellerin, metamodel tabanlı bir gösterimi ve anlaşılırlığı artıracak yönde görselleştirilmesi yeteneğine sahip olacak şekilde tasarlanmaktadır. Görselleştirme yetenekleri modelin alan uzmanları tarafından DG sinde, modeldeki anlamsal eksikliklerin ve tutarsızlıkların belirlenmesine katkıda bulunacaktır. KAMA da metamodel ve model kısıtları belirlenirken kullanılan nesne koşullama dili (OCL) ile tanımlanmış görev uzayı kavramsal modeline yönelik örnekler de bildiri kapsamında verilmektedir. Anahtar Kelimeler: Doğrulama ve Geçerleme, Kavramsal Modelleme VERIFICATION AND VALIDATION METHODS FOR CONCEPTUAL MODELING OF MISSION SPACE The aim of this study is to examine techniques for verification and validation of conceptual models to achieve correct and valid simulation results. In our context conceptual model is an abstract and idealized description of all aspects of a real world phenomenon or system both understandable by the domain expert and the modeler. As errors accumulate through simulation 1
development lifecycle, detecting them early before starting implementation of simulation system software by using verification and validation (V&V) techniques and eliminating / correcting those defects and errors found are indispensables of simulation development process. The study will mainly deal with V&V of the products of the early stages of simulation development where domain knowledge is modeled independent of the simulation methodology and platform as much as possible. As a case study this method will be applied conceptual models developed in KAMA tool. KAMA tool will provide the user a visual editor and a meta-model based modeling environment. The visualization capability is used for V&V of conceptual model by domain experts and contribute to detection of semantic incompleteness and inconsistency. The examples of object constraint language (OCL) expressions for defining constraints for conceptual models are presented. Keywords: Verification and Validation, Conceptual Modeling 1. GİRİŞ Karmaşık ilişkilerin ve veri/bilgi füzyonu tekniklerinin uygulandığı Askeri Komuta Kontrol Muhabere Bilgisayar İstihbarat Keşif ve Gözetleme (C4ISR) sistemlerinin kullanıldığı alandaki etkinliğinin ortaya konması, bu sistemlerin kullanım konseptlerinin geliştirilmesi ve bu alandaki personelin eğitilmesine yönelik geliştirilen simülasyon sistemlerinin güvenilirliği hususu Modelleme ve Simülasyon topluluğunda tartışma konusu olmayı sürdürmektedir. Doğrulama ve geçerleme (DG) yöntemlerinin simülasyon geliştirmenin kavramsal modelleme safhasından başlayarak uygulanmasının simülasyon güvenilirliğinin artırılmasında vazgeçilmez olduğu kabul edilmektedir. Ancak bu alanda yardımcı araç geliştirme faaliyetlerine sıklıkla rastlanmamaktadır. Bu bildiride, önce kavramsal modelleme yaklaşımları gözden geçirilerek görev uzayı ve simülasyon kavramsal modelleri arasındaki ayrım ortaya konmakta, sonraki bölümde görev uzayı kavramsal modellemesine yönelik bir aracın yapısı tartışılmakta, daha sonra böyle bir araçta kullanılabilecek doğrulama ve geçerleme yöntemleri üzerinde durulmaktadır. Beşinci bölümde ise C4ISR kavramsal modelleme aracı için önerilen temel yapı olarak metamodel yaklaşımı ve bu yapı üzerinde uygulanabilecek doğrulama geçerleme yöntemleri incelenmektedir. 2. KAVRAMSAL MODELLEME YAKLAŞIMLARI Kavramsal modellemenin sınırları ve içeriğinin ne olması gerektiği henüz tartışılmakta ve kavramsal modeli farklı şekilde tanımlayan yaklaşımlar geliştirilmektedir. Modelleme ve simülasyon literatüründe kavramsal modellerin görev uzayına ve simülasyona yönelik iki farklı bakış açısına sahip olabilecekleri belirtilmektedir. Söz konusu bakış açılarının simülasyon geliştirme sürecindeki gösterimi Şekil 1 deki gibi ifade edilmektedir[1]: 2
Alan modelleri: Simülasyon ve analizi yapılacak alana ilişkin kavramların tümünü soyut düzeyde içeren modellerdir. Görev uzayına yönelik modeller sadece alan bilgisini içerirler. Simülasyon kavramsal modelleri: Bu modeller simülasyon kavramlarını ve bunlara ek olarak simülasyon kontrol özelliklerini de içermektedir[4]. Operasyonel Mimariler Görev Uzayı Kavramsal Modelleri Simülasyon Develop Gereksinimleri Requirements Simülasyon Kavramsal Modelleri Teknik Mimariler Design Tasarım Tasarım Unsurları Gerçekleştirme Implement Simülasyon Sistemi Şekil 1. Görev Uzayı ve Simülasyon Kavramsal Modellerinin Geliştirme Sürecindeki Yeri[1] Görev uzayı kavramsal modelleri (GUKAM) sadece operasyonel varsayımlar dikkate alınarak geliştirilirken, simülasyon kavramsal modellerinin tanımlanmasında ve geliştirilmesinde simülasyon amacı ve problem tanımı tarafından belirlenen varsayım ve kısıtlar önemli rol oynar ve daha dar kapsamlı fakat sadakat düzeyi yüksek ve ayrıntılı modellerin tanımlanmasını sağlar. Genel olarak alan modelleri tasarım aşamasından önce hedef alandaki öğeleri betimlenmeye yöneliktir. Simülasyon yaklaşımı ve geliştirme ortamı ile ilişkili unsurları da içeren simülasyon kavramsal modelleri bunu izleyen süreçte oluşturulur ve simülasyon elemanlarını içerir. Örneğin çevreleyen kutu kavramı simülasyonda bir varlığı temsil biçimi olduğu için simülasyon kavramsal modelinin bir parçası olabilir, ancak görev uzayı kavramsal modelinde yer almaz. Simülasyon kavramsal modelinde genel olarak görev uzayındaki öğelere karşılık gelen simülasyon elemanları haricinde sadece simülasyon uzayında yer alan simülasyon kontrol yetenekleri (simülasyon başlatma ve durdurma özellikleri tanımları, veri kayıt özellikleri tanımları), simülasyon verisinin ve kontrolünün ne şekilde yapılacağına dair (klavye, mouse, flybox, mikrofon, kamera vb. ile) özellikler, işletim sistemi ve donanım altyapısı kısıtları ve gerçek sistemlerin simülasyona dahil olmalarını sağlamak için gerekli zaman kısıtları gibi unsurlar da bulunur [2]. 3. GÖREV UZAYI KAVRAMSAL MODELLEME ARACI 3
Alan bilgisini içeren bir kavramsal modelin geliştirilmesi genel itibarıyla yoğun bir çalışma sürecinde bulunan alan uzmanıyla etkileşimi gerektirmektedir. Bu bakış açısına göre, C4ISR modelleme ve simülasyonuna altyapı oluşturabilecek bir kavramsal modelleme aracının (bundan sonra KAMA olarak anılacaktır) ve geliştirilmesinde kullanılan yaklaşımın sahip olması gereken temel özellikler şunlardır: Kullanıcı kavramlarını ve bunların ilişkilerini içermeye öncelik vermelidir çünkü bu kavramlar kullanıcının bilgisini araca daha kolay ve dolaysız aktarmasını sağlar. Kullanıcı açısından kısıtlayıcı olmamalıdır. Bu noktada modellemeyle ilgili konacak koşullar ileriki aşamalarda modelin değişik şekilde yorumlanmasını engellese de, görev uzayının geniş bir alan olması bu tip koşulların kullanıcının bazı alan kavramlarını ifade edememesine yol açacağı açıktır. Kullanıcının kavramsal modeli kolayca geliştirmesini sağlayacak görsel özelliklere sahip olmalı ayrıca kullanıcının değişik bakış açılarından modeli görselleştirmesine destek vermelidir. Kullanıcı uzayındaki kavramları içeren metamodelin bir UML (Unified Modeling Language) Profili olarak tanımlanması yaklaşımı Şekil 2 de gösterilmiştir. Bu şekilde bir tanımlama hem kullanıcının modellemede alan kavramlarını kullanabilmesine imkan verecek hem de modelin UML gibi kabul görmüş ve MOF (Meta Object Facility) tabanlı bir standarda uygun olması sebebiyle diğer araçlarla ve yöntemlerle birlikte çalışabilirliğini sağlayacaktır. Şekil 2. KAMA nın Profil Mekanizması ile Özelleştirilmesi[3] Kavramsal modelin simülasyon geliştirmede doğrulama ve geçerlemeye yönelik katkısı iki şekilde olmaktadır: 4
Kavramsal model alan kavramlarını tam bir tanımını içermesi dolayısıyla simülasyon gereksinimleri ortaya konmadan önce geçerlenmesini (validity) sağlar. Geçerlenmiş kavramsal model üzerine geliştirilen simülasyon sisteminin müteakip safhalardaki DG faaliyetlerini kolaylaştırır; daha az hata ve eksikle geliştirme faaliyetlerinin devam etmesine katkı sağlar. Birinci faaliyet kavramsal modelin mümkün olduğunca anlaşılır olmasını gerektirirken, ikinci faaliyet kavramsal modelin daha formel yapıda olmasını gerektirir. Özellikle simülasyon kontrol unsurları ikinci faaliyetin tam olarak yerine getirilmesi için gereklidir. GUKAM'ın simülasyon kavramsal modelinden farklı olarak belirli bir probleme yönelik olmaması, simülasyon varsayım, kısıtlarını ve kontrol özelliklerini içermemesi bu tür modellerin doğrulanması ve geçerlenmesinde özsel doğruluğu ve geçerliliği (doğruluk, iç tutarlılık, bütünsellik vb.) daha önemli kılmaktadır. 4. KAVRAMSAL MODEL DOĞRULAMA VE GEÇERLEME YÖNTEMLERİ Kavramsal modellerin doğrulanması ve geçerlenmesi genel olarak modelleme ve simülasyonun DG aktivitesinin bir parçasıdır. Bu konuda VV&A RPG[4] ve Brade[5] tarafından benzer yöntemler belirtilmiştir. İki çalışmada, kavramsal model geçerlenmesinde belirli tekniklerden oluşan bir yöntem belirlemenin imkansız olduğu ve her duruma göre değişik teknikler kümesinin uygulanması tavsiye etmektedir. Yine her iki çalışmada da gözden geçirmelerin kavramsal model doğrulama ve geçerlemesinde en fazla kullanılmış teknik olduğu belirtilmektedir. VV&A RPG[4] de belirtilen tekniklerden formel olanlar kapsam dışı bırakılırsa, kullanılan tekniklerin başlıcalarının Brade[5] tarafından listelendiği tespit edilmiş ve bu tekniklerden modelin öz doğrulama ve geçerlemesine yönelik olanlar Çizelge 1 de verilmiştir. Bu tekniklerin simülasyon kavramsal modelinin öz doğruluğuna ve geçerliliğine yönelik olarak örneklendiği göz önünde bulundurularak görev uzayı kavramsal modeline yönelik kullanımlarının tekrar değerlendirilmesi yerinde olur. Hem Brade[5] hem de Molyer[6,7] tarafından simülasyonlar için gerekli güvenilirlik seviyesinin simülasyonun kullanımı sonucu oluşacak etkiye göre değişeceği ve doğrulama ve geçerlemenin bu etki ve diğer faktörler (bütçe, zaman kısıtları vb.) gözetilerek belirlenecek güvenilirlik seviyesi hedeflenerek yapılması gerektiği belirtilmiş, birinci çalışmada daha genel kapsamlı diğer iki çalışmada tedarikçi ve simülasyon kullanıcısı bakış açısıyla doğrulama ve geçerleme süreci tanımlanmıştır. GUKAM a yönelik olarak belirli güvenilirlik seviyesi belirlemek, GUKAM geliştirilirken, problem tanımı ve simülasyonun kullanım amacı henüz belli olmayabileceği için zor olacaktır. 5
Çizelge 1. Kavramsal Model Öz Doğrulama ve Geçerleme Yöntemleri No Teknik Açıklama 1 Şablona uygunluk Kavramsal modelin belirli bir yapısı olmalıdır. Bu yapının elemanları tanımlı olmalıdır. 2 Bağımlılıklar matrisi Kavramsal modeldeki değişik bölümleri arasındaki bağımlılıkları listelenmelidir. 3 Girdi, Çıktı Tanımlama Analizi a) Alt modellerdeki fonksiyonlar tanımlanır (durum ifadeleri dahil). b) Fonksiyon parametreleri girdi, durum, çıktı olarak sınıflandırılır.. c) Girdiler ve çıktıların altmodel arayüzündeki tutarlılığı kontrol edilir 4 Etkileşim Analizi a) Altmodel hiyerarşisi ve arayüzleri saptanır b) Alt model etkileşimleri saptanır. c) Arayüzlerin ve alt model arayüz tepkilerinin etkileşimleri sağladığı kontrol edilir. 5 Zihinsel koşturma Kavramsal modelin davranış belirtimleri takip edilerek gerçek olay dizilerini kapsayıp kapsamadığı kontrol edilir. 6 Ölçü birimi Analizi Parametrelere ölçü birimi eklenir sonuç birimleri kontrol edilir. Simülasyon kavramsal modellerinin geliştirme sürecindeki diğer aşamalarda üretilen ürünlerle (sponsor gereksinimleri, problem tanımı vb.) karşılaştırmalı doğrulanması ve geçerlenmesine yönelik teknikler, GUKAM ın bu ürünlerden bağımsız olarak geliştirilmesi sebebiyle, simülasyonların doğrulanması ve geçerlenmesinde kullanımı önerilen formel teknikler ise kullanıcı odaklı GUKAM a yönelik kullanımları daha güç olduğu için bu çalışmanın kapsamı dışında bırakılmıştır. 5. METAMODEL TABANLI KAVRAMSAL MODELİN DOĞRULANMASI VE GEÇERLENMESİ Bölüm 3 de belirtilen tekniklerin görev uzayı kavramsal modellerine (GUKAM) yönelik kullanılabilirliğine ilişkin değerlendirme Çizelge 2 de gösterilmiştir. KAMA çalışmasında kullanılan kavramsal model elemanları arasındaki ilişkiler KAMA metamodelinde[3] belirtilmektedir. KAMA metamodeli varlıkları tanımları, bunların ilişkileri ve bu ilişkilerle ilgili çokluk belirtimleri KAMA anlambilimi ve sözdizimi kurallarını oluşturur. Bu kuralların tanımlanması ve denetimi, UML metamodelinde bulunan kurallarla birlikte kavramsal modelin belirli bir şablona uymasını ve model öğeleri arasındaki bağımlılıkların korunmasını sağlar. Bir GUKAM modelinin doğrulanması problemi bu modelin tutarlılığının sağlanması ve kontrolü problemine dönüşür. 6
Çizelge 2. Kavramsal Model DG Tekniklerinin GUKAM a uygulanması No Teknik GUKAM a Yönelik Uygulaması 1 Şablona uygunluk Kavramsal modelin yapısı ve bu yapının elemanları KAMA profili tarafından tanımlanır. 2 Bağımlılıklar matrisi KAMA model elemanları arasındaki ilişkiler sürekli izlenir ve bağımlılık koşulları sağlanır. 3 Girdi, Çıktı Tanımlama Analizi Görev uzayı alt model tanımları yapısal olarak sistem modellerinden daha çok süreç modelleriyle benzerlik gösterse de görev ve alt görevler arasında benzer bir analize olanak verilir. 4 Etkileşim Analizi Alan uzmanına sağlanacak tarama ve görselleştirme yetenekleriyle bu konuda destek sağlanır. 5 Zihinsel koşturma Alan uzmanına sağlanacak tarama ve görselleştirme yetenekleriyle bu konuda destek sağlanır. 6 Ölçü birimi Analizi KAMA profili içine ölçü birimleri dahil edilerek bu konuda destek sağlanır. Sourrouille[8] tarafından yapılan çalışmada UML tutarlılık kontrolüne yönelik değişik seviyeler tanımlanmış ve bu seviyelerde uygulanabilecek kontrollere örnekler verilmiştir. Bu yaklaşımın evreleri ve görev uzayı modelleme aracı (KAMA) ile kullanıcısının bu evrelerdeki rolü Şekil 3 te belirtildiği gibidir. UML de şu an için koşul tanımlamada Nesne Koşullama Dili (Object Constraint Language-OCL) kullanılmaktadır. OCL, UML deki anlambilimsel özelliklerin bir bölümü tanımlayabilecek yetenektedir. OCL ifadelerinin uzman sistem kurallarına dönüştürülmesinin ve modelin bu kurallara uygunluğunun test edilmesinin mümkün olduğu aynı çalışmada dile getirilmiştir. KAMA Aracı Tanımlanabilecek Bütün Modeller Anlambilimsel Koşullar UML Kalıbı Koşulları (Paradigmatik ve gen. paradigmatik seviye) Birden Fazla Yoruma Sahip Tutarlı ama Eksik Modeller Modelleme Süreci Koşulları Modelleme Alanı Koşullarına Uygun Modeller Görev Uzayı Koşulları Uygulama Kodu Kod Oluşturma Koşulları Kullanıcı Açısından Denk Olan Değişik Yorumlar Gerçekleştirme Koşulları Görev Uzayı Koşullarına Uygun Modeller KAMA Kullanıcısı Şekil 3. UML Tutarlılık Kontrolü Yaklaşımı ve KAMA ya uygulanması[8] 7
5.1. Paradigmatik Seviye Koşulları Paradigmatik seviye UML metamodelindeki modelleme ilkel yapılara (primitive) uygunluğu temsil eder. UML metamodeli temel modelleme kavramlarını (metasınıflar ve ilişkileri) ve modelin içindeki metasınıf stereotiplerinin uyması gereken kuralları ifade eder[10]. Bu ilişkilerle ilgili çokluk ifadeleri ise model koşulu olarak ifade edilir. Bazı metamodel kurallarının OCL şeklinde ifadesinde zorluklar çıkabilecektir, mesela UML içinde meta-metamodel seviyesinde her namespace elemanının farklı bir isme sahip olması koşulu buna örnektir. Yine de bu tip kuralların araçlar tarafından uygulanması zor olmamaktadır. UML 1.3 metamodelinin bir bölümü için tutarlığı kontrol çalışması yapılmıştır. Bu çalışmada sözdizimine yönelik birçok basit sözdizimi hatası bulunduğu belirtilmektedir[9]. 5.2. Genişletilmiş Paradigmatik Seviye Koşulları Bu seviyede KAMA profilinin tanımlamasında kullanılan stereotipler, imli değerler ve ilişkilerle ilgili kurallar önemlidir. Bu seviyedeki kurallar paradigmatik seviyedeki kurallarla çelişmemelidir. Kavramsal model elemanları arasındaki çokluk ifadeleri, isimlerdeki biriciklik ile ilgili kurallar ve UML kapsamında anlambilimi olmayan ilişkiler ile ilgili kurallar önem taşımaktadır. Koşul ifadesi örneği: Sorumludur bağımlılığı sadece görevler ve aktörler arasında tanımlanır. context Dependency inv: self.stereotype.name = Sorumludur implies self.supplier->exists(stereotype.name= Görev ) and self.client >exists(stereotype.name= Aktör ) 5.3. Modelleme Süreci Koşulları Modelleme süreciyle ilgili koşullar, buraya kadar belirlenen prensipler uygulanarak geliştirilecek modellerin biricik ve net bir yorumunun olması gerekliliğinden ortaya çıkar ve belli stil özelliklerine uymasına yönelik kurallardan oluşur. Görev uzayı kavramsal modelleriyle ilgili bu tip kurallar özellikle kavramsal modelleme çalışmalarının gerçekleştirilmesi ve biricik ve net yorumlanmayan modellerin incelenmesinden sonra tanımlanabilir. 5.4. Görev Uzayı Koşulları Yukarıda sıralanan kurallara ek olarak görev uzayının özelliklerini yansıtan, aşağıda bazı örnekleri verilecek başka kısıtlar da söz konusudur. Görev uzayı koşulu örnekleri: Keşif timi asker sayısı üçten az olamaz. 8
context Kesif_timi inv: self.asker_sayisi >= 3 Bir topun atışta bulunması için mermisi bulunmalıdır ve atıştan sonra mermi sayısı azalmalıdır context Top::ates_et() pre: mermi_sayisi > 0 post: mermi_sayisi = mermi_sayisi@pre -1 5.5. Gerçekleştirme Koşulları GUKAM dan simülasyon kavramsal modellerine geçişi kolaylaştırmaya yönelik kurallar bu kapsamda değerlendirilebilir. Bu konu daha çok bir simülasyon işletim çerçevesinin tanımlarına uygun kavramsal modeller geliştirilmesi gerektiğinde önem taşımaktadır. 5.6. Kod Oluşturma Koşulları Kod oluşturma ile ilgili faaliyetler GUKAM'da değil, simülasyon çerçevesi kapsamında belirlenir. 5. SONUÇ Bu bildiride, değişik seviyelerdeki kavramsal modelleme çalışmaları gözden geçirilmiş, görev uzayı ve simülasyon modelleri arasındaki farklar ortaya konulmuş, meta modele dayalı görev uzayı kavramsal modellemesinde kullanılabilecek doğrulama geçerlemesine yönelik koşullar gözden geçirilmiştir. Kavramsal model kurallarının bağımsız ifade edilmeleri KAMA aracına yeni kurallar eklenebilmesini ve mevcut kuralların değiştirilmesini kolaylaştıracak, modelleme aracının doğrulama geçerleme yönünden de yeni ihtiyaçlara cevap verme yeteneğini artıracaktır. GUKAM ın doğrulanması için alan uzmanı gözden geçirme çalışmalarının[11] tanımlanması, diğer öz doğrulama ve geçerlenmesine yönelik çalışmalar ve GUKAM güvenilirlik seviyesinin belirlenmesi ile ilgili çalışmalar sürdürülmektedir. KAYNAKÇA 1. L. W. Lacy, W. Randolph, B. Harris, S. Youngblood, J. Sheehan, R. Might, M. Metz, Developing a Consensus Perspective on Conceptual Models for Simulation Systems, Proceedings of the Spring 2001 Simulation Interoperability Workshop, Orlando, FL, CD, 2001. 2. D. K. Pace, Simulation Conceptual Model Development, Proceedings of the Spring 2000 Simulation Interoperability Workshop, Orlando, FL, CD. March 26-31, 2000. 9
3. N. Alpay Karagöz, Onur Demirörs, Simülasyon Geliştirmeye Model Tabanlı Bir Yaklaşım, Birinci Ulusal Savunma Uygulamaları Modelleme Simülasyon Konferansı, Ankara, 2-3 Haziran 2005. 4. DoD VV&A RPG, "RPG Reference Document: V&V Techniques", 15/08/2001. 5. D. A. Brade, Generalized Process for the Verification and Validation of Models and Simulation Results, Dissertation, Fakultät für Informatik, Universität der Bundeswehr München. Neubiberg, 2004. 6. O. O. Molyer, A Methodology for verification and validation of models and simulations: acquirers's viewpoint, ODTÜ Bilişim Sistemleri Yüksek Lisans Tezi, 2001. 7. O. O. Molyer, A. E. Vallerand, Tailoring Verification, Validation and Accreditation of Models & Simulation Systems: Canadian DND/CF Approach, Summer Computer Simulation Conference (SCSC) 2003, Montreal, Canada, July 20-24, 2003. 8. J.L. Sourrouille, G. Caplat, Constraint Checking in UML Modeling, SEKE 02. 9. M. Richters and M. Gogolla, Validating UML Models and OCL Constraints, UML 2000, LNCS 1939, pp. 265 277, 2000. 10. OMG, Unified Modeling Language: Superstructure v2.0, August 2005. 11. Pace, D. K. and J. Sheehan. 2002. Subject Matter Expert (SME) / Peer Use in M&S V&V, V&V State of the Art: Proceedings of Foundations 02, a Workshop on Model and Simulation Verification and Validation for the 21st Century, Laurel, MD, October 22-24, 2002. 10