Çevik Süreç ile K yaslamaya Temel Olarak Art msal Sürecin Nicel Analizi: Bir Durum Çal mas

Transkript

1 Çevik Süreç ile K yaslamaya Temel Olarak Art msal Sürecin Nicel Analizi: Bir Durum Çal mas Quantative Analysis of the Incremental Process As Basis for Comparison with the Agile Process: A Case Study Seda, Güne Y lmaz Siemens Enterprise Communications ODTU Teknokent, Ankara seda.gunes@siemens-enterprise.com Dr. Ayça Tarhan Bilgisayar Mühendisli i Bölümü Hacettepe Üniversitesi, Ankara atarhan@cs.hacettepe.edu.tr Özet Çevik modeller 1990 lardan bu yana yaz m projelerinin ya am döngüleri için yayg nla arak kullan ld klar halde, bu modelleri kullanman n geli tirme performans na etkilerini nicel olarak ortaya koyan çal ma say azd r. Bunun önemli sebeplerinden biri, çevik yöntemlerin ölçülmesindeki zorluktur. Bir di er sebep ise, organizasyonda daha önce kullan lan geli tirme modellerinin performans n, kar la rmaya temel olacak ekilde ölçülmemi olmas r. Bu çal ma ile Siemens EC içinde çok say da projede uygulanan Art msal Sürecin performans ara lm r. Analiz hedeflerini ve ilgili ölçevleri belirlemek için Hedef-Soru-Ölçü Çat uygulanm r. Nicel analiz öncesinde sürecin kapsam ve ölçev özelliklerini anlamak için önceden tan mlanm bir de erlendirme yakla kullan lm r. Elde edilen analiz sonuçlar, Siemens EC içinde yeni kullan lmaya ba layan Çevik Sürecin performans ile k yaslanmak üzere temel al nacakt r. Abstract Although Agile Models have been widely used for the software project life-cycle since 1990s, the number of studies that quantitatively reveal the effect of using these models on development performance is scarce. One important reason for this is the difficulties in the measurement of Agile Methods. Another reason is that the performance of the development models previously used in the organisation are not measured to form a base for the comparison. In this study, the performance of the Incremental Process applied in many projects in Siemens EC is investigated. The Goal-Question-Metric (GQM) Framework is applied to determine the analysis goals and related metrics. A predefined assessment approach is used to capture process context and to understand measure characteristics prior to quantitative analysis. The analysis results will be a basis for comparison with Agile Process applied in the same project within Siemens EC, as the next study. 1. Giri Organizasyonlarda yaz m sistemlerinin gereksinimlerinin belirlenmesi, tasarlanmas, geli tirilmesi, test edilmesi ve bak aktivitelerinin tümü, yaz m ya am döngüsü içinde ele al r [1]. Tüm yaz m projelerinin bir ya am döngüsü vard r ve yaz m ya am döngüleri senelerce geli tirilmi ve ba ar olmu geli tirme modellerinden uyarlanm olmal r. Farkl yaz m geli tirme modellerinin uyguland projelere bak ld nda, birçok projenin beklenen sonuca ula mad görülür. The Standish Group adl irketin 2009 y nda yay nlad raporda [2], projelerin %32 oran nda ba ar oldu u, %44 oran nda reddedildi i ve %24 oran nda ba ar z oldu u ifade edilmi tir. Bir önceki ara rma sonucu ile k yasland nda, projelerin ba ar zl k oran nda önemli bir art olmas dikkat çekicidir. Yaz m projelerinin ba ar lma oran n dü üklü ü sebebiyle 1990 larda mevcut geli tirme modelleri sorgulanmaya ba lanm ve izleyen y llarda çevik modeller, geleneksel geli tirme modellerine alternatif olarak önerilmi tir. Çevik modeller çal anlar n ve ileti imin süreç ve araçlardan, çal an yaz n kapsaml belgelendirmeden, mü teri ile i birli inin sözle me yönetiminden ve de ime uyumun yap lm planlar izlemekten daha çok de er verildi i yöntemler olarak dile getirilmi tir [3]. Çevik modeller 1990 lardan bu yana yaz m projelerinin ya am döngüleri için yayg nla arak kullan ld klar halde, bu modelleri kullanman n geli tirme performans na etkilerini nicel olarak ortaya koyan çal ma say azd r. Mevcut çal malar [4,5,16,17,18] daha çok XP ve ya SCRUM gibi çevik yöntemlerin kullan ld klar projelerin performans ara rm ve bu çal malar n baz lar nda daha önce uygulanan geleneksel modellerle kar la rma yap lm r. Literatürde bunlara benzer nicel kar la rmalar n az olmas n önemli

2 sebeplerinden biri, çevik yöntemlerin ölçülmesindeki zorluktur [6]. Bir di er sebep ise, organizasyonda daha önce kullan lan geli tirme modellerinin performans n, kar la rmaya temel olacak ekilde ölçülmemi olmas r. Yaz m mühendisli inde ölçme, uygulanan süreçlerin bile enlerini ve ili kilerini anlamay gerektiren ve organizasyon genelinde bilgi payla art k lan bir i tir. Ayr ca ölçme i inde yol gösterecek pratik ve sistematik yöntemler yok denecek kadar azd r [7,8]. Bu zorluklara ra men geli tirme modellerinin performans n nicel olarak kar la lmas, yaz m organizasyonlar n ve sektörün önemli ihtiyaçlar ndan biridir. The Standish Group un yapt ara rman n sonuçlar [2] bu tespiti desteklemektedir. Yukar da bahsedilen ihtiyaçtan hareketle bu çal ma, Siemens EC içinde birçok projede uygulanan Art msal Sürecin performans n, yeni uygulanmaya ba lanan Çevik Sürecin performans ile k yaslamaya temel olacak ekilde, ölçülmesini ve analiz edilmesini anlat r. Zaman içinde organizasyonun geleneklerinin ve al kanl klar n da ekillendirdi i Art msal Süreç, asl nda Ça layan Modeli nin de ime u ram halidir[1,9]. Art msal Süreç ile geli tirilen ve bu çal maya konu olan ürünün, ba larda iç ve d pazarda oldukça ilgi gördü ü ve mü terinin ihtiyaçlar memnuniyetle kar lad görülmü tür. Ancak, projenin ilerleyen safhalar nda artarak gelen de iklik ve geni letme istekleriyle ürün karma k bir hal alm r. Her art m sonras nda birbirini etkileyen birimlerde yakalanamayan hayati hatalar, mü teride ortaya ç km ve bu durum düzeltme maliyetini artt rmakla birlikte, bazen mü teri kayb na yol açm r. Ekip üyeleri aras ndaki ileti imsizlik, zaman zaman projede yanl anlamalara sebebiyet vermi ve zaman kay plar ya anm r. Kar la lan bu gibi sorunlar ve üst yönetimin sat stratejileri sebebiyle ayn ürünün, kapsam geni letilerek Çevik Süreç ile geli tirilmesine karar verilmi tir. Uygulanan Çevik Süreç; Extreme Programming [10] ve SCRUM [10] modellerinin güçlü yönlerinin birle tirildi i ve organizasyona özel ihtiyaçlara uyarland bir geli tirme sürecidir. Bu çal ma elde edilen Art msal Sürecin performans analizi sonuçlar, Çevik Sürecin performans ile yaslanmak üzere temel al nacakt r. Bu çal maya konu olan proje, bir ürün ailesi olu turmak için yürütülmektedir ve çal mada bu ürün kapsam ndaki 20 özellik ele al nm r. Proje ekibi; bir ki i proje yöneticisi, bir ki i teknik proje yöneticisi, dört ki i yaz mc, bir ki i testçi, bir ki i mü teri destek personeli ve bir ki i teknik servis eleman olmak üzere, toplam 9 ki iden olu ur. Çal mada Art msal Sürecin ölçülmesi ve analiz edilmesi için hedefleri ve ilgili ölçevleri belirlemek amac yla, Hedef-Soru-Ölçü Çat ( Goal-Question-Metric Framework - GQM ) [7] kullan lm r. Art msal Sürecin organizasyon genelinde proje bazl bir tan olmad ndan ve kurumsal bir ölçme yakla bulunmad ndan, nicel analiz öncesinde süreç kapsam n ve ölçev özelliklerinin anla lmas için, önceden tan mlanm de erlendirme yakla ndan [11] yararlan lm r. Art msal Sürecin nicel analizi, 8 ki i-gün i gücü harcayarak tamamlanm r. Bu çal man n izleyen ikinci bölümünde Art msal Sürecin ba ar n nicel analizi için izlenen yöntem anlat lm r. Üçüncü bölümde analizin detaylar ve bulgular yer al r. Dördüncü ve son bölümde ise çal ma ile var lan sonuçlar özetlenmi tir. 2. Yöntem Art msal Sürecin performans analizi çal mas için uygulanan yöntem, ekil-1 de gösterildi i gibi sekiz ad mdan olu ur. lk ad mda, Art msal Sürecin kapsam ve ak anlamak amaçlan r. Bunun için i süreci modellemede kullan lan ve bir ak emas türü olan Olay Güdümlü Süreç Zinciri [12] (Event Driven Process Chain - EPC) kullan larak projede uygulanan Art msal Süreç tan mlan r. Bu ad mda süreç; Tasar m, Gerçekle tirim ve Test olmak üzere dört safhada ayr ayr tan mlanm r. kinci ad mda, Art msal Sürecin i leyi inin özellik gerçekle tiriminde tutarl ara rmak için Süreç Tutarl k Formu [11] kullan r. Süreç Tutarl k Formu, sat rda süreç bile enlerini, sütunda ise özellikleri gösteren bir matrisdir. Sürecin uygulamadaki tutarl n yüksek olmas analiz sonuçlar n tüm özellikler için genellenebilmesi ve yaslama için sa kla kullan labilmesi aç ndan önemlidir. Üçüncü ad mda, Art msal Süreç, Tümle ik Yetenek Olgunluk Modeli nin [13] (Capability Maturity Model Integration CMMI) seçilen süreç alanlar yla resmi olmayan bir yakla mla, pratikler baz nda ve s rasal ölçekte [14] e lenir. Bunu yapmaktaki amaç, Art msal Sürecin kapsam yayg n olarak bilinen süreç referans modeli CMMI aç ndan de erlendirmek ve anlamakt r. Benzer bir e leme, ayn amaçla Çevik Süreç için de yap r. Performans k yaslamas yapmadan önce, her iki e lemeyi de kullanarak, Art msal ve Çevik süreçlerin CMMI süreç alanlar ve pratikleri aç ndan ne derece örtü tü ü belirlenir. Her iki sürecin kapsam bir süreç referans modeli aç ndan bilmek, kar la rma sonuçlar n yorumlamas için önemlidir. Dördüncü ad mda, analiz hedeflerini tan mlamak ve Art msal Sürecin performans analizi için gerekli olan ölçevleri belirlemek için, GQM Çat [7] uygulan r. GQM Çat n i leyi mekanizmas, yukar dan a ya bir yakla mla, organizasyonun ba armak istedi i her

3 hedef için ilgili sorular tan mlamak ve bu sorular cevaplayacak bir veya birden fazla ölçevi belirlemek eklindedir. Bu çal mada Art msal Sürecin planlama ve i leyi ini anlamak ve sonuçta elde edilecek ürünün kalitesini de erlendirmek için hedefler belirlenmi tir. Her hedefin ba ar de erlendirmeyi sa layacak sorular ve her soruyu cevaplayacak ölçevler tan mlan r. Bu ad m, mevcut ölçevlerden ziyade beklenen ölçevleri içerdi i için taslak GQM çal mas olarak nitelendirilebilir. Yani bu ad n ç kt, taslak halinde bir GQM tablosudur. Be inci ad mda, mevcut süreç ölçevleri için a dan yukar ya yakla mla bir ara rma yap r. Art msal Sürecin ad mlar üzerinden geçerek, formlarda ve araçlarda kaydedilmi olan veriler için ölçevler tan mlan r. lk olarak temel ölçevler belirlenir. ekil-1 Uygulanan Yöntemin Ak emas Alt nc ad mda, her temel ölçevin ve ona ait verinin özelli ini ve kullan labilirli ini anlamak için Ölçev Kullan labilirlik Soru Formu [11] uygulan r. Ölçev Kullan labilirlik Soru Formu, süreç ölçevlerinin kullan labilirli ini nicel analiz için ara rmaya yarayan bir formdur. Bu form temel ve türetilmi ölçevler için iki çe it olup, birkaç soru ve de erlendirme kural ndan olu ur. Bu ad n ç kt, nicel analiz için kullan labilir temel ölçevleri içeren bir listedir. Yedinci ad mda, taslak halinde olan GQM tablosu gözden geçirilip güncellenerek son haline getirilir. Taslak halindeki GQM tablosunda belirlenen ölçevlerle, bir önceki ad mda belirlenen kullan labilir ölçevler k yaslan r. Buradaki amaç, dördüncü ad mda yukar dan a ya yakla mla tan mlanan ölçevlerle, alt nc ad mda a dan yukar yakla mla kullan labilirli i tespit edilen ölçevlerin ili kilendirilmesidir. Bu ili kilendirme sonras nda, nicel analiz için uygun bulunmayan ya da kullan labilir olmayan ölçevler taslak halindeki GQM tablosundan kar r ve GQM tablosu buna göre tekrar düzenlenir. GQM tablosundaki sorular n nas l cevaplanaca bilgisi için temel metrikler yeterli olmamaktad r [7]. Bunun için ayr ca türetilmi ölçevler belirlenir ve formülleri tan mlan r. Böylece bu ad n ç kt, son haline getirilen GQM tablosu ve tablodaki sorulara cevap vermek için temel ölçevlerden olu an türetilmi ölçevlerin tan mlar r. Sekizinci ve son ad mda, GQM tablosuna uygun olarak, Art msal Sürecin nicel analizi yap r. zleyen bölümde analiz çal mas n detaylar verilmi tir. 3. Uygulama lk ad n sonunda, projede uygulanan Art msal Sürecin Olay Güdümlü Süreç Zinciri (EPC) ile ayr ayr modellenen üç safhas (Tasar m, Gerçekle tirim, Test) elde edilmi tir. Bu safhalardan biri olan Test safhas n ak emas ekil-2 de verilmi tir. emada, Test süreci boyunca gerçekle tirilen aktiviteler, aktivitelerin girdileri ve ç kt lar, roller ve kullan lan araçlar gösterilmi tir. Ayr ca her aktivite, CMMI in süreç alanlar na e leme ad s ras nda kullan lmak üzere numaraland lm r. kinci ad mda, Süreç Tutarl k Formu, Art msal Sürecin her safhas n uygulamadaki tutarl ara rmak için kullan lm r. Bu formun Test safhas için uygulanm hali ekil-3 de verilmi tir. Matris eklindeki bu form, tan mlanan Test sürecinin özellik testindeki tutarl anlamaya yaram r. Test sürecindeki i leyi in Girdileri, Ç kt lar, Aktiviteleri, Rolleri, Kullan lan Araç ve Yöntemleri matrisin ralar, süreçte yer alan ve gerçekle tirimi yap lan

4 özellikler de (Ö1, Ö2.. vb.) matrisin sütunlar olu turmu tur. Geçi hücrelerinde varolan o, s radaki süreç ad n sütundaki özellik için geçerli oldu unu göstermi tir. Örne in, Aktiviteler k sm nda 3.5 numaral Sistem Tümle tirme Test Senaryolar n Gözden Geçirilmesi aktivitesi, gerçekle tirimi yap lan Ö7, Ö8, ve Ö9 özellikleri için uygulanmam r. ekil- 2 de ak verilen Test sürecinin, test edilen özellikler için, genel olarak tutarl uyguland gözlemlenmi tir. Üçüncü ad mda Art msal Süreç, CMMI in seçilen süreç alanlar na resmi olmayan bir yakla mla lenmi tir. E leme için CMMI n Gereksinim Yönetimi, Ürün ve Süreç Kalite Güvence, Gereksinim Geli tirme, Teknik Çözüm, Ürün Tümle tirme, Do rulama ve Geçerleme süreç alanlar seçilmi tir. Art msal Sürecin ad mlar, CMMI süreç alanlar na pratikler baz nda ve s ral ölçekte e lenmi tir. Her prati in Art msal Sürecin ad mlar taraf ndan kar lanma durumu; Hiç, K smen, Büyük Ölçüde ve Tamamen de erleriyle derecelendirilmi tir. Derecenin K smen veya Büyük Ölçüde olmas durumunda, e leme için detayl aç klama sa lanm r. Ayr ca her CMMI prati inin e lenen Art msal Süreçte hangi ad ma denk geldi i belirtilmi tir. ekil-2 Test Safhas n Ak emas

5 Özellik 1 Özellik 2 Özellik 3 Özellik 4 Özellik 5 Özellik 6 Özellik 7 Özellik 8 Özellik 9 Özellik 10 Özellik 11 Özellik 12 Özellik 13 Özellik 14 Özellik 15 Özellik 16 Özellik 17 Özellik 18 Özellik 19 Özellik 20 Girdi 1.1 Özellik Belgesi 2-4 o o o o o o o o o o o o o o o o o o o o 1.2 Özellik Sahibi ile Yap lan Çal tay Tutana o o o o o o o o o o o o o o o o o o o o 1.3 Sistem Tümle tirme (TB13) ve Regresyon Test Belgesi (TB12) 1.4 Kalite De erlendirme Test Senaryolar o o o o o o o o o o o o o o o o o o o o 1.5 Sistem Tümle tirme Test Senaryolar o o o o o o o o o o o o o o o o o o o o 1.6 Regresyon Test Senaryolar kt 2.1 Sistem Tümle tirme (Test Belgesi 13) ve Regresyon Test Belgesi (Test Belgesi 12) 2.2 Sistem Tümle tirme Test Senaryolar o o o o o o o o o o o o o o o o o o o o 2.3 Test Sonuçlar ve Durum Raporu o o o o o o o o o o o o o o o o o o o Aktiviteler 3.1 Sistem Tümle tirme ve Regresyon Test Belirtimi Haz rlan r (Test Belgesi 13&12) 3.2 Sistem Tümle tirme ve Regresyon Test Belgesinin Gözden Geçirilmesi 3.3 Sistem Tümle tirme ve Regresyon Test Belgesinin Günlenmesi 3.4 Sistem Tümle tirme Test Senaryolar n Haz rlanmas o o o o o o o o o o o o o o o o o o o o 3.5 Sistem Tümle tirme Test Senaryolar n Gözden Geçirilmesi o o o o o o o o o o o o o o o o o 3.6 Sistem Tümle tirme Test Senaryolar n Günlenmesi o o o o o o o o o o o o o o o o o 3.7 Test Ortam n Haz rlanmas o o o o o o o o o o o o o o o o o 3.8 Sistem Tümle tirme Test Senaryolar n %15 i Olan Kalite De erlendirme Testlerinin Ko ulmas (KD) o o o o o o o o o o o o o o o o o o o o 3.9 KD Test Sonuçlar n ve Durum Raporunun Yay nlanmas 3.10 KD Hatalar n Kaydedilmesi o o o o o o o o o o o o o o o o o o 3.11 KD Hatalar n Düzeltilmesi o o o o o o o o o o o o o o o o o o 3.12 KD Hatalar n Test Edilmesi o o o o o o o o o o o o o o o o o o 3.13 Bütün Sistem Tümle tirme Test Senaryolar n Ko ulmas o o o o o o o o o o o o o o o o o o o 3.14 ST Test Sonuçlar n ve Durum Raporunun Yay nlanmas 3.15 ST Hatalar n Kaydedilmesi o o o o o o o o o o o o o o o o o o o 3.16 ST Hatalar n Düzeltilmesi o o o o o o o o o o o o o o o o o o o o 3.17 ST Hatalar n Test Edilmesi o o o o o o o o o o o o o o o o o o o o 3.18 Regresyon Testlerinin Ko ulmas 3.19 Regresyon Test Sonuçlar ve Durum Raporunun Yay nlanmas o o o o o o o o o o o o o o o o o o o o Roller 4.1 Test Tak Lideri o o o o o o o o o o o o o o o o 4.2 Teknik Proje Yöneticisi o o o o o o o o o o o o o o o o 4.4 Yaz mc (Özellik Sahibi) o o o o o o o o o o o o o o o o o o o o 4.5 Testçi o o o o o o o o o o o o o o o o o o o o Araçlar & Yöntemler 5.1 HTS (Hata Takip Sistemi) o o o o o o o o o o o o o o o o o o o o 5.2 G-BYS (Global Belge Yönetim Sistemi) o o ekil-3 Test Safhas için Süreç Tutarl k Matrisi Dördüncü, be inci ve alt nc ad mlar yönteme uygun yürütülmü tür, ancak bu ad mlar n detay na yer k sebebiyle burada yer verilememi tir. Alt nc ad m sonunda nicel analiz için kullan labilirli i tespit edilen temel ölçevler ekil-4 de gösterilmi tir. Temel ölçevler dokuz ba k alt nda toplanm r. Her ba k alt nda ilgili ölçevler, kimlik numaralar (B1,B2,vb.) ve isimleriyle (Kodlama gücü,sat r Say,vb.) listelenmi tir. Temel ölçevler tan mlan rken her ölçevin varl na, özniteli ine, birimine ve ölçe ine yer verilmi tir [14]. Örne in Hata Say ba alt ndaki B1 numaral ölçevin ismi Gerçekle tirim

6 Safhas nda Bulunan Hata Say d r. Bu ölçev, Gerçekle tirim Safhas nda yaz mc taraf ndan ko ulan, Bile en ve Bile en Tümle tirme Testleri sonucunda bulunan hata say ifade eder. Bu ölçevin varl Yaz m Ürünü, özniteli i Kalite, birimi Say, ölçe i ise Mutlak t r. Ölçev No sim Varl k Öznitelik Birim Ölçek B1 Gerçekle tirim Safhas nda Bulunan Hata Say Yaz m Ürünü Kalite Say Mutlak Hata Say B2 Test Safhas nda Bulunan Hata Say Yaz m Ürünü Kalite Say Mutlak B3 Mü teri Safhas nda Bulunan Hata Say Yaz m Ürünü Kalite Say Mutlak Test Senaryosu B4 Yaz mc Taraf ndan Ko ulan Test Senaryosu Yaz m Ürünü Test Büyüklü ü Say Mutlak Say B5 Testçi Taraf ndan Ko ulan Test Senaryosu Yaz m Ürünü Test Büyüklü ü Say Mutlak Tasar m ve Gerçekle tirim gücü Test gücü Hata Düzeltme gücü B6 Yaz m Tasar m gücü nsan Kayna Saat Oransal B7 Kodlama gücü nsan Kayna Saat Oransal B8 Yaz mc n Test Tasar m gücü nsan Kayna Saat Oransal B9 Yaz mc n Test Ko ma gücü nsan Kayna Saat Oransal B10 Testçinin Test Tasar m gücü nsan Kayna Saat Oransal B11 Testçinin Test Ko ma gücü nsan Kayna Saat Oransal B12 Hata Raporlama gücü nsan Kayna Saat Oransal B13 Hatalar Test Etme gücü nsan Kayna Saat Oransal B14 Gerçekle tirimde Bulunan Hatalar Düzeltme gücü nsan Kayna Saat Oransal B15 Testte Bulunan Hatalar Düzeltme gücü nsan Kayna Saat Oransal B16 Mü teride Bulunan Hatalar Düzeltme gücü nsan Kayna Saat Oransal B17 Planlanan Gerçekle tirim ve Tasar m gücü nsan Kayna Saat Oransal Planlanan gücü B18 Planlanan Test gücü nsan Kayna Saat Oransal Planlanan Takvim B19 Planlanan Gerçekle tirim Ba lama Tarihi Yaz m Süreci Tarih Tarih Aral kl B20 Planlanan Test Ba lama Tarihi Yaz m Süreci Tarih Tarih Aral kl B21 Planlanan Gerçekle tirim Biti Tarihi Yaz m Süreci Tarih Tarih Aral kl B22 Planlanan Test Biti Tarihi Yaz m Süreci Tarih Tarih Aral kl Gerçek. Takvim B23 Gerçekle en Gerçekle tirim Ba lama Tarihi Yaz m Süreci Tarih Tarih Aral kl B24 Gerçekle en Test Ba lama Tarihi Yaz m Süreci Tarih Tarih Aral kl B25 Gerçekle en Gerçekle tirim Biti Tarihi Yaz m Süreci Tarih Tarih Aral kl B26 Gerçekle en Test Biti Tarihi Yaz m Süreci Tarih Tarih Aral kl Sat r Say B27 Kod Sat r Say Yaz m Ürünü Uzunluk Say Mutlak ekil-4 Temel Ölçevler Yedinci ad mda son ekline kavu turulmu GQM tablosu ile temel ölçevlerden elde edilen türetilmi ölçevler, ekil-5 de verilmi tir. Türetilmi ölçevler, temel ölçevlerden türeyen ve GQM a ac ndaki hedeflerin ba ar de erlendirmeye yarayan sorulara cevap te kil eden ölçevlerdir. ekil-5 deki GQM tablosunda dört temel hedefe yer verilmi tir. Bu hedefler; Ürünün Kalitesini Anlamak, Test Sürecinin Performans Anlamak, Gerçekle tirim Sürecinin Performans Anlamak ve Art msal Sürecin Performans Anlamak t r. Süreç Performans ve Ürün Kalitesi temelli bu hedeflerin ba ar sorgulamak için anlaml sorular tan mlanm r. Örne in, Ürünün Kalitesini Anlamak (H1) hedefi için, bu hedefi de erlendirmeye yarayacak dört soru tan mlanm r. Bu sorulardan bir tanesi, Test Safhas ndaki Test Hata Yo unlu u Nedir? (S2) sorusudur. Bu soru, temel ölçevlerden türeyen Test Safhas ndaki Test Senaryosu Ba na Dü en Test Hata Yo unlu u (D3) ve Test Safhas ndaki Test Hata Yo unlu u (D4) türetilmi ölçevleriyle cevaplanm r. Test Safhas ndaki Test Senaryosu Ba na Dü en Test Hata Yo unlu u türetilmi ölçevi, Test Safhas nda Bulunan Hata Say (B2) temel ölçevinin Testçi Taraf ndan Ko ulan Test Senaryosu (B5) temel ölçevine bölünmesiyle hesaplanm r. Test Safhas ndaki Test Hata Yo unlu u türetilmi ölçevi ise Test Safhas nda Bulunan Hata Say (B2) temel ölçevinin Kod Sat r Say (B27) temel ölçevine bölünmesiyle hesaplanm r. Formüllerdeki temel ölçevler, ekil-4 den takip edilebilir. Sekizinci ad mda Art msal Süreç, son haline getirilmi GQM tablosuna göre analiz edilmi ve analiz sonuçlar kendi içinde de erlendirilmi tir. De erlendirme için istatistiksel bir yöntem olan korelasyon [15] uygulanarak ölçevlerin birbiriyle olan ili kilerinin yönü ve gücü saptanm r. De erlendirme sonuçlar n tümüne, yer k sebebiyle burada yer verilememi tir. Örnek olarak,

7 analiz çal mas n Test safhas ile ilgili sonuçlar, da aç klanm r. Hedef H1 Ürünün Kalitesini Anlamak Formül Soru S1 Gerçekle tirim Safhas ndaki Test Hata Yo unlu u Nedir? Ölçev D1 Gerçekle tirim Safhas nda Test Senaryosu Ba na Dü en Test Hata Yo unlu u B1 / B4 D2 Gerçekle tirim Safhas ndaki Test Hata Yo unlu u B1 / B27 Soru S2 Test Safhas ndaki Test Hata Yo unlu u Nedir? Ölçev D3 Test Safhas nda Test Senaryosu Ba na Dü en Test Hata Yo unlu u B2 / B5 D4 Test Safhas ndaki Test Hata Yo unlu u B2/B27 Soru S3 Mü teri Safhas ndaki Test Hata Yo unlu u Nedir? Ölçev D5 Mü terideki Test Hata Yo unlu u B3 / B27 Soru S4 Genel Test Hata Yo unlu u Nedir? Ölçev D6 Genel Test Hata Yo unlu u (B1+B2+B3) / B27 Hedef H2 Test Sürecinin Performans Anlamak Formül Soru S5 Test Safhas Do rulama&geçerleme Etkinli i Nedir? Ölçev D7 Test Safhas Do rulama&geçerleme Etkinli i B2 / (B1+B2+B3 Soru S6 Testçinin Etkinli i Nedir? Ölçev D8 Testçinin Etkinli i B2 / (B10+B11) Soru S7 Testçinin H Nedir? Ölçev D9 Testçinin H B5 / (B10+B11) Soru S8 Test Sürecindeki i gücünün tahmin do rulu u nedir? Ölçev D10 Test gücü Tahmin Do rulu u (B10+B11+B12+B13) / B18 Soru S9 Test Sürecindeki takvimin tahmin do rulu u nedir? Ölçev D11 Test Takvim Tahmini Do rulu u (B26-B24) / (B22-B20) Hedef H3 Gerçekle tirim Sürecinin Performans Anlamak Formül Soru S10 Gerçekle tirim Sürecinin Üretkenli i Nedir? Ölçev D12 Gerçekle tirim Üretkenli i B27 / (B6+B7+B8+B9) Soru S14 Gerçekle tirim Sürecindeki i gücünün tahmin do rulu u nedir? Ölçev D13 Gerçekle tirim gücü Tahmin Do rulu u B17 / (B6+B7+B8+B9) Soru S15 Gerçekle tirim Sürecindeki takvimin tahmin do rulu u nedir? Ölçev D14 Gerçekle tirim Takvim Tahmini Do rulu u (B25-B23) / (B21-B19) Soru S11 Yaz mc n Test Ko ma Do rulama&geçerleme Etkinli i Nedir? Ölçev D15 Yaz mc n Test Ko ma Do rulama&geçerleme Etkinli i B1 / (B1+B2+B3) Soru S12 Yaz mc n Test Etkinli i Nedir? Ölçev D16 Yaz mc Test Etkinli i B1 / (B8+B9+B14) Soru S13 Yaz mc n Test H Nedir? Ölçev D17 Yaz mc Test H B4 / (B8+B9+B14) Hedef H4 Art msal Sürecin Performans Anlamak Formül Soru S16 Yay m öncesi Art msal Sürecin Do rulama&geçerleme Etkinli i Nedir? Ölçev D18 Art msal Süreç Test Do rulama&geçerleme Etkinli i (B1+B2) / (B1+B2+B3) Soru S17 Art msal Süreçte hata düzeltmeye harcanan i gücü nedir? Ölçev D19 Art msal Süreçte Hata Düzeltme gücü Soru S18 Art msal Sürecin Üretkenli i Nedir? Ölçev D20 Art msal Süreç Üretkenli i Soru S19 Art msal Süreçte i gücü tahmin do rulu u nedir? (B14+B15+B16)/ (B6+B7+B8+B9)+(B10+B11+B12+B13)+(B14+B15+B16)) B27/ ((B6+B7+B8+B9)+(B10+B11+B12+B13)+(B14+B15+B16)) Ölçev D21 Art msal Süreç gücü Tahmin Do rulu u ((B6+B7+B8+B9)+ (B10+B11+B12+B13)+(B14+B15+B16))/ (B17+B18) Soru S20 Art msal Süreçte Takvim Tahmin Do rulu u nedir? Ölçev D22 Art msal Süreç Takvim Tahmin Do rulu u (B26-B23) / (B22-B19) ekil-5 GQM Tablosu ve Türetilmi Ölçevler Testçinin H (D9) ile Test Safhas nda Test Senaryosu Ba na Dü en Test Hata Yo unlu u (D3) aras nda negatif yönde güçlü bir ili ki (-0,75 faktör ile) saptanm r. Bu ili kiye göre, testçinin h ne kadar yüksekse, test safhas ndaki test senaryosu ba na dü en hata yo unlu u o kadar dü üktür. Benzer bir negatif yönde güçlü ili ki (-0,85 faktör ile), Yaz mc n Test Ko ma Do rulama&geçerleme Etkinli i (D15) ve Test Safhas ndaki Test Hata Yo unlu u (D4) aras nda gözlemlenmi tir. Bu ili kiye göre, yaz mc n gerçekle tirim safhas ndaki test aktivitelerindeki etkinli i ne kadar yüksekse, Test Safhas ndaki safhas ndaki test hata yo unlu u o kadar dü üktür. Art msal Süreç Test Ko ma Do rulama & Geçerleme Etkinli i (D18) ile Mü terideki Test Hata

8 Yo unlu u (D5) aras nda da negatif yönde güçlü bir ili ki (-0.85 faktör ile) görülmü tür. Bu ili kiye göre, Art msal Sürecin test aktivitelerinin etkinli inin yüksek olmas, ürün mü teride kullan lmaya ba land ktan sonra gözlemlenen hata yo unlu unu azaltm r. Art msal Süreçte Hata Düzeltme gücü (D19) üç türetilmi ölçeve göre de erlendirilmi ve bu ölçevlerle pozitif yönde farkl güçte ili kiler gözlemlenmi tir. Bu türetilmi ölçevler unlard r: Gerçekle tirim Safhas ndaki Test Hata Yo unlu u (D2), Test Safhas ndaki Test Hata Yo unlu u (D4) ve Mü terideki Test Hata Yo unlu u (D5). En güçlü ili ki Art msal Süreçte Hata Düzeltme gücü ve Mü terideki Test Hata Yo unlu u aras nda (+0.60 faktör) ç km r. Bu ili kiye göre, hatalar ne kadar geç bulunursa düzeltmek için harcanan i gücü ve maliyet o kadar artar. En dü ük düzeltme i gücü, hatalar Gerçekle tirim safhas nda yakaland nda harcan r. Elde edilen analiz sonuçlar n, büyük oranda pratikte gözlenen durumlarla örtü tü ü gözlemlenmi tir. 4. Sonuç Bu çal mada, Siemens EC içinde çok say da projede uygulanan Art msal Sürecin performans, bir projenin 20 özelli i üzerinde nicel analiz yaparak ara lm r. Bildiri kapsam nda, analiz için izlenen yönteme ve uygulaman n Test Safhas safhas ile ilgili ç kt lar na ve analiz sonuçlar na yer verilmi tir. Ayn proje Çevik Süreç ile de geli tirilmektedir ve sürecin, bu çal maya dahil edilen özellikleri geli tirmedeki performans, benzer bir yöntemle analiz edilecektir. Çal mada analiz hedeflerini ve ilgili ölçevleri belirlemek için GQM çat uygulanm r. GQM çat n önerdi i gibi, analiz hedeflerini ve ölçevleri belirlemek için yukar dan-a ya bir yakla m izlenmi tir. Bu yakla m, araçlar ve formlar üzerinde yer alan mevcut ölçevlerin ara ld ve bu ölçevlerden nicel analiz için uygun olanlar n seçildi i, dan-yukar ya bir yakla mla desteklenmi tir. Süreç Tutarl k Formu, Art msal Sürecin uygulamadaki tutarl anlamada ve Ölçev Kullan labilirlik Soru Formu, temel ölçevlerden nicel analiz için uygun olanlar belirlemede büyük kolayl k sa lam r. Çevik yöntemleri ölçme zorlu u dü ünüldü ünde, ayn yakla n Çevik Sürecin uygulamalar anlamada ve ölçevlerini belirlemede önemli bir avantaj sa layaca dü ünülmektedir. Böyle bir çaba, analiz sonuçlar n organizasyon genelinde kullan labilmesi için fayda sa layacakt r. 5. Kaynaklar [1] Agarwal B.B.,Tayal S.P, Gupta M., Software Engineering & Testing, ISBN: [2] Internet: The Standish Group Report, 2009, [3] Manifesto for Agile Software Development, 2007 retrieved from [4] B. Fitzgerald,G. Hartnett, A Study of the Use of Agile Methods within Intel, from Business Agility and Information Technology Diffusion, Vol 180/2005 [5] Li j., Moe N.B., Dyba T., Transition from a Plan-Driven Process to Scrum A Longitudinal Case Study on Software Quality, Proceedings of the 2010 ACM-IEEE International Symposium on Empirical Software Engineering and Measurement (Bolzano-Bozen, Italy, 2010) [6] B.M. Arteta, R.E Giachetti, A measure of agility as the complexity of the enterprise system, Robotics and Comp. Integrated Manuf., Vol 20, Issue 6 pp ,2004 [7] Van Solingen, R., Basili, V., Caldiera, Gianluigi, and Rombach, D. H. Goal Question Metric (GQM) Approach, Encyclopedia of Software Engineering (Marciniak, J.J. ed.), Wiley Interscience, John Wiley&Sons, [8] ISO/IEC: ISO/IEC 15939: Software Measurement Process (2002) [9] Tsui F.F., Karam O., Essentials of Software Engineering, 2009, ISBN: [10] Pekka Abrahamson, Outi Salo, Jussi Ronkainen, Juhani Warsta: Agile software development methods: Review and analysis. VTT 2002, ISBN: (URL: [11] A.Tarhan, O.Demirörs, Assessment of Software Process and Metrics to Support Quantitative Understanding, In proceedings of Mensura Conference 2007, pp , LNCS 4895, (ISBN: ), 2008, Springer- Verlag. [12] B.J. Hommes, The Evaluation of Business Process Modeling Techniques, 2004, TU Delft. p.137. [13] CMMI Product Team, CMU/SEI. CMMI for Development. CMMI-SE/SW V1.2, CMU/SEI-2006-TR-008, 2006 [14] Fenton, N.E., and Pfleeger, S.L.: Software Metrics: A Rigorous and Practical Approach. 2nd Ed., PWS Publishing Company (1997) [15] C.H. Brase, C.P. Brase, Understandable Statistics: Concepts and Methods, 2009, ISBN: [16] Layman, L., Williams, L. and Cunningham, L. Exploring Extreme Programming in Context: An Industrial Case Study. In Proceedings of the Agile Development Conference (Salt Lake City, Utah, USA, June, 2004). IEEE Computer Society, [17] Ilieva, S., Ivanov, P. and Stefanova, E. Analyses of an Agile Methodology Implementation. In Proceedings of the 30th EUROMICRO Conference (Rennes, France, Aug., 2004). IEEE Computer Society, [18] P. Abrahamsson, "Extreme Programming: First Results from a Controlled Case Study," in 29th EUROMICRO Conference. Belek, Turkey: IEEE, 2003 Bu çal man n k, nicel analizin tek bir projeye ait özellikler üzerinde yap lm olmas r. Yine de çal mada tan mlanan yöntem izlenerek farkl projelerin özellikleri, zamanla analize dahil edilebilir.