Test Süreçlerinin Olgunluk Seviyesi Modeli ile İyileştirilmesi: Scrum ile Yazılım Geliştiren Bir İşletmede Uygulama

Transkript

1 Test Süreçlerinin Olgunluk Seviyesi Modeli ile İyileştirilmesi: Scrum ile Yazılım Geliştiren Bir İşletmede Uygulama Dr. Ayfer Başar 1 1 İstanbul Teknik Üniversitesi, Endüstri Mühendisliği Bölümü, İstanbul ayferbasar@gmail.com Özet: Gelişen bilgi ve iletişim teknolojileri, işletmelerin rekabet gücünün oluşturulmasında belirleyici olmaya başlamıştır. Bu sebeple kurumlar, daha rekabetçi olmak için işletmenin üretimini sağlayan yazılımların geliştirme faaliyetlerinin hız ve kalitesinin artırılmasını talep etmektedir. Kaliteli üretim talebi, yazılım geliştirme esnasında hatalı analiz, tasarım ve kodlama yapılmamasını ya da olası hataların olabildiğince önce fark edilip düzeltilerek zaman ve maliyet tasarrufu sağlanmasını gerektirmektedir. Bu da yazılımın çevik yöntemler içinde üretim aşamalarında ve yaygınlaştırılmadan önce yapılacak testlerinin etkin ve verimli yapılmasını zorunlu kılmaktadır. Bu çalışmada, SCRUM ile yazılım üretimi yapan bir şirkette, yazılım test süreci, TMMI (Tümleşik Test Olgunluk Modeli - Test Maturity Model Integrated) açısından ele alınmış, Uygulama Geliştirme Servislerinde (SCRUM Takımı) SPRINT içinde yapılan testlerin olgunluk seviyesinin arttırılmasına yönelik iyileştirme önlemleri belirlenmiştir. V modelinin izlenmesi, risk ve test yönetim planının hazırlanması, müşteri ile iletişimin arttırılması, personelin test konusunda eğitilmesi, süreç iyileştirme için aksiyon planının oluşturulması, hata önleme ekibinin oluşturulması en temel önerilerdir. Anahtar Sözcükler: Yazılım Testi, Test Olgunluk Seviyesi, Bilgi İşlem Şirketi Test Süreci. Improving Test Processes with Maturity Model: An Application in a Firm Using Scrum Abstract: Improved information technologies have become a determining factor in companies competitive strength. Therefore, enterprises tend to develop high-quality applications in a rapid way. Demand of quality production refuses defective analysis, design and coding or requires identification of defects in the earliest time to save money and time. Thus, executing test processes in an efficient way during software development life cycle has become a fundamental topic for the companies. In this study, software development process of a company using Scrum methodology is handled and improvements for the tests done in SPRINT are proposed. Application of V-model, preparation of risk and test management plans, improving the communication with the customer, training the staff about test techniques, presenting an action plan for the process improvement and founding a defect prevention team are major suggestions. Keywords: Software Test, Test Maturity Model, Information Technology Firm Test Process. 1. Giriş Son dönemlerde hızla artan rekabet ve gelişen müşteri istekleri, organizasyonların yazılım geliştirme faaliyetlerini güvenilir ve verimli bir şekilde yürütmesini gerektirmektedir. Üretilen yazılımın uygulanacağı alanın kritiklik seviyesine göre, yazılımdaki hatalardan dolayı işletmeler çok yüksek maliyete katlanmak zorunda kalabilmektedir.

2 [1] çalışmasında tarif edildiği üzere işletmeler, etkin yazılım süreçleri sayesinde faaliyetlerini belli bir standarda göre yürüterek değişkenliklerini azaltmaktadır. Bu şekilde yazılım süreçlerinin olgun hale getirilebilmesi için süreç yetenekleri ve olgunluk faaliyetlerinin birlikte yürütülmesi gerekmektedir [2]. CMMI; test etme ve doğrulama süreçlerinin tanımlandığı, yazılım süreç olgunluğu konusunda en yaygın olarak kullanılan referans yöntemlerden biridir. Ancak yazılım süreçlerindeki test işlemlerinin detaylarına yönelik CMMI da yeterli bilgi bulunmamaktadır. Bu nedenle tamamlayıcı model olarak test süreçlerinin iyileştirilmesi amacıyla Illinois Institute of Technology tarafından TMMI geliştirilmiştir. TMMI, kurumların yazılım test süreçlerinin olgunluk seviyelerinin belirlenerek, hedeflenen olgunluk seviyesine ulaşılabilmesi için gerçekleştirilmesi gereken iyileştirme faaliyetlerinin belirlenmesi prensibine dayanmaktadır. Bu çalışmada, Scrum metodolojisi ile yazılım geliştiren bir bilgi işlem şirketindeki test süreci TMMI açısından incelenerek olgunluk seviyesinin arttırılmasına yönelik iyileştirme aktivitelerinden bahsedilecektir. Bölüm 2 de yaygın yazılım test türleri, Bölüm 3 te TMMI yaklaşımının detayları, Bölüm 4 te ise bir teknoloji şirketinin yazılım test süreci incelenecektir. Bölüm 5 te, şirketteki yazılım test sürecinin TMMI olgunluk modeli ile karşılaştırılması yapılarak, test süreçlerinin iyileştirilmesi için önerilen faaliyetler detaylandırılacak ve Bölüm 6 da çalışmanın sonuçları sunulacaktır. 2. Yazılım Test Türleri Test, bir sistemin manuel ya da otomatik olarak değerlendirilip önceden belirlenen gereksinimleri karşılayıp karşılamadığının doğrulanması ya da beklenen ve gözlenen sonuçlar arasındaki farkların belirlenmesi sürecidir. Yazılım testi ise, sonsuz bir küme içinden seçilen sınırlı sayıda ve uygun vakaları kullanarak dinamik olarak sistemin belirlenen gereksinimleri karşılayıp karşılamadığına yönelik gerçekleştirilen sınama faaliyetleridir [3]. ANSI/IEEE 1059 Standardına göre yazılım testi; bir yazılım öğesini analiz ederek, beklenen ve mevcut özellikler arasındaki farkları tespit edip yazılım öğesinin özelliklerini değerlendirme süreci olarak tarif edilmiştir. Hatasız yazılım geliştirme açısından büyük öneme sahip olan testler; amaç, strateji, sistem bilgisi vb. durumlara göre farklı kategoriler altında incelenebilmektedir. Yazılım testleri yaygın olarak, statik ya da dinamik olma durumuna göre sınıflandırılabilmektedir. Dinamik testler, kodlama faaliyetinin sonlarına doğru başlamakta ve bulunan tüm hatalar çözülüp yazılımın kullanıcı kabul kriterlerinin sağlandığı garanti edildikten sonra tamamlanmaktadır. Dinamik test süreçleri, test edilen yazılımın niteliğine göre farklılaşmakta olup en önemli çeşitleri; işlevsel olan ( functional ) ve işlevsel olmayan ( non-functional ) testlerdir. İşlevsel testler, bazı girdiler sağlanarak yazılımın beklenen çıktıları üretip üretmediğinin kontrol edilmesi işlemidir. Bu aşamada test edilecek fonksiyonlar belirlenmekte, test işlemleri için uygun veri seti hazırlanmaktadır. Bu veriler ile test gerçekleştirildiği takdirde ortaya çıkabilecek sonuçlar belirlenmekte, test senaryo ve koşulları tespit edilmekte, gerçekleştirilen testin sonuçları ve beklenen durum karşılaştırılmaktadır.

3 Birim ( unit ), entegrasyon ( integration ), kara kutu ( black box ) ve kullanıcı kabul ( user acceptance ) testleri en yaygın kullanılan işlevsel test teknikleridir [3]. Birim testleri, uygulama ile ilgili olası hataların olabildiğince erken bulunup düzeltilmesi amacıyla yazılımın test uzmanlarına gönderilmeden önce uygulamayı geliştiren ekipler tarafından kontrol edilmesi işlemidir. Test verileri kullanılarak her defasında kaynak kodun sadece bir bölümü kontrol edilmekte ve yazılımın test edilen kısımları birleştirilerek çözüme ulaşılmaya çalışılmaktadır. Entegrasyon testleri, uygulamanın birleştirilen bölümlerinin birbirleriyle uyumlu bir şekilde çalışıp çalışmadığının kontrol edilmesi amacıyla yazılım geliştiren ekipler ya da test uzmanları tarafından gerçekleştirilmektedir. Kara kutu tekniği, test faaliyetlerini gerçekleştirecek uzmanın uygulamanın kaynak koduna erişim olanağı olmadan, sadece derlenmiş kod üzerinden gerçekleştirilen testtir. Kara kutu testleri, teknik bilgi gerektirmemesi sayesinde birçok test uzmanı tarafından kolayca gerçekleştirilebilmekte, ancak test esnasında kaynak kodun görülmemesi dolayısıyla bazı durumlarda etkin sonuç üretememektedir. Uygulama devreye alınmadan önce gerçekleştirilen kullanıcı kabul testinde müşteri, yazılımın beklentisine uygun olup olmadığına dair görüş bildirmekte, değişiklikler gerçek ortama alınmadan önce ek taleplerde bulunabilmektedir. İşletmenin yazılım geliştirme modeline göre kullanıcı kabul testlerinin gerçekleştirilme zamanı farklılık gösterilmektedir. Örneğin Scrum yaklaşımı ile yazılım geliştiren işletmelerde, 2-3 haftalık her sprint sonunda ürünün müşteri isteklerini karşılayıp karşılamadığına dair kullanıcı kabul testleri yapılmaktadır. İşlevsel olmayan testlerin en yaygın türleri; performans, yük, kullanılabilirlik ve güvenilirlik testleridir. Performans testi; yazılımın beklenmeyen zamanlarda, normal olmayan ağırlıktaki yüke verdiği tepkiyi ölçme, yazılımın tepkilerinin hangi noktalarda yavaşladığını kontrol etmek ve performans düzeyini ölçmek amacıyla gerçekleştirilen testlerden biridir. Yük testi, uygulamanın kaldırabileceği yükün tespit edilmesi ve en yüksek performans ile hangi yükte çalışabileceğinin belirlenmesi için yapılan testtir. Yük testi sonucunda yazılımın beklenen performansı gösteremediği görülürse, gerekli önlemler alınarak performans kaybı giderilir. Kullanılabilirlik testi, uygulamanın doğrudan son kullanıcı tarafından test edilerek kullanımının basit ve rahat olup olmadığının belirlendiği dinamik test türüdür. Güvenilirlik testleri ise, geliştirilen uygulamanın yetkisiz erişim, kötü amaçlı saldırı vb. güvenlik açıklarına neden olup olmadığının tespit edilmesi amacıyla gerçekleştirilmektedir. Statik test süreci ise yazılım yerine yazılımın üretilmesi için gereken kod, doküman vb. çıktıların test edilmesini kapsamaktadır. Böylelikle statik test sürecinde yazılım çalıştırılmayıp çıktılar kontrol edilmektedir. Statik testler, resmi olan ya da olmayan yöntemlerle gerçekleştirilmektedir. Resmi olan statik testler için gerekli hazırlık önceden planlanıp, konuyla ilgili uzman görüşüne başvurulmakta iken resmi olmayan testler, plansız başlayıp kısa sürede tamamlanmaktadır. Yazılımın denetimi ( software inspection ), üzerinden geçme ( walkthrough ), kodun yeniden incelenmesi ( code review ) en yaygın statik tekniklerdir. 3. Test Olgunluk Seviyesi Modeli Test Olgunluk Model Entegrasyonu (TMMI

4 Test Maturity Model Integration ), test süreçlerinin iyileştirilmesi amacıyla Yetenek Olgunluk Model Entegrasyonu (CMMI Capability Maturity Model Integration ) referans alınarak Illinois Institute of Technology tarafından tasarlanan bir modeldir. TMMI yönteminde; test çalışmalarının olgunluk hiyerarşisini gösteren seviyeler ve her seviye için olgunluk hedefleri tanımlanmış olup bu modele göre işletmelerin hangi aşamada olduğu bilgisi anlaşılmaktadır. TMMI ın her seviyesinde olgunluk hedef ve alt hedefleri, anahtar süreç adımları, aktivite, görev ve sorumluluklara dair gerekli bilgiler tanımlanmaktadır [4]. TMMI ile yazılım test süreçlerini iyileştirmeyi hedefleyen işletmeler, ilk seviyeden başlamak kaydıyla ilgili anahtar süreç adımlarını tamamlayarak daha üst olgunluk seviyesine ulaşabilmektedir. Birinci seviye olan Başlangıç aşamasında, olgunluk hedefleri bulunmayıp kod yazıldıktan sonra test işlemleri başlamakta, test faaliyetlerinin sürdürülebilirliğinin sağlanması için önemli bir çaba harcanmamakta, test vakaları geçici olarak yürütülmektedir. TMMI yöntemine göre başlangıç aşamasında test faaliyetleri, yazılım geliştirmenin önemli ve kritik bir süreci olarak görülmemektedir. İkinci seviye olan Faz Tanımlama aşamasının olgunluk hedefleri şu şekildedir: Test ve hata ayıklama işlemlerine ait hedeflerin tespit edilmesi, Test planlama sürecinin önceliklendirilmesi, Temel test teknik ve metotlarının kurumsallaştırılması, Üçünce seviyede yer alan Entegrasyon aşamasının olgunluk hedefleri şu şekildedir: Yazılım test grubunun oluşturulması, Teknik eğitim programının oluşturulması, Test işlemlerinin yazılım yaşam döngüsü ile birleştirilmesi, Test süreçlerinin kontrol edilmesi ve izlenmesi, Dördüncü seviyede yer alan Yönetim ve Ölçüm aşamasının olgunluk hedefleri ve alt hedefleri şu şekildedir: Kurum çapında gözden geçirme programının oluşturulması, Test ölçüm programının oluşturulması, Yazılım kalite değerlendirmesi, Son olarak beşinci seviyede yer alan Optimizasyon / Hata Önleme ve Kalite kontrol aşamasının olgunluk hedefleri ve alt hedefleri şu şekildedir: Hata önleme işlemlerine yönelik uygulamalar, İstatiksel kalite kontrol, Test süreci optimizasyonu, Pratik uygulamalar, daha etkin ve efektif bir test süreci için TMMI yaklaşımının başarılı sonuçlar verdiğini göstermektedir. TMMI sayesinde test faaliyetleri, yazılım geliştirme süreci ile tamamen entegre bir uzmanlık haline gelmekte; böylece, hata ayıklama yerine hata önleme faaliyetlerine odaklanmaktadır. TMMI ile test süreçlerinin iyileştirilmesi için alınması gereken aksiyonlar; organizasyonun yapısı ve çevresi ile mevcut durumda hangi seviyede bulunduğuna bağlı olarak değişkenlik gösterebilmektedir. Örneğin birinci seviyeden ikinci seviyeye yükselmek isteyen organizasyonlar, ikinci seviyeye ulaşmak için zorunlu olmasa da faydalı

5 olacağı düşüncesiyle genellikle bir test grubu oluşturmaktadır [5]. 4. Bir Teknoloji Şirketinin Yazılım Test Süreci Bu çalışmada, 500 den fazla çalışanı olan bir bilgi işlem şirketinin yazılım test sürecinin TMMI açısından analiz edilmesi hedeflenmektedir. Kurum personelinin büyük bir kısmı yazılım geliştirme alanında çalışmakta olup uygulama geliştirme yöntemi olarak bilgi işlem şirketinde çevik yazılım geliştirme yaklaşımı olan Scrum metodolojisi takip edilmektedir. Çevik sürecin şelale ( waterfall ) tekniğinden temel farkı dolayısıyla Scrum ile yazılım geliştiren bilgi işlem şirketinde analiz, tasarım, kodlama, test vb. adımlar ayrı gruplar tarafından yürütülmemektedir. Böylece müşteri tarafından talep edilen ürün ya da hizmetler; 2-4 haftalık dönemler halinde planlanan sprintlerde geliştirilmektedir. Analiz, yazılım, test vb. işlemler için ayrı alt grupların bulunmadığı bilgi işlem şirketindeki Scrum ekipleri, tek bir hedefe ulaşmak için mücadele eden ve sürekli iletişim halinde olan çalışanlardan oluşmaktadır. Ayrıca bilgi işlem şirketinde Scrum ile yazılım geliştirilirken, şelale yönteminde olduğu gibi yazılım sürecinde yer alan analiz, tasarım, kodlama vb. adımlar için ayrı ayrı ve detaylı doküman üretilmemektedir. İş birimlerinin talepleri geliştirilirken yazılım yaşam döngüsü kapsamındaki faaliyetler esnasında ihtiyaca yönelik olarak fonksiyonel, yük, kullanıcı kabul ve referans sistem testleri gerçekleştirilmektedir. Sprint planlamasına dahil edilen her ürün talebinin özellikleri sprint içinde fonksiyonel testler aracılığıyla kontrol edilir, böylece müşteri beklentilerinin karşılanıp karşılanmadığı tespit edilir. Fonksiyonel talebin karşılanmaması halinde testi yapan takım üyesi sorunu, yazılımı geliştiren takım üyesi ile paylaşır. Sorun kısa sürede çözülebilecek nitelikte ise ilgili personel tarafından hızlıca aksiyon alınır. Aksi durumda testi yapan takım üyesi, kontrol adımlarının ilgili servisler tarafından incelenip düzeltilmesi ve bu işlemlerin takibi amacıyla kullanılan otomasyon aracı üzerinden bulgu girişi yapar ve sorunu kayıt altına alır. Söz konusu bulgular uygulama kaynaklı ise ilgili servisler tarafından gerekli uygulama geliştirme ve yaygınlaştırma işlemleri planlanır ve bulgular düzeltildikten sonra hatanın düzeldiği kontrol edilerek bulgu kapatılır. Uzun süre boyunca kapanmayan fonksiyonel test bulguları için ilgili kişilere otomasyon aracı üzerinden otomatik hatırlatıcı e-postalar gönderilir. Fonksiyonel test çalışmaları tamamlandıktan ve varsa tüm bulgular giderildikten sonra takım üyesi tarafından sisteme, ürün talebinin test edildiği bilgisi girilir. Kullanıcı Kabul Testleri kullanıcı ile birlikte yapılmakta ve test sonrasında ıslak imzalı olarak Kullanıcı Kabul Onayı alınmaktadır. 5. Scrum ile Yazılım Geliştiren Bilgi İşlem Şirketinde Test Faaliyetlerinin İyileştirilmesi için TMMI Yaklaşımı Genel olarak yazılım geliştirme test süreçlerinin TMMI standardına uygun olarak iyileştirilmesi için öncelikle test faaliyetlerinin niçin yapıldığının, test sürecinde kalite ve hızın ne kadar önemli olduğunun belirlenmesi fayda sağlar. Ayrıca konuyla ilgili kapsamlı bir iyileştirme projesine başlamadan önce, test konusunda deneyimli ve uzman bir grubun atanması, süreç sahipliğinin belirlenmesi önemlidir. Mevcut durumda test faaliyetleri ile ilgili

6 hangi alanların iyileştirileceğinin ve hedeflenen seviyeye ulaşmak için hangi aksiyonların alınması gerektiğinin netleştirilmesi gerekir. Rekabet üstünlüğü sağlamak, yeni hedef ve fikirler belirlemek amacıyla TMMI ile ilgili en iyi uygulamaların araştırılıp incelenmesi önerilir. Ayrıca yapılan çalışmaların tüm personel tarafından benimsenmesi ve gelecekte daha iyi sonuçlar elde edilmesi için kurum içinde farkındalık bilincinin oluşturulması gerekmektedir. Çalışmada bahsi geçen ve Scrum metodolojisi uygulanan bilgi işlem şirketinin şelale tekniğinin uygulandığı önceki dönemlere kıyasla daha hızlı yazılım geliştirdiği ve müşteri beklentilerine daha iyi yanıt verdiği görülmektedir. Scrum metodolojisinin gereği olarak bilgi işlem şirketinde yazılım geliştirme hayat döngüsü kısa sürelerde sürekli tekrar etmektedir. Test, analist, yazılım geliştirme rollerine sahip fonksiyonel ekipler, sprint boyunca planlamaya dahil edilen müşteri iş birimi taleplerini gerçekleştirmeye odaklanmakta, her gün ayakta yapılan 15 dakikalık toplantılarla gidişat hakkında tüm takım bilgilendirilmektedir. Yazılım geliştirme yaşam döngüsünün farklı aşamalarında (uygulama geliştirilirken fonksiyonel, geliştirme çalışmaları tamamlanıp müşteriden talebinin beklentilerine uygun bir şekilde tamamlandığının onayının alınması için kullanıcı kabul vb.) testler gerçekleştirilmektedir. İşletmenin yazılım test süreçleri incelendiğinde yazılım geliştirme yöntemi olarak Scrum metodolojisinin kullanılmasının etkisiyle kurumun TMMI standardına göre mevcut durumda 2. seviyede olduğu düşünülmektedir: 2. seviyenin ilk hedefi kapsamında, test hata ve ayıklama işlemleri ile ilgili olarak her bir uygulama geliştirme müdürlüğünden birer temsilci içerecek şekilde çalışma grubu oluşturulmuştur. Bu komite tarafından öncelikle üst yönetim olmak üzere ilgili tüm personele kurum içi ve sektördeki diğer firmaların test faaliyetleri ile ilgili bilgilendirme yapılmış, hedefler saptanmış ve tüm çalışmalar kayıt altına alınmıştır. 2. seviyenin 2. hedefi kapsamında; Scrum metodolojisinin kullanılması sayesinde bilgi işlem şirketinde, müşteri iş birimleri tarafından iletilen taleplerin uygulama geliştirme çalışmalarının planlanması sırasında müşteri beklentileri de göz önünde bulundurulmaktadır. Böylece ürün özellik listelerine test vakaları girilmekte, sprint tamamlanmadan önce her talep için önceden belirlenen test işlemlerinin yapılıp yapılmadığı ve sonuçları otomasyon aracına girilmektedir. Test sonucunda ortaya çıkan bulguların takip edilmesi amacıyla bir otomasyon aracı kullanılmaktadır. 2. seviyenin 3. hedefi kapsamında temel test teknik ve metotları ile ilgili uzman görüşünden faydalanılmakta, bu görüşlerin hayata geçirilmesi için yönetim desteği alınmaktadır. TMMI yaklaşımına göre alt hedeflerin fonksiyonel testleri yürüten uygulama geliştirme servisleri tarafından karşılanma durumu Tablo 1 de özetlenmiştir. Tablo 1 de sunulan bilgilere göre, TMMI yaklaşımına göre 2. seviyenin gerektirdiği hedef ve alt hedeflerin tamamı uygulama geliştirme servisleri tarafından karşılanmaktadır. Yazılım geliştirme yöntemi olarak Scrum uygulanması dolayısıyla, uygulama geliştirme servislerinde yazılım testlerini gerçekleştiren ayrı bir servis ya da grup bulunmamakta, kodlama ya da analiz görevini üstlenen personel ayrıca test faaliyetlerini yürütmektedir. Ayrıca analiz ve test

7 işlemlerinin aynı personel tarafından yürütülmesi nedeniyle test işlemleri genelde arka planda tutulmaktadır. Bu nedenle, bilgi işlem şirketinde test konusunda farkındalık bilincinin oluşturulmasına ihtiyaç duyulmaktadır. Böylece işe yeni başlayan tüm uygulama geliştirme personeline nitelikli test ve önemi konusunda eğitim verilmesi, ayrıca deneyimli personelin ileri test uzmanlığı konusunda eğitilmesi fayda sağlayacaktır. Kullanıcı Kabul Testleri sonrasında müşteriden alınan geri bildirimlerin, belli periyotlarda gözden geçirilmesi ve aksiyon almak üzere iyileştirme planlarına girdi oluşturması önemlidir. Ayrıca farklı test türlerinin uzmanlık alanına göre farklı gruplar tarafından yürütülmesinin fayda sağlayacağı düşünülmektedir. Öte yandan test sırasında karşılaşılan bulguların düzeltilmesi için hangi düzeye gidilmesi gerektiği konusunda yol göstermesi amacıyla tüm test işlemleri sırasında V modelinin izlenmesi ve risk planının hazırlanması önerilmektedir. Bu sayede uygulama geliştirme servislerinin mevcut durumda 2 olan olgunluk düzeyi, 3. seviyeye yükselebilecektir. Tablo 1: TMMI Hedef ve Alt Hedeflerinin Karşılanma Durumu TMMI Hedef Alt Hedef Karşılanma 1. Seviye Başlangıç - Test ve hata ayıklama işlemleri ile ilgili olarak komitelerin Test ve hata ayıklama işlemlerine ait belirlenmesi hedeflerin tespit edilmesi Komite tarafından, test ve hata ayıklama işlemlerine ait hedeflerin geliştirilip dokümante edilmesi Test planlama görevinin bir komiteye atanması, Komite tarafından bir test plan taslağının oluşturulması, 2. Test planlama sürecinin Test planlarının oluşturulması ve yönetilmesi için uygun Seviye önceliklendirilmesi araçların kullanılması Müşteri ihtiyaçlarının test planına dâhil edilebilmesi için sözleşmelerin göz önünde bulundurulması Temel test teknik ve metotları ile ilgili uzman görüşünden Temel test teknik ve metotlarının yararlanılması, kurumsallaştırılması, Uzman görüşünün uygulanabilmesi için yönetim tarafından gerekli politikaların belirlenmesi Lideri olan ve destek verilen kurum çapında etkin bir test grubunun oluşturulması Yazılım geliştirme sürecinin her aşamasına test grubunun dâhil Yazılım test grubunun oluşturulması edilmesi Eğitimli ve motivasyon gücü yüksek test mühendislilerinin gruba atanması Test grubunun müşteriler ile iletişim kurması 3. Teknik eğitim programının Seviye oluşturulması - 4. Seviye Test faaliyetlerinin birim, entegrasyon, sistem ve kabul testleri Test işlemlerinin yazılım yaşam şeklinde farklı gruplara ayrılması döngüsü ile birleştirilmesi V-modelinin izlenmesi Test projelerinin kontrol ve izlenmesine yönelik politikaların geliştirilmesi Test süreçlerinin kontrol ve izlenmesi Test projeleri ile ilgili metriklerin tanımlanması Risk planının hazırlanması Yönetim tarafından gözden geçirme politikalarının oluşturulması Kurum çapında gözden geçirme Test grubu tarafından hedef, plan, prosedür ve kayıtların programının oluşturulması oluşturulması Test grubu üyelerinin eğitilmesi Test ölçüm metrikleri ve hedeflerinin tanımlanması Test ölçüm programının Veri toplama ve analizi için test yönetim planının geliştirilmesi oluşturulması Süreç iyileştirme faaliyetlerine yönelik olarak bir aksiyon planının oluşturulması İşletme tarafından, ürünlerin kalite hedeflerinin tanımlanması Yazılım kalite değerlendirmesi Yönetim tarafından kalite hedeflerini destekleyen politikaların geliştirilmesi

8 5. Seviye Hata önleme işlemlerine yönelik uygulamalar İstatiksel Kalite Kontrol Test süreci optimizasyonu Hata önleme ekibinin oluşturulması Tanımlanan hataların dokümante edilmesi Her hata için kök neden analizinin gerçekleştirilmesi Yaygın hataların tekrar etmesinin engellenmesi için aksiyon planının oluşturulması Üst seviyede ölçülebilen kalite hedeflerinin tanımlanması (örn. test vakası uygulama oranı, hata oluşma oranı vb.) Yeni kalite hedeflerinin test planı kapsamında değerlendirildiğinin garanti edilmesi İstatistiksel test ve analiz yöntemleri konusunda test grubunun eğitilmesi Test sürecini kontrol etmek için test süreç iyileştirme grubunun oluşturulması ve iyileştirilecek alanların tanımlanması Test süreç yeteneğinin iyileştirilmesi için yeni teknoloji ve uygulamaların değerlendirilmesi Test süreç etkinliğinin sürekli değerlendirilmesi için yöntem belirlenmesi Kalite hedeflerine bağlı olarak test durma koşullarının tanımlanması 6. Sonuç Bu çalışma ile test süreci ve türleri TMMI yaklaşımı üzerinden analiz edilmiştir. Scrum ile yazılım geliştiren bir bilgi işlem şirketinin test süreci detaylandırılarak kurumun TMMI çerçevesinde mevcut durumu değerlendirilmiş, olgunluk düzeyinin iyileştirilmesi için öneriler geliştirilmiştir. Mevcut durumda olgunluk düzeyi 2 olan uygulama geliştirme servislerinin 3. seviyeye yükselebilmesi için temelde Scrum yaklaşımı ile uyumlu olmayan test grubunun oluşturulması dışında, personelin test konusunda eğitilmesi, farklı test türlerinin uzmanlık alanına göre farklı gruplar tarafından yürütülmesi, test geliştirme projelerinin gerçekleştirilmesi, V modelinin izlenmesi ve risk planının hazırlanması önerilmiştir. Teşekkür Bu çalışmada beni yönlendiren ve bana destek olan değerli yöneticim Dr. Ali Özkaya ya teşekkür ederim. Kaynaklar [1] Burnstein, I., Suwanassart, T. and Carlson, R., Developing a testing maturity model for software test process evaluation and improvement, International Test Conference 1996 (ITC 96), doi: /TEST , (1996). [2] Paulk, M. C.,Weber, C. V., Curtis, B. and Chrississ, M. B., The Capability Maturity Model: Guidelines for Improving the Software Process, Addision Wesley, U.S.A., (1995). [3] Pitchford, M., Embedded Software Quality, Integration and Testing Techniques, doi: (2013). [4] Tatlı, A. SSM için Yazılım Yetenek Olgunluk Modeli. Uzmanlık Tezi, Savunma Sanayii Müsteşarlığı, Ankara, (2007). [5] Veenendaal, E.V., Grooff, R., and Hendriks, R., Test Process Improvement using TMM(i). STAR Tester, Issue 19, (2007).