Yazm Testi Sürecine TEC in (Test Expert Committee) Katklar TEC Contributions to the Software Testing Process Mustafa Namdar Turkcell Teknoloji Ararma & Gelitirme A.. 41470, Gebze-KOCAEL mustafa.namdar@turkcellteknoloji.com.tr nar Arslan Aygün Turkcell Teknoloji Ararma & Gelitirme A.. 41470, Gebze-KOCAEL pinar.arslan@turkcellteknoloji.com.tr Esra Turna Turkcell Teknoloji Ararma & Gelitirme A.. 41470, Gebze-KOCAEL esra.turna@turkcellteknoloji.com.tr Özet Gelitirilen yaz ve ürün kalitesini belirleyen en önemli admlardan biri de test aamasr. Testin, ilgili ekipler tarafndan, ayn standartlar ve kalite hedefi dorultusunda gerçeklenmesi gerekmektedir. Bunu zorlaran etkenlerden biri test ekiplerinin irket organizasyonunda, ürün ya da süreçlere göre farkl bölümlerde yer almasr. Dolayyla yazm testi standartlar belirleyecek, uygulanmas salayacak ve yazm testi kalitesini her test ekibinde ayn seviyeye yükseltecek bir karar mekanizmasna ihtiyaç duyulmaktadr. Bu sayede test ekipleri, ayn kalite hedefini paylaacak, belirlenen test standartlarna göre çalmalar tamamlayacak ve test ile alakal her türlü sorunlar ortak bir platformda dile getirip çözüm bulacaklardr. Turkcell Teknoloji'de, TEC (Test Expert Committee) ile bu platform oluturulmutur. Platformdaki üyeler, kendi alanlarnda uzman ve deneyimli test mühendislerinden seçilir. Bu çalmada, TEC in, yazm kalitesine getirdii kazanmdan bahsedilir. Abstract The most important step, determines the quality of software development, is the test phase. The tests of the project should be run by the testers with the same quality standards regarding the same goal with one another. Sometimes the positions of the testers are different from each other based on the organization, so this situation makes a difficulty while aiming the similar target of software quality. Thus an authority is required in order to determine the software testing quality and apply the test standards to the whole test groups. In addition to that, this decision model, namely authority may also help to keep the same high quality level of software testing applied for each test groups. By this means, test groups are able to complete their tasks based on the standard model. This committee, TEC, lets the test engineers to have great experience in their field of expertise, share their problems and find solutions to them. This study mentions about the bringings of TEC for the quality of software development in Turkcell Teknoloji. 1. Giri TEC, test süreçlerini standartlarma ve gelitirme amacyla kurulmutur [1]. Farkl test çalma gruplar test yöntem ve araçlar konusunda yönlendirmek, yazm testi dünyasndaki standartlarn irket bünyesine adaptasyonunu, yaygnlalmas ve takibini salamak, yazm gelitirmesi ile ortaya çkan ürün kalitesini yükseltmek amacyla Turkcell Teknoloji bünyesinde faaliyet gösterir. 2. TEC Alt Komite Çalmalar Turkcell Teknoloji deki yazm testi standartlarn belirlenmesinde ve bu standartlarn tüm test ekipleri tarafndan uygulanmasnda, dolayyla ürün kalitesinin artmasnda rol oynayan TEC içerisinde, farkl alt komiteler kurulmutur. Bu komiteler, temel olarak, test ekiplerindeki koordinasyonu salar, hangi fonksiyonlarn nasl uygulanaca tespit eder, gruplar arasnda farklk gösteren durumlarda en uygun çözümü belirler ve uygulama yoluna gider. SDLC (Software Development Life Cycle) sürecinde yer alan test rollerinin tüm test ekiplerince benzer ekilde uygulanmas salar. Test gruplarn kullanaca ve ihtiyaç duyduklar test araçlar belirler, test verileri ve ortam kalitesinin iyiletirilmesi, test senaryolarn optimize edilmesi, test edilecek olan kapsamn artmas için çalmalar yürütür, kararlar alr. Zaman k olan
projelerde test sürecini verimli klmak adna otomasyon yöntemlerinin uygulanmas salar. Tüm bunlar daki alt çalma gruplar ile gerçekletirir [2]. ras ile, Test El Kitab, Yazm Test Standarlarn Oluturulmas, Test Verisi ve Ortam Kalitesinin Arttlmas, Otomasyon&Performans, SDLC, Test Envanteri, bakl alt komitelerin çalmalarna deinilecektir. 2.1. Test El Kitab Çalmas TEC tarafndan gerçeklenen çalmalardan biri Test El Kitabn hazrlanmas ilemidir. Test El Kitab, Turkcell Teknoloji deki test standartlarn ve i süreçlerinin nasl yürütülecei hakknda detayl bilgi verir. Test gruplar içinde, her seviyedeki çalann referans ald bu kitapçk, Turkcell Teknoloji de gelitirilen yazma ait testlerin kalitesinin öngürülen/hedeflenen seviyeye ulamas anlamnda katkda bulunur [3]. Test El Kitab, Turkcell Teknoloji de, yeni ie balayan bir çalann referans ald temel kaynak ve yönlendirme arac olduu gibi, kdemli çalanlarn da klkla istifade ettii bir doküman haline gelmitir. Test El Kitab, yazm test çeitleri hakknda detay bilgi verir. Okuyucuya, gerçeklenen yazm projesine ait test süreçlerini, çalmann hangi aamasnda ne tür testler yaplmas gerektiini aktarr. Test yapan çalan, test süresince kullanmas gereken temel araçlar yine Test El Kitab ndan örenir. Test ekibi, yazm testi ve kalitesi alannda uzmanla sahip kiilerden oluur. Test ekibi çalan, bulunduu bölüme göre, test ortamlarnda, önyüz, uygulama, altyap, ücretlendirme, raporlama, entegrasyon, vs. kapsaml testler koar. Bu testlerde, canl sistemlere tanmadan evvel, uygulamalarn hatalarn ve eksikliklerinin belirlenmesi amaçlanr. Yazm testlerinin standartlar çerçevesinde koturulmas, sonuçlarn raporlanmas, dokümante edilmesi ve ardndan uygulamann devreye alm aklar, Test El Kitabnda üzerinden durulan temel admlardr. Test ekibi çalanna, hz kazandran fonkisyonlardan biri de otomasyondur. Bu uygulamann kullan, belli aralklarla ayn testlerin yeniden koturulmas durumunda, verimlilii artrmak amacyla öngörülmütür. Test El Kitabnda, otomasyon kalemi de referans alnan konu baklarndan biridir. Öte yandan Turkcell Teknoloji de performans testleri için yararlanlan yazm araçlarn kullan da Test El Kitabnda yerini alr [4-5]. Test ekibi çalan, test ortamnda test edecei uygulamay hazr etmek için nasl bir prosedür takip etmesi gerektii bilgisini, Test El Kitab ndan edinir. Uygulamann farkl bir test ortamna tanmas, oradan da devreye alnmas ve batan sona iletilmesi gereken süreç, yine Test El Kitabnda aktarlmr [6]. Yazmda olduu gibi testlerinde de SDLC sürecini uygulayan Turkcell Teknoloji, gerçeklenen yazm projelerinde, devreye ald ürünün istenen/beklenen kalitede olmas hedefler. Özetle, Turkcell Teknoloji de gelitirilen her uygulamann, test sürecine dahil edilmesi ile birlikte, hedeflenen yazm kalitesine ulamak mümkün olmaktadr. Test El Kitabn, TEC bünyesinde yaynlanmas da buna katkda bulunmutur. 2.2. Yazm Test Standartlarn Oluturulmas, Test Verisi ve Ortam Kalitesinin Arttlmas Çalmalar TEC alt komitelerden biri de, yazm test standartlarn oluturulmas, test verisi ve ortam kalitesinin artlmas çalmas yönetmitir. 2.2.1 Yazm Test Standartlarn Oluturulmas Bu çalma ile test gruplar tarafndan kullanlan test senaryolarn standart hale getirilmesi amaçlanmr. Daha kaliteli senaryolarn yazlmas ve bunlarn testlerde kullanlmas ile test sürecinin çok daha verimli ve etkin geçirilmesini salamak hedeflenmitir. Dolayyla testler boyunca hata yapma riskinin azaltlmas, yaplacak gözlem ve degerlendirmelerle yanl senaryolarn önüne geçilmesi ya da eksik kalan senaryolarn teste dahil edilmesi, Turkcell Teknoloji de yazm test standardn oturtulmas anlamnda i sürecine dahil edilen önemli yap talarndan biridir. Yukarda bahsi geçen deerlendirme admlarnda kriterler tespit edilmi, bu kriterler ile kalite ölçümlerinin yaplmas öngörülmütür. Test senaryosu için temel tekil eden bu kriterlerin adaki parametreleri kontrol etmesi planlanmr: Test Tan: Test senaryosunun amacn aktarlmas, yaplacak olan test hususunda ksa bilgi verilmesi. Senaryo Tipi ve Test Öncelii: Doru test senaryosunun (fonksiyonel, uçtan uca, performans, güvenlik testi, vs.) tanmlanmas ve testin önceliinin (kritik, orta, düük, vs.) doru yanslmas. Test Senaryosuna Ait Detay Bilgi: Uçtan uca, testin senaryosunu oluturan admlarn yeterli sayda ve anlar olmas. Test Verisi: Testi gerçekleyen tarafndan kullanlmak üzere, test için ele alnacak olan yöntem, araç, ilem, balanlacak olan
veritaban/uygulama, tanml kullan bilgilerinin, vs. yeralmas. Test Sonuçlarn Raporlanmas: Uygun araçlar kullanlarak testte elde edilen sonuçlarn anlar ekilde aktarlmas, sonuçlarn, nereden nasl kontrol edilecei bilgisinin sunulmas. Testin Kullanlabilirlii/Güncel Tutulmas: Daha önce kullanlan test senaryolarn kontrol edilip güncellenmesi, eer test ak demi ise de, eskisinin arivlenmesi, yeni senaryonun yazlmas. Otomasyon: Farkl projelerde, 7 defadan fazla koulan ayn test senaryolarn otomatize edilmi olmas. Deerlendirme ileminin uzman test mühendisleri ve yöneticileri tarafndan gerçeklenmesi planlanmr. ekil 1 de deerlendirme süreci, blok diyagram olarak gösterilmitir. htiyaç duyulan test verisini, veritaban için kullanlan sorgu cümlecikleri yoluyla, otomatik olarak üretecek bir uygulamann yazlmas ve kullanma sunulmas, TEC alt komitesi tarafndan alnan kararlar çerçevesinde hayata geçirilen önemli çalmalardan biridir. Test Ortamlarn (sistem, uygulama, veritaban, vs.) sürekli ayakta ve çalr olmas test gruplarn en önemli beklentisidir. Testlerin, yapld süre boyunca ak olmas, kesintiye uramamas test kalitesini ve dolayyla sonuçlar direkt olarak etkiler. Özellikle zaman k öne çkan projelerde ortamlardaki hassasiyet, test gruplarnda daha da artmaktadr. Bu durum, test ortam oluturan tüm sistem ve uygulamalarn desteini veren ekiplerle, test ekibi arasnda servis kalitesi anlamasn mutabakat gündeme getirmitir. Karkl olarak yürürlüe giren bu uygulama ile test ortamlarnda gözlenen farkl kategorilerdeki problemlere, teyit edilen süre içinde çözüm getirilmesi amaçlanmr. 2.3. Otomasyon ve Performans Çalmalar Yazm testinde, özellikle sürüm baml gelitirmelerin yapld sistemlerde, regresyon kapsamnda ya da ayn test senaryosunun bir ylda yediden fazla koulmas durumunda, test senaryolarn otomatize edilmesi ihtiyac gündeme gelir. Tekrarlanan senaryolarn otomatize edilmesi ile zaman kayb önlenir, geni kapsaml ve detayl test etme olana salanr [8]. ekil 1: Test Senaryosu Deerlendirme Süreci Oluturulan test senaryolarn koulmasndan sonra da standart yazm testi kalite yakla takip edilmi, fonksiyonel, duman (smoke test), performans, regresyon (regression), güvenlik testlerine ait sonuçlarn da ayr ayr kalite deerlendirilmesinin raporlanmas hedeflenmitir [7]. 2.2.2 Test Verisi ve Ortam Kalitesinin Arttlmas Bu çalma ile test verisinin ve üzerinde test yaplan ortamlarn kalitesinin artlmas amaçlanmr. Maskeleme çalmas ile birlikte bilgi güvenliinin de yaatlmas hedeflenmitir. Kullanlan verinin maskeli ve orijinalinden uzak olmas test ortamlar için üretilen verinin rahatlkla kullanlabilirliine imkan vermitir. Bu haliyle, standart veri güvenliinin de koulan testler boyunca salanmas gerçeklenmitir. Yazm testlerindeki önemli noktalardan biri de performans testlerinin nasl yaplacan belirlenmesidir. Test ortamlarnda, canl sistemlerdeki yükü, trafii, kapasite koullar oluturmak mümkün deildir. Bu yükü simülasyon yoluyla oluturacak, bir takm programlara, araçlara ihtiyaç vardr [9]. Bu yüzden ihtiyaçlar takip eden, yöneten ve sorunlar çözmede insiyatif alan bir alt komitenin olmas gerekir. Bu amaca yönelik oluturulan Otomasyon ve Performans Alt Komitesi ile adaki maddelerin gerçeklenmesi hedeflenmitir: Test gruplar için otomatize etmenin standartlarn belirlenmesi Performans test uzmanln, neleri kapsadn belirlenmesi Otomatize edilecek test senaryolarn belirlenmesi Otomasyon ve performans testlerinde kullanlan araçlar için eitim ihtiyaçlarn belirlenmesi ve eitim verilmesi
Otomasyonu ve performans testini engelleyen sorunlar için gerekli aksiyonlarn alnmas Her bir uygulama için, ortalama ne kadarlk test talebinin olduunun belirlenmesi 2.4. SDLC Çalmas Yazm ya da ürün gelitiren bir firmada gerçeklenmesi gerekli olan önemli admlardan biri de süreçlerin tanmlanmas ve yönetilmesidir, yani yazm hayat döngüsünün belirlenmesidir (SDLC). SDLC Ak ekil 2 de görülmektedir. SDLC admlarndaki uyum kriterleri belirlenirken ya da güncellenirken test takmlarn ihtiyaçlar iyi analiz eden ve test takna yönelik bu kriterleri tanmlayabilen temsilcilerin olmas gerekir. Bu da SDLC için bir alt komitenin olmas gerekliliini gösterir. Bu alt komite sayesinde yazn hayat döngüsünde, test gruplar için en uygun ve en doru kriterlerin belirlenmesi salanmr [10-11]. SDLC alt komitesi adaki hedefler çerçevesinde çalmalarna yön vermitir. SDLC uyum kriterleri çalmalarnda test tak temsil edilmesi Test takmlarn kriterlerini belirleyecek admlarn sürece dahil edilmesinin salanmas Test takmlar ve TEC ten geri bildirimlerin alnmas 2.5. Test Envanter Çalmas ekil 2: SDLC Ak Sürüm bazl çalan firmalarda, yazm gelitirme ve test kaynaklarndan oluan sistem ya da ürünlere göre flandlm gruplar bulunmaktadr. Kaynak, zaman ve i planlamas ya da i devir sürecinin planlanmas yaprken, mevcut bir envanterin olmas faydal olacaktr. Bu da, envanter çalmas yapan ve bu envanteri sürekli güncel tutan bir alt komite ihtiyac dourur. Test Envanter Çalmas da daki hedefleri baz alr. Üzerinde testi yaplan uygulamalarn neler olduunun resmedilmesi Her bir uygulama için, tecrübeli/deneyim sahibi kaç tane test mühendisinin olduunun çkarlmas 3. TEC Yaplanmasn Çktlarna Yansmas TEC ekibi belirledii hedefler dorultusunda oluturduu yol haritas ile birlikte Test Standartlar belirlemitir. Bu standartlarn tüm test ekipleri tarafndan yaygn kullanlmas için irket içerisinde duyurular ve grup içi paylamlar yaplmr, eitimler verilmitir. çktlar ile öne çkan TEC, tüm Turkcell Teknoloji içinde merak uyandrm, test dünyasna ilgi duyan çalanlarn çalmalara katlma/takip etme isteini arttrmr. TEC sadece Turkcell Teknoloji için deil, Turkcell Grup irketleri için de test konusunda uzmanlna danlan ve önerileri deerlendirilen ekip halini almr. 4. Tartma ve Sonuç Turkcell Teknoloji bünyesinde gelitirilen her bir yazm uygulamasn, test aamasndan geçirilmesi ile birlikte, hedeflenen yazm kalitesine ulalmas mümkün olmaktadr, zira bu sonuç, TEC in yönlendirmesi ile referans alnan ve tüm test ekipleri tarafndan uygulanmakta olan, test standartlar ve ürün kalite hedefi sayesinde elde edilmektedir [11]. Özetle, test standartlarn hayata geçirilmesi, i sürecine yanslmas ve kullann artlmas, TEC bünyesinde gerçeklenen çalmalar ile salanmaktadr. 5. Teekkür Bu bildirinin yazarlar, TEC yaplanmasn mimar olan ve desteini her noktada gösteren Turkcell Teknoloji Genel Müdürü Semih nceday ya, Genel Müdür Yardmclar Çaatay ahin e, Uur Serkan Tan a, Yücel Karadeniz e ve nsan Kaynaklar bölümüne, alt komite çalmalarnda gösterdikleri performans ve görüleri ile katkda bulunan TEC çalanlar ve yöneticilerine teekkürlerini sunar. 6. Kaynaklar [1] Tester Handbook, Turkcell Teknoloji Ararma & Gelitirme A.. v1, Mays 2010. [2] IEEE/EIA 12207 Standard for Information Technology- Software Life Cycle Processes, 1998.
[3] IEEE Standard for Software and System test Documentation, IEEE 829, pp. 1-118, July 2008. [4] Mathur, A. P., Foundation of Software Testing, Pearson Education, 2008. [5] Ould M., Managing Software Quality and Business Risk, Wiley, 1999. [6] Temel Test Plan, Turkcell Teknoloji Ararma & Gelitirme A.. v1, ustos 2010. [7] Godbole N. S., Software Quality Assurance, Alpha Science, 2005. [8] Buwalda H., Janssen D., and Pinkster I., Integrated Test Design and Automation Using the Test Frame Methods, Addison-Wesley, 2002. [9] Fewster M., and Graham P., Software Test Automation, Addison-Wesley, 1999. [10] Kan S.H., Metrics and Models in Software Quality Engineering, 2nd Edition, Addison-Wiley, 2003. [11] Farrell-Vinay P., Manage Software Testing, Auerbach Publications, 2008.