Yazılım Test Maliyet Fonksiyonlarının Otomatik Olarak Keşfedilmesi

Transkript

1 Yazılım Test Maliyet Fonksiyonlarının Otomatik Olarak Keşfedilmesi Gülşen Demiröz ve Cemal Yılmaz {gulsend, Sabancı Üniversitesi, İstanbul 10. Ulusal Yazılım Mühendisliği Sempozyumu UYMS'16 - Çanakkale (Ekim 2016)

2 Yazılım Testi Yüksek derecede özelleştirilebilir sistemler 100+ konfigürasyon parametresi Düzinelerce işletim sistemi, derleyici ve platform kombinasyonları Her bir parametre seçeneği ikili değer alırsa konfigürasyonun test edilmesi gerekiyor Her bir konfigürasyonun test edilmesi 1 saniye sürerse Tüm uzayın testi için saniye asır gerekecektir Büyük Patlama bile 10 7 asır önce! Tüm konfigürasyon uzayının test edilmesi mümkün değildir Hangi konfigürasyonlar test edilmelidir?

3 Kombinatoryal Etkileşim Sınama (KES) yöntemleri Bir t li kapsayan dizi, ayrık değerler alan konfigürasyon parametreleri kümesinin her t li altkümesi için, ilgili parametre değerlerinin her bir kombinasyonunu en az bir kere içerecek şekilde oluşturulmuş bir konfigürasyon kümesidir İşletim İnternet Protokol Sistemi Tarayıcı XP Firefox IPv4 OS X IE IPv6 LINUX IE IPv4 OS X Firefox IPv4 XP Firefox IPv6 LINUX Firefox IPv6 XP IE IPv6 Örnek bir 2 li kapsayan dizi

4 Kapsayan Diziler t li kapsayan diziler t li veya daha az sayıda parametrenin etkileşimi sonucunda oluşan tüm sistem davranışlarını test ederler

5 Test Maliyetinin Azaltılması Geleneksel kapsayan diziler her bir konfigürasyonun test maliyetinin eşit olduğunu varsayarak, test maliyetini azaltmak için seçilen konfigürasyonların sayısını azaltmaya çalışırlar

6 Fakat... Bizim empirik çalışmalarımız göstermektedir ki bu varsayımları genellikle gerçekçi değildir; her bir konfigürasyonun maliyeti farklıdır

7 Örneğin MySQL veritabanı sunucusunun konfigürasyonu, NDB (veritabanlarının kümelenmesi) özelliği ile derlendiğinde % 50 daha fazla maliyet getirmektedir

8 Kapsayan Dizilerin Eksiği Maliyetler farklılık gösterdiğinde, test edilecek konfigürasyon sayısını azaltmak gerçek test maliyetini azaltmak ile aynı değildir C. Yilmaz, S. Fouche, M. B. Cohen, A. Porter, Gulsen Demiroz, and U. Koc, Moving Forward with Combinatorial Interaction Testing, IEEE Computer Magazine, 2014.

9 Çözüm Kapsayan dizileri hesaplarken gerçek test maliyetlerini dikkate almaktır Gulsen Demiroz, Cost-aware combinatorial interaction testing (doctoral symposium), ISSTA 2015, Proceedings of the International Symposium on Software Testing and Analysis, pages , Baltimore, USA, 2015.

10 Maliyeti dikkate alan Kapsayan Diziler (M-KAD) Bir maliyet fonksiyonu ve t değeri ile tamamlanan bir konfigürasyon uzay modeli girdi olarak alınırsa, maliyeti dikkate alan t li kapsayan dizi maliyet fonksiyonunu minimize eden bir geleneksel t li kapsayan dizidir

11 Maliyeti dikkate alan Kapsayan Diziler (M-KAD) Deney Sonuçlarımız 1. Gulsen Demiroz and Cemal Yilmaz, Cost-Aware combinatorial interaction testing, Fourth International Conference on Advances in System Testing and Validation Lifecycle, VALID 12, Portekiz, Kasım Ortalama maliyet azaltılması: % Gulsen Demiroz and Cemal Yilmaz, Using simulated annealing for computing cost-aware covering arrays, Applied Soft Computing, Ağustos Ortalama maliyet azaltılması : % 22

12 Test Maliyet Fonksiyonu Pratik bir şekilde ifade edilebilmesi, maliyeti dikkate alan kapsayan dizilerin hesaplanabilmesi açısından önemlidir

13 Test Maliyet Fonksiyonu Yazılım sistemlerinin test maliyetleri hakkındaki bilgi çeşitli takımlara dağılmış halde ve sürekli değişmektedir. Sistemi geliştiren uzmanlar tarafından sağlıklı ve hatasız tanımlanması zordur. Her bir farklı konfigürasyon için manuel olarak bir maliyet tanımlanması konfigürasyon sayısı parametre sayısı ile üssel bir şekilde arttığından pratik değildir.

14 Maliyet Fonksiyonunun Keşfedilmesi Girdi: Konfigürasyon Uzay Modeli Önceki Yaklaşım: Kapsayan diziler kullanılarak genelleştirilmiş lineer regresyon modeller Yeni Yaklaşım: Deney Tasarım Teorisi (Eleme Tasarımları): 1. Maliyeti en çok etkileyen 1-li ve 2-li parametre (X 1,X 2,,X n ) değerleri kombinasyonlarının bulunması, 2. Bu önemli kombinasyonlar kullanılarak, maliyetin bir lineer fonksiyon ile ölçülmesi. Çıktı: İlgilenilen bir test işinin verilen bir konfigürasyonda ne kadar zamanda koşturulacağını tahmin eden bir maliyet fonksiyonu: maliyet(k) = β 0 + β 1 X 1 + β 2 X 3 + β 3 X 1 :X 3 Gulsen Demiroz and Cemal Yilmaz, Towards Automatic Cost Model Discovery for Combinatorial Interaction Testing, Proceedings of the IWCT 2016 in IEEE International Conference on Software Testing, Verification and Validation (ICST) 2016.

15 Eleme Tasarımları (Screening Designs) Savunma sanayiinden ilaç sanayiine hizmet sektöründen üretim sektörüne kadar birçok alanda: ürünlerin ve hizmetlerin kalitesini etkileyen başlıca faktörlerin bulunması ve optimize edilmesi Yazılım mühendisliği alanında: sistem performansının ve performans regresyon testlerinin modellenmesi Yazılım testi alanında kullanımı ilktir: Test maliyetine en çok etkisi olan önemli kombinasyonların istatistiksel açıdan güvenilir (unbiased) bir şekilde bulunması için seçilmiş bir konfigürasyon kümesi oluşturur.

16 Eleme Tasarımları (Screening Designs) 1. Tam Faktöriyel Tasarımlar (Full Factorial Designs) Uzayda yer alan olası tüm konfigürasyonları içerir 2 değer alan n tane parametreli uzayda boyutu: 2 n 2. Kesirli Faktöriyel Tasarımlar (Fractional Factorial Designs) Tam faktöriyel kümesinin dikkatlice seçilmiş bir fraksiyonudur (1/2, 1/4,, 1/2 p gibi) Tam faktöriyel boyutu 2 n ise kesirli faktöriyel boyutu: 2 (n-p) 3. D-Optimum Eleme Tasarımlar (D-Optimal Designs) Bir istatistik kriterine göre "optimum" olacak şekilde uzayı örneklendiren bilgisayar destekli eleme tasarımlarıdır. Genellikle kesirli faktöriyel tasarımlardan daha küçüktürler.

17 Etkilerin Seyrekliği Prensibi Yazılım test maliyetine uyarlandığında, test maliyetlerini genellikle az sayıda parametrenin etkileşimi belirler.

18 Maliyet Fonksiyonunun Keşfedilmesinin Adımları 1. GİRDİ: Bir kalite kontrol (KK) işi ve maliyetinin nasıl ölçüleceği belirlenir. Bir konfigürasyon uzayı verilir. 2. YAKLAŞIM: 1. Önemli kombinasyonların güvenli bir şekilde bulunabileceği bir eleme tasarımı hesaplanır. 2. Kalite Kontrol (KK) işi seçilen konfigürasyonlarda çalıştırılır. 3. ÇIKTI: 1. Önemli kombinasyonlar bulunur. Önemli 1 li (ana) kombinasyonlar: X8, X2 ve X10 2 li kombinasyonlar: X2*X10, X8 *X2 ve X8*10 2. Gözlemlenen değerlere uyan bir maliyet modeli hesaplanır. maliyet(k)= (X 8 ==1) (X 8 ==0:X 2 ==1)

19 Maliyet Fonksiyonunun Keşfedilmesi - Örnek

20 Maliyet Fonksiyonunun Keşfedilmesi - Örnek

21 Deneysel Çalışmaların Kurulumu Yüksek derecede özelleştirilebilir açık kaynak gerçek yazılım sistemleri: 1. MySQL veritabanı sunucusu 10 konfigürasyon parametresi 2 değerli: {enable,disable} 826 test durumu 2. Apache web sunucusu 12 konfigürasyon parametresi (hepsi 2 değerli) 242 test durumu 3 değişik kalite güvencesi işi: 1. KK1: Sistemin kodunu derleme ve yapım işi 2. KK2: Tek bir test durumunun koşturulması işi 3. KK3: Tüm test durumlarının koşturulması işi

22 Değerlendirme Kriterleri gözlemlenen maliyet tahmin edilen maliyet gözlemlenen maliyetlerin ortalaması R-kare ne kadar 1 e yakınsa o model o kadar iyidir CV(RMSE) ne kadar küçükse o model o kadar iyidir

23 Deney Sonuçları Eleme tasarımları (tam faktöriyel hariç) kapsayan dizilerle hesaplanan genelleştirilmiş lineer regresyon modellerinden daha başarılıdır: ortalama R ve Eleme tasarımlarının (tam faktöriyel hariç) boyutları kapsayan dizilerden ortalama olarak 4.9 kat daha çoktur Tam faktöriyel tasarımlardan çok daha küçük boylardaki eleme tasarımları eşdeğer maliyet modelleri üretmişlerdir: ortalama R ve Farklı eleme tasarımları da birbirlerine yakın değerler elde etmiştir: Kesirli faktöriyel R , DOptimalKF R ve DOptimalVar R ÖnemliEtkiler modellerinin ortalama R ve TümEtkiler modellerinin ortalama R Terim sayısı ortalama 68'ten 3.7 ye düşmüştür

24 Gelecek Çalışmalar Maliyet fonksiyonu parametre seçimi Yazılım mühendislerinin seçtiği konfigürasyon parametreleri her zaman doğru olmayabilir. Tüm parametreler seçilirse eleme tasarımı boyutu çok büyük olabilir. Parametre seçimi için otomatik ön eleme yapılması düşünülmektedir. Parametre sayısı daha büyük uzaylarda deneyler yapılması planlanmaktadır. Teşekkürler: Bu araştırma TÜBİTAK tarafından desteklenmektedir (Proje No: 113E546). SORULAR?

25 Deney Sonuçları Tasarımların Başarısı

26 Deney Sonuçları Tasarımların Boyutları

27 About Me Education Ph.D. student, Sabanci University, Computer Engineering and Information Science, 2011-Present M.Sc. and B.S., Bilkent University, Computer Engineering and Information Science, 1997 and 1995 Work Experience 2008 Present: Sabanci University, Instructor : Microsoft Corporation, Redmond WA, USA Senior Development Lead (Microsoft Online Services) Senior Software Design Engineer (Office Outlook) Software Test Lead (Windows Networking) Software Design Engineer (Windows Networking)