Dök. No: AUZEF-SS-2.4-07 Yayın Tarihi:30.06.2014 Rev.No:00Rev Tarihi:Sayfa 1 / 6 1. AMAÇ... 2 2. KAPSAM... 2 3. SORUMLULAR... 2 4. TANIMLAR... 2 5. STANDARIN DETAYLARI... 2
Dök. No: AUZEF-SS-2.4-07 Yayın Tarihi:30.06.2014 Rev.No:00Rev Tarihi:Sayfa 2 / 6 1. AMAÇ İstanbul Üniversitesi Açık ve Uzaktan Eğitim Fakültesi materyallerinde Kullanıcı Deneyimi ve Kullanılabilirlik Değerlendirmesi ve raporlanması aşamalarında dikkat edilmesi gereken standartların tanımlanması amaçlanır. 2. KAPSAM Kullanıcı deneyimi ve kullanılabilirlik değerlendirmesinin hazırlık, uygulama, analiz ve raporlama aşamalarında uygulanması gereken aşamaları ve hazırlanan dokümanlarda bulunması gereken kısımları kapsar. 3. SORUMLULAR İnteraktif Medya Tasarım Uzmanı 4. TANIMLAR AUZEF: İstanbul Üniversitesi Açık ve Uzaktan Eğitim Fakültesi ADEK: akademik değerlendirme ve kalite geliştirme grubu 5. STANDARIN DETAYLARI Değerlendirmenin Hazırlığı: Değerlendirmenin hazırlık aşamasında aşağıda belirtilen başlıklarda gerekli görülen çalışmalar yapılmalıdır. 01. Değerlendirmenin amaç ve hedeflerinin belirlenmesi 02. Araştırma sorularının belirlenmesi Araştırma soruları belirlenirken aşağıdaki durumlar göz önünde bulundurulmalıdır. Sitede gerçekleştirilmesi kritik olan eylemler nelerdir? Kullanıcı bu eylemleri gerçekleştirilebiliyor mu? Sorun yaşanması muhtemel noktalar (sorun yaşanıyor mu?) Anketlerin incelenmesi sonucu elde edilecek geçmiş sıkıntılar (yine sıkıntı yaşanıyor mu?)
Dök. No: AUZEF-SS-2.4-07 Yayın Tarihi:30.06.2014 Rev.No:00Rev Tarihi:Sayfa 3 / 6 03. Yöntemin belirlenmesi ve detaylı tanımlanması Aşağıdaki yöntemler çalışma için kullanılabilir: (Gerekli görüldüğü durumda farklı yöntemler de kullanılabilir.) Görev Odaklı Kullanılabilirlik Testi Eyetracking Testi Kullanıcı Görüşmesi (Yüz yüze görüşme) Odak Grup Çalışması SKÖ Testi Uzman Değerlendirmesi A/B testi Kart gruplama Veri toplama çalışması (Google Analytics, mail vb.) Anket 04. Katılımcıların Özelliklerinin/Niteliklerinin Belirlenmesi (Personaların hazırlığı) 4.1.Katılımcı Bilgileri Anketinin hazırlanması Kullanıcılardan alınması gereken bilgiler belirlenerek anket oluşturulur. Anketin online mı yoksa baskı alınarak mı yapılacağı belirlenir. Son karar uygun şekilde anket hazırlanır. 4.2.Anketlerin analizi ve persona kartlarının oluşturulmas 4.3.Katılımcıların belirlenmesi 4.4.Katılımcılara testle ilgili verilerek katılacaklarına dair onay alınması (Mail + Katılımcı Listesinin oluşturulması) Maille gönderilmesi gereken bilgiler: Zaman(gün-saat), ne yapılacak(kısa özet), yer bilgisi, iletişime geçecekleri ilgili kişi ve iletişim bilgileri (kimler karşılayacak). 4.5.Kullanıcı İzin Formunun Oluşturulması (Verilerin kullanılması, video ve ses kaydının alınması için izin belgesi) 05. Test için prototipin hazırlanması veya test online bir sistem için yapılacaksa dosyaların local bir diske aktarılması. (Aktarıma elverişli olmayan yoğun bir içerik varsa test için internet bağlantısının sıkıntılı olmadığı bir yer sağlanmalı.) 06. Kullanıcı testi senaryosunun yazılması 6.1. Görev kartı metinlerinin hazırlanması 6.2. Moderatörün ne yapacağının belirlenmesi ve açıklanması
Dök. No: AUZEF-SS-2.4-07 Yayın Tarihi:30.06.2014 Rev.No:00Rev Tarihi:Sayfa 4 / 6 07. Değerlendirme Sorumluları Görev listesinin oluşturulması Gözlemciler Moderatör Kamera/Ses kontrol Verileri Değerlendirecek Kişiler 08. Değerlendirme ortamının, ekipmanların ve uygulama mantığının belirlenmesi Aşağıdaki sorular ve durumlar belirlenmelidir. Kaç kişiyle yapılacak? Ne zaman yapılacak? (gün-saat) Nerede yapılacak? Gerekli ekipmanlar, yazılımlar ve dokümanlar listelenmesi, temininin sağlanması. Kullanılacak cihazların ve yazılımların uyumunun, düzgün çalışıp çalışmadığının kontrol edilmesi. (Sistem gereksinimleri) 09. Toplanacak verilerin listelenmesi 10. Toplanacak verilerin analiz yönteminin uygunluğunun kontrol edilmesi 11. Testten en geç bir gün önce tüm hazırlıkların tamamlanarak deneme testinin gerçekleştirilmesi. Testin Uygulanması: Testten en geç 2 gün önce kontrol edilecekler: Testi hazırlayanların önce kendilerine testi uygulaması Bir deneme testinin gerçekleştirilmesi Ürünün gözden geçirilmesi(test için gerekli düzeltmelerin tamamlanması) Tüm ekipmanlarn ve test ortamının kontrolü Online yapılacak testler için geliştirmenin geçici olarak dondurulması/durdurulması nın istenmesi Testten 1 gün önce kontrol edilecekler: Video ekipmanlarının kurulu ve hazır olduğunun kontrol edilmesi Ürünün test için hazır olup olmadığının kontrol edilmesi(çalışıyor mu?) Yazılan Test Materyallerinin tümünün biraraya getirilmesi/hazırlanması Katılımcıların durumlarının kontrol edilmesi Test Ortamının ve ekipmanların son kontrolü
Dök. No: AUZEF-SS-2.4-07 Yayın Tarihi:30.06.2014 Rev.No:00Rev Tarihi:Sayfa 5 / 6 Test Günü: Test moderatörlerinin teste hazır olması (bilişsel hazırlık) Katılımcıyla tanışılması ve yapılacak çalışmayla ilgili bilgi verilmesi. Test öncesinde ve sonrasında kullanıcıların doldurması gerekli olan anket ve formların planlandığı zamanlarda kullanıcıya verilmesi. Doldurulan anket ve formların karışmaması için kullanıcı sıra numarasına göre numaralandırılması. Değerlendirmenin Analizi: 1. Değerlendirmeyle ilgili bilgilerin toplanması (Neler yapıldı? Değerlendirmenin detayları) 2. Elde edilen verilerin çıkarılması 3.Videoların ve test verilerinin Değerlendirilmesi (Videodaki ve diğer verilerdeki bulguların ve görev sürelerinin değerlendirme şablonuna yazılması) 4.Görev Sürelerinin excel şablonuna işlenmesi 5.Değerlendirme Analizi Sunum İçeriği dosyasının oluşturularak tüm bilgilerin işlenmesi Değerlendirmenin Raporlanması: Değerlendirme Analizi Sunum İçeriği dosyasındaki tüm bilgiler, görev süreleri ve testte elde edilen diğer ek verilerle aşağıdaki başlıkları içeren bir rapor hazırlanır. Rapor İçeriği: 01. Kapak 02. İçindekiler 03. Test Edilen Kullanım Senaryoları ve Araştırma Soruları 04. Kullanıcı Profilleri ve Personalar 05. Testin Künyesi Testi yapılan ürün: Amaç: Hedef: Yöntem (Metod): Testin Yapıldığı Yer: Katılımcılar: (Katılımcı profili) Katılımcı Sayısı:
Dök. No: AUZEF-SS-2.4-07 Yayın Tarihi:30.06.2014 Rev.No:00Rev Tarihi:Sayfa 6 / 6 Test Tarihi: Test Süresi: Kullanılan Cihazlar: Kullanılan Sistemler/Yazılımlar: 06. Genel Değerlendirme (Genel sonuçlar ve bulgular) (Yönetici özeti) Karşılaşılan sorun Kısa açıklaması 08. Değerlendirme Verileri, Analiz Sonuçları ve Bulgular (Detaylı hali) 09. Kullanıcı Tercihleri ve Yorumlar 10. Bulgular ve Çözüm Önerileri 11. Geliştirme Çalışması Aksiyon Planı