KÜTÜPHANE WEB SİTELERİNİN KULLANILABİLİRLİĞİ: BİR UYGULAMA ÇALIŞMASI

Transkript

1 Gazi Üniv. Müh. Mim. Fak. Der. J. Fac. Eng. Arch. Gazi Univ. Cilt 21, No 4, , 2006 Vol 21, No 4, , 2006 KÜTÜPHANE WEB SİTELERİNİN KULLANILABİLİRLİĞİ: BİR UYGULAMA ÇALIŞMASI Elif KILIÇ ve Zülal GÜNGÖR Endüstri Mühendisliği Bölümü, Mühendislik Mimarlık Fakültesi, Gazi Üniversitesi, 06570, Maltepe, Ankara (Geliş/Received: ; Kabul/Accepted: ) ÖZET Günümüzde kütüphane web siteleri, öğrencilerin, üniversite personelinin ve araştırmacıların kütüphaneye gitmeksizin bilgiye eriştikleri önemli kütüphane ortamlarından biri olmuştur. Ancak Türkiye de bulunan kütüphane web sitelerinin kullanılabilirliği konusunda yapılan çalışmalar son derece kısıtlıdır. Bu çalışmada Gazi Üniversitesi Merkez Kütüphane web sitesinin kullanılabilirliği incelenmiştir. Kullanılabilirlik kriterleri olan etkililik, etkinlik ve memnuniyet kriterleri bakımından kullanıcılar karşılaştırılmış ve kullanıcı ihtiyaçları hakkında bilgi toplanmıştır. Bunun için gerçek kullanıcılar ve gerçek görevler ile yapılan kullanılabilirlik testi altmış kişiye uygulanmıştır. Bu çalışma sonucunda web sayfasında kullanılan kütüphane terminolojisinin, sayfa ve içerik tasarımlarının kullanılabilirlik sorunlarına yol açtığı görülmüştür. Kullanıcıların kütüphane hizmet ve kaynakları hakkındaki bilgi eksiklikleri de web sayfasının kullanılabilirliğini olumsuz yönde etkilemiştir. Ayrıca bu çalışmada kullanıcılar arasında etkililik ve memnuniyet kriterleri açısından önemli farklılıklar bulunurken etkinlik kriteri açısından bazı test görevlerinde farklılıklara rastlanmıştır. Sonuç olarak, kütüphane web siteleri tasarlanırken kullanıcıları arasındaki bu farklılıkların göz önüne alınması yararlı olacaktır. Anahtar Kelimeler: Kütüphane, web siteleri, kullanılabilirlik testi. USABILITY OF LIBRARY WEB SITES: A CASE STUDY ABSTRACT Today, library web sites have been one of the important library environments, in that students, university personnel and researchers can reach information without going to the library. However studies about the usability of library web sites in Turkey are extremely limited. In this work the usability of Gazi University Center Library web site is examined. Users are compared according to effectiveness, efficiency and satisfaction which are usability criteria and knowledge is collected about these users needs. For this reason usability testing which are made with real users and real tasks is carried out for 60 people. At the end of this work, library terminology which is used in the web page, page and content designs are seen to cause usability problems. Also lack of knowledge about users' library service and sources affected the usability of web page in a negative way. Besides, in this study important differences are found between the users from the aspect of effectiveness and satisfaction criteria. From the aspect of efficiency criterion in some of the test tasks some differences have been found. As a result, while web sites are being designed, keeping in mind these differences between the users will be beneficial. Keywords: Library, web sites, usability testing. 1. GİRİŞ Teknolojik gelişmelere paralel olarak internet kullanımının yaygınlaşması ile birlikte, kütüphane web siteleri ile kütüphane kaynak ve servislerinin yanı sıra birçok elektronik kaynağa kolay bir şekilde ulaşılmaktadır. Kullanıcıların kütüphane kaynak ve servislerine etkili ve etkin bir şekilde erişebilmeleri, kullanabilmeleri ve bu kullanımdan memnun kalabilmeleri için kullanılabilirlik konusu diğer web sitelerinde olduğu gibi kütüphane web sitelerinde de önemli bir konu haline gelmiştir.

2 E. Kılıç ve Z. Güngör Kütüphane Web Sitelerinin Kullanılabilirliği: Bir Uygulama Çalışması Kullanılabilirlik; Uluslararası Standardizasyon Kuruluşu (ISO) nun tanımına göre etkililik, etkinlik ve memnuniyet kriterleri ile ilişkilendirilmektedir. Etkililik, bir sistemin kullanımıyla belirlenen amaçlara ulaşma derecesidir. Etkinlik, bu amaçlara ulaşmak için harcanması gereken kaynakların bir ölçüsüdür. Memnuniyet ise kullanıcının sistemi kabul edilebilir bulma derecesidir [1]. Herhangi bir bilgi sisteminin bir kullanıcısının o sistemi ne kadar etkin, etkili ve tatminkar kullandığını anlamak amacıyla kullanılan araştırma yöntemine Kullanılabilirlik Testi (KT) adı verilmektedir [2]. KT, gerçek kullanıcılar ve gerçek görevler ile yapılan ve arayüzlerin değerlendirilmesinde kullanılan en yaygın ve en temel kullanılabilirlik mühendisliği metodudur. Bu metodun amacı, arayüz ile kullanıcı arasındaki etkileşimi incelemek ve ürünün kullanılmasında engel oluşturan kullanılabilirlik problemlerini tespit etmektir [3]. Kullanıcı arayüz arasındaki etkileşim gerçek ortamda yapılan gözlem ve ölçümlerle incelenir. Bir ürün ne kadar iyi tasarlanmış olursa olsun kullanım esnasında yaşanabilecek tüm olasılıklar hesaba katılmamış olabilir. KT çoğunlukla öngörülemeyen bu olasılıkların ortaya çıkarılmasını sağlamaktadır [4]. Kullanılabilirlik testleri farklı yöntemlerle yapılmaktadır. En sık kullanılan yöntemlerden biri, bilgisayar başında oturan kullanıcının test görevlerini yerine getirirken hareketlerini ve bilgisayar ekranındaki görüntüyü kameralar aracılığıyla izleyerek kullanıcıların karşılaştıkları problemleri belirlemektir. Bu tür çalışmalar kullanılabilirlik laboratuarlarında kullanıcıyla birlikte yapılmaktadır. Daha basit bir yöntem ise sesli düşünme yöntemidir (verbal protocol). Kullanıcılardan görevlerini yerine getirirken sesli düşünmeleri istenmekte ve ses kayıtları alınmaktadır. Ses kayıtları, test sırasında alınan notlarla birlikte analiz edilerek sayfanın kullanımı sırasında kullanıcıların yaşadığı problemler bulunmaya çalışılır [5]. Web siteleri için yapılan KT, son kullanıcıyı ilk sıraya koyan bir bakış açısıyla başlamaktadır. Burada amaç, siteleri kullanıcı açısından değerlendirmek ve sitenin belirlenen amaçlara ve yapılması gereken görevlere uygun olup olmadığını ortaya çıkarmaktır. Ayrıca web sitesini yönetmekte engel oluşturan problemleri tespit etmek ve tasarımın kullanıcılara uygunluğunu belirlemek de testlerin amaçları arasında yer almaktadır [3]. Bu çalışmanın, Gazi Üniversitesi Merkez Kütüphane (GÜMK) web sitesinin 1 (Şekil 1) kullanılabilirlik problemlerini gerçek kullanıcılar yardımıyla belirlemek ve kullanılabilirlik kriterleri (etkililik, etkinlik ve memnuniyet) bakımından kullanıcı grupları arasında farklılıkları ortaya çıkarmak üzere iki amacı vardır. Çalışmanın ikinci bölümünde literatür verilecektir. Bu bölümde özellikle kütüphane web siteleri üzerine uygulanan kullanılabilirlik testinden bahsedilecektir. Bunu izleyen bölümde, bu çalışmada uygulanan test yöntemi anlatılacak ve test sonuçları özetlenerek gelecekte gerçekleştirilecek araştırmalar için önerilerde bulunulacaktır. 2. LİTERATÜR ARAŞTIRMASI Web sitelerine yönelik ilk KT, 1990 larda Nielsen ve Rubin tarafından yapılmıştır [6, 7]. İlerleyen zamanlarda KT hem ticari hem de akademik web siteleri için 1 Şekil 1. Gazi Üniversitesi Merkez Kütüphane web sitesinin anasayfa görünümü 782 Gazi Üniv. Müh. Mim. Fak. Der. Cilt 21, No 4, 2006

3 Kütüphane Web Sitelerinin Kullanılabilirliği: Bir Uygulama Çalışması E. Kılıç ve Z. Güngör önemli bir konuma gelmiştir. Buna bağlı olarak kütüphane web sitelerinin kullanılabilirliği ile ilgili yapılan çalışmaların, yayınlanan kitap ve makalelerin sayısı gün geçtikçe artmaktadır [8]. Yapılan çalışmalarda genel olarak kütüphane terminolojisinin web sitelerini kullanmada zorluğa yol açtığı bulunmuştur. Kullanıcılar tarafından katalog (catalog), referans (referance), veritabanı (database) gibi kelimelerin, site üzerinde kullanılan kısaltmaların ve bağlantı isimlerinin anlaşılmadığı belirlenmiştir [9-13]. Bununla birlikte kullanıcıların kütüphane web sitelerini başarılı bir şekilde kullanmaları için uzman bilgisine ihtiyaç duydukları ortaya çıkarılmıştır [11, 14]. Dickstein ve Mills tarafından yapılan çalışmada, kütüphanecilerin; kütüphane web sitelerini; kullanıcıların kütüphane terminolojisini ve bilgi organizasyonunu bildiklerini varsayarak tasarladıkları belirtilmiş ve bu nedenle bu sitelerde yaşanan kullanılabilirlik problemlerinin asıl kaynağı olarak kütüphaneciler gösterilmiştir [12]. McGillis ve Toms tarafından yapılan diğer bir çalışmada ise, akademik personel ile öğrencilerin kütüphane web sitesini kullanma bakımından farklılıkları belirlenmiştir. Ayrıca kütüphane web sitelerinin kullanıcıların bilgi arama davranışlarını, anlama ve algılama özelliklerini dikkate almadan geleneksel kütüphane yapısına uygun bir şekilde tasarlandığı da bu çalışmada belirtilmiştir. Kütüphane web sitelerinin kullanıcı bakış açısı ile tekrar şekillendirilmesi gerektiği de öne sürülmüştür [15]. Cohen ve Stil, inceledikleri üniversite kütüphane web sitelerinin kütüphane misyonunu yansıtmadıklarını ve bu sitelerin genel olarak kütüphane hizmetlerini sağlamada yetersiz kaldıklarını öne sürmüşlerdir [16]. Hightower vd. tarafından yapılan çalışmada ise, bu sitelerin tasarımında teknolojik gelişmelerin dikkate alınmadığı belirtilmiştir [17]. Novontny, tecrübeli ile tecrübesiz kullanıcıları incelediği çalışmasında katalog tarama üzerine yoğunlaşmış ve bu kullanıcı gruplarının kullanım farklılıkları olmasına rağmen genel olarak aynı kullanım eğilimlerini gösterdiklerini ortaya çıkarmıştır [18]. Augustine ve Greene yaptıkları çalışmayla öğrencilerin kütüphane web sitesinde daha çok site içi aramayı kullandıklarını, site içinde dolaşarak bilgi aramadan kaçındıklarını göstermişlerdir. Bu çalışmada, kullanıcıların kütüphane terminolojisi ve servisleri hakkında yeterince bilgi sahibi olmamaları kullanılabilirlik problemlerinin asıl nedeni olarak gösterilmiştir [13]. Bunlara ek olarak yapılan diğer çalışmalarda ise, kullanıcılar tarafından site üzerinde yer alan kütüphane kaynakları arasında farkların anlaşılmadığı ortaya çıkarılmıştır [19-22]. Bunun nedeni olarak da site üzerinde yer alan kaynakların gruplandırılma ve yerleştirilme şekli gösterilmiştir [20]. Cockrell ve Jayne tarafından yapılan başka bir çalışmada, kütüphane web sitesi üzerinde farklı kaynaklardan makale taraması üzerinde odaklanılmış ve kullanıcıların davranışları izlenerek bazı önemli bulgular ortaya çıkarılmıştır. Bu çalışmada, KT web sitelerinin gelişiminin ayrılmaz bir parçası olarak görülmüştür. Ayrıca bu testlerin site yerleşiminde, terminoloji kullanımında ve bağlantıların kategorize edilmesinde tasarımcılara yardım edeceği belirtilmiştir [8]. Stover ve Zink, kırk farklı kütüphane web sitesini bazı değerlendirme kriterlerine göre karşılaştırmışlardır. Bu çalışma sonucunda, kütüphane web sitelerinin ana sayfalarında bağlantı sayılarının ve grafiksel öğelerin fazla olduğu ve bu yüzden sayfaların karmaşık hale geldiği ortaya çıkmıştır. Yazarlar, mevcut literatüründe kullanıcıları etkileme amacı güdülerek yapılan tasarımlara karşı uyardığını ve bu amaçla tasarlanan birçok kütüphane ana sayfasında problemlerin yaşandığını belirtmişlerdir [23]. Head tarafından yapılan çalışmada KT ile ilgili temel konular ele alınmış ve testlerin üç veya beş kişiyle, soru başına 5 veya 4 dakika verilerek yapılması ve her test seansının bir saatten fazla olmaması önerilmiştir [24]. Callicott tarafında yapılan çalışmada ise, site organizasyonu, site yapısı, gereksiz link kullanımı, kullanılan terminoloji ve metin içeriğinden oluşmak üzere beş faktörün web sitesinin kullanılabilirliğini etkilediği belirtilmiştir [25]. Mitchell vd. yaptıkları çalışmada kullanıcıların sorunlarını ve isteklerini belirlemişlerdir [26]. Bu çalışma incelendiğinde, kullanıcı sorunlarının genel olarak Callicott un çalışmasında belirlenen faktörlerden kaynaklandığı söylenebilir. Dünya da yapılan çalışmalardan sonra Türkiye de yapılan çalışmalara bakıldığında ise bu konuda yapılan çalışmaların son derece kısıtlı olduğu ortaya çıkmaktadır. Bu konuda yayınlanmış çalışmalardan biri olan Gürses in araştırmasında Ulakbim Kütüphanesi ele alınmış ve sitenin kullanılabilirlik problemleri ortaya çıkarılmıştır [27]. Aslında bütün bu çalışmaların amacı, kullanıcıların ihtiyaçlarını karşılamak için gerekli görevlerin yerine getirilip getirilemediğinin belirlenmesidir. Son yıllardaki çalışmalarda ortaya atılan ortak fikir, başarılı bir web sitesi oluşturmak için tasarımın teknolojik gelişmelerden daha çok kullanıcı yetenekleri dikkate alınarak yapılmasıdır [15]. 3. YÖNTEM 3.1. Test Katılımcıları Bu çalışmada yer alan kullanıcı grupları belirlenirken GÜMK web sitesinin kullanıcı kitlesi araştırılmış ve kütüphane çalışanları ile görüşmelerde bulunulmuştur. Toplanan bilgiler sonucunda web sitesini genel olarak kullanan üç kullanıcı grubu belirlenmiştir. Bunlar lisans öğrencileri, lisansüstü öğrencileri ve akademisyenlerden oluşan kullanıcı gruplarıdır. Kullanıcı gruplarının belirlenmesinden sonra test yapılmak üzere her kullanıcı grubundan yirmi katılımcı seçilmiştir. Ayrıca her grupta seçilen yirmi kişinin yarısı tecrübeli yarısı tecrübesiz kullanıcılardan oluşmuştur. Buna göre teste otuz tecrübeli otuz tecrübesiz olmak üzere toplam altmış Gazi Üniv. Müh. Mim. Fak. Der. Cilt 21, No 4,

4 E. Kılıç ve Z. Güngör Kütüphane Web Sitelerinin Kullanılabilirliği: Bir Uygulama Çalışması kişi katılmıştır.yapılan önceki çalışmalarda, 5 kullanıcının test edilmesi ile kullanılabilirlik problemlerinin yaklaşık % 85 lik bir profilinin ortaya çıktığı ve bu sayının testin güvenilirliği için yeterli olduğu görülmüştür [28, 6]. Ayrıca kullanılabilirlik testinin geçerliliği konusunda, incelenen arayüzü kullanan veya kullanacak kişilere test yapılması yeterli görülmektedir [6]. Bu nedenle, bu çalışmada ele alınan kullanıcıların sayısı ve tipi testin güvenilirliği, geçerliliği ve kullanılabilirlik problemlerinin ortaya çıkarılması için yeterli görülmüştür. Katılımcılar internet, bilgisayar ve GÜMK web site tecrübesini ölçmeye yönelik hazırlanan bir Bilgi Formu ile iki aşamadan oluşan bir seçim süreci sonunda belirlenmiştir. Bu çalışmada sadece GÜMK web site tecrübesi dikkate alındığından internet ve bilgisayar tecrübesi eşit düzeydeki katılımcılar ile çalışılmıştır. Test çalışmasına katılan katılımcılar düzenli olarak bilgisayar ve internet kullanan kullanıcılardan oluşmuştur. Test çalışmasına katılan lisans grubundaki katılımcıların 12 si erkektir. Bu gruptaki katılımcıların yaşları arasında değişmektedir. Lisansüstü grubunda ise 9 bayan katılımcı bulunmaktadır. Bu katılımcıların yaşları genelde arasındadır. Akademisyenler grubunda ise 14 erkek bulunmaktadır. Bu gruptaki katılımcıların geneli araştırma görevlisi olup yaşları arasında değişmektedir. Katılımcılar genellikle mühendislik bilimlerinde okuyan veya görev yapan kişilerden oluşmuştur. Bunun yanı sıra, sosyal bilimlerde okuyan veya görev yapan 10 kişide teste katılmıştır Görev Tasarımı İlk olarak literatür kısmında verilen uygulama çalışmaları incelenmiştir. Daha sonra konuyla ilgili çeşitli kaynak kitapları gözden geçirilmiştir [3,6,29]. Son olarak, GÜMK web sitesinin incelenmesi ve bu siteyi kullanan kullanıcı grupları ile görüşülmesi sonucunda web sitesinin hangi amaçlarla kullanıldığı ortaya çıkartılmaya çalışılmıştır. Toplanan bilgiler sonucunda, web sitesinin kullanım amaçlarına yönelik ve literatürde yer alan testlere uygun şekilde on adet test görevi tasarlanmıştır. Test görevleri tasarlanırken anlatım şekillerinin kullanıcı diline uygun olmasına dikkat edilmiştir. Ayrıca, bu görevler kullanıcının web sitesini kullanma becerisinden ziyade sitenin test edilmesine yönelik hazırlanmıştır. Çalışmanın ilerleyen kısımlarındaki tablolarda kısaltılarak verilen test görevlerinden bazıları Tablo 1 de verilmiştir. Test görevleri tasarlandıktan sonra anlatım bozukluklarının belirlenmesi ve test dokümanlarının kontrol edilmesi için pilot testler yapılmıştır. Pilot testler her kullanıcı grubundan seçilen katılımcılarla gerçek test ortamında test görevleri ile test malzemeleri kullanılarak yapılmıştır. Sonuç olarak test görevleri ile test materyalleri revize edildikten sonra gerçek testlere geçilmiştir. Gerçek testler ise Ocak-Şubat 2005 de yapılmıştır. Tablo 1. Kullanılabilirlik test görevlerinden bazıları Görev Görevler kısaltmaları Veritabanı tarama Tez tarama Ansiklopedi tarama Makale tarama Dergi tarama 3.3. Test Malzemeleri Bu çalışma sırasında çeşitli form ve dokümanlar kullanılmıştır. Bunlar aşağıda verilmiştir: Bilgi Formu Demografik Veri Anketi İzin Belgesi Memnuniyet Anketi Görev Kartı Gözlem Formu Test Sonrası Görüşme Belgesi Yukarıda sıralanan form ve dokümanlar daha önce yapılmış olan bir tez çalışmasından alınmıştır [30]. Söz konusu tez bu makalenin yazarlarına aittir Test Uygulaması OVID veri tabanına kütüphane web sitesinden erişip erişemeyeceğinizi bulunuz. Sanat Tarihi Metodu adlı kitabın kütüphanede olup olmadığına bakınız. Brittanica ansiklopedisine kütüphane web sitesinden erişip erişemiyeceğinizi bulunuz. Usability konusunda bir makale bulunuz. Mali Çözüm dergisine kütüphane web sitesini kullanarak ulaşınız. Genel olarak testler, test gözlemcisi ile katılımcının bulunduğu kapalı bir odada yapılmıştır. Sadece akademisyen grubundaki bazı katılımcılar kendi bürolarında test edilmiştir. Testler aynı özellikteki bilgisayar yazılım ve donanımları kullanılarak Microsoft Internet Explorer üzerinden yapılmıştır. Kullanıcı ses kayıtları ise bir mikrofon yardımı ile bilgisayara kaydedilmiştir. Testler sırasında elde edilen veriler ve Memnuniyet Anket sonuçları SPSS 10.0 paket programı ile analiz edilmiş ve sonuçlar yorumlanmıştır. Her test seansı katılımcının İzin Belge sini okuması ile başlamıştır. Bu belge ile testin amacı, içeriği hakkında bilgi verilmiş ve katılımcının yardımıyla elde edilen bilgilerin ve ses kaydının kullanılması için izin alınmıştır. Daha sonra katılımcının Demografik Veri Anketi ni doldurulmasıyla kişisel özellikleri hakkında bilgi toplanmıştır. Bu işlemlerden sonra katılımcıya test görevlerinin yazılı olduğu Görev Kartı verilmiş ve her bir görevi yapmadan önce yüksek sesle okuması istenmiştir. Her test bitiminden sonra katılımcıya Memnuniyet Anketi verilmiştir. Bu anketin cevaplanmasından sonra Test Sonrası Görüşme Belgesi kulla- 784 Gazi Üniv. Müh. Mim. Fak. Der. Cilt 21, No 4, 2006

5 Kütüphane Web Sitelerinin Kullanılabilirliği: Bir Uygulama Çalışması E. Kılıç ve Z. Güngör nılarak katılımcı ile bir görüşme yapılmış ve site ile ilgili görüş ve yorumları alınmıştır. Test oturumları sırasında sesli düşünme yöntemi (verbal protocol) kullanılmıştır. Nielsen a göre sesli düşünme yöntemi kullanılabilirlik mühendisliğinin en önemli metodudur. Arayüz-kullanıcı arasındaki en önemli problemleri anlamak için kullanılan bu metot her bir kullanıcının arayüz öğeleri hakkındaki yorumlarını ortaya çıkarmaktadır [6]. Bu nedenle, test süresince katılımcıların sesli düşünmeleri ve adım adım neyi neden yaptıklarını anlatmaları istenmiş ve ses kaydı alınmıştır. Ayrıca gözlemci katılımcı davranışlarını, yorumlarını ve görev süreleri ile başarı oranlarını Gözlem Formu na kayıt etmiştir. Test görevleri öğrenme etkisinin yok edilmesi için katılımcıların yarısına baştan sona doğru diğer yarısına sondan başa doğru sorulmuştur. Görev süresi katılımcının test görevini okuması ile başlamış ve söz konusu görevi başarı ile tamamlaması veya bulamadım demesi ile son bulmuştur. Sayfaların yüklenme ve tarama süreleri görev süresine katılmamış ve 3 dakika içinde yapılamayan görevler başarısız sayılmıştır. Ayrıca görevlerin kütüphane web sitesi üzerinde tamamlanan kısımları dikkate alınmıştır, çünkü kütüphane web sitesi dışındaki diğer sitelerin kullanılabilirliği çalışmamız dışındadır Veri Analizi Kullanıcı testleri sırasında gözlemci tarafından tutulan Gözlem Formu nun analizi sonucunda etkililik ve etkinlik kriterleri bakımından kullanıcı farklılıkları belirlenmiştir. Web sitesinde yaşanan kullanılabilirlik problemleri, bunların nedenleri ve kullanıcıların bu problemlerin çözümleri ilgili düşünceleri ise kullanıcı ses kayıtlarının ve Gözlem Formu nun analizi sonucunda ortaya çıkarılmıştır. Ayrıca Memnuniyet Anketi ile kullanıcı memnuniyeti belirlenirken Test Sonrası Görüşme Belgesi ile kullanıcıların web sitesi ile ilgili görüş ve önerileri alınmıştır. Etkililik, etkinlik ve memnuniyet bir ürün veya sistemin kullanılabilirliğini belirleyen en önemli kriterlerdir. Kullanılabilirliğin ölçülmesi için bu kriterlerin alt ölçütlere ayrılması gerekmektedir. Literatürde her bir Tablo 2. Deney tasarımında ele alınan faktör, faktör seviyeleri ve performans ölçütleri Faktörler Seviyeler Performans Ölçütleri Lisans öğrencileri Etkililik (Ortalama başarı oranı) Kullanıcı Lisansüstü öğrencileri grup Akademisyenler Etkinlik (Ortalama tamamlama süresi) Tecrübe kriter için belirlenmiş alt ölçütler bulunmaktadır [31]. Bu çalışma kapsamında bu üç kriter için ele alınan ölçütler Tablo 2 de gösterilmiştir. Kullanıcı gruplarının bu üç kriter açısından karşılaştırılması için deney tasarımı yapılmış ve iki yönlü varyans analizi kullanılmıştır. Deney tasarımı yapılırken kullanıcı grup faktörü ile tecrübe faktörü olmak üzere iki faktör ele alınmış ve bu faktörlerin performans ölçütleri olan kullanılabilirlik alt ölçütleri üzerindeki etkileri araştırılmıştır. Buna göre çalışmada ele alınan faktörler, faktör seviyeleri ve performans ölçütleri Tablo 2 de verilmiştir. Ayrıca bu çalışmada iki yönlü varyans analizi yapılırken anlamlık düzeyi olarak α=0.05 alınmıştır. 4. BULGULAR 4.1. Etkililik Tecrübeli kullanıcılar Tecrübesiz kullanıcılar Memnuniyet (Ortalama memnuniyet) Lisans, lisansüstü öğrencileri ve akademisyenler arasında ortalama başarı oranına bakıldığında önemli derecede farklılık (F(2,416)=3.00, p<.05) olduğu görülmüştür. Aynı durum tecrübeli ve tecrübesiz kullanıcılar (F(1,416)=3.92, p<.05) arasında da ortaya çıkmıştır. Buna göre hem kullanıcı grup faktörünün hem de tecrübe faktörünün ortalama başarı oranı üzerinde bir etkisi vardır. Ancak bu iki faktör arasında bir etkileşim (F(2,416)=3.00, p>.05) bulunamamıştır. Ortalama başarı oranı bakımından gruplar arasında farklılık çıkmasından dolayı başarı oranları her kullanıcı grubu için ayrı ayrı hesaplanmış ve Tablo 3 te gösterilmiştir. Lisans, lisansüstü öğrencileri ve akademisyenler arasında ortalama başarı oranı bakımından anlamlı bir farklılık bulunmasından sonra bu farklılıkların hangi seviyeler arasında olduğunu bulmak için Duncan Çoklu Aralık testi yapılmıştır. Bu teste göre ortalama başarı oranı en düşük grup lisans grubu olmuştur. Tablo 3. Görevler için ortalama başarı oranları Görevler*** Lisans Lisansüstü Akademisyen Tecrübesiz Tecrübeli 1-Veritabanı tarama 20*(1,00)** 19 (0,95) 20 (1,00) 29 (0,96) 30 (1,00) 2-Tez tarama 12 (0,60) 10 (0,50) 15 (0,75) 16 (0,53) 20 (0,66) 3-Kullanıcı işlemleri 10 (0,50) 19 (0,95) 16 (0,80) 18 (0,60) 27 (0,90) 4-Kitap tarama 11 (0,55) 18 (0,85) 19 (0,95) 22 (0,73) 25 (0,83) 5-Ansiklopedi tarama 9 (0,45) 12 (0,60) 13 (0,65) 17 (0,56) 17 (0,56) 6-Kütüphane hizmetleri 10 (0,50) 14 (0,70) 17 (0,85) 19 (0,63) 22 (0,73) 7-Makale tarama 17 (0,85) 17 (0,85) 18 (0,90) 23 (0,76) 29 (0,96) 8-Çalışma Saati 20 (1,00) 20 (1,00) 18 (0,90) 24 (0,80) 30 (1,00) 9- Dergi tarama 16 (0,80) 18 (0,90) 19 (0,95) 28 (0,93) 29 (0,96) 10-Konu araştırma/atıf Bulma (0,70) - - ( * :Kullanıcı sayısı, ** : Kullanıcı oranı) (***: Görevler sütununda verilen kısaltmalar Görev Kart larında kullanıcı gruplarına verilen görevleri ifade etmektedir.) Gazi Üniv. Müh. Mim. Fak. Der. Cilt 21, No 4,

6 E. Kılıç ve Z. Güngör Kütüphane Web Sitelerinin Kullanılabilirliği: Bir Uygulama Çalışması Tablo 4. Görevler için ortalama tamamlanma süreleri (sn) Görevler Lisans Lisansüstü Akademisyen Tecrübesiz Tecrübeli 1-Veritabanı tarama 25,20 37,46 22,30 34,93 21,33 2-Tez tarama 119,26 143,31 113,21 104,31 116,3 3-Kullanıcı işlemleri 42,54 61,52 47,93 57,44 47,59 4-Kitap tarama 104,06 63,07 49,03 68,31 52,16 5-Ansiklopedi tarama 79,85 88,71 72,49 86,88 64,11 6-Kütüphane hizmetleri 63,66 93,77 38,52 77,05 51,18 7-Makale tarama 59,46 44,40 48,67 57,00 32,79 8-Çalışma Saati 23,46 09,30 24,18 18,91 18,56 9- Dergi tarama 56,00 69,85 43,75 59,21 42,68 10-Konu/ Atıf araştırma , Tablo 3 e bakıldığında lisans öğrencilerinin diğer gruplardaki katılımcılara göre daha başarısız oldukları görülmektedir. Bu grubu tecrübesiz katılımcılar izlemiştir. Genel olarak ise bütün kullanıcı grupları 2 ve 5 numaralı görevlerde zorluk çekerken, akademisyenler hariç bütün katılımcılar 6 cı görevde zorluk çekmişlerdir. Bunun yanında lisans öğrencileri ile tecrübesiz kullanıcılar kitap, ansiklopedi tarama, kullanıcı işlemleri (kişisel kütüphane kayıtlarını bulma) ve kütüphane hizmetlerinden yararlanma gibi temel görevleri yerine getirmede zorlanmışlardır. Kullanılabilirlik testinin onuncu görevinde lisans ve lisansüstü öğrencileri ile akademisyenlere farklı sorular sorulmuştur. Bu görevde akademisyenlerden atıf bulmaları istenmiş ve bu görevin başarı oranı (0,70) ile ortalama tamamlama süresi (58,57 sn) hesaplanmıştır. Lisans ve lisansüstü grubunda bulunan katılımcılardan ise bilmedikleri bir konuda hakkında araştırma yapmaları istenmiş ve böylece bağlantıları ne amaçla, nasıl kullandıkları belirlenmiştir. Dolayısıyla bu soruda ortalama tamamlama süresi ve ortalama başarı oranı hesaplanmamış ve Tablo 3 te gösterilmemiştir Etkinlik Her bir test görevi için ortalama tamamlama süresi için iki yönlü varyans analizi yapıldığında lisans, lisansüstü öğrencileri ile akademisyenler arasında 4 (F(2,41)=3.23, p<.05), 6 (F(2,35)=3.27, p<.05) ve 8. (F(2,48)=3,19, p<.05) görevlerde anlamlı bir farklılık bulunmuştur. Yani bu görevlerde kullanıcı grup faktörünün ortalama tamamlama süresi üzerinde bir etkisi bulunmaktadır. Bu anlamlı farklılığın hangi seviyeler arasında oluştuğunu bulmak için Duncan Çoklu Aralık testi yapılmıştır. Bu teste göre 4 ve 6. görevlerde akademisyenlerin ve 8. görevde ise lisansüstü öğrencilerinin diğerlerine göre ortalama tamamlama süresi önemli derecede düşüktür. Bunun nedeni akademisyenlerin katalog tarama ve kütüphane hizmetlerini diğer kullanıcılardan daha fazla kullanmalarıdır. Tecrübe faktörü ile ilgili sonuçlar incelendiğinde ise 1. görevde anlamlı bir farklılık (F(1,53)=4.04, p<.05) bulunmuştur. Buna göre tecrübeli kullanıcılar tecrübesiz kullanıcılara göre bu görevi daha kısa zamanda bitirmişlerdir. Çünkü site üzerinde en çok kullanılan bağlantılardan biri Online Veri Tabanları bağlantısıdır. Tecrübe ve kullanıcı grup faktörlerinin etkileşimi (F(2,35)=3.27, p<.05) ise sadece 6'cı görevde ortaya çıkmıştır. Bu görevde, akademisyen ve lisansüstü öğrencilerinden oluşan gruplarda tecrübeliler tecrübesizlerden daha kısa sürede görevi tamamlarken, lisans öğrencilerinden oluşan grupta ise tam tersi bir sonuçla karşılaşılmıştır. Tablo 4 e bakıldığında tüm grupların en çok zaman harcadığı görevin ikinci görev olan tez tarama görevi olduğu görülmektedir. Lisans grubunda tez tarama görevinden sonra en çok zaman alan ikinci görev kitap tarama, lisansüstü grubunda kütüphane hizmetleri, akademisyenlerden oluşan grupta ise ansiklopedi tarama görevi olmuştur. Bu grupların en az zaman harcadıkları görevler ise veritabanı tarama ve çalışma saati bulma görevleridir. Tecrübeli ile tecrübesiz katılımcıların durumuna bakıldığında ise; genel olarak tez tarama görevinden sonra en çok zaman harcanan görev ansiklopedi tarama görevi olurken en az zaman harcanan görev ise çalışma saati bulma görevi olmuştur Memnuniyet Memnuniyet anketinin güvenilirliği için Cronbach Alpha testi yapılmış ve α=0.873 değeri güvenilirlik açısından oldukça yüksek bulunmuştur. Dolayısıyla bu anketten elde edilen bilgilerin güvenilir olduğu ortaya çıkmıştır. Daha sonra iki yönlü varyans analizi yapılmış ve bu analiz sonucunda, lisans, lisansüstü öğrencileri ve akademisyenlerden oluşan kullanıcı grupları arasında anlamlı bir fark (F(2,72)=3.13, p>.05) bulunamamıştır. Yani bu üç kullanıcı grubu arasında ortalama memnuniyet açısından bir farklılık yoktur. Diğer yandan, tecrübeli ve tecrübesiz kullanıcılar arasında ortalama memnuniyet açısından anlamlı bir farklılık (F(1,72)=2.41, p<.05) bulunmuştur. Bununla birlikte, kullanıcı grup faktörü ile tecrübe faktörünün etkileşimi (F(2,72)=3.13, p>.05) söz konusu değildir. Bu sonuçlara göre sadece tecrübe faktörünün ortalama memnuniyeti etkilediği söylenebilir. Memnuniyet Anket inde kullanılan 5 seçenekli (5=Kesinlikle katılıyorum, 4=Katılıyorum, 3=Kararsızım, 2=Katılmıyorum, 1=Kesinlikle katımlıyorum) likert skalasının analizi ile her kullanıcı tipi için ayrı ayrı soru bazında ortalamalar hesaplanmıştır. Ancak lisans, lisansüstü öğrencileri ile akademisyenler için ortalama değerler birlikte hesaplanmış ve Tablo 5 te gösterilmiştir. Çünkü iki yönlü varyans analizi sonucunda bu 786 Gazi Üniv. Müh. Mim. Fak. Der. Cilt 21, No 4, 2006

7 Kütüphane Web Sitelerinin Kullanılabilirliği: Bir Uygulama Çalışması E. Kılıç ve Z. Güngör Anket Soruları Tablo 5. Kullanıcı memnuniyeti Öğrenciler ve Akademisyenler Tecrübesiz Kullanıcılar Tecrübeli Kullanıcılar Ortalama Ortalama Ortalama 1-Bilgi organizasyonunun anlaşılır olması 2,70 2,70 2,63 2- Kolay kontrol edebilme 3,25 3,00 3,50 3- Kolay öğrenme 2,88 2,76 3,00 4- Yardım mesajlarının yeterli olması 2,36 2,13 2,60 5- Site kapasitenin yeterli olması 3,03 2,86 3,20 6-Hataların kolay ve hızlı düzeltilmesi 3,43 3,33 3,53 7-Görsel tasarımdan memnun kalma 2,31 2,03 2,60 8-Yazı karakterlerinin okumayı kolaylaştırması 2,36 2,36 2,36 9-Renklerin okumayı kolaylaştırması 2,63 2,60 2,66 10-Görevlerin etkili bir şekilde yerine getirilmesi 3,21 3,03 3,40 11-Birbirini takip eden sayfaların anlaşılması 2,95 2,86 3,03 12-Bilgiye kısa sürede ulaşım 3,03 2,80 3, Sitenin kullanımından memnun olma 2,61 2,53 2,70 gruplar arasında ortalama memnuniyet açısından anlamlı bir farklılık bulunamamıştır. Tablo 5te verilen anket sonuçlarına bakıldığında kullanıcıların genel olarak anket sorularını cevaplarken ya 3=Kararsızım ya da 2=Katılmıyorum seçeneklerini işaretledikleri görülmüştür. Yani kullanıcılar sitenin bazı özelliklerini beğenmezken bazı özellikleri hakkında kararsız kalmışlardır. Bununla birlikte siteden en memnun kalan kullanıcı grubunun tecrübeli kullanıcılardan oluştuğu görülmektedir. Bunun nedeni bu gruptaki kullanıcıların site tecrübelerinden dolayı görevlerini diğer gruplara göre daha rahat bir şekilde yerine getirmeleridir Kullanılabilirlik Problemlerinin Analizi Genel olarak kullanıcılar site üzerinde kullanılan kütüphane terminolojisinden dolayı görevleri yerine getirmekte zorlanmışlardır. Özellikle lisans öğrencileri ve tecrübesiz kullanıcılar tarafından katalog, veritabanı, süreli yayın, referans kaynakları gibi terimler anlaşılmamış ve bu nedenle kitap, makale, dergi ve ansiklopedi gibi kütüphane kaynaklarının taranmasında zorluk çekilmiştir. Ana sayfa üzerinde yer alan bağlantıların yerleşimi, kategorize edilmemesi, önemli bağlantıların (Katalog Tarama, Kullanıcı İşlemleri vs.) ön plana çıkarılmaması ve bazı bağlantıların daha çok reklam logosu gibi görünmesi çoğu katılımcı tarafından görevlerde zorluk çekmelerinin nedeni olarak gösterilmiştir. Ayrıca ana ve alt sayfalarda sayfa ve içerik tasarımları (yazı karakterleri, renk öğeleri) ve sayfa yerleşimleri de kullanıcıların tarama yapmalarını zorlaştırmıştır. Web sitesi üzerinde yaşanan kullanılabilirlik sorunlarının bir diğer nedeni ise kullanıcıların (özellikle öğrenci ve tecrübesiz kullanıcıların) kütüphane hizmet ve kaynakları hakkında yeterince bilgi sahibi olmamalarıdır. Ayrıca site üzerinde yer alan bağlantıların kullanımları hakkında da çoğu kullanıcının bilgisinin olmadığı gözlemlenmiştir. Buna ek olarak, web sitesi üzerinde yardım veya kullanıcıları yönlendirmeye yönelik açıklamaların yetersizliğinden ve site üzerinde bulunan açıklamaların okunabilir olmamasından dolayı kullanıcıların bu sorunları çözülememiştir. Özellikle test sırasında lisans ve lisansüstü öğrencilerinin bağlantıları bilinçsiz ve yanlış şekilde kullandıkları ve bağlantılardan tam olarak yararlanamadıkları gözlemlenmiştir. Örneğin, lisans öğrencileri tarafından özellikle Kullanıcı İşlemleri bağlantısının ne amaçla kullanıldığı ilk bakışta anlaşılmamıştır. Ana sayfa üzerinde yer alan bazı bağlantılarda oluşan ( Katalog Tarama, Kullanıcı İşlemleri ) teknik hatalardan dolayı çoğu kullanıcılar arama yapmaktan vazgeçmiş ya da aradıkları materyali bulamadıklarını düşünmüşlerdir. Bunun yanında, bazı sayfalarda yer alan ve site tarafından kullanıcının yönlendirildiği bağlantıların çalışmaması kullanıcıların tarama yapamamalarına neden olmuştur. Örnek olarak tez tarama görevinde, Tezler sayfası üzerinde bulunan ve sorgulama ekranına bağlanmak için kullanılan bağlantının çalışmaması gösterilebilir. Bunlara ek olarak; kullanıcıların en çok zorlandıkları bu görevde; sorgulama sayfası ile tez tarama ile ilgili açıklamaların farklı yerde olması ve bu açıklamaların okunabilir olmaması, tarama yapmak için gereken anahtar kelimelerin kullanıcılar tarafından akılda tutulamaması zorluk çekilme nedenleri olarak gösterilebilir Kullanıcı Görüşleri Genel olarak katılımcılar web sitesini kullanmada kendi bilgi ve deneyimlerinden faydalandıklarını ve web sitesinin kendilerine yardımcı olmadığını belirtmişlerdir. Lisans grubundaki katılımcılar bazı bağlantıların kullanımını kütüphanecilerden daha önce öğrendiklerini ve bu nedenle bu bağlantılar ile ilgili test görevlerini yapabildiklerini söylemişlerdir. Lisansüstü öğrencilerinden bazıları kütüphane sitelerinin genel işleme mantığını bildiklerini ve bu nedenle siteyi kullanabildiklerini belirtmişlerdir. Ayrıca deneme-yanılma yoluyla arama yaptıklarını da eklemişlerdir. Akademisyenlerden oluşan üçüncü grupta ise katılımcıların çoğu tecrübesiz kullanıcıların siteyi kullanmakta zorlanacağını belirtmişlerdir. Katılımcıların olumlu yorumları daha ziyade sitede sunulan bilgi kaynakları ve içerikleri konusunda olmuştur. Online veri tabanlarının ve elektronik dergi- Gazi Üniv. Müh. Mim. Fak. Der. Cilt 21, No 4,

8 E. Kılıç ve Z. Güngör Kütüphane Web Sitelerinin Kullanılabilirliği: Bir Uygulama Çalışması lerin sayısı ile bunlara ulaşımın kolay olması ve sitede sunulan diğer araştırma kaynaklarının içeriklerinin zengin olması kullanıcılar tarafından beğenilmiştir. Katılımcıların olumsuz yorumları ise genel olarak tasarım öğelerinin yerleşimi, sayfa düzenleri ve terminoloji konuları üzerinde olmuştur. Çoğu katılımcı katalog, süreli yayın, veritabanı, referans gibi kelimeleri ve bazı bağlantı isimlerini anlayamadıklarını belirtmişlerdir. Ayrıca bazı bağlantıların reklâm logosu gibi göründüğünü söylemişlerdir. Sayfaların bazılarında çok fazla boş alan bulunması, bağlantıların sıkışık bir biçimde yerleştirilmesi katılımcıların şikâyet ettikleri konular arasındadır. Ayrıca katılımcılar sayfalar arası geçişlerde zorluk çektiklerini, görsel tasarımı beğenmediklerini belirtmişlerdir. 5. TARTIŞMA VE SONUÇ Bu çalışmada, gerçek kullanıcılar yardımıyla yapılan kullanılabilirlik testleri ile GÜMK web sitesinin kullanılabilirliği değerlendirilmiş ve kullanılabilirlik problemleri ortaya çıkarılmıştır. Ayrıca kulanılabilirlik kriterleri olan etkilik, etkinlik ve memnuniyet kriterleri bakımından kullanıcı grupları karşılaştırılmış ve bu grupların farklılık ve ihtiyaçları hakkında bilgi toplanmıştır. Böylece web sitenin yenilenmesi ve daha kullanıcı dostu bir site elde edilmesi için gerekli veriler elde edilmiştir. Test sonuçlarına göre, GÜMK web sitesinin kullanımını etkileyen en önemli sorunlardan biri web sitesi üzerinde de kullanılan kütüphane terminolojisinin kullanıcılar tarafından anlaşılmamasıdır. Bu nedenle çoğu kullanıcı kitap, dergi, ansiklopedi ve makale gibi önemli materyalleri bulmakta zorlanmıştır. Testler sırasında kullanıcıların kütüphane web sitesi üzerindeki bağlantıları bilinçsiz bir şekilde kullandıkları gözlemlenmiştir. Kullanıcılar aramaya nereden başlayacaklarını zaman zaman bulamamışlardır. Genel olarak web sitesini kullanmak için belli bir bilgi birikimine ihtiyaç duyulmuştur. Bunların yanı sıra web sitesinde oluşan teknik hatalar da kullanıcıların web sitesini kullanmalarını zorlaştırmıştır. Etkililik (ortalama başarı oranı) ve memnuniyet kriterleri (ortalama memnuniyet) açısından test sonuçlarına bakıldığında, tecrübeli-tecrübesiz kullanıcılar arasında önemli farklılıklar olduğu görülmüştür. Yani bu iki kriter üzerinde tecrübe faktörünün etkisi olduğu söylenebilir. Etkinlik kriteri açısından (ortalama tamamlama süresi) ise, lisans, lisansüstü öğrencileri ile akademisyenler arasında üç görevde farklılık bulunurken, tecrübeli ve tecrübesiz kullanıcılar arasında farklılık sadece iki görevde ortaya çıkmıştır. Yani kullanıcı grup ve tecrübe faktörlerinin etkinlik kriteri üzerinde sürekli bir etkisinin olmadığı söylenebilir. Bu sonuçlara göre web sitesinin tasarımının yenilenmesi ile, hem kullanılabilirlik sorunları giderilebilir hem de tüm kullanıcı gruplarının web sitesini aynı oranda etkili, etkin kullanmaları ve bu kullanımdan aynı oranda memnun kalmaları sağlanabilir. Söz konusu tasarım yenilenirken, sayfa üzerinde kullanıcıların yaşadıkları terminoloji sorunları giderilmeli, bağlantı isimleri açık ve anlaşılır hale getirilmeli, kullanıcılara gerekli olduğu yerlerde yardım mesajları ve açıklama yazıları ile yardım edilmelidir. Ayrıca sayfa üzerinde yer alan bağlantılar kategorize edilerek yerleştirilmeli ve renk, yazı gibi tasarım öğeleri okumayı kolaylaştırmaya yönelik kullanılmalıdır. Bunların yanı sıra, kullanıcı grupları arasında etkilik, etkinlik ve memnuniyet açısından tespit edilen farklılıkların yok edilmesine yönelik sayfa içinde düzenlemeler yapılmalıdır. Örneğin, tecrübesiz kullanıcılar için web sitesinde yer alan bağlantıların isimleri daha anlaşılır hale getirilip ve açıklama yazıları konulurken, tecrübeli kullanıcıların hızlı arama yapmaları için sıkça kullanılan bağlantılar bir araya getirilebilir. Bu çalışmada, genellikle kullanılabilirlik testlerinde kullanılan kullanıcı sayısından çok daha fazla sayıda kullanıcı ile çalışılmıştır. Fakat her yaş grubundaki ve Gazi üniversitesinin her bölümündeki kütüphane kullanıcıları ile eldeki kısıtlı imkânlar ve kullanıcıların test olmak istememelerinden dolayı çalışılamamıştır. Ayrıca aynı nedenlerden dolayı üniversite dışındaki kütüphane kullanıcıları ile test çalışması yapılamamıştır. İleriki dönemlerde yapılacak testlerde çalışmanın bu eksiklikleri giderilirse daha kapsamlı sonuçlara ulaşılabilir. Sonuç olarak, bu çalışmanın benzerlerinin diğer kütüphane web sitelerinde yapılması ve elde edilen sonuçların bir sonraki tasarım veya değişikliklerde kullanılması yararlı olacaktır. Ayrıca, yapılan bu çalışmada da görüldüğü gibi, kütüphane web sitelerini kullanan grupların beklentileri ve bu siteleri kullanım performansları birbirlerinden farklıdır. Bu yüzden kütüphane web siteleri kullanıcı grupları arasındaki bu farklılıklar göz önüne alınarak tasarlanmalıdır. Böylece daha kullanıcı dostu kütüphane web siteleri tasarlanacak ve daha çok kullanıcının kütüphaneye gitmeden kolay bir şekilde bu siteler üzerinden araştırma yapması sağlanacaktır. Bunun yanı sıra, kütüphane kullanımı ile ilgili yeteri kadar bilgiye sahip olmamaları da kullanıcıların siteyi kullanma performanslarını etkilemektedir. Bu nedenle kullanıcılara kütüphane kullanımı hakkında gerekli bilgilerin sağlanması ya da bu konuda eğitim verilmesi yararlı olacaktır. TEŞEKKÜR Bu çalışma Gazi Üniversitesi BAP-06/ projesinin bir parçasıdır. KAYNAKLAR 1. Bevan, N., Human-Computer Interaction Standards, Proceedings of the 6th International Conference on Human-Computer Interaction, Yokohama, , Gazi Üniv. Müh. Mim. Fak. Der. Cilt 21, No 4, 2006

9 Kütüphane Web Sitelerinin Kullanılabilirliği: Bir Uygulama Çalışması E. Kılıç ve Z. Güngör 2. Akıncı, D. ve Çağıltay K., E-devlet Web Sitelerini Kullanmak ya da Kullanamamak: Vatandaş Açısından Kullanılabilirlik Sorunları Ve Öneriler, TBD 21. Ulusal Bilişim Kurultayı, Ankara, Norlin,E., and Winters, CM., Usability Testing for Library Web, American Library Association, Chicago, Bağış, A., Arayüz Tasarımlarının Karşılaştırmalı Değerlendirilmesinde Kullanılabilirlik Yaklaşımı, Makine ve Mühendis Dergisi, Cilt 522, 25-31, Acarturk,C., Üniversite Kütüphane Sayfalarında Kullanılabilirliğin Önemi ve Kullanılabilirlik Testleri, AB-04,Trabzon, Nielsen, J., Usability Engineering, Academic Press, Boston, Rubin, J.,The Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests, John Wiley, New York, Cockrell, B. ve Jayne, E., How Do I Find an Article? Insights from a Web Usability Study, The Journal of Academic Librarianship, Cilt 28, No 3, , Bevan, N., Human-Computer Interaction Standards, Proceedings of the 6th International Conference on Human-Computer Interaction, Yokohama, , Spivey, M., The Vocabulary of Library Home Pages: An Influence on Diverse and Remote End- Users, Information Technology and Libraries, Cilt 19, , Garlock, K. ve Piontek, S., Building the Service- Based Library Web Site: A Step By Step Guide to Design and Options, Academic Library Association, Chicago, Dickstein,R., ve Mills, V., Usability Testing at the University of Arizona Library: How to Let the Users in on the Design, Information Technology and Libraries, Cilt 19, No 3, , Augustine, S., ve Greene, C., Discovering How Students Search a Library Web Site: A Usability Case Study, College & Research Libraries, Cilt 63, No 4, , Spool, J., Web Site Usability: A Designer s Guide, Morgan Kaufman Publishers, San Francisco, McGillis, L. ve Toms, E., Usability of the Academic Library Web Site: Implications for Design, College & Research Libraries, Cilt 62, No 4, , Cohen, L.B. ve Stil,J., A Comparison of Research University and Two-Year Collage Library Web Sites: Content, Functionality, and Form, Collage& Research Libraries, Cilt 60, , Hightower C., Shih J. ve Tilghman, A., Recommendations for Benchmarking Web Site Usage Among Academic Libraries, Collage& Research Libraries, Cilt 59, 61-79, Novotny, E., I don t Think I Click: A Protocol Analysis Study of Use of a Library Online Catalog in the Internet Age, Collage& Research Libraries, , Chisman, K.,Diller, K., ve Walbridge, S., Usability Testing: A Case Study, College & Research Libraries, Cilt 60, , Eliasen, K., McKinstry J. ve Fraser, B., Navigating Online Menus: A Quantative Experiment, College & Research Libraries, Cilt 58, , Kunkel, L., Weaver, S. ve Cook, N., What Do They Know? An Assessment of Undergraduate Library Skills, The Journal of Academic Librarianship, Cilt 22, , Coupe, J., Undergraduate Library Skills: Two Surveys at Johns Hopkins University, Research Strategies,Cilt 11, , Stover, M. ve Zink, D., World Wide Web Home Page Design: Patterns And Anomalies of Higher Education Libraries Home Pages, Referans Services Revie, Cilt 24, 7-20, Head, A., Web Redemption and the Promise of Usability, Online, Cilt 23, Callicott, B., Library Web Site User Testing, College & Undergraduate Libraries, Cilt 9, No 1, 1-17, Mitchell, B., Davidson, L. ve Branch, V., Testing The Design of a Library Information Gateway, The Southeastern Librarian, Cilt 49, 4 10, Gürses, E., Web Sitelerinde Kullanılabilirlik Çalışmaları ve Kullanılabilirlik Değerlendirme Yöntemleri, Akademik Bileşim 2005, Adana, Nielsen J. and Landauer, T., A Mathematical Model of the Finding of Usability Problems, Proceedings of ACM INTERCHI 93 Conference, Amsterdam, , Barnum, C., Usability Testing and Research, Longman, New York, Kılıç, E., Kullanılabilirlik Test Yöntemi, Sezgisel Değerlendirme Yöntemi ve Analitik Hiyerarşi Prosesi Yaklaşımı ile Bir Üniversite Kütüphane Web Sitesinin Kullanılabilirlik Analizi, Yüksek Lisans Tezi, Gazi Üniversitesi, Fen Bilimleri Enstitüsü, Park, K. S. ve Lim, C. H., A Structured Methodology for Comparative Evaluation of User Interface Design Designs Using Usability Criteria and Measures, International Journal of Industrial Ergonomics, Cilt 23, , Gazi Üniv. Müh. Mim. Fak. Der. Cilt 21, No 4,

10