inet-tr 06 - XI. "Türkiye'de İnternet" Konferansı Bildirileri 21-23 Aralık 2006 TOBB Ekonomi ve Teknoloji Üniversitesi, Ankara Türkiye de E-Devlet Uygulamaları: Devlet Web Sitelerinin Değerlendirilmesi Yrd.Doç.Dr. Özlem Gökkurt-Bayram 1, Yrd.Doç.Dr. Feryal Turan 2 1 Ankara Üniversitesi Dil ve Tarih Coğrafya Fakültesi, Bilgi ve Belge Yönetimi Bölümü 310 32 80/1330 2 Ankara Üniversitesi Dil ve Tarih Coğrafya Fakültesi, Sosyoloji Bölümü 310 32 80/1677 ozlembayr@gmail.com, feryalturan@yahoo.com Giriş Bilgi teknolojisinin gelişimi devletin ve devlete bağlı kurumların geleneksel işleyiş mekanizmasında önemli dönüşümlerin yaşanmasını desteklemektedir. Öncelikle devletin tüm günlük idari işlerinin elektronik ortama taşınarak vatandaşların kamu hizmetleri ile etkileşim içinde olmaları sağlanarak bu yöndeki işlemlerin daha verimli, daha düşük maliyetli ve hızlı bir süreçte gerçekleşmesine çalışılmaktadır. E-devlet, Dünya Bankası tarafından kamu idari birimlerinin bilgi teknolojilerini (örneğin geniş alan ağları, internet, mobil iletişim v.b.) kullanarak vatandaşlar, işletmeler ve diğer devlet birimleri arasındaki ilişkilerini yeniden biçimlendirilmesi olarak tanımlanmaktadır. (World Bank). Böylelikle, ulusal bilgi otoyolunun kurulması süreci, her kurum tarafından oluşturulan web sitelerinin vatandaşın o kurum hakkında bilgilenmesini sağlayarak sözkonusu kurumla ilgili işlerini kolaylaştıracak biçimde tasarlanmasını gerektirmektedir. Ülkemizde e-devlet uygulamalarında kurumsal ve ulusal bilgi ağı alt yapısı kapsamında önemli adımlar atılmakla beraber kamu birimlerinin enformasyon ve iletişim temelli gereksinimlerini karşılamak yönünde henüz başlangıç noktasında olduğu düşünülmektedir. Bu nedenle kamu birimlerinin web sitelerinin vatandaşı bilgilendirmek ve bu sayede ihtiyaçlarını etkileşimli olarak ne ölçüde yerine getirebildiklerinin değerlendirilmesi büyük önem taşımaktadır. Sözkonusu amaca hizmet etmek bakımından, bu çalışmada ülkemizde iyi bilinen ve devlete bağlı beş kamu kurumunun web sitelerinin belirli bir standart ölçü, model seçilerek değerlendirme sonuçları ortaya konmaya çalışılmıştır. Web Sitelerinin Değerlendirilmesine Yönelik Çalışmalar Son yıllarda literatürde web sitelerinin değerlendirilmesi üzerine yapılmış çalışmalar giderek artmaktadır. Bu çalışmaların bir kısmı tasarım sürecinin ve bir kısmı ise içeriğin değerlendirilmesi ile ilgilenir. Web sitelerinin nitelikleri açısından değerlendirilmesinde genel olarak iki yöntem uygulanılmaktadır: Birincisi bilgisayara dayalı web sitesi değerlendirme araçları ve ikincisi ise geleneksel yöntemlerdir. Birinci yöntem bilgi teknolojisi temelli araçlardan yaralanılarak kullanıcının site üzerindeki hareketlerinin analiz edilerek kullanıcı doyumunun belirlenmesine yöneliktir. Bu tekniği kullanan Bauer and Scharl (2000) analiz için web sitelerini içerik, kullanıcı etkileşimi ve site içi dolaşım kriterlerine göre değerlendirmişlerdir. Hwang, Huang and Tseng (2004) eğitim amaçlı sitelerin değerlendirilmesinde önceden oluşturulan değerlendirme gruplarından yararlanmışlardır. Bu amaçla bilgisayar destekli bir yazılım, EWSE (Educational Web Site Evaluator) geliştirilerek bu program üzerinde grup kararı tekniğini kullanmışlardır. Sitelerin teknik olarak web tasarımı açısından değerlendirilmesinde Benbunan-Fich (2001) in bilgisayar kayıtları üzerinde gerekleştirilen protokol analizi yönteminden söz edilebilir. Bu yöntem web tasarımı sürecinde kullanılan 167
Türkiye de E-Devlet Uygulamaları: Devlet Web Sitelerinin Değerlendirilmesi Özlem Gökkurt-Bayram, Feryal Turan etmenlerin kullanıcı perspektifi ile test edilmesine yardımcı olmaktadır. Web sitesinde fazla karmaşık olmayan işlemler kullanıldığında bu teknikten daha iyi sonuç alınabilmektedir. Web sitelerinin içerik bakımından değerlendirilmesinde ise genellikle geleneksel anket yöntemi uygulanarak değerlendirmecilerden belirli kriterlere göre web sitelerini değerlendirmeleri istenmektedir. Konuyla ilgili çalışmaların çoğunluğu ticari amaçlı (Benbunan-Fich 2001; Gonzalez 2004) ve eğitim amaçlı kurulmuş olan web siteleri için yürütülmüştür (Susser 2005; Hwang 2004, Olsina 1999). Gonzalez and Palacios(2004) bu çalışmalar arasında en geniş ölçekli uygulamayı gerçekleştirmiştir. Bu çalışmada adı geçen araştırmacılar tarafından 200 İspanyol şirketinin web siteleri işlevsellik, kullanılabilirlik, etkinli ve güvenilirlik gibi temel kriterler açısından değerlendirilmiştir. Değerlendirmenin sonucunda web sitelerinin eksiklikleri ortaya konmuştur. Benzer bir diğer çalışmada da ABD deki resmi siteler değerlendirilmiştir (Eschenfelder). Yukarıda anılan çalışmaların hemen tümü geleneksel boyutta bir değerlendirme etkinliği için gerçekten de son derece ayrıntılı değişkenler üzerinde çalışmayı öngörür; bu durum geniş bir kullanıcı kitlesi ile çalışıldığında çalışmanın güç koşullarda yürütüleceği anlamına gelecektir. Smith(1997) in tanımladığı kapsam, erişim, etkileşim, erişim, doğruluk, yetkinlik ve güncellik kriterleri ise kütüphaneciler ve internet bilgi kaynakları kullanıcıları tarafından literatürde yaygınlıkla kullanılmıştır. Sonraki yıllarda değerlendirme kriterleri üzerinde Olsina et al. (1999) da çalışmış; ancak onun değerlendirme ölçütleri de Bauer and Scharl(2000) tarafından uygulanamayacak kadar ayrıntılı bulunmuştur. Susser (2004), diğer çalışmalardan farklı olarak web tasarımı ile turizm alanlarında öğrenim gören iki farklı öğrenci grubu üzerinde bir değerlendirme çalışması yürütmüştür. Bu 168 çalışmada sitelerin kendisinden çok özellikle web tasarımı dersini alan öğrencilerin web sitesi değerlendirme becerileri ölçülmeye çalışılmıştır. Çalışmanın sonucunda Susser, web sitesi tasarımına yönelik dersler alan öğrencilere göre turizm alanındaki öğrencilerin web sitelerinin içeriğinin değerlendirilmesi konusunda daha bilinçli ve duyarlı oldukları sonucuna varmıştır. Literatürde web sitelerinin değerlendirilmesine yönelik çalışmaları inceledikten sonra uygulama açısından hemen tümünde sözü edilen aşağıdaki ölçütleri belirleyici etmen olarak kabul edebiliriz: İçerik Görsel tasarım Erişim, kullanılabilirlik ve etkileşim Site içi dolaşım Erişim hızı Yöntem Bu çalışmada beş bakanlığın web sitelerinin ölçütlere göre değerlendirilmesi amaçlanmaktadır. Bu amacı gerçekleştirmek için, Dil ve Tarih-Coğrafya Fakültesi Bilgi ve Belge Yönetimi bölümünden web tasarımı dersini alan öğrencilerin beş tane bakanlık sitesinin değerlendirmesi istenmiştir. Dersi alan 16 öğrenci hazırlanan 4 sayfalık soru kağıdı 16. Mayıs.2005 tarihinde öğrenciler tarafından doldurulmuştur. Bu araştırma için pilot çalışmada Mart 2005 de yapılmış ve bunun sonucunda soru kâğıdında gerekli düzeltmelere gidilmiştir. Bu araştırma için beş tane bakanlık sitesi seçilmiştir. Bunlar Kültür Bakanlığı, Milli Eğitim Bakanlığı, Çalışma Bakanlığı, Sağlık Bakanlığı, İç İşleri Bakanlığı. Bakanlık sitelerinin değerlendirilmesi için hazırlanan soru kağıdı 11 ana bölümden oluşmakta ve bu bölümler içinde alt değerlendirme kriterleri bulunmaktadır. Soru kağıdının hazırlanmasında daha önce bu konuda yapılmış çalışmalar temel alınmış ancak
Türkiye deki sitelerin değerlendirilmesinde uygun olmayan kriterler dikkate alınmamış ve bazı değişiklikler yapılmıştır. Her bir sorunun değerlendirmesinde evet, hayır ve kısmen şıkları kullanılmıştır. Bulgular ve Tartışma 1 Web sitesinin Tanıtımı Bu konuda değerlendiriciler, çalışma bakanlığının web sitesinin amaç/misyonu tanımlama bakımından daha iyi olduğunu ve sağlık bakanlığı sitesinin değerlendirilenler arasında en yetersiz olduğunu belirtmişlerdir. Çoğunluk kültür bakanlığının (11) sitesinde bilgilerin kaynağı, türü ve hedef kitlesinin belirtildiğini ifade edelerken daha az sayıdaki kişi milli eğitim bakanlığının sitesini göstermiştir. Bu konuda en yeterli kültür bakanlığı bulunmuştur. Genel olarak tüm web-sitelerinde yeni bilgilerin eklendiği bölümün belirlenmesinde tüm bakanlık sitelerinin göreli olarak kritere uygun olduğu belirtilmiştir. Bu noktada bakanlık sitelerinde yeni kanun, duyuru ve değişliklerin sık sık belirttiğii dikkate alınırsa, neden daha fazla kişi tarafından web sitelerinin bu açıdan olumlu olduğu ortaya çıkmaktadır. 2 İçerik/kapsam İçerik, Websitesinin tanıtımı ile ilgili açıklamalarla uyum sağlaması bakımından çoğunluk (12) tarafından çalışma bakanlığının websitesi uygun bulunmuştur; milli eğitim(7) ve iç işleri bakanlığı (7) ise daha az kişi tarafından seçilmiştir.. Web-sitelerinin en önemli noktalarından biri de kullanıcıların ihtiyaç duydukları bilgileri sağlamasıdır. Bu konuda kültür bakanlığı web-sitesi değerlendiriciler (11) tarafından en yetkin bulunmuştur. Değerlendiriciler devlet web-sitelerinin genellikle yararlı ve gerekli bilgileri sağladığını düşünmektedirler. Ancak bilginin dengeli ve yeterli olduğu konusunda görüşler değişmektedir. Değerlendirilen websitelerindeki ifadelerde teknik dil kullanılması (politik, alaycı, suçlayıcı ifadelerden kaçınılmıştır) ve içerikte önyargıya yer verilmemesi inet-tr 06 - XI. "Türkiye'de İnternet" Konferansı Bildirileri 21-23 Aralık 2006 TOBB Ekonomi ve Teknoloji Üniversitesi, Ankara 169 (ırk, sınıf, cinsiyet, kültürel ayrımlara yer verilmemiştir) konusunda çoğunluk aynı düşünceyi paylaşmaktadır. 3 Güncellik Değerlendiriciler birbirine yakın sayıda bir çoğunlukla web-sitelerinin güncellendiğini belirtmişlerdir. Ancak bunların ne zaman güncellendiği konusunda web-sitelerinin yeterli bilgi sağlamadığı görüşündedirler. 4 Metadata Web sitesinin başlığı, alt başlığı, yazarları, bölümleri, sitenin tanımı, anahtar sözcüklerinin belirtilmesinde kültür bakanlığı değerlendiricilerin çoğunluğu (14) tarafından yeterli bulunurken; daha az sayıda kişi (8) Sağlık Bakanlığı nı yeterli belirlemiştir. Her sayfanın başlığının açıkça belirtilmesi konusundaki değerlendirmede olumlu düşünen kişilerin sayıları birbirine oldukça yakındır. Değerlendirmede Çalışma (15) ve Kültür Bakanlığının (15) siteleri kullanılan terimler (terminoloji) ve alt sayfalarda verilen başlıklar bütün web sitesi ile uyum içinde bulunmuştur. 5 Hizmetler Değerlendiricilerin çoğunluğu (12) İç İşleri ve Sağlık Bakanlığı nın hizmetlerinin internet ortamında herkese açık olduğunu doğrulamışlardır. Azınlık (2) tarafından Kültür Bakanlığı bu kritere uygun bulunmuştur. 6 Şahsi bilgiler Web sitelerinin kullanıcıların şahsi bilgilerle ilgili tutumunun belirlenmesinde kişilerin kendilerinden özel bilgilerin istenmediğine ya da istenen bilgilerin gizliliğinin korunacağına ilişkin değerlendirmede çoğunluk (5) tüm kurumlar için eşit ya da birbirine yakın olarak olumlu görüşü paylaşmışlardır. 7 İnternette Tanınma Web sitelerinin İnternette tanınmasına yönelik değerlendirmede web siteleri arasında çoğunluk (13) İç İşleri ve Kültür Bakanlığı nın ziyaretçi sayısını verdiğini belirtmişlerdir.
Türkiye de E-Devlet Uygulamaları: Devlet Web Sitelerinin Değerlendirilmesi Özlem Gökkurt-Bayram, Feryal Turan Çalışma Bakanlığı da bu sayıyı izleyen bir çoğunluk(12) tarafından aynı kritere uygun bulunmuştur. Sadece bir kişi bu görüş için Milli Eğitim Bakanlığı nı işaretlemiştir. Aynı değerlendirme kapsamında çoğunluk(13) Milli Eğitim Bakanlığı nın web sitesinde site dışı link(bağlantı) linklere yer verilmediğini belirtirken; ancak azınlık (1 ve 2 kişi) diğer kurumların web siteleri için bu bilgiye olumlu yanıt vermiştir. 8 Kullanım Kolaylığı Web sitelerinin kullanım kolaylığına ilişkin değerlendirmelerinde ilk olarak site içi bağlantıların/ bilgilerin güncelliği ele alınmıştır. Çoğunluk (15) Çalışma ile Milli Eğitim Bakanlıkları sitelerinin güncellendiğini doğrularken bu kriter için İç İşleri ve Kültür Bakanlığı en az sayıda kişinin (8) seçtiği siteler olarak belirlenmiştir. Aynı değerlendirme kapsamında siteyi sık kullananlar için kısa yolların bulunduğu başta Çalışma Bakanlığı (9 kişi) olmak üzere hemen tüm siteler için doğrulanmaktadır (7 kişi). Site içi bağlantılarla ilgili kapsam hakkında bilgi verilmesine ilişkin kriter için çoğunluk(12) İç İşleri ve Kültür Bakanlığı nı uygun bulurken; yakın bir çoğunluk (9) Çalışma Bakanlığı nın uygunluğunu doğrulamıştır. 9 Geri Bildirim Web sitelerinin kullanıcılarının geri bildirimlerini ne ölçüde dikkate aldığını ölçmek amacıyla, kullanıcının site hakkında görüşlerini bildirebilecekleri bir adres bulunduğunu doğrulayan değerlendirmede çoğunluk (13) tarafından Çalışma Bakanlığı işaretlenirken azınlıkta kalan kişi sayısı (5) Milli Eğitim Bakanlığı nı işaretlemiştir. 10 Erişim Web sitelerinin erişim açısından değerlendirildiği ilk durum erişimin hızlı olup olmadığıdır. Erişim hızı yönünden Milli Eğitim Bakanlığı çoğunlukça (12) ilk sırada yerini almakla beraber, diğer bütün kurumlar yine yakın bir çoğunluk tarafından (11) hızlı olarak değerlendirilmiştir. Kurum başlığının site adresinde yer 170 aldığına ilişkin ikinci seçenek için değerlendiricilerin çoğunluğu (16) Sağlık Bakanlığı nı işaretlemekle beraber diğer kurumlar için de yakın çoğunlukta kişi olumlu yanıt vermiştir. 11 Tasarım Web sitelerinin tasarımı ile ilgili değerlendirmede çoğunluk 10) İç İşleri ve Kültür Bakanlığı nın sitelerinin format ve grafik tasarımı bakımından konuyla uyum sağladığını bildirmiştir. Bu soruda en az sayıda kişi (6) Çalışma Bakanlığını uyumlu değerlendirmiştir. Değerlendirmenin tasarımla ilgili ikinci seçeneğinde, değerlendiricilerin çoğunluğu (9) Milli Eğitim Bakanlığı nın site sayfalarını yeterli kapsamda ve anlaşılır bulurken daha az sayıda değerlendirici(5) Çalışma Bakanlığı nı bu kritere uygun bulmuştur. Sitelerin tasarımında HTML kullanıldığına yönelik bilgilendirmede ise çoğunluk (16) yine Milli Eğitim Bakanlığı nı seçmekle beraber diğer kurumlar da birbirine yakın çoğunlukla bu kritere uygun bulunmuştur. Tasarım kapsamındaki son değerlendirme ise siteyi görüntülemede sadece metin ya da grafik yani alternatif erişim olanaklarının sunulduğunu doğrulayan bilgi ile ilgilidir. Bu değerlendirmede çoğunluk (8) Sağlık Bakanlığı nı işaretlerken azınlık (2) tarafından İç İşleri ve Kültür Bakanlığı bu kriteri doğrulayan kurumlar olarak seçilmiştir. 12 Site içi dolaşım Site içi dolaşıma yönelik değerlendirme kapsamındaki ilk seçenek websitesinin kullanıcının beklentilerine cevap verebilecek biçimde organize edildiğine ilişkin doğrulamadır. Çoğunluk(9) bu değerlendirmede Çalışma ve Milli Eğitim Bakanlığı nı işaretlemiş; en az kişi(2) ise Sağlık Bakanlığı nı uygun bulmuştur. Site içi tarama menüleri ve/veya site haritası gibi yönlendirme açısından uygunluğun değerlendirildiği ikinci kritere, Çalışma ve Milli Eğitim Bakanlığı çoğunluk(12) tarafından uygun gösterilmekle beraber diğer kurumlar da bu çoğunluğa yakın bir sayı (10) ile olumlu değerlendirilmiştir. Site içi dolaşıma
yönelik üçüncü değerlendirme seçeneği olarak çoğunluk(14) Milli Eğitim, İç İşleri ve Kültür Bakanlığı ile Sağlık Bakanlığı (13) için herhangi bir arama motoruna bu sitelerden erişime olanak tanındığı görüşünü paylaşırken, en az sayıda kişi (8) Çalışma Bakanlığı nı bu kritere uygun göstermiştir. Sonuç Araştırma kapsamında ele alınan Websitelerinin değerlendirmesindeki ilk konuyu Web-sitelerinin tanıtımı oluşturmaktadır. Websitesinin amacının, konusunun, bilgi kaynağı tarihi ve nasıl kullanılacağı hakkındaki bilgiler, kullanıcı için büyük önem taşıdığı açıktır. Nasıl kullanılacağı belli olmayan bir web-sitesi çok önemli bilgiler içerse bile kullanıcılar bu bilgilere kolayca ulaşamazlarsa sorunlar yaşanacağı açıktır. Değerlendirmede genel olarak tüm web-sitelerinin göreli olarak kritere uygun olduğu görülmüştür. İçerik yönünden amaç, misyon ve işlevlerin kriterleri karşılaması bakımından web siteleri arasında büyük bir benzerlik bulunmuştur. Web sitelerinin güncelliği konusunda değerlendiriciler arasında kurumların bilgilerini elektronik ortamda sıklıkla yeniledikleri konusunda bir görüş birliği vardır. Web sitesinin başlığı, alt başlığı, yazarları, bölümleri, sitenin tanımı, anahtar sözcüklerinin belirtilmesini kapsayan metadata ögelerinin kullanımına yönelik kriterde siteler arasında farklılıkların olduğu görülmüştür. Hizmetlerin internet ortamında herkesin ihtiyacına cevap verecek biçimde düzenlenmesine rağmen herkesçe erişilebilir olması kriterinde siteler arasında uyum bulunmamıştır. Web sitelerinin kişilerin kendilerinden özel bilgilerin istenmediğine ya da istenen bilgilerin gizliliğinin korunacağına ilişkin ifadelere yer verilmesi ile ilgili değerlendirmede tüm web inet-tr 06 - XI. "Türkiye'de İnternet" Konferansı Bildirileri 21-23 Aralık 2006 TOBB Ekonomi ve Teknoloji Üniversitesi, Ankara 171 siteleri tutarlılık göstermektedir. Bu nedenle web sitelerinin şahsi bilgiler bakımından güvenilir olduğu söylenebilir. Web sitelerinin hizmet verdiği konuyla ilgili olarak diğer sitelere erişime olanak sağlaması o konuda hizmet ya da bilgi ihtiyacı olan bireyler açısından önem taşırken bir yönden de o kurumun internette tanınmasına da olanak tanıyacak bir özellik taşımaktadır. Bu anlamda Milli Eğitim Bakanlığı dışındaki diğer tüm sitelerde ziyaretçi sayısının verilmesi yeterli olmamaktadır. Web sitelerinin kullanım kolaylığını belirlemek için site içi bağlantıların güncelliği ve her vatandaşı ilgilendiren bilgilere erişimin herkese açık olması önemli birer ölçüt olarak değerlendirilmektedir. Bu kapsamda güncellik bakımından Çalışma Bakanlığı diğer siteler arasında ilk sırada yerini alırken; diğer kriterler bakımından tüm kurumların siteleri birbirine yakın sonuçlar ortaya koymaktadır. Bu anlamda genelde sitelerin erişim açısından kullanım kolaylığı olduğu sonucuna varılabilir. Web sitelerinde kullanıcının site hakkında görüşlerini bildirebilecekleri bir adresin verilmesi, kullanıcılarının geri bildirimlerini ne ölçüde dikkate aldığını ölçmek bakımından önem taşımaktadır. Bu açıdan yapılan değerlendirmede diğer kurumlar arasında Çalışma Bakanlığı nın kullanıcıların geri bildirimlerine değer veren bir site olduğu söylenebilir. Değerlendirme kapsamındaki tüm kurumların web sitelerine erişim hızında bir sorun yaşanmamaktadır. Kurumların hepsinin açık adı site adreslerinde yer almaktadır. Web sitelerinin tasarımları değerlendirildiğinde teknik alt yapı bakımından tüm web siteleri standartlara uygun olmakla beraber içerik tasarımlarının kriterlere uygunluğu açısından Çalışma Bakanlığı sıralamada diğerlerinden daha düşük düzeyde yer almaktadır. Ancak site içi tarama menüleri ve/veya site haritası gibi yön-
Türkiye de E-Devlet Uygulamaları: Devlet Web Sitelerinin Değerlendirilmesi Özlem Gökkurt-Bayram, Feryal Turan lendirmelerin değerlendirilmesi bakımından kriterlere en uygun siteler Çalışma ve Milli Eğitim Bakanlıkları seçilmiştir. Sonuç olarak sitelerden biri bir kriteri karşılarken diğerini karşılayamayabiliyor. Kendi içinde kriterleri ortalama olarak yerine getirse bile genelde kendi aralarında tutarsızlık var; çünkü standart bir yapıdan söz edilemiyor. Bunun için her birinin tek bir portalda hizmet vermesi uygundur. Kaynakça [1] Bauer, Christian and Arno Scharl. 2000. Quentitative evaluation of web site content and structure. Internet Research. 10(1) : 31-41. [2] Benbunan Fich, Raquel. 2001. Using protocol analysis to evaluate the usability of a commercial web site. Information and Management 39 (2) December : 151 163. [3] Choi, JaeHwa and DallYong Kim 2004 A comperative analysis of automated web site evaluation tools. Proceeding of the Eighth Pacific- Asia Conference on Information Systems PACIS 2004, July 8-11 [online] 14 April [Accessed 14 April 2005] Available from <http:www.pacisnet.org/file/2004/s37-001.pdf> [4] Gonzalez, F.J. Miranda and T. M. Banegil Palacios. 2004. Quantitative evaluation of commercial web sites: an empirical study of Spanish Firms. International Jurnal of Information Management 24 (4) : 313-328. [5] Hwang, Gwo-Jen, Tony C.K. Huang and Judy C.R. Tseng. 2004. A group-decision approach for evaluating educational web sites. Computers and Education 42 (1):65 86. [6] Marsico, Maria De and Stefano Levialdi. 2004. Evaluating web sites: exploiting user s expectations. International Journal of Human- Computer Studies 60(3) March :381-416. [7] Smith. Alastair G. 1997. Testing the surf: Criteria for Evaluating Internet Information Resources. The Public-Access Computer Systems Review 8 (3) :1-13.Stufflebeam, Daniel L. 2001. Evaluation checklists: practical tools for guiding and judging evaluations. The American Juornal of Evaluation. 22 (1) : 71-79. [8] Susser, Bernard and Taeko Ariga. 2004. Teaching e-commerce Web page evaluation and design: a pilot study using tourism destination sites. Computers and Education 2005 (Article in press). Available online at www. sciencedirect.com [9] World Bank E-Government Website. (Erişim tarihi: 15 Ekim 2006) http://web.worldbank.org/wbsite/external/topics/ EXTINFORMATIONANDCOMMUNICATI- ONANDTECHNOLOGIES/EXTEGOVERN MENT/0,,menuPK:702592~pagePK:149018~ pipk:149093~thesitepk:702586,00.html 172