dbwiz: Akademik Kütüphaneler İçin Açık Kaynak ve Birleşik Tarama

Transkript

1 dbwiz: Akademik Kütüphaneler İçin Açık Kaynak ve Birleşik Tarama Özetçe: Amaç: Bu yazının amacı, gelişen açık kaynak toplu tarama faaliyetlerinin uygulamalarını tanıtmaktır. Bu yazıyla sadece dbwiz ile ilgilenip geliştirilmesi planlanmamış aynı zamanda diğer açık kaynak projeleri hatta tamamlanmış olanlarla birlikte, Simon Fraser Üniversitesi ve dünyadaki diğer kütüphaneler de dahil edilmiştir. Plan/Method/Yaklaşım: Bu yazıda açık kaynak ve toplu tarama ile ilgili literatür yeniden gözden geçirilerek, diğer toplu tarama yöntemleri incelenmiş ve Simon Fraser Üniversite Kütüphanesinin gelişim süreci tanımlanmış. Sonuçlar: Bu yazıda kütüphaneler için açık kaynak ve toplu tarama araçlarını geliştirirken karşılaşılan zorluklar ile bunların yararları tartışılmıştır. Örnek olay olarak ele alınan açık kaynak gelişim modeli ile birleşimin gücü gösterilmiştir. Orijinallik Değeri: Toplu tarama, halk kütüphaneleri ve akademik kütüphaneler için yeni bir ürün olarak önemli olmaya başlamıştır. Bu yazı ile maliyetleri düşüren ve kaliteyi arttıran açık kaynak ve toplu tarama araçlarının gelişiminin, kütüphane sektörü için bir alternatif olarak anlatılmaktadır. Anahtar Kelimeler: Bilgiye erişim, Kütüphane sistemleri, Akademik kütüphaneler, Bilgisayar Yazılımı Yazı Türü: Teknik Yazı. Giriş: Üniversite ve Kolej Öğrencileri Farklı veritabanlarına giriş yapıp, farklı ara yüzlerden geçerek; farklı tarama fonksiyonlarıyla uğraşmak ile Google ın basitliği ve açık webten araştırma materyallerini bulma arasında seçim yapmak durumunda kalmaktadırlar. Toplu tarama Akademik kütüphanelerin acemi kullanıcılarına, tarama faaliyetleri sonucu elde ettikleri bilginin yüksek kalitede olmasını sağlama adına bir yol göstermektedir. dbwiz açık kaynak toplu tarama aracı halen Simon Fraser Kütüphanesi ile üniversiteye bağlı dokuz enstitü tarafından geliştirilmektedir. SFU kütüphanesi birkaç yıldır özellikleri GODAT bağlı araştırıcı yazılımını bünyesinde bulunduran açık kaynak yazılımı geliştirmektedir. Bu makale ile dbwiz in gelişim sürecine, yazılımın

2 fonksiyonelliğine genel bir bakış sağlanmaktadır ve projenin yaraları ile karşılaşılan zorluklar tartışılmıştır. Toplu Tarama: Toplu tarama; üst veri tarama, yayılımcı tarama, çapraz tarama ve diğer farklı isimlerle de bilinir. Toplu tarama, farklı bilgi kaynaklarını tek bir arayüzden tarayıp tüm sonuçları getiren bir sistemdir. Google dan önce farklı kütüphanelerin kataloglarını tek bir arayüzden tarayan Z39.50 türündeki tarama araçları mevcuttu ancak web in yayılmasıyla ve Google ın bu alanda faaliyet göstermesiyle bu türdeki tarama araçlarının hiç olmadığı kadar önemli hale geldi. Google ın kullanımı kolay ve hızlı olan ve neredeyse her zaman yeteri kadar iyi sonucu getirebilecek bir standardıvardır. (Luther, 2003). Giderek artan bir şekilde bir çok kütüphane kullanıcısı, giriş izni gerektiren kütüphane koleksiyonunu göz ardı ederek, sadece bu arama motorunun gücüne güvenmektedirler. Google ın bilgi teknolojileri incelendiğinde ise daha önce sistemlerin hiç olamadığı kadar etkin bir şekilde birlikte çalışabilme kabiliyetlerinin mevcut olduğu görülecektir. Kütüphaneler bu durumda yapması gereken dbwiz gibi toplu tarama araçlarını kullanarak taramalardaki sonuç sayısını ve kalitesini arttırabileceklerinden emin olmaktır. Projenin Arka Planı: dbwiz temel olarak öğrencilerin araştırma faaliyetlerinin başlangıç noktasında karar vermelerine yardımcı olabilmek için geliştirilmiştir. Prairie ve Pasifik üniversite kütüphaneleri nin oluşturduğu konsorsiyum (COPPUL) kullanıcılarının acemiliği; giderek artan çevirimiçi veritabanlarının baş edilemeyecek rakamlara ulaşması ve bunlar için gereken araçların ve kütüphanecilerin yokluğuyla karşı karşıya kalmıştır. Simon Fraser Üniversite kütüphanesi deneyimiyle Z39.50 yi geliştirerek GODOt u ve kütüphaneler arası tarama ve istek sistemini kazandırmış ve böylece dbwiz in birinci versiyonu geliştirilebilmiştir. Dbwiz versiyon bir açık kaynak birleşik tarama aracı, çalışma biçimi şu şekildedir; Kendi arayüzümüzden ve bizim seçtiğimiz veri tabanlarından tarattırdığımız ilgili konuyu toplu bir şekilde tek bir ekrandan kullanıcıya sunar. Örneğin, dbwizz den akıl kelimesini taratalım. Bizim seçtiğimiz veri tabanlarından fulltexti olanları bize getirecektir.(şekil 2 ye bakınız)

3 Şek:1 İkinci Sürüme Geçiş : Bir çok mevcut durumdaki birleşik tarama araçları ki bunlra dbwiz in 1. versiyonu da dahildir; bir toplu tarama aracında olması gereken yedi temel özellik belirlenmiştir. Bunlar aşağıda sıralanmıştır. 1) Toplu tarama sonuçlarına erişen ve bunları getiren. 2) Önceki taramalardan gelen sonuçları ayırmak (ABI/ INFORM/ CBCA) VE DİĞERLERİ. dbwiz in birinci versiyon bunu yapamıyordu. 3) Tam metine veya atıfa direk link sağlamak. 4) Sonuçları sıralamak. 5) Yazar, eser adı ve konusal taramalara olanak sağlamak.

4 Şek:2 6) Sonuçları akademik konulara, tam metinine veya tarihine göre sınırlayabilmek. 7) Boolean mantığının eklenmesi. Taslak: Yukarıda sıralanan temel özellikler dbwiz in birinci versiyonunda maliyet analizleri açık bir şekilde tamamlanarak protipi başarılı bir şekilde ortaya konmuştur. Batı Kanada da ki Kütüphanelerle birlikte bu yeni ürünü desteklemek ve geliştirmek için ortaklaşa yaklaşım sergilenmiştir yazında dokuz üye kuruluşun kendi bütçeleri ölçüsünde destekleriyle yaratımı sonuçlandırılmıştır. Her üye kuruluş, en baştan sonuna kadar kendi dbwiz profilini kütüphanesine kurarken gelişim süreçlerinde danışma hizmeti almıştır ve bir yıl boyunca destek hizmeti sağlanmıştır. Projenin sürdürülebilmesi için ortaklığa dahil kütüphanelerin her biri yıllık cüzi bir ücret ödemeyi de kabul etmiştir.

5 Geliştirme takımı: Projenin tamamlandığını görebilmek için bir bütçesi olan dbwiz geliştirme takımını yaratabildik. Bu takım beş üyeden oluşmaktadır. Bunlar; yazılım üstünde tam zamanlı çalışan programcılar, projenin sorumluluğunu üstlenen ve aynı zamanda başka görevleri de olan kütüphanecileridir. Bu üyelere dahil olanlar: Sistem koordinatörleri, projenin genel sorumluları: Program lideri nin Program sorumluluklarından biri programın yazılımından özellikle tarama süreçlerinden ve ara yüzünden sorumludur, diğer bir sorumluluğu öncelikli olarak farklı tarama bileşenleri geliştirmektir. Sistem kütüphanecilerinin görevleri ise; ortak kütüphanelerle birlikte çalışmak, onlardan geri bildirim almak, güncellemeleri sağlamak ve bunun yanı sıra dokümantasyon ve uygulama asistanlığı yapmaktır. Bu projenin araştırma aşamasından yazılım haline gelene kadar geçirilecek toplam süreç 18 aydır. Kaynak listesi: dbwiz versiyon iki için başlangıçta seçilen öncelikli kaynaklar listesi veritabanı 9 üye kuruluş tarafından paylaşılmaktadır, Bunlara dahil olan temel kaynaklar; önemli süreli yayınlar indeksi, elektronik gazete kaynakları ve elektronik kitaplardır. Tüm ortaklar COPPUL konsorsiyumunun üyesi durumundaydılar ve buradan bir çok kaynak aktarılmıştır. İlk seferinde, ana üyeler tarafından daha küçük veri tabanları paylaşılmıştır. Sonunda kütüphane katalogları, yerel enstitü arşivleri, Simon Fraser karikatür arşivi Vancouver halk Kütüphanesi tarihsel fotoğraf koleksiyonu ve bunun gibi önemli, tekil ve yerel veri tabanları eklenmiştir. Tarama Bileşenleri: İlk olarak hedeflediğimiz veri tabanları üzerinde karar kılarak yola çıktık. Daha sonra farklı tarama bileşenlerine odaklanılarak versiyon ikinin programlanmasına başlayabildik. [küçük Perl Modülü ile yazılan(programlanan)] Bu bileşenler(eklentiler) dbwiz i diğer muhtelif çevirimiçi veritabanlarıyla iletişim kurabilmesi, onları anlayabilmesi ve sonuçları kaynaktan alıp getirebilmesi için gereklidir. Güncel eklentiler Perl ile yazılmasına rağmen; Java, Pyhton gibi farklı dillerde de yeni eklentiler yaratılması mümkün olabilirdi. İki çeşit erişim mekanizması vardır; Aracı firma desteği ki dbwiz in diğer veri tabanlarıyla etkileşim kurabilmesini bu sağlamıştır. Bu abone olduğumuz temel ticari kaynakları tanımlar. Aracı firma; webteki diğer veritabanlarına erişim sağlamaz. dbwiz gibi bir veritabanını taramak için; tarama bileşenleri kişinin taradığı veritabanını gösterir, fakat sonuçları web

6 web tarayıcısına göndermek yerine dbwiz tarafından ayrıştırılarak getirilir. Bu yöntemin çalışmasına rağmen bakım gerektirir. Eğer aracı firma değişirse tarama sonuçları ne tür bir yöntemle gösterilecek? Bu durumda dbwiz bileşenlerinin modifikasyonu gerekecektir. İkinci erişim mekanizması yaygın olarak AIP olarak bilinen doğrudan arayüz uygulama programıdır. AIP aracı firmanın veritabanına bağlanmak için kendi yazılımını nasıl oluşturulacağını gösteren talimatlardan oluşur. AIP ler yaygındır fakat sınırsız değildir. Z39.50 erişim yöntemi taranacak ve sonuçları nerden getireceği bir arayüzle belirli olduğundan beri en güvenilir olanıdır. dbwiz örümcekleri taramalarını AIP nin kurallarına göre yapar ve sonuçları böylelikle getirir den bu yana dbwiz in ikinci versiyonu için 100 den fazla AIP yazılmıştır. Eşzamanlı Tarama dbwiz, Eşzamanlı Tarama olarak bilinen paralel tarama motorunu kullanır. dbwiz basit nesne erişim prtokolü(soap) ile eşzamanlı tarama sunucusuyla iletişim kurar. SOAP ın kullanılma nedeni basit(lightweight) olmasındandır. SOAP XML e dayanır ve http kullanır. Aynı protokol worldwideweb te olduğu gibidir. Klasik bir taramada şu adımlar takip edilir.. 1) dbwiz kullanıcı arayüzünde bir kullanıcı taramasında tipik bir taramada olduğu gibi ara butonuna tıklar. 2) dbwiz, SOAP aracılığıyla eşzamanlı tarama sunucusuna kullanıcısının seçtiği ve taratılmasını istediği kaynakları gönderir. 3) Eşzamanlı tarama sunucusu istediğimiz her bir kaynağa uygun tarama bileşenleriyle bakar 4) Eşzamanlı tarama, sonuçlarıyla kaynaktan çıkararak dbwiz e döner ve kullanıcının üzerinde sınırlandırarak karar kıldığı sonuçları getirir. 5) dbwiz tarama sonuçlarını toplar ve kullanıcıya sunar. Resmi onay(kimlik denetimi) yetkilendirme Tipik bir dbwiz yüklemesinde taramalar lisanslı veri tabanı ve kaynaklara dayanır. Bu kaynaklar kurumların IP adresleriyle onaylanır veya kısıtlanır.

7 dbwiz EZproxy yi kullanır. URL Proxy sunucuları diğer bir kurum adına kaynakları taraması için tekrar yazılır. dbwiz hangi kurumun dbwiz kullanıcısı olduğunu anlayabilmek için IP adereslerini kullanır. Eğer ortak kurumun dbwiz kullanıcısının IP adresi eşleşmiyorsa sadece veritabanlarını tarayabilecek ve sınırlandırılmamış kaynaklara erişebilecektir. Eğer kullanıcı evindeki internet bağlantısından kaynaklara erişmek isterse Ip sini dbwiz tanımayacaktır. Bu durumda kullanıcı dbwiz den tarama yapabilmek için ortak kurumun Proxy sunucusundan bağlanmak durumunda kalacaktır. Tarama Süreci Birleşik tarama aracı olarak; dbwiz taranacak sözdizimlerini tek bir arayüzden farklı arayüzlerde taranmak için uygun hale getirmesi gerekir. Kaynakların Tarama sözdizimleri birbirinden çok farklıdır. dbwiz için en az tarama fonksiyonunu bulundurmak adına; bizim taranmasını istediğimiz ve yeteri kadar yaygın olan özellikleri barındıran kaynakları seçmek zorunda kalınmıştır. Sonuç olarak; dbwiz şu dizinleri tarar: anahtar kelime, eser adı, yazar adı, konu. Eğer taranacak kaynak hedef yazar adı, konu ve eser adını desteklemiyorsa dbwiz genel olarak anahtar kelimeyi kullanır. Sistem zamanı da göz önünde bulundurmak zorundadır. Dbwiz!in tarama aracı olarak kullanışlı olabilmesi için makul bir zaman aralığında sonuçları getirmek zorundadır. dbwiz bütün kaynakları eş zamanlı olarak tarar ve son olarak hangi sonuçları getireceğini zaman aşımı stratejisine göre karar verir. Alınması uzun sürecek olan kaynakları listeden çıkartır. Tarama Arayüzü: 2005 şubat ayından itibaren yeni kullanıcı ara yüzü yaratılmıştır ve bu da Perl ile yazılmıştır. Tarama ara yüzü Apache/Mod_Perl ile çalışmaktadır. Temel amaç dbwiz in kullanıcıların arzularına göre hazırlanmasıdır. dbwiz üç farklı şekilde taranabilir. İlk olarak kullanıcı farklı kategorideki kaynakları önceden seçer.(bknz şk:3) Bilgisayar bilimler kategorisini seçtiğinizde farklı türdeki kaynakları sadece bu konuyla ilgili olanları getirecektir. Buna dergi, makale, e kitaplar, ansiklopedi, sözlük gibi farklı türdeki kaynaklar dahildir. Kütüphaneler Özel konudaki koleksiyonlara odaklanarak kullanıcıların aradıkları konularda aldıkları sonuçların ilgililiğini arttırmaya yardım etmektedirler.

8 İkinci olarak, kullanıcı tek bir kaynağı taramak için seçebilir.(bknz. Şk:4) Bu tercihte kullanıcı birbirine benzer sonuçlar almak istemektedir ve bu tercihte önceki tarama deneyimlerinin de etkisi vardır. Şek:3 Şek:4

9 Son olarak; kullanıcı dbwiz arayüzünden tarama alanına hiçbir kriter belirlemeden erişim öğesini girerek tarama yapar. Bu durumda dbwiz bununla ilişkilendirdiği en uygun kaynakları getirir.(bknz:şek5) Şek:5 Bu 3 tarama yönteminde de kullanıcılar Boolean( and or not) operatörlerini kullanabilmektedirler. Sonuç Arayüzü: Tek bir aramada sonuçlar bütünleştirilmiş olarak farklı kaynaklardan alınarak getirilir.bir kütüphane her bir kaynaktan kaç tane(10 20 yada daha fazla) sonucun geri getirilebilleceğine karar verebilir. Sonuçlar her bir ayrıştırma seçeneğine göre kütüphanenin tercih ettiği şekilde gösterilir. Genellikle sonuçların tarihlerine göre sıralandırılması yaygın olarak kullanılsa da eser adına, sonucun geldiği kaynağa, bilgi kaynağının kendisine göre sınırlandırılması mümkündür. Ayrıca ilgilik düzeyinin ne ölçüde anlamlı olabileceğine karar verilebilir. Bir kullanıcı için ilgili olabilecek bir şey başka bir kullanıcı için anlamsız olabilir.(tennat 2003) Google arama sonuçlarını tarihe kaynağa veya diğer ilgililik formatlara göre getirmez. Geliştirdiğimiz sistemlerin

10 kullanıcılarımız beklentileri doğrultusunda çalıştığından emin olmak durumundayız. Tarama sonuçlarından gelen her bir kayıt o bilgi kaynağı hakkında yeteri miktarda bilgi içerir. Bunlar: eser adı, yazar, tarih, dergi adı gibi bilgi kaynağının tanımlayıcı unsurlarıdır ve ayrıca kayıtlar belirli tarih aralıklarına, akademik olup olmamasına yada her ikisine, tam metin içerip içermesi veya yine her ikisine göre de sınırlandırılabilir. Şek:6 dbwiz orijinal kayda yerel arayüzden direk linkle de erişim sağlar. Bu linkler kesindir; kullanıcı için kolay ve hızlı erişim sağlar. İdari(Yönetimle ilgili) Arayüz: Yönetim arayüzü, kütüphanelerin dbwiz profiline göre kendi tarama kategorilerini yaratmalarına, istedikleri kaynakları hızlı ve kolay bir şekilde eklemelerine yada silmelerine izin verir. Yönetim ara yüzü GODAT tan ve Simon Friser Üniversite kütüphanesi Açık kaynak link harmanından kaynak kodu ödünç alınmasına izin verir, Yönetim ara yüzünün parametre ve ayarları postgresql veritabanı tarafından depolanır. Dbwiz in sadece kullanıcılar için hızlı ve kolay kullanımlı değildir; aynı zamanda sistem bakımını yapan, yeni kaynaklar ekleyen veya silen kütüphane personeli içinde kolay kullanımı olan bir ara yüze

11 sahiptir. Kütüphane personeli yönetim ara yüzünden giriş yaparak tüm kaynak listesine erişebilir ve buradan istediği bir tanesini aktif edip yerel koleksiyonuna ekleyebilir.(bknz şek;7) Konuya dayanan yada başka bir kategori öğesine göre yeni eklentiler basitçe yapılabilir.(bknz şek 8) Ayrıca kendi yerel koleksiyonumuzdan kaynaklarla ilgili yeni kategori terimleri de eklenebilir.(bknz şek 9) Sonuç olarak; şablonlar ve şekil biçimlerinin(bknz şek:10) hepsi kütüphanelerin tercih ettiği yönde kişiselleştirilebilir. Ayrıca kütüphane kendi dbwiz nin font ayarlarına rengine; bilginin ekranda gözüküş şekline müdahale edebilirler. Ayrıca tüm bu değişikleri transfer etmeden önce nasıl çalıştığını da test edebilirler. Şek:7

12 Şek:9 Şek:8

13 Şek:10 Uygulama: dbwiz in gelişimi ortak kütüphanelerden gelen geri bildirimler doğrultusunda 2005 yazı boyunca da sürmeye devam edecektir. Bu projeyi akademik yıl başlamadan önce bir ön görü alabilmek için 2005 temmuz ayında uygulamaya konacaktır. Aynı yılın sonbaharında kaynak kodları ibra edilerek herkesin dbwz indirmesine, üzerinde değişiklik yapabilmesine açık hale getirilecektir. Bu ürünün kütüphaneler arası iletişimi daha da güçlendireceğine, dbwiz in çok faydalı bir çalışma olduğuna ve bunu bize en kısa sürede ispatlayacağına içtenlikle inanıyoruz. Karşılaşılacak Sorunlar: Karşılaşılabilecek en önemli sorunlardan bir tanesi birleşik tarama aracı yaratmak, lokal sistemin birbirinden farklı bir çok muhtelif sistemle birlikte çalışabilme yeteneğine kavuşturmak olacaktır. Diğer bir önemli sorun ise tarama bileşenlerini farklı sistemler için oluşturmak ve uygulamaktır. Sistemin birbirinden farklı kaynaklar için farklı taramam bileşenlerine ihtiyacı vardır. Ayrıca bu kaynakların kendi içinde de zamanla değişeceği düşünülerse sistemin bununla baş etmesi mümkün

14 olmayacaktır. Bu yüzden geliştirilecek sistemin değişiklikleri algılayıp hataları ve farklılıkları raporlayabilecek bir şekilde otomatikleştirilmesi gerekecektir. Diğer bir sorun ise kaynakların standartlara uymamsı ve bunlar için farklı tarama bileşenlerine gerek duyulması olacaktır. Yine taranacak koleksiyona eklenecek ve çıkarılacak kaynaklar da sistemin güncelleştirilmesi gibi sorunlar karşılaşılabilecek diğer önemli sorunlardandır. Projenin Anlamı: Tüm bu zorluklara rağmen geliştirilen dbwiz in bir çok önemli ve faydalı sonuçları olmuştur. Google kullanıcılarına kütüphanelerimizin zengin içeriği gösterilebilmiş, onlara tahmin ettiklerinden daha fazlasını sunabileceğimiz kanıtlanmış oldu. dbwiz projesinin diğer bir önemi kütüphaneler arası ortaklaşa çalışmaları en üst düzeye çıkarmış olmasıdır. Projeye katılan kütüphaneler kendi bütçe ölçülerinde destekte bulunmuşlardır. dbwiz projesiyle ayrıca açık kaynak geliştirme modelinin gücü ortaya konmuştur. dbwiz in oluşturulmasında, web sunucusu için Apache; veritabanları için mysql ve postsql; programlama dili olarak Perl kullanılmıştır. Tüm bu kaynakların hepsi açık kaynaklar arasında en sağlam ve güvenilir olanlarıdır. Sonuç olarak; dbwiz çok yeni bir ürün olmasına rağmen, kütüphane sektöründe açık kaynak unsurları en kısa sürede olgunlaşacaktır. Ortak kurumlar tarafından bir çok yeni gelişim unsuru, güvenlik önlemleri bulunarak sisteme eklenecektir. Ve yıl tamamlanmadan dbwiz prototip halden tüm fonksiyonlarıyla çalışabilen toplu tarama aracı olma haline gelecektir. Bu başarının sonuçları toplu tarama projelerine, açık kaynak modellerine ve kütüphane işbirliklerine yansıyacaktır. References Abram, S. (2005), The Google opportunity, Library Journal, Vol. 130 No. 2, pp Hane, P. (2003), The truth about federated searching, Information Today, Vol. 20 No. 9, p. 24. Luther, J. (2003), Trumping Google?, Metasearching s promise, Library Journal, Vol. 128 No. 16, pp National Information Standards Organization (2005), Metasearching Initiative, available at: (accessed 17 March 2005). Tennant, R. (2003), The right solution: federated search tools, Library Journal, Vol. 128 No. 11,

15 pp Webster, P. (2004a), Breaking down information silos: integrating online information, Online, Vol. 28 No. 6, pp Webster, P. (2004b), Metasearching in an academic environment, Online, Vol. 28 No. 2, pp Appendix. Additional resources Apache Software Foundation (2005), Apache, available at: (accessed 17 March 2005). Free Software Foundation (2005), The GNU General Public License, available at: licensing/licenses/index_html#gpl (accessed 17 March 2005). MySQL AB (2005), MySQL, available at: (accessed 17 March 2005). Perl Foundation (2005), The Perl Directory, available at: (accessed 17 March 2005). PostgreSQL Global Development Group (2005), PostgreSQL, available at: (accessed 17 March 2005). Simon Fraser University Library (2005), dbwiz Project Wiki, available at: ca/twiki/bin/view/dbwiz/ (accessed 17 March 2005). Simon Fraser University Library (2005), The researcher, available at: (accessed 17 March 2005). Useful Utilities (2005), EZproxy by Useful Utilities, available at: (accessed 17 March 2005). Wardley, A. (2004), Template Toolkit, available at: (accessed 17 March 2005). Önemli Link: