Akademik & Bilimsel Performans Değerlendirmesi Çalıştayı InCites (Web of Science) BOĞAZİÇİ ÜNİVERSİTESİ 06 Mart 2012

Transkript

1 Akademik & Bilimsel Performans Değerlendirmesi Çalıştayı InCites (Web of Science) BOĞAZİÇİ ÜNİVERSİTESİ 06 Mart 2012 THOMSON REUTERS & MİKRO BİLGİ A.Ş. Metin TUNÇ Mikro Bilgi A.Ş., Direktör

2 Gündem: Türkiye Üniversitelerinde Mevcut Akademik Değerlendirme Teknikleri Değişen Dünyada Yeni Değerlendirme Teknikleri Akademik Performans Değerlendirmelerinde Thomson Reuters InCites Çözümleri Canlı Demo: Araştırmacı, Bölüm ve Üniversite Performans Değerlendirmesi

3 Türkiye Üniversitelerinde Mevcut Akademik Değerlendirme Teknikleri

4 Türkiye de Mevcut Akademik Değerlendirme Teknikleri; OTORİTELER YÖK TÜBİTAK BTYK ÜAK TÜBA ÜNİVERSİTELER

5 Türkiye de Mevcut Akademik Değerlendirme Teknikleri; Yükseköğretim Kurumu - YÖK

6 Türkiye de Mevcut Akademik Değerlendirme Teknikleri; TÜBİTAK

7 Türkiye de Mevcut Akademik Değerlendirme Teknikleri; Bilim Ve Teknoloji Yüksek Kurulu - BTYK

8 Türkiye de Mevcut Akademik Değerlendirme Teknikleri; Üniversiteler Arası Kurul - ÜAK

9 Türkiye de Mevcut Akademik Değerlendirme Teknikleri; Türkiye Bilimler Akademisi- TÜBA Akademi Üyeleri ve TÜBA Bilim Ödülleri

10 Türkiye de Mevcut Akademik Değerlendirme Teknikleri; ÜNİVERSİTELER

11 Değişen Dünyada Yeni Değerlendirme Teknikleri

12 Değişen Dünyada Yeni Değerlendirme Teknikleri; YENİ GÖSTERGELER Bilimsel Yayın Göstergeleri; Yayın Sayısı, Atıf, Atıf/Yayın/h-index Category/Journal Expected Citation 2nd Generation Citation Percentile Collaboration Disiplinarity & Interdisiplinarity Akademik Ün & Ödül Göstergeleri; Alınan Ödüllerin Sayısı; A, B,C, grupları Ulusal Anketlerde Tanınırlık Oranı Uluslararası Anketlerde Tanınırlık Oranı Alana Özgü Tanınırlık Oranları Editörlük, Hakemlik, Organizasyon Görevleri, Eğitim Performans Göstergeleri; Verilen Ders Sayısı Ders Saati/Yıl Öğrenci Başarım (BSc, MSc, PhD) Mezunların Alanda İşe Yerleşim Oranı Teknoloji/Hizmet Dönüşüm Göstergeleri; Projeler Standart Geliştirme Katkıları Patent Geliştirme Katkıları İlgili Komite/Komisyon/Topluluk Üyelikleri

13 Değişen Dünyada Yeni Değerlendirme Teknikleri; YENİ TEKNİKLER Bilim Dalına Özgü Değerlendirme: Ana bilim dalları altındaki alt bilim dallarında önemli düzeyde ortalama farklılıkları söz konusudur: - Orthopedics ( ~2 mil makale, 14,20 atıf) - Neurosciences (~19 mil makale, 29,61 atıf) - Chemistry, Physical (~683 bin makale, 15,48 atıf) - Chemistry, Inorganic (~277 bin makale, 13,57 atıf) - Computer Science, Theory & Methods (~200 bin makale, 4,81 atıf) - Computer Science, Cybernetics (~21 bin makale, 7,91 atıf)

14 Faaliyet Grubuna (Sektörsel) Özgü Değerlendirme: Göstergelerin önem düzeyleri eğitim ağırlıklı veya araştırma ağırlıklı üniversiteler için büyük farklılıklar göstermektedir. Bu nedenle göstergelerin sektörsel duruma göre farklı biçimde ağırlıklandırılması gereği vardır: Araştırma Ağırlıklı Üniversiteler; Ana Gösterge: Bilimsel yayın Eğitim Ağırlıklı Üniversiteler: Ana Gösterge: Eğitim Göstergeleri

15 Yıl aralıklarına göre değerlendirme: Yıl aralıklarına göre önemli düzeyde farklılıklar söz konusudur: Yayınların atıf almışlık düzeyleri yayınlanma tarihine göre önemli düzeyde farklılıklar göstermektedir.

16 Bilim Dalına Özgü Değerlendirme: Yaş gruplarına bağlı önemli düzeyde farklılıklar söz konusudur: - h-index değeri genç yaş gruplarında düşüktür. Bu durum bölüm, fakülte ve üniversite performanslarına da yansımaktadır. - Akademik ün, eğitim performans ve bilimsel yayın göstergelerinin büyük çoğunluğu yaş grupları çerçevesinde daha isabetli sonuçlar ile değerlendirilir.

17 Coğrafik Farklılıklara Göre Değerlendirme: Coğrafik bölgelere göre önemli düzeyde farklılıklar söz konusudur. Bu farklılık bütün göstergelerde söz konusu olabilmektedir. Bu nedenle bölgesel ortalamalara göre karşılaştırabilirlik önem arz etmektedir.

18 Akademik Performans Değerlendirmelerinde Thomson Reuters InCites Çözümleri

19 Neden InCites? Yeni eğilimleri belirlemede ve karar vermede güçlü araçlara duyulan ihtiyacın büyümesi Güçlü ve zayıf noktaların belirlenmesine ve yatırımların doğru yerlere yapılmasına duyulan ihtiyaç Sağlanan kaynaklara ilişkin yapılan seçimleri doğrulamak ve yakalanan başarıyı gösterme ihtiyacı InCites ın sağladığı metrikler ile, bir kurumun verimliliğini ve dünya çapında basılı yayınlar üzerindeki etkisini etkili bir biçimde analiz edebilir, kaydedilen ilerlemeleri inceleyebilir, kurumun amaçlarını belirleyip finansal kararlar alabilirsiniz.

20 Bibliyometrik Tekniklerin Zorlukları Her disiplinin atıf verme davranışı birbirinden çok farklıdır Farklı bir disiplinin yayın performansını adil bir biçimde nasıl ölçebiliriz? Eski yayınlar genellikle daha fazla atıf alırlar Uzun bir yayın hayatı olan araştırmacıyı, nispeten daha kısa bir yayın hayatı olan araştırmacı ile en iyi biçimde nasıl karşılaştırabilirim? Kurumumuzda gelecek vadeden araştırmacıları nasıl belirleyebiliriz? Araştırmacısı fazla olan bir ülke, kurum ya da bölüm genel olarak daha fazla yayın yapar. Bunları adil bir biçimde nasıl değerlendirebiliriz? Atıf dağılımları oldukça dengesizdir. Tek bir gösterge kullanmak adaletsiz karşılaştırmalar yapmanıza sebep olabilir. 20

21 Veri VERĠ KAYNAĞI Thomson Reuters Uzmanlık ve İşlem Incites Web of Science Kurum Adres Girişleri Tespiti&Birleştirme Veri temizleme& Standardizasyon Normalizasyon ve Eşik Değerler Verisetlerinde Web of Science a ait bütün bilimsel atıf dizinleri 1981 yılından günümüze işlenmektedir. 21

22 GLOBAL TEMSĠL = WEB OF SCIENCE Region # Journals from Region in Web of Science Europe 6,082 50% North America 4,456 37% Asia-Pacific 1,031 9% Latin America 289 2% Middle East/Africa 200 1% Language # Journals in Web of Science English % Other %

23 KÜRESEL ÖLÇEKTE REFERANS: WEB OF SCIENCE Araştırma Kuruluşu 90 dan Fazla Ülke 23

24 OTORİTELER WEB OF SCIENCE VERİSİNİ KULLANMAKTADIR. Turkey: TUBITAK/ULAKBIM People s Republic of China: Chinese Academy of Science Japan: Ministry of Education, Ministry of Economy, Trade & Industry Germany: Max Planck Society, DFG, IFQ France: Ministry of Research, OST - Paris, CNRS United Kingdom: King s College London; HEFCE Russia: Russian Foundation for Basic Research (RFBR) European Union: EC s DGXII(Research Directorate) US: NSF: biennial Science & Engineering Indicators report (since 1974) Canada: NSERC, FRSQ (Quebec), Alberta Research Council Australian Academy of Science, CSIRO University rankings agencies

25 KARŞILAŞTIRMA TEKNİĞİ 2004 yılında Blood dergisinde makaleler ortalama 34,30 atıf almıştır. Hematology alanındaki makaleler 2004 yılında ortalama 18,83 atıf almışlardır. Bu çalışma konu alanında aldığı atıf bakımından yüzde 12,92 lik dilime girmektedir. Bu çalışma dergiden beklenen değerden 40/34,30=1,17 kat daha fazla atıf almıştır. Bu yayın konu alanından beklenen değerden 40/18,83=2,12 kat daha fazla atıf almıştır. 25

26 BİLİM DALINA ÖZGÜ DEĞERLENDİRME Computer Science Medicine Source: Thomson Reuters InCites 26

27 Özelleştirilmiş veri seti makaleleri, yazarları ve kurumsal işbirliklerini detaylı biçimde analiz etmenizi sağlar. Ulusal, bölgesel ve kurumsal düzeyde dünya çapında karşılaştırma ve genel analiz

28 Tüm veri setini ya da seçtiğiniz bir alt kümeyi kullanarak çeşitli raporlar oluşturabilirsiniz. Kaynak makale listesi her bir makale için Thomson Reuters ın sağladığı kolay anlaşılır analitik veriler ile gösterilmektedir. Atıf hesaplamalarına ek olarak, kalıcı etkiye işaret etmek ve 1. jenerasyon atıfların önemini göstermek için 2. jenerasyon atıflar da hesaplanmaktadır.

29 Performans metrikleri yıllara, doküman tiplerine ve kategori/ süreli yayınlara göre normalize edilmiştir.

30 Veri seti içerisindeki yayınların etkisine dair genel bir bakış açısı sağlar. Disciplinarity Index Eğer yayın grubu aynı disipline ait ise kullanılır. Interdisciplinarity Index Bu yayınların tek bir disipline mi ait yoksa multidisipliner mi olduğunun belirlenmesinde yardımcı olur.

31 Yayınlarda kaç tane yazar, kurum ve ülke işbirliğinde bulundu?

32 Percent articles above / below Expected level Ortalama eşiklere göre çeşitli göstergelerde kurum, alt birim veya kişi performanslarını kontrol edin. Veriler yıla, kategoriye ve doküman tipine göre normalize edilmiştir. Böylelikle performansın farklı düzeyleri kolayca belirlenebilir ve birkaç yıl ve disiplin ile karşılaştırılabilir.

33 Time Series yıllık trendleri incelemek için kullanılır, Genel olarak verileri 1981 den günümüze olarak sağlıyoruz, fakat bu ekranda sadece 6 yıl için seçtik.

34 Araştırmacının performansını sadece tek bir gösterge türü ile değil bütün göstergeler ile eksiksiz inceleyin. Çeşitli sıralama (ranking) araçları en iyi performansı sergileyen yazarı belirlemek gibi belli bir alana odaklanmak için kullanılır. Araştırmacılarınız farklı konu alanlarına odaklansa ve farklı uzunlukta yayın geçmişlerinin olsa dahi verilerin normalize edilmesinden dolayı karşılaştırılabilirler.

35 Altı çizili verileri incelemek ve yazarlar arasında karşılaştırma yapmak için linkleri tıklayarak ek raporlara ulaşabilirsiniz.

36 Kurumsal Sıralama (Institutional Ranking) kurumunuzu ive işbirliği içinde bulunduğunuz kurumları içerecektir. Bu işbirliğinin performansını inceleyerek bilimsel işbirliklerine yönelik planlamanızda yardımcı olur. Tek bir kurum için kullanılan bütün göstergeler bir arada kurumların performanslarına dair daha doğru bir tanımlama yapılır. Veriler normalize edildiğinden dolayı belirli bir konu alanına dair performanslar dahi karşılaştırabilirsiniz.

37 Atıf veren makaleler (Citing Article) raporları bilimsel yayınlarınızı takip eden kitleye yönelik inceleme yapmanıza olanak sağlar. Hangi kurumun, yazarın vb. sizin çalışmanızdan etkilendiğini hızlı biçimde belirleyin Potansiyel işbirliklerini ve rekabetleri belirleyin

38 Belli bir amaca yönelik raporlar oluşturmak için özelleştirilmiş alt kümeler yaratabilmek mümkündür. Örneğin belli bir bölümdeki ya da belli bir konu alanındaki tüm yazarların performansları inceleyebilirsiniz.

39 Bütün raporlar bir önceki sayfada oluşturulan özel alt kümeler için oluşturulabilir. Tüm raporlar kolayca kaydedilip daha sonra kullanmanız için ya da farklı verilerle kullanmanız için dışa aktarılabilir.

40 Compare country / territories Veriler tek bir yerde tüm göstergeler ile çizelge halinde sunulmaktadır. Grafikler verilerin anlaşılmasını kolaylaştırmaktadır. 40

41 Ülkeleri ve Bölgeleri Karşılaştırın Yayın sayısı yerine impact i kullandığımızda, Lübnan yayınlarının en etkin yayınlar olduğunu görüyoruz. 41

42 Ülkeleri ve Bölgeleri Karşılaştırın Araştırma performansının yıllara göre nasıl değiştiğini görmek için Trend graphs (Eğilim grafikleri) oluşturmak çok kolay 42

43 Ülkeleri ve Bölgeleri Karşılaştırın Normalize edilmiş metrikler daha anlaşılır karşılaştırmalar için kullanılmaktadır. Bu örnekte seçilmiş ülkelerin atıf etkisini normalize edilmiş dünya ortalaması ile birlikte görebilirsiniz. 43

44 Ülkeleri ve Bölgeleri Karşılaştırın Çeşitli bölgesel gruplar: Avrupa ya da Asya Pasifik 44

45 INSTITUTIONAL COMPARISONS (KURUMSAL KARŞILAŞTIRMALAR) 45

46 Araştırmalarımızı rakiplerimizle nasıl karşılaştırabiliriz? Toplam Makale Sayısı % Dünyadaki Makaleler Dünya Ortalamalarına göre etkileri 46

47 Araştırmalarımızı Rakiplerimizle Nasıl Karşılaştırabiliriz? Nanoscience & Nanotechnology: % Organizasyondaki makaleler Atıf Etkisi 47

48 Kurumumuzun araştırma odağı nasıl değişiyor? Kurumun değişen araştırma odakları analiz edilebilir. Üstteki grafikte seçilen alanların araştırma çıktılarını, alttaki grafikte ise aynı alanlardaki etkilerini görebilirsiniz. Malzeme Bilimi ve Mühendislik alanlarında değişen odağı görebilirsiniz. Kimya ve Çevre/Ekoloji yayınlarının yükselen etkilerini de görebilirsiniz. 48

49 Tüm raporlar kişisel olarak kaydedilebilir ya da klasörlerde paylaşılabilir ve periyodik olarak yeniden çalıştırılabilir.

50 Rapor ve verilerin farklı dışa aktarım biçimlerini kullanabilirsiniz. MS Excel PDF Verileri kendi bilgisayarlarınıza aktararak sonuçları ve raporları kendi lokal analiz araçlarınızda kullanabilirsiniz.

51 Canlı Demo Canlı Demo Canlı Demo Araştırmacı Bölüm Üniversite

52 Soru Cevap

53 Teşekkürler...