Bibliyometrik Ölçevlerin Akademik Yükseltme, Araş9rma ve Yayın Desteği İçin Kullanımı

Transkript

1 Bibliyometrik Ölçevlerin Akademik Yükseltme, Araş9rma ve Yayın Desteği İçin Kullanımı Yaşar Tonta Hace%epe Üniversitesi Bilgi ve Belge Yöne4mi Bölümü Beytepe, Ankara Hace%epe Üniversitesi Spor Bilimleri Fakültesi, 4 Mayıs 2015, Beytepe, Ankara

2 Plan AraşPrma değerlendirme Akademik performans (öğre4m üyeliğine yükseltme) AraşPrma ve yayın desteği Bibliyometrik ve bilimetrik (scientometric) ölçevler (measures) Dergi etki faktörü H dizini Bibliyometrik ölçevlerin araşprma değerlendirmede kullanımı Sonuç

3 Türkiye de üniversite ve yayın sayıları 185 üniversite (2014 bütçesi 16,9 milyar lira) öğrenci öğre4m elemanı ( öğre4m üyesi) kitap %14 ü (7171) akademik kitap 1679 bilimsel akademik dergi DergiPark (ULAKBİM) 597 açık erişim dergi açık erişim makale Web of Science Toplam yayın sayısı: (dünyada 18. sırada) Türkiye de yayımlanan dergi sayısı: 70 Kaynak: h%ps://ista4s4k.yok.gov.tr/; h%p://tuik.gov.tr/pretablo.do?alt_id=1086; Kozak, 2014; h%p://dergipark.ulakbim.gov.tr; h%p://webofscience.com

4 Türkiye'nin yayın sayısı Yıl Yayın sayısı Kaynak: h%p://webofscience.com, 26 Nisan 2015

5 AraşPrma değerlendirme Akran değerlendirmesi Ekonomik göstergeler (ör., GSMH nin AR- GE ye harcanan yüzdesi, Frasca- Manual for the Measurement of Scien-fic and Technical Ac-vi-es) Akademik performans Öğre4m üyeliğine yükseltme AraşPrma ve yayın desteği AraşPrma desteği (ör., Research Excellence Framework (REF) Yayın desteği (ör., TÜBİTAK, üniversiteler)

6 Etki faktörü takınpsı Kaynak: Hicks ve diğerleri, 2015, s. 431

7 Dergi Etki Faktörü (DEF) APf dizinleri (cita4on indexes) Web of Science (WoS) Journal Cita4on Reports (JCR) Dergi etki faktörü (Journal Impact Factor) Kütüphanecilere koleksiyon geliş4rmede yardımcı olmak amacıyla geliş4rildi Bir dergide çıkan yayınlara yapılan ortalama apf sayısı (apf sayısı / yayın sayısı) IF 2 = 4,699 IF 5 = 5,009

8 DEF niçin iyi bir ölçev değil?

9 Çarpık dağılımlar derginin %43 ünün DEF i 0 ile 1 arasında (2012 JCR) Türkiye kökenli fen dergilerinin %90 ının, sosyal bilim dergilerinin ise tamamının DEF i 0 ile 1 arasında (FB ortanca: 0,396, SB ortanca: 0,246) Türkiye Hiç apf almayan yayınlar Kaynak: Al ve Soydal, 2014; Casadevall ve Fang, 2014; Hicks, 2015; Seglen, 1997; Sgroi ve Oswald, 2013, s. F256; Tonta, 2014a, 2014b, 2015; SCImago, 2015, h%p://

10 Kaynak: Al ve Soydal, 2014; Casadevall ve Fang, 2014; Hicks, 2015; Seglen, 1997; Sgroi ve Oswald, 2013, s. F256; Tonta, 2014a, 2014b, 2015; LSE, 2011, s. 26 Yayın ve apf örüntüleri farklı Ekonomide en çok apf yapılan makalenin apf sayısı 60, Fen Bilimlerindekinin ise > 1000 ( ) En yüksek DEF Matema4k dergileri için 3, Doku Biyolojisi dergileri için 30

11 Değişen yayıncı poli4kaları Thomson Reuters ın 2006 daki genişleme kararı DEF in manipülasyona açık olması JCR deki dergi sayısı Kaynak: Al ve Soydal, 2014; Tonta, 2014a, 2014b

12 DEF akademik performans ölçümlerinde kullanılmamalı Çünkü tek tek makalelerin kalitesini ölçmüyor Ama sıklıkla akademik yükseltme kararları DEF e dayanarak veriliyor YÖK ün ve üniversitelerin akademik yükseltme ölçütleri Kaynak: Al ve Soydal, 2014; Tonta, 2014a, 2014b, 2015

13 DEF in araşprma ve yayın desteği için kullanımı

14 TÜBİTAK UBYT Programı Uluslararası Bilimsel Yayınları Teşvik Programı (1993- ) 2013 e kadar teşvik, JCR den alınan DEF lere göre verildi Dergiler A, B, C, D diye sınıflandı 2013 te TÜBİTAK kendi tanımladığı DEF e göre teşvik vermeye başladı TÜBİTAK DEF = 5 yıllık DEF * a9f yarı yaşamı (apf yapılan makalelerin ortanca yaşı) Ortalamanın ± 2 SS üstündeki dergilere en yüksek/en düşük destek 2014 te makale etki skoru (MES) kullanılmaya başlandı MES bir makalenin ortalama etkisini ölçüyor Google ın PageRank algoritmasında olduğu gibi bir makaleye yüksek apf alan dergilerden gelen apflara daha çok ağırlık veriliyor Kaynak: Tonta, 2014a, 2014b, 2015

15 Uluslararası Bilimsel Yayınları Teşvik (UBYT) Türkiye Adresli UBYT Programı Yıllık İşlem Sayıları 11,342 11,721 11,708 12,053 10,06 10,653 11,199 [VALUE]0 11,5 12,449 8,01 8, Teşvik Tutarı (Milyon TL) Yayın Sayısı AraşPrmacı Sayısı Kaynak: Satoğlu, 2015 h%p:// /wp- content/uploads/2015/03/ulakbim_eyes- Acilis.pptx

16 TÜBİTAK ın yıllara göre yayın destek miktarı ( ) Yıllar arası Pearson korelasyon katsayıları r = 0, r = 0, r = 0,77 Kaynak: Tonta, 2015

17 Yayın desteği ile ilgili sorunlar DEF gibi dergilerin apf yarı yaşamı dağılımları da çarpık APf yarı yaşamının makale kalitesiyle ilgisi yok, literatür eskimesiyle ilgisi var 2012 de en yüksek destek alan 13 Arkeoloji dergisinden sadece 3 ü 2013 te en yüksek destek alabildi, 4 ü ise en düşük destek aldı 2013 te Jeoloji dergilerinin %56 sı daha düşük destek aldı, %49 u yanlış sınıflandı DEF ile makale etki skoru arasındaki korelasyon r = 0,90 (N=5900 dergi, JCR 2007) Yüksek DEF => Yüksek makale etki skoru TÜBİTAK UBYT Programı gözden geçirilmeli ya da kaldırılmalı Kaynak: Batmaz, 2013; YalPrak, 2014; Arendt, 2010; Tonta, 2014a, 2015

18 H Dizini Bir araşprmacının apf dizinlerinde listelenen dergilerde yayımlanan h sayıdaki makalesinin her birine en az h sayıda apf yapılması apf sayısı AraşPrma grubu, üniversite ve ülkeler için de h dizinleri hesaplanıyor Web of Science Scopus Google Scholar makale sayısı Kaynak: Hirsch, 2005, s

19 H diziniyle ilgili sorunlar

20 Yapısal sorunlar Zekice bir buluş ama bazı manpksal gerekirlikleri karşılamıyor H dizini makale sayısıyla sınırlı Hesaplamada ortak yazarlık dikkate alınmıyor APflara dayanıyor APf örüntüleri konulara göre farklı Normalizasyon sorunu var (PoP, Scholarometer) Manipülasyona açık Kaynak: Rousseau, García- Zorita ve Sanz- Casado, 2013, s. 299; Hirsch, 2007

21 Sosyal bilimcilerin ortalama h skorları (N=120, LSE) Konu Coğrafya Ekonomi Siyaset bilimi Sosyoloji Hukuk Ortalama h skoru 5,04 4,83 2,46 2,38 1,25 Kaynak: LSE, 2011, s. 87

22 Matema4kte ilk 10 üniversite (USNWR) 1. UC Berkeley 2. Stanford 3. Princeton 4. UCLA 5. Oxford 6. Harvard 7. King Abdulaziz University 8. Pierre and Marie Curie Paris 6 9. Hong Kong University 10. University of Cambridge MIT 11. sırada! KAU, highlycited.com listesindeki en yüksek apf alan (üst %1) 99 matema4kçiden %25 ini (24) işe almış.. (4 ü tam zamanlı, 20 si yarım zamanlı Highlycited.com daki tüm alanlardaki 3215 bilimciden 29 u ilk, 141 i (%4,4) ikinci adres olarak KAU yu göstermiş. KAU yu sadece 3 kişi tek adres olarak göstermiş. James O Berger, Mathema4cs, Duke University, USA; King Abdulaziz University, S. Arabia Michael Gratzel, Chemistry, Ecole Polytechnique Federale de Lausanne (80%), Switzerland; King Abdulaziz University (15%), S. Arabia; Nanyang Technological University (5%), Singapore Kaynak: h%p:// global- universi4es/mathema4cs; Pachter, 2014; h%p://highlycited.com

23 Geçerlik sorunu Akran değerlendirmesi sonuçları ile h dizini arasındaki korelasyon düşük Farklı araşprma gruplarının 2008 yılı h dizinleri ile akran değerlendirmesi skorları (r = 0,62) Kaynak: h%p://blogs.lse.ac.uk/impactofsocialsciences/2014/12/16/predic4ng- the- results- of- the- ref/

24 H dizini ve Nobel Ödülü H dizini ve apf oranları Nobel ödülü kazananları tahmin etmek için bile kullanılıyor "h- 80 sayısını aşan bilim insanları dünyada Nobel ödülü alabilecek insanlar arasına giriyor." (Bursalı, 2014) Ama ikisi arasında bir korelasyon yok Kaynak: Avcı, 2012; Bursalı, 2014; Doğan ve Soylak, 2014;Hace%epe, 2013; Hirsh, 2005; Pendlebury, 2009; Marques, 2013; Van der Wall, 2011

25 Peter Higgs, 2013 Nobel Ödülü (Fizik) "Bugün akademik bir işe giremem. Bu kadar basit". H = 11 Yayın sayısı arası sadece 1 yayın APf sayısı Kaynak: h%p://upload.wikimedia.org/wikipedia/commons/5/5f/nobel_prize_24_2013.jpg; h%p:// higgs- boson- academic- system; Web of Science, 24 Nisan 2015

26 H dizini akademik performans ölçümlerinde kullanılmamalı Zamanla ilgili Dolayısıyla (özellikle kısa dönemli) araş9rma değerlendirme için kullanılmamalıdır Ama akademik yükseltme, araşprma ve yayın desteği için kullanılıyor TÜBA üyelikleri H.Ü. akademik yükseltme ölçütleri taslağı (2013)

27 Sonuç Dergi etki faktörü: "öldürücü cazibe", "fakirin apf analizi" "... bibliyometrik performans göstergeleri (tek tek değil) sadece toplu olarak ve açıkça tanımlanmış uygulama kurallarına göre yapılan akran değerlendirmesiyle birlikte kullanılmalı" (abç) (IEEE, 2013) Nicel değerlendirme akran değerlendirmesini desteklemeli, onun yerine geçmemeli Performans kurumun araşprma misyonuyla karşılaşprılarak ölçülmeli Alanlara göre yayın/apf uygulamalarındaki farklılıklar dikkate alınmalı Bibliyometrik ölçevler makalelerin, araş9rmacıların ve kurumların kalitesini ölçmek ve birbiriyle karşılaş9rmak için kullanılmamalı Kaynak: Van Raan, 2005; IEEE, 2013; Hicks ve diğerleri, 2015; Marx ve Bornmann, 2013; h%p://am.ascb.org/dora/

28 Son söz "Önemli olan her şey sayılamayabilir, ve sayılabilen her şey önemli değildir." - - William Bruce Cameron, 1963 "Bir ölçev hedef haline gelince iyi bir ölçev olmaktan çıkar." - - Charles Goodhart, 1975 Kaynak: h%p://quoteinves4gator.com/2010/05/26/everything- counts- einstein/; h%p://en.wikipedia.org/wiki/goodhart%27s_law

29 Kaynak: h%p://issi2015.org/en/

30 Kaynaklar Al, U. ve Soydal. İ. (2014). Akademinin apf dizinleri ile savaşı. HaceKepe Üniversitesi Edebiyat Fakültesi Dergisi, 31(1): h%p://yunus.hace%epe.edu.tr/~umutal/publica4ons/war.pdf Arendt, J. (2010). Are ar4cle influence scores comparable across scien4fic fields? Issues in Science and Technology Librarianship, No. 60. h%p:// winter/refereed2.html Avcı, B. (2012, 15 Haziran). Hükümet kurumlarının atadığı yeni TÜBA üyelerinin bilimsel başarımları. Cumhuriyet Bilim ve Teknoloji, No. 1317, s. 14. Batmaz, A. (2013, 14 Haziran). Türkiye de bilim üre4mi ve arkeoloji. Cumhuriyet Bilim ve Teknoloji, (1369), 18. Best Global Universi4es for Mathema4cs. h%p:// global- universi4es/mathema4cs Bornmann, M. ve Leydesdorff, L. (2014). Scientometrics in a changing research landscape. EMBO Reports, 15(12): Bursalı, O. (2014, 10 Ekim). Bilimsel başarılarımız. Ne kadar sevinmeliyiz? Cumhuriyet Bilim ve Teknoloji, No h%p://orhanbursali.blogspot.com.tr/2014/10/bilimsel- basarm- listesi- i- bilimsel.html Casadevall, A. ve Fang, F.C. (2014). Causes for the persistence of impact factor mania. mbio, 5(2). tarihinde h%p://mbio.asm.org/content/5/2/e full.pdf Centre for Science and Technology Studies. (2007). Scoping study on the use of bibliometric analysis to measure the quality of research in UK higher educa4on ins4tu4ons. Report to HEFCE. Leiden: Centre for Science and Technology Studies, Leiden University. Doğan, M.H. ve Soylak, M. (2014, 10 Ekim). Hangi bilim insanlarımızın başarıları hızla arpyor? Cumhuriyet Bilim ve Teknoloji Dergisi, No. 1438, pp Hace%epe Üniversitesi Öğre4m Üyeliğine Yükseltme ve Atama Kriterleri Taslağı Genel (GSF ve ADK hariç). (2013, 25 Haziran). Harnad, Stevan (2009). Open access scientometrics and the UK Research Assessment Exercise. Scientometrics, 79(1): h%p:// Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. ve Rafols, I. (2015, 23 Nisan). The Leiden Manifesto for research metrics. Nature, 520, h%p:// Column/pdf/520429a.pdf Hirsch, J.E. (2005). An index to quan4fy an individual s scien4fic research output. PNAS, 102(46), Hirsch, J.E. (2007). Does the h index have predic4ve power? PNAS, 104(49), Kozak, N. (2014). Türkiye akademik dergiler rehberi Ankara: Detay Yayıncılık. LSE Public Policy Group. (Nisan 2011). Maximizing the impacts of your research: A handbook for social scien4sts. h%p:// Leydesdorff, L. (2005, November 10). Evalua4on of research and evolu4on of science indicators. Current Science, 89(9), h%p://arxiv.org/ p/arxiv/papers/0911/ pdf Marques, F. (May 2013). The limits of the h- index. Revista Pesquisa FAPESP, Edi4on 207. h%p://revistapesquisa.fapesp.br/en/2013/06/25/the- limits- of- the- h- index/. Marx, W. ve Bornmann, L. (2013). Journal Impact Factor: the poor man s cita4on analysis and alterna4ve approaches. European Science Edi-ng, 39(2), h%p:// Mryglod, O., Kenna, R., Holovatch, Y. ve Berche, B. (2014). Predic4ng the results of the REF using departmental h- index: A look at biology, chemistry, physics, and sociology. h%p://blogs.lse.ac.uk/impactofsocialsciences/2014/12/16/predic4ng- the- results- of- the- ref/ Pachter, L. (2014, 31 Ekim). To some a cita4on is worth $3 per year. h%ps://liorpachter.wordpress.com/2014/10/31/ Pendlebury, D. (2009 November). Discover the power of quan4ta4ve analysis: The art and science of iden4fying future Nobel laureates (slides). h%p://ip- science.thomsonreuters.com/m/pdfs/iden4fying_nobel_laureates.pdf Rousseau, R., García- Zorita, C. ve Sanz- Casado, E. (2013). The h- bubble. Journal of Informetrics, 7, Satoğlu, M.M. (2015, 4 Mart). Bilimsel yayınlarda kaliteye ulaşmak: Editör ve yazar eği4m seminerleri. h%p:// /wp- content/uploads/2015/03/ulakbim_eyes- Acilis.pptx SCImago. (2015). SJR SCImago Journal & Country Rank. h%p:// Seglen, P.O. (1997, Şubat 15). Why the impact factor of journals should not be used for evalua4ng research. Bri4sh Medical Journal, 314(7079): h%p:// Sgroi, D. ve Oswald, A.J. (2013). How should peer- review panels behave? The Economic Journal, 123(570), F255 F278. Tonta, Y. (2014a). Akademik Performans, Öğre4m Üyeliğine Yükseltme ve Yayın Destekleme Ölçütleriyle İlgili Bir Değerlendirme (yayımlanmamış makale). h%p://yunus.hace%epe.edu.tr/~tonta/yayinlar/tonta- yukseltme- kriterleri- hakkinda- degerlendirme- 11- Temmuz pdf. Tonta, Y. (2014b). Use and Misuse of Bibliometric Measures for Assessment of Academic Performance, Tenure and Publica4on Support. Metrics 2014: Workshop on Informetric and Scientometric Research (SIG/MET). 77th Annual Mee-ng of the Associa-on for Informa-on Science and Technology, October 31- November 5, 2014, SeaKle, WA. Bildirinin tam metni: h%p://bit.ly/1ur3cgn; Slaytlar: h%p://slidesha.re/10vuvtf Tonta, Y. (2015). Support Programs to Increase the Number of Scien4fic Publica4ons Using Bibliometric Measures: The Turkish Case (bildiri). ISSI 2015, June 29- July 4, 2015, İstanbul. Van Raan, A.F.J. (2005). Fatal a%rac4on: conceptual and methodological problems in the ranking of universi4es by bibliometric methods. Scientometrics, 62(1), YalPrak, C. (2014, 21 Mart). TÜBİTAK yayın teşvik sistemini değiş4rmeli! Cumhuriyet Bilim ve Teknoloji, No. 1409, s. 18.

31 Bibliyometrik Ölçevlerin Akademik Yükseltme, Araş9rma ve Yayın Desteği İçin Kullanımı Yaşar Tonta Hace%epe Üniversitesi Bilgi ve Belge Yöne4mi Bölümü Beytepe, Ankara Hace%epe Üniversitesi Spor Bilimleri Fakültesi, 4 Mayıs 2015, Beytepe, Ankara