Üniversitelerde Akademik Performansın Değerlendirilmesi

Transkript

1 Üniversitelerde Akademik Performansın Değerlendirilmesi Prof. Dr. Canan Çilingir URAP Çalışma grubu üyesi/ İBÜ Endüstri Müh. Blm. Yarı zamanlı Öğ.Üyesi 2 Nisan 2018 İstanbul Bilgi Üniversitesi

2 Giriş Üniversitelerin kıyaslanması ve performanslarının analizi; Araştırmacıların Yüksek öğretim politikalarına yön veren üst kuruluşlarının Basının Yüksek öğretim adaylarının ve velilerinin uzun süredir ilgi odağında Üniversite yöneticileri gelişim stratejilerini bu verilere dayandırmakta

3 Üniversite sıralama sistemleri Dünya genelinde civarı yüksek öğretim kurumu (Türkiye de 185) Sayılardaki artış akademik kuruluşların değerlendirmesine yönelik talebe neden oldu İlk ulusal sıralama 1983 (US News and World Report) İlk dünya sıralaması 2003 (ARWU, Jiao Tong University, Çin): 500 Üniversite Webometrics 2004 (İspanya)

4 Üniversite sıralama sistemleri Leiden Ranking (2007): 500 üniversite, 750 üniversite (2014 ten beri) THE (Times Higher Education) QS World Ranking ( ) THE and QS 2010 dan beri farklı sıralama sistemleri US News and World Report (Best Global Universities): 2014 ten beri dünya sıralaması

5 URAP (University Ranking by Academic Performance) 2009 yılında ODTÜ Enformatik Enstitüsü bünyesinde kuruldu Farklı disiplinlerden gelen araştırmacılardan oluşan gönüllü bir ekiple çalışmaktayız Genel amaç: Türk üniversitelerine ve gelişmekte olan ülkelerdeki üniversitelere akademik performansları bakımından öz değerlendirme yapma imkanı sunmak Bilim ve yayın kültürünün gelişmesine katkıda bulunmak

6 Urap amaçları Türk Üniversiteleri nin akademik performansları ve gelişmeye açık yönleriyle ilgili farkındalık yaratmak Üniversitelerimizin dünya üniversiteleri arasındaki konumlarını belirlemelerine yardımcı olmak Amacımız üniversitelerimizi iyi veya kötü olarak nitelemek değildir

7 URAP Çalışmalarının Genel Görünümü URAP Türkiye Sıralaması URAP Dünya Sıralaması URAP Alan Sıralaması Yayın verileri üzerine bibliyometrik araştırmalar Dünya sıralamalarında Türk üniversitelerinin konumunu özetleyen raporlar Araştırmalar gönüllü bir araştırma ekibi tarafından ODTÜ nün sağladığı altyapı desteği ile yürütülmektedir

8 URAP Türkiye Üniversiteleri Sıralaması 148 üniversite sıralamaya dahil edilmektedir Sıralamaya dahil edilme kriterleri 4 yıllık lisans programı olması ve mezun vermiş olması YÖK veri tabanında öğretim üyesi ve öğrenci sayılarının yer alıyor olması Türk üniversitelerinin özelliklerine göre alt sıralamalar Devlet/Vakıf Üniversiteleri Tıp fakültesi olan, olmayan üniversiteler 2000 yılından önce ve sonra kurulan üniversiteler Doktora programı olan/olmayan üniversiteler

9 URAP Türkiye Üniversiteleri Sıralaması Kriter 1 Makale Sayısı Araştırma 2 Öğretim Üyesi Başına Düşen Makale Sayısı Araştırma 3 Atıf Sayısı Araştırma 4 Öğretim Üyesi Başına Düşen Atıf Sayısı Araştırma 5 Toplam Bilimsel Doküman Sayısı Araştırma 6 Öğretim Üyesi Başına Düşen Toplam Bilimsel Doküman Sayısı Araştırma Kapsam 7 Doktora Öğrenci Sayısı Eğitim ve Araştırma 8 Doktora Öğrenci Oranı Eğitim ve Araştırma 9 Öğretim Üyesi Başına Düşen Öğrenci Sayısı Eğitim

10 URAP Dünya Sıralaması İndikatör Makale Sayısı Atıf Sayısı Toplam Doküman Toplam Makale Etkisi Toplam Atıf Etkisi Uluslararası İşbirliği Kapsam Bilimsel Üretim Araştırma Etkisi Bilimsel Üretim Araştırma Kalitesi Araştırma Kalitesi Uluslararası Tanınırlık

11 URAP Dünya Sıralaması Toplam Makale Etkisi (AIT) hesabı AIT yayın başına düşen atıf sayısı ile ağırlıklandırılmış makale sayısıdır 23 alan için, o alanda kurumun CPP değeri alandaki dünya CPP değerine oranlanıp, ilgili alandaki makale sayısıyla çarpılarak bu değer elde edilmektedir

12 URAP Dünya Sıralaması Toplam Atıf Etkisi (CIT) hesabı CIT yayın başına düşen atıf sayısı ile ağırlıklandırılmış toplam atıf sayısıdır Üniversitenin yayın başına atıf sayısı dünya ortalaması ile oranlanarak toplam atıf sayısı ile çarpılmaktadır Alan tanımları Avustralya Yükseköğrenim Kurumu nun belirlediği ERA dergi sınıflamasına dayanmaktadır (23 Alan)

13 URAP Dünya Sıralaması Ağırlıkların belirlenmesinde Delphi yöntemi kullanılmıştır İndikatör Ağırlık (%) Makale Sayısı 21 Atıf Sayısı 10 Toplam Doküman 21 Toplam Makale Etkisi 18 Toplam Atıf Etkisi 15 Uluslararası İşbirliği 15

14 URAP Dünya Sıralaması Ülkelere göre üniversiteler ( sıralaması) Ülke Top 100 Top 500 Top 1000 Top 2500 A.B.D Çin Hollanda İngiltere Almanya Fransa Kanada Avustralya İtalya Japonya Türkiye 15 86

15 Ulusal ve uluslararası sıralama sistemlerinde kullanılan performans göstergelerinin çözümlemesi Çok sayıda ülke üniversitelerinin performansını değerlendirmekte Bazı ülkeler birden fazla değerlendirme sistemine sahip Analiz için kullanılan ulusal sistemlerin özellikleri Sıralama yöntemi hakkında yeterince basılı materyal Değerlendirmenin sürdürülebilirliği- en az 2 yıl sonuçları yayınlanmış Sistemin kıyaslama (benchmarking) değil sıralama yapması

16 . Analiz edilen 13 ulusal sistem Sistemin adı Yayınlayan kurum ülke kurum Folha s University Ranking Folha Brezilya Medya EI Mercurio El Mercurio Şili Medya Greater China Ranking ARWU Çin Bağımsız(NGO) Ranking of Higher Education Institutions in Kazakhstan Independent Kazakhstan Quality Assurance Agency for Education (IQAA) Kazakistan Devlet (GO) Veidas Veidas Litvanya Medya Macedonian HEIs Ranking ARWU Makedonya Bağımsız(NGO) Setera Malaysian Qualifications Agency Malezya Devlet (GO) HEC Higher Education Commission Pakistan Devlet(GO) Perspectywy Perspectywy Education Founding Polonya Bağımsız(NGO) Complete University Guide Mayfield University Consultants UK Bağımsız(NGO) U.S. News College Rankings U.S. News & World Report USA Medya URAP URAP Turkey Bağımsız(NGO)

17 Ulusal sistemlerde kullanılan gösterge sayıları; 12 sistemde 190 farklı gösterge National Ranking Systems Indicators UK - Complete University Guide 42 USA - The U.S. NEWS COLLEGE 39 Macedonia - Macedonian HEIs Ranking 35 Malaysia - Setera 32 China - Greater China Ranking 22 Poland - Perspectywy 19 Kazakhstan - Ranking of Higher Education Institutions in Kazakhstan 18 Turkey - URAP-TR 18 Brazil - RUF Folha s University Ranking 12 Lithuania - Veidas 12 Chile - EI Mercurio 9 Pakistan - HEC 9 Ortalama (SD) 22.3 (11.8)

18 Uluslararası sistemlerde kullanılan gösterge sayıları; 8 sistemde 44 farklı gösterge Global Ranking Systems Indicators THE-Times Higher Education 13 ARWU 10 LEIDEN 7 SCImago 7 QS 6 URAP 6 HEEACT 5 WEBOMETRICS 4 Ortalama (SD) 7.25 (2.73)

19 Ulusal ve Uluslararası gösterge sayıları Gösterge sayısı Yalnız ulusalsistemlerde 166 Yalnız uluslararasısistemlerde 20 İkisinde birlikte 24 TOPLAM 210

20 Ulusal ve uluslararası sistemlerde en fazla kullanılan 10 gösterge Ulusal Sistemler Sıklık Uluslararası Sistemler Sıklık Öğrenci/öğretim üyesi(full Time) 10 Kabul edilen öğrencilerin kalitesi 8 Doktoralı akademisyen (%) 8 Yayın sayıları (SCI, SSCI) 5 Uluslararası öğrenci yüzdesi 5 Uluslararası yayın/öğretim üyesi 5 Öğrencibaşına harcama 4 Akredite edilmiş doktora 4 programı sayısı Toplam atıflar 3 Eğitim kalitesi 3 Toplam atıflar 3 Yayın sayıları (SCI, SSCI) 3 Mükemmeliyet derecesi (SCImago 2 Top10%) Araştırma mükemmeliyet 2 anketleri Öğrenci/Öğretim üyesi(full Time) 2 Yayın sayıları (SCI, SSCI)/Öğretim 2 üye sayısı Uluslararası öğrenci yüzdesi 2 Uluslararası öğretim üyesi yüzdesi 2 Başka kurumlarca verilen internet 1 bağlantısı Atıf sayısı/öğretim üyesi 1

21 Göstergeler ile ilgili saptamalar Ulusal göstergeler ülkenin ihtiyaçları dikkate alınarak belirlenirken uluslararası göstergeler dünyada genel kabul gören göstergelerden seçilmektedir Ulusal sistemler uluslararası sistemlerin bir alt kümesi değildir, bu yüzden iki sistem farklı sonuçlar verebilir Aynı göstergeler farklı adlandırılmış olabilir bu da birden fazla sayılmaya yol açabilir Yüksek öğretimi regüle eden bir merkezi örgüt varsa ayrıntılı objektif veriye ulaşmak daha olasıdır

22 Sıralamalarda kullanılan göstergelerin sınıflandırılması Kapsama göre Ulusal: Yalnız ulusal sıralamalarda kullanılanlar Uluslararası: Yalnız uluslararası sıralamalarda kullanılanlar Ulusal &Uluslararası: İki sistemde de kullanılanlar Büyüklüğe göre Büyüklükten bağımsız (Size-independent) göstergeler Büyüklüğe bağlı (Size-dependent indicators) göstergeler Subjektif göstergeler (anket sonuçlarından elde edilen)

23 sınıflandırılma (devam) Göstergelerin girdi/çıktı özelliklerine göre Çıktılar: araştırma çıktıları(örnk. yayın sayıları) ve eğitim çıktıları(örnk. Yıllık doktora mezun sayıları, işverenlerin mezunlara ilişkin memnuniyet düzeyi) Süreçler: eğitim, yönetim ve araştırma süreçleri(örnk. akademik yönetişim, müfredatın kurumsal değerlendirilmesi) Girdiler: mali, eğitim ve araştırmaya ayrılan kaynaklar(örnk. bütçe, araştırma fonları) Kurumsal özellikler: kuruma özel kapasite ve yetenekler (örnk. Program sayıları, Öğretim üyesi/personel oranları)

24 Alt göstergeler Araştırma göstergeleri Yayınlar& etki (Impact) Araştırma yeteneği & Fonlar Teknoloji Transferi Eğitim göstergeleri Öğrenci Profili & Sunulan Servisler Akademik Programlar & Akreditasyon Mezunlar Öğretim kalite güvence & değerlendirmesi Lisansüstü Öğrenci Profili Kurumsal veriler (Facts & Figures) Öğretim Üyesi Profili & Gelişimi Eğitim altyapısı & Kaynaklar Yönetimsel & Örgütsel Faaliyetler

25 Ulusal Sıralamalarda Kullanılan Göstergelerin ağırlıkları (% ağırlıklandırma kullanım sıklığından daha bilgilendirici) Indicator Categories Size Dependent Size Independent Subjective Total Input Output Inst. Prop. Proce ss Input Output Inst. Prop Proce ss Input Output Inst. Prop Proce ss Ratio % Publication, citation Faculty quality & training Patent, technology transfer Student diversity & quality, services Programs, diversity accreditation, Alumni, graduates Facilities, infrastructure, budget Research funds, research capacity Managerial, institutional PhD, graduate degrees, students Teaching quality, quality assurance TOTAL

26 Uluslararası Sıralamalarda Kullanılan Göstergelerin ağırlıkları Indicator Categories Size Dependent Size Independent Subjective Total Input Output Inst. Prop Process Input Output Inst. Prop Process Input Output Inst. Prop Process Ratio % Publication, citation Faculty quality & training Patent, technology transfer Student diversity & quality, services Programs, accreditation, diversity Alumni, graduates Facilities, infrastructure, budget Research funds, research capacity Managerial, institutional PhD, graduate degrees, students Teaching quality, quality assurance TOTAL

27 Çıkarımlar Uluslararası sıralama sistemlerinin yaygın olarak kullandığı göstergeler: Yayın sayıları ve etkisi (impact) (%62.3), Araştırma yeteneği ve fonlar (%9.8), Eğitim alt yapısı ve kaynaklar(%9.5), Öğretim üye kalitesi(%7.4) Öğrenci profili(%4.6) Ulusal sıralama sistemlerinin yaygın olarak kullandığı göstergeler: Öğretim üyesi ve öğrenci profili (%25.0) Öğretim kalitesi(%13.5), Yayın sayıları ve etkisi (impact)(%17.6%) İncelenen uluslararası sistemlerde kullanılmayan göstergeler; Teknoloji transferi, program akreditasyonu, yönetsel ve kurumsal özellikler, Bu göstergeler ulusal sistemlerde %10.6 oranında yer almakta

28 Ulusal ve Uluslararası Sistemlerin Farkları Rakamlar % 0larak verilmiştir Büyüklük Girdi/Çıktı Ulusal Uluslararası Büyüklük Bağımsız Büyüklük Bağımlı Subcektif Toplam Ulusal Uluslararası Çıktı Süreç Girdi Kurumsal Özellikler Toplam

29 Araştırma-Eğitim-Kurumsal Verilerin Dağılımı Ulusal Sıralama Sistemleri Uluslararası Sıralama Sistemleri 28,5% 25,8% 15,8% 12,1% 72,1% 45,8% Research Education Institutional Facts & Figures Research Education Institutional Facts & Figures

30 URAP ve Diğer Sıralama Sistemlerinde Göstergelerin % ağırlıkları Gösterge Türü Büyüklük Girdi/Çıktı Özellikleri Temel göstergeler Yalnız Uluslararası Ulusal & Uluslararası Büyüklük Bağımsız Büyüklük Bağımlı Subcektif URAP-TR Çıktı Kurumsal Özellikler Girdi Süreç Araştırma Eğitim Kurumsal Veriler ULUSAL SİSTEMLERİN ORTALAMASI URAP ULUSLARARASI ULUSLARARASI SİSTEMLERİN ORTALAMASI

31 Sıralama Sistemleri ile İlgili Gözlemler Ulusal sistemler Kullanılan göstergeler sayısal olarak önemli farklılıklar sergilemekte (en az 9, en çok 42) (URAP-TR 18 gösterge kullanıyor) Büyüklük bağımsız göstergeler tercih edilmekte (URAP-TR büyüklük bağımlı ve bağımsız göstergeleri eşit kullanıyor) Çıktılara ve kurumsal özelliklere eşit önem verirken, girdiler ve süreçlere daha az önem vermekte (URAP-TR çıktılara daha fazla ağırlık veriyor) Eğitime yönelik göstergelere araştırmadan daha fazla ağırlık vermekte (URAP-TR araştırmaya ağırlık veriyor)

32 Sıralama Sistemleri ile İlgili Gözlemler Uluslararası sistemler Kullanılan göstergeler sayısal olarak farklılıklar sergilemekte (en az 4, en çok 13) (URAP 6 gösterge kullanıyor) Büyüklük bağımlı ve bağımsız göstergeler eşit ağırlıkla kullanılmakta (URAP büyüklük bağımlı göstergelere ağırlık veriyor) Ağırlıklı olarak çıktılara yönelik göstergeler kullanılmakta Araştırma göstergelerine eğitim göstergelerinden daha çok ağırlık verilmekte Göstergelerin sayı ve ağırlık farkları bir üniversiteyi değişik sıralama sistemlerinde çok farklı sıralarda göstermekte Sistemlerde kapsanan üniversite sayıları önemli farklılıklar göstermekte ( ) (URAP 2500 üniversiteyi kapsıyor) Uluslararası sistemlerdeki sıralamalar ulusal sıralamayı yansıtmamakta

33 Sıralama Sistemleri: Gelişmeler 2015 yılında Türkiye deki üniversitelerin uluslararası sıralamalardaki yerinde düşüşler gözlendi ODTÜ ve Boğaziçi Üniversitesi 100lerden 300lere düştü Üst sıralardaki çok sayıda üniversite benzer bir düşüş yaşadı Nedenleri THE sıralama sistemi veritabanını değiştirdi Yayın başına atıf sayısı yerine toplam atıf kullanılmaya başlandı 500 üzeri yazarlı CERN ve tıp makaleleri sıralamalardan çıkarıldı (URAP bu düzeltmeyi 2014 yılından beri yapıyor)

34 CERN Etkisi CERN yayınları ( ): 5661 makale, atıf Ortalama yazar sayısı: 459 (medyan: 7) yazarlı 869 makale (en yüksek yazar sayısı 5154)

35 CERN Etkisi 852 si akademik 1046 CERN-ilişkili kurum CERN enstitü sayıları

36 CERN Etkisi CERN yayınlarının kurum yayınlarına oranı

37 CERN Etkisi CERN yayınlarının kurum yayınlarına oranı

38 CERN Etkisi CERN yayınlarının kurum yayınlarına oranı (TÜRKİYE)

39 CERN Etkisi CERN yayınlarının kurum yayınlarına oranı (TÜRKİYE)

40 CERN Etkisi CERN atıflarının kurum atıflarına oranı

41 CERN Etkisi CERN atıflarının kurum atıflarına oranı

42 CERN Etkisi CERN atıflarının kurum atıflarına oranı (TÜRKİYE)

43 CERN Etkisi CERN atıflarının kurum atıflarına oranı (TÜRKİYE)

44 Dergi Etki Dilimleri URAP sıralamalarında yeni kullanmaya başladığımız bir indikatör Amaç: daha nitelikli dergilerde yapılan yayınlara önem vermek 250 Web of Science kategorisinde yer alan dergilerin etki faktörüne göre sıralanarak hangi %25 lik dilimde yer aldığı tespit edildi Bir dergi birden fazla alanda yer alıyorsa, en yüksek dilimde yer aldığı alan dikkate alındı

45 Dergi Etki Dilimleri yılları arasında yayımlanan makalelerin yer aldığı dergilerin etkinlik çarpanı dilimine göre dünya genelinde ve Türkiye de oransal dağılımı. 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% İlk %25 İkinci %25 Üçüncü %25 Son %25 Dünya Türkiye

46 Dergi Etki Dilimleri URAP Dünya sıralamasında en çok üniversitesi yer alan ülkelerde yılları arasında yayımlanan makalelerin yer aldığı dergilerin etkinlik çarpanı dilimine göre oransal dağılımı. (İran Rusya Türkiye benzerliği) 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% A.B.D. Çin Hollanda İngiltere Almanya Avustralya Fransa Kanada İtalya Japonya İspanya Güney Kore Tayvan Brezilya İran Avusturya Rusya Polonya Hindistan Türkiye İlk %25 İkinci %25 Üçüncü %25 Son %25

47 Dergi Etki Dilimleri URAP tarihli makaleler değerlendirmeye alındığında ilk %25 lik dilimde en çok yayını bulunan ilk 20 Türk üniversitesi İSTANBUL ÜNİVERSİTESİ HACETTEPE ÜNİVERSİTESİ ORTA DOĞU TEKNİK ÜNİVERSİTESİ İSTANBUL TEKNİK ÜNİVERSİTESİ İHSAN DOĞRAMACI BİLKENT EGE ÜNİVERSİTESİ GAZİ ÜNİVERSİTESİ ANKARA ÜNİVERSİTESİ BOĞAZİÇİ ÜNİVERSİTESİ DOKUZ EYLÜL ÜNİVERSİTESİ KOÇ ÜNİVERSİTESİ YILDIZ TEKNİK ÜNİVERSİTESİ ERCİYES ÜNİVERSİTESİ ATATÜRK ÜNİVERSİTESİ İlk %25 İkinci %25 Üçüncü %25 Son %25 MARMARA ÜNİVERSİTESİ SELÇUK ÜNİVERSİTESİ SABANCI ÜNİVERSİTESİ KARADENİZ TEKNİK ÜNİVERSİTESİ AKDENİZ ÜNİVERSİTESİ ULUDAĞ ÜNİVERSİTESİ

48 Dergi Etki Dilimleri URAP Dünya Sıralaması ında ilk 20 de yer alan üniversitelerin %25 lik dilime düşen yayın oranına göre sıralaması ( tarihli makaleler değerlendirmeye alınmıştır). 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Massachusetts Institute of University of California Berkeley Imperial College London Harvard University University of Cambridge Stanford University University of Oxford University of California San Diego Columbia University University of Pennsylvania University of Washington Seattle %Q1 %Q2 %Q3 %Q4 University College London University of California Los Angeles Pierre & Marie Curie University - Cornell University University of Michigan Johns Hopkins University University of Toronto Tsinghua University Shanghai Jiao Tong University

49 Dergi Etki Dilimleri URAP Dünya Sıralaması ında ilk 20 de yer alan üniversitelerin %25 lik dilime düşen yayın sayılarına göre sıralaması (2016 tarihli makaleler değerlendirmeye alınmıştır) Harvard University erre & Marie Curie University - University of Toronto University College London University of Oxford Stanford University University of Michigan Johns Hopkins University University of Cambridge University of Washington Seattle Massachusetts Institute of Imperial College London Tsinghua University University of Pennsylvania University of California Los Angeles Columbia University University of California Berkeley Shanghai Jiao Tong University University of California San Diego Cornell University Q1 Q2 Q3 Q4

50 URAP Ekibi ve Ben TEŞEKKÜR EDERİZ