Türk Araştırmacıların İBE Alanında Araştırma Eğilimleri: Bir Sistematik Eşleme Çalışması

Transkript

1 Türk Araştırmacıların İBE Alanında Araştırma Eğilimleri: Bir Sistematik Eşleme Çalışması Burcu Bilgin 1, Nursultan Turdaliev 2 1 SoftTech Yazılım A.Ş., Ar-Ge Merkezi Tuzla/İstanbul 2 Kocaeli Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Bölümü, Kocaeli burcu.bilgin@softtech.com.tr, @kocaeli.edu.tr Özet: Bu çalışmanın amacı, uluslar arası olarak düzenlenen HCI International Konferansı nda Türk araştırmacılar tarafından yılları arasında sunulan tam metin bildirilere dayalı olarak İnsan Bilgisayar Etkileşimi (İBE) alanında gerçekleştirilen çalışmalara ait genel eğilimleri belirleyerek büyük resmi ortaya çıkarmaktır. Çalışma kapsamında, bu konferasta yılları arasında Türk araştırmacılar tarafından sunulan toplamda 58 tam metin bildiri sistematik eşleme yöntemi ile incelenmiştir. Yapılan incelemede, Türk araştırmacılarda akademi çalışanlarının katkılarının %87, endüstri çalışanlarının katkılarının %13 olduğu; en çok kullanılan araştırma metodu olarak Durum Çalışmaları (Case studies), Deneysel (Experimental) ve Kullanılabilirlik Testleri (Usability Testing) metodlarının kullanıldığı gözlemlenmektedir. Anahtar Sözcükler: HCI International Conference, İBE araştırma eğilimleri, İBE araştırma metodları, sistematik eşleme. Abstract: The aim of this study is to determine the big picture of identified general trends revealed by a study carried out by Turkish researchers in the field of human-computer interaction at the conference held in based on the International Report full-text presented. 58 full-texts which are presented by Turkish researches were analyzed with systematic mapping method. As a result, according to research the contribution of Turkish researches in academia 87% and with the contribution of the industry is 13%, the most used research methods are case studies, experimental and usability tests.

2 1. Giriş İBE, etkileşimli teknolojilerin tasarımı, geliştirilmesi, değerlendirilmesi ve uygulanması ile ilgilenen disiplinler arası bir çalışma alanıdır. İBE çalışma alanı, insan ve bilgisayar etkileşimini konu edinmesinden dolayı insan davranışı, psikoloji, bilişsel bilimler, bilgisayar teknolojileri ve yazılım mühendisliği alanlarının yanında ergonomi, grafik ve eğitim bilimleri gibi farklı disiplinlerle yakından ilişkilidir [1]. İnsan-bilgisayar etkileşimi kavramı, yaygın olarak 1980 li yılların başlarında kullanılmasına rağmen, kökleri farklı disiplinlere dayanmaktadır. 20. yüzyılın ilk yıllarında fabrika ve atölyelerde manuel olarak insan gücü ile gerçekleştirilen işlemler, 2. Dünya Savaşı ile birlikte insan ve makine arasındaki etkileşim üzerine yapılan çalışmalar ile yerini daha verimli ve güçlü sistemlerle gerçekleştirilen işlemlere bırakmıştır. Yapılan çalışmalar doğrultusunda, 1949 yılında araştırmacılar tarafından Ergonomics Research Society kurularak ergonomistler tarafından, makinelerin ve sistemlerin fiziksel karakteristiklerinin kullanıcıların performanslarına olan etkileri üzerine çalışmalar yürütülmüştür li yıllarda bilgisayarların ortaya çıkması, 1970 li yıllarda kişisel bilgisayarların kullanımının yaygınlaşması ile araştırmacı sayıları artarak insan ve bilgisayar etkileşimi çalışmaları ivme kazanmış ve sürecin fiziksel, psikolojik ve teorik alanlar ile kesişimi de ele alınmıştır. İnsan-makine etkileşimi ile başlayan çalışmalar, insan-bilgisayar etkileşimi olarak devam etmiş ve günümüzde yaygın bir kitleye ulaşmıştır [2] [3]. Sistematik Literatür İnceleme (SLR- Systematic Literature Review) adıyla bilinen yaklaşım, öncelikle tıp alanı başta olmak üzere çeşitli alanlarda son yıllarda kullanılmaya başlanmıştır. Bu alanlardan ikisi de Yazılım Mühendisliği ve Bilgi Sistemleri alanlarıdır [4]. Araştırma alanı (research area), yapılan çalışmaların giderek artması ile, yıllar boyunca gelişen bir araştırma yöntemi olarak karşımıza çıkmaktadır. Konferans ve/veya dergilerde yayınlanan bildiriler ve makaleler bu yöntem ile gözden geçirilebilmektedir. Gelecek araştırmalara yeni yönler sağlayarak, yeni araştırmacılara gözden geçirme, değerlendirme konularında rehberlik ederek yardımcı olmaktadır. Araştırma alanının, ikincil çalışmalar (secondary studies) olarak da adlandırıldığı gözlemlenmektedir. İkincil çalışmalar, spesifik araştırma sorusu (research question) ile ilişkili, birincil çalışmaların gözden geçirilmesini amaçlamaktadır. İkincil çalışmalar için iyi tanımlanmış bir metodolojide: sistematik inceleme (systematic review) ve sistematik eşleme (systematic mapping) metodları kendini göstermektedir. Sistematik incelemeler ve sistematik eşlemeler amaçlarına, genişliklerine, derinliklerine göre farklılık göstermektedirler ve kullanımları incelenen ve araştırılan konu başlığının sınıflandırılmasında farklı sonuçlar ortaya çıkarmaktadır [5]. Sistematik inceleme çalışmalarıyla, belirlenen araştırma sorularına (research questions) literatürden kanıtlar bulunarak yanıt vermeye çalışılırken, sistematik eşleme çalışmalarında bir konudaki tüm yayınlara ulaşarak o alandaki çalışmalar sınıflandırılmaya çalışılmaktadır. Sistematik literatür inceleme çalışmalarında, tüm kanıtlara ulaşmak kritik bir konu iken sistematik eşleme çalışmalarında tüm çalışmalara ulaşılmaması kritik bir konu olmayabilir [4]. Bu çalışmada, ulusal ve uluslararası bilimsel birikime katkıda bulunmak amacıyla alanda çalışmaya başlayacak yeni araştırmacılara, alandaki eğilimleri referans alarak çalışmalarını yönlendirecek deneyimli araştırmacılara ve ders içerik programlarını eğilimler ile paralel yürütmeyi planlayan

3 akademisyenlere referans olacağı düşünülmüştür. Çalışma kapsamında yılında gerçekleştirilen HCI International Konferansı nda Türk araştırmacılar tarafından sunulan 58 tam metin bildiri için sistematik eşleme çalışması yürütülerek İBE alanında genel eğilimlerin belirlenmesi gerçekleştirilmektedir. 2. HCI International Konferansı Araştırmaya konu olan İBE alanındaki eğilimlerin belirlenmesi için kaynak olarak kullanılan International HCI Konferansı, ilk defa 1984 yılında Prof. Gavriel Salvendy (Purdue University, USA, and Tsinghua University, P.R. China) tarafından İBE ABD- Japonya Konferansı olarak düzenlenmiştir yılında uluslar arası konferansa dönüştürülmüş ve 2014 yılına kadar iki yılda bir düzenlenmiş, 2014 yılı itibariyle her yıl düzenlenmektedir. Uluslar arası düzeydeki bu organizasyonda, toplamda 16 konferans gerçekleştirilmiş, 2014 yılında gerçekleştirilen 16. Konferansta 67 ülkeden yaklaşık olarak 2000 araştırmacı, 2013 yılında gerçekleştirilen 15. Konferansta 62 ülkeden 2300 den fazla araştırmacı, 2011 yılında gerçekleştirilen 14. Konferansta ise 61 ülkeden yaklaşık 2000 araştırmacı katılmıştır [6]. 3. Yöntem Bu çalışma kapsamında, HCI Internartional Konferansı nda yılları arasında sunulan 58 tam metin bildiri için Türk araştırmacıların İBE alanında çalıştığı genel eğilimlerin belirlenmesi amaçlanmaktadır. Yöntem olarak, süreci tanımlama ve ilgili araştırma için incelenebilir/araştırılabilir bir veritabanı oluşturmak amacıyla Kocaeli Üniversitesi Bilgisayar Mühendisliği araştırmacıları tarafından 9. Ulusal Yazılım Mühendisliği Sempozyumu (UYMS) için hazırlanan UYMS Araştırma Eğitimleri: Bir Sistematik Eşleme Çalışması [7] bildirisinde yazılım mühendisliği için kullanılan sistematik eşleme metodolojisi ve Harper Adams Üniversitesi araştırmacıları tarafından hazırlanan The effectiveness of integrated farm management, organic farming and agrienvironment schemes for conserving biodiversity in temperate Europe - A systematic map [8] bildirisinde kullanılan, Social Care Institute for Excellence tarafından uyarlanan sistematik eşleme metodolojisi konsolide edilerek çalışmaya özel süreç tanımlanmıştır. Sistematik eşleme çalışması için yürütülen süreç adımları Şekil 1 de gösterilmektedir. Şekil 1. Uygulanan araştırma süreci Çalışma kapsamında yürütülen süreçte izlenen adımların detayları aşağıda belirtilmektedir. Adım 1: Çalışma konusu, paydaş toplantıları yapılarak belirlenmiştir. Adım 2: Araştırma kriteri, HCI International Konferansı nda Türk araştırmacılar tarafından sunulan tam metin bildiriler olarak alan uzmanı tarafından belirlenmiştir. Proje ekibi olarak yılları arasında sunulan bildirileri çalışma kapsamına alınmıştır. Çalışma kapsamında araştırma soruları aşağıdaki şekilde belirlenmiştir.

4 1. Sunulan araştırma çalışmalarının yıllara göre dağılımı nedir? 2. Sunulan araştırma çalışmalarının türü nedir? 3. Sunulan araştırma çalışmalarında uygulanan araştırma yöntemleri nelerdir? Adım 3: Çalışma kapsamında yılları arasında Türk araştırmacılar tarafından sunulan tam metin bildirilere, Springer Elektronik Kütüphanesi (SpringerLink Digital Library) ( WID= ) üzerinden erişim sağlanmıştır, üç ayrı elektronik veritabanı (Springer LNCS: Lecture Notes in Computer Science, LNAI: Lecture Notes in Artificial Intelligence, CCIS: Communications in Computer and Information Science) kullanılmıştır. Adım 4: Çalışma kapsamında bildiri veri girişlerinin yapılması için alan uzmanı tarafından Bildiri Sınıflama Formu hazırlanmıştır. Proje ekibi tarafından Bildiri Sınıflama Formu Google Drive üzerinden GoogleDocs kullanılarak elektronik ortamda E-Bildiri Sınıflama Formu tanımlanmıştır. Adım 5: Proje ekibi tarafından analiz, yorumlama ve değerlendirme aşamalarında ortak paydada buluşmak adına seçilen sekiz bildiri için ortak inceleme ile pilot çalışma yapılmıştır. Adım 6: Proje ekibi tarafından 58 bildiri, ilk aşamada 8 bildiri * 1 (ortak çalışma), ikinci aşamada 10 bildiri * 2 kişi (kişi başı 10 bildiri), üçüncü aşamada 15 bildiri * 2 kişi (kişi başı 15 bildiri) olarak incelenmiştir. Adım 7: Proje ekibi tarafından incelenen 58 bildiri, ilk aşamada 8 bildiri proje ekibi tarafından ortak olarak, ikinci aşamada 20 bildiri proje ekibi tarafından çapraz kontrol yapılarak, üçüncü aşamada 30 bildiri proje ekibi tarafından çapraz kontrol yapılarak değerlendirilmiştir. Adım 8: Proje ekibi tarafından, değerlendirme sonuçları hazırlanan E-Bildiri Sınıflama Formu kullanılarak elektronik forma data girişi gerçekleşmiştir. Adım 9: Proje ekibi tarafından, E-Bildiri Sınıflama Formu kullanılarak elektronik forma girilen veriler, GoogleDocs kullanılarak E-Tablo ile hazırlanan E- Bildiri Sınıflama Raporu üzerinden listelenmiştir. Adım 10: Proje ekibi tarafından, E-Bildiri Sınıflama Raporu üzerindeki data temizleme ve dönüştürme adımları yürütülerek işlenmiştir. Adım 11: Proje ekibi tarafından, temizlenen ve dönüştürülen data üzerinden araştırma soruları ile ilgili seçim ve değerlendirme adımları yürütülerek işlenmiştir. Adım 12: Proje ekibi tarafından, değerlendirilen veriler grafikler kullanılarak raporlanmıştır İnceleme Protokolü Bildirilerin sınıflandırılmasında kullanılmak üzere araştırma sorularına dayalı olarak bir inceleme protokolü geliştirilmiştir ve E- Bildiri Sınıflama Formu oluşturulmuştur. Bildirinin incelenmesi için kullanılan E- Bildiri Sınıflama Formu, 7 ana bölümden oluşmaktadır. E-Bildiri Sınıflama Formu üzerinde bulunan bölümler ve amaçları aşağıda özetlenmektedir. 1. Bildiri Künyesi (Article Info): Bildirinin tanımlayıcı bilgilerini içermektedir. 2. Araştırma Türleri (Article Types): Bildirilerin türünü belirlemek amacıyla Jacob O. Wobbrock tarafından [15] İBE çalışmaları için hazırlanan sınıflandırma tanımlaması kullanılmıştır. 3. Araştırma Konuları (Article Topics/Subjects): Bildirinin konusunu belirlemek amacıyla kapsayıcı olması ve global standartları içermesi amacıyla ACM SIGCHI tarafından [16] gündemdeki konular (hot-topics) olarak belirlenen konular uyarlanarak kullanılmıştır. 4. Araştırma Yöntemleri (Research Methods): Bildiride kullanılan araştırma yöntemlerini belirlemeye yönelik olarak Lazar et.al. [17] dan referans alınmış araştırma yöntemleri uyarlanarak kullanılmıştır.

5 5. Veri Toplama Araçları (Data Collection Tools): Bildiride kullanılan veri toplama araçlarını belirlemeye yönelik olarak Lazar et.al. [17] dan referans alınmış veri toplama araçları uyarlanarak kullanılmıştır. 6. Katılımcılar (Participants): Bildiride kullanılan katılımcıları belirlemeye yönelik olarak [18] den referans alınmış katılımcı sınıflandırması uyarlanarak kullanılmıştır. 7. Veri Analiz Metodları (Data Analysis Method): Bildiride kullanılan veri analiz metodlarını belirlemeye yönelik olarak [18] den referans alınmış veri analiz metodları sınıflandırması uyarlanarak kullanılmıştır. Hazırlanan protokol iki alan uzmanı tarafından değerlendirilmiş ve sonrasında proje ekibi tarafından rastgele seçilen 8 bildiri ile pilot değerlendirmesi yapılarak protokolün geçerliliği sağlanmaya çalışılmıştır Yıllara Göre Türk Araştırmacıların Katkıda Bulundukları Bildiri Sayısı Oranları Sunulan tam metin bildirilerde katılım sağlayan Türk araştırmacılar tarafından, yıllarında toplam 58 tam metin bildiri sunulmuştur. Yıllar bazında araştırmacılar tarafından sunulan bildiri sayıları Tablo1 de açıklanmıştır. Türk araştırmacılar tarafından sunulan bildirilerin, konferans kapsamında sunulan tüm bildirilere göre yıl bazında sayıları ve oranları Şekil 2 de gösterilmektedir. Tablo yılları arasından araştırmacılar tarafından sunulan bildiri sayıları Yıl/ Araştırmacılar Türk Araştırmacılar Diğer Araştırmacılar Toplam İnceleme Süreci Bildiriler, tekrarlı bir süreç ile araştırmacılar tarafından sınıflandırılmıştır. İnceleme süresi üç aşamada gerçekleşmiştir, ilk aşamada 8, ikinci aşamada 20, üçüncü aşamada 30 bildiri her iki ekip üyesi tarafından incelenerek toplamda 58 tam metin bildiri sınıflandırılmıştır. Her aşamada ekip üyeleri tarafından sınıflandırılan bildiriler, sonrasında birbirleriyle karşılaştırılarak ortak sonuca varılmıştır. 4. Bulgular İBE alanında uluslar arası seviyede Türk araştırmacılar tarafından gerçekleştirilen araştırma çalışmalarına ait eğilimlerin belirlenmesi konulu çalışmaya ait bulgular aşağıda açıklanmaktadır. Şekil 1. Sunulan bildirilerde katkı sağlayan Türk araştırmacıların sundukları bildirilerin tüm bildirilere yıllar bazında sayısal ve yüzdesel dağılımı 4.2. Araştırma Çalışmalarında Uygulanan Araştırma Türleri Wobbrock [16] dan uyarlanan araştırma türleri arasında en yaygın olarak Deneysel/Ampirik Çalışma (Empirical Stıudy), Artifact ve Anket (Survey) kullanıldığı Şekil 3 de görülmektedir. Sunulan 58 bildiride 1 tanesi ile araştırma türü eşlemesi gerçekleşmemiştir. Eşleme gerçekleşen 57 bildiri için yüzde dağılımı Şekil 4 de gösterilmektedir.

6 4.3. Araştırma Çalışmalarında Uygulanan Araştırma Yöntemleri Şekil 3. Sunulan bildirilerin araştırma türlerinin sayısal dağılımı Lazar et.al. [17] dan referans alınarak uyarlanan araştırma yöntemlerinde en yaygın olarak Durum Çalışmaları (Case studies), Deneysel (Experimental) ve Kullanılabilirlik Testleri (Usability Testing) kullanıldığı Şekil 6 da görülmektedir. Sunulan 58 bildiride 1 tanesi ile araştırma yöntemi eşlemesi gerçekleşmemiştir. Eşleme gerçekleşen 57 bildiri için yüzde dağılımı Şekil 7 de gösterilmektedir. Şekil 4. Sunulan bildirilerde eşleme gerçekleştirilen bildirilerin araştırma türlerinin sayısal ve yüzdesel dağılımı Araştırma türleri arasında en yaygın olarak kullanılan Deneysel/Ampirik Çalışma (Empirical Study), kendi içinde Sayısal/Kantitatif (Quantitative), Niteliksel/Kalitatif (Qualitative) ve Karma (Mixed) kategorilerinde incelenmiştir. 36 adet Deneysel/Ampirik Çalışma nın alt kategorilerine ait yüzde dağılımı Şekil 5 de gösterilmektedir. Şekil 6. Sunulan bildirilerin araştırma yöntemi sayısal dağılımı Şekil 7. Sunulan bildirilerde eşleme gerçekleştirilen bildirilerin araştırma yöntemlerinin sayısal ve yüzdesel dağılımı Şekil 5. Deneysel/Ampirik çalışmalarının alt kategorilerinin sayısal ve yüzdesel dağılımı Araştırma yöntemlerinden Deneysel (Experimental), kendi içinde Gerçek Deneysel (True experiment), Yarı Deneysel (Quasi-experiment) ve Deneysel Olmayan (Non-experiment) kategorilerinde incelenmiştir. Deneysel (Experimental)

7 yönteminin alt kategorilerine ait yüzde dağılımı Şekil 8 de gösterilmektedir. Şekil 8. Deneysel araştırma yönteminin alt kategorilerinin sayısal ve yüzdesel dağılımı Araştırma yöntemlerinden Kullanılabilirlik Testleri (Usability Testing), kendi içinde Uzman Temelli Testleri (Expert-based testing), Otomatikleştirilmiş Kullanılabilirlik Testleri (Automated usability testing), Kullanıcı Temelli Testler (User-based testing) ve Karma (Hybrid) kategorilerinde incelenmiştir. Kullanılabilirlik Testleri (Usability Testing) yönteminin alt kategorilerine ait yüzde dağılımı Şekil 9 da gösterilmektedir. Şekil 9. Kullanılabilirlik testleri araştırma yönteminin alt kategorilerinin sayısal ve yüzdesel dağılımı 5. Sonuçlar Bu çalışma kapsamında, HCI International Konferansı nda yılları arasında Türk araştırmacılar tarafından sunulan tam metin bildirilere dayalı olarak İBE alanında yapılan çalışmaların genel eğilimlerini belirlemek amaçlanmıştır. Bu amaç doğrultusunda sunulan bildiriler incelenerek bir sistematik eşleme çalışması gerçekleştirilmiştir. Araştırma sonuçlarına göre incelenen 3 konferansta, 2012 yılında yayınlanan bildirilerin oranında 2011 yılında yayınlanan bildirilere göre artış görülürken, 2014 yılında bu oran düşmektedir. Her geçen gün çalışma sahasını genişleyen İBE alanında, genelleme yapılmaksızın, bu konferansta sürekli artan bir ivme olmamasının nedenleri üzerinde durulması, bilgilendirmeler yapılması ve teşvikler ortaya koyulması önerilmektedir. İBE alanına bir çok akademik disiplin katkı sağladığı bilinmektedir. İncelenen ilişkili disiplinlerde en fazla Bilişsel Bilim (Cognitive Science), Yazılım Mühendisliği (Software Engineering) ve Hesaplama (Computing) olduğu görülmektedir. Teknolojik olarak yazılım, donanım ve tasarımların ilerlemesi ile Bilgisayar Bilimleri ile olan etkileşimin daha artabileceği öngörülmektedir. Bildirilerde araştırma türü olarak Deneysel/Ampirik Çalışma (Empirical Study), Artifact ve Anket (Survey) kullanıldığı görülmektedir. Wobbrock [16] in araştırma türü sınıflandırması referans alınarak yapılan eşlemede sadece 1 bildiri için eşleme yapılamamış, %98 oranında başarı elde edilmiştir. Bu durum da referans alınan araştırma türü sınıflandırmasının İBE alanı için güçlü bir sınıflandırmaya sahip olduğu ortaya konmaktadır. Bildirilerde en çok Kullanılabilirlik Değerlendirmeleri (Usability Evaluation), Yeni Etkileşim Teknikleri (New Interaction Techniques) ve Evrensel Erişebilirlik (Universal Accessibility) konularında çalışıldığı tespit edilmiştir. Bildirilerde en yaygın olarak Durum Çalışmaları (Case studies), Deneysel (Experimental) ve Kullanılabilirlik Testleri

8 (Usability Testing) araştırma yöntemlerinin uygulandığı tespit edilmiştir. Araştırma yönteminde referans alınan Lazar et.al [17] dan yapılan uyarlamada 1 eşleşmeyen kayıt ve 6 adet diğer kayıt olduğu görülmektedir. Değerlendirmelere göre uyarlama listesine Evaluation, Observation ve Simulation kategorilerinin de eklenmesinin, liste ile örtüşen daha fazla eşleme sağlaması açısından fayda yaratacağı görülmektedir. Bu çalışmada, ulusal ve uluslararası bilimsel birikime katkıda bulunmak amacıyla alanda çalışmaya başlayacak yeni araştırmacılara, alandaki eğilimleri referans alarak çalışmalarını yönlendirecek deneyimli araştırmacılara ve ders içerik programlarını eğilimler ile paralel yürütmeyi planlayan akademisyenlere yol gösterici olacağına inanılmaktadır. Kaynaklar [1] Çağıltay, K., İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, 1. Basım, ODTÜ Yayıncılık, 2011, pp [2] Dix, A., Finlay, J., Abowd, G.D., Beale, R., Human-Computer Interaction, 3. Basım, Pearson, 2004, pp [3] Preece, J., Rogers, Y., Sharp, H., Benyon, D., Holland, S., Carey, T., Human-Computer Interaction, Addison-Wesle, 1994, pp [4] Yalnız, S.E., Bilgi Sistemleri ve Yazılım Mühendisliği alanlarında Sistematik Literatür İncelemesi Süreci, Başkent Üniversitesi Bilgisayar Mühendisliği Bölümü, 2013, pp [5] Bezerra, F., Favacho, C.H., Souza, R., Souza, C., Towards Supporting Systematic Mappings Studies: An Automatic Snowballing Approach, In: 29th SBBD SBBD Proceedings, 2014, pp [6] HCI International Conference, [7] N. Tudaliev, B. Bilgin, G. Deniz, P. O. Durdu, D. Incebacak, A. Mutlu, UYMS Arastirma Egilimleri: Bir Sistematik Esleme Calismasi, 9. Ulusal Yazilim Muhendisligi Sempozyumu (UYMS'15), İzmir, Türkiye, [8] Randall, N.P., James, K.L. The effectiveness of integrated farm management, organic farming and agri-environment schemes for conserving biodiversity in temperate Europe - A systematic map., In: Environmental Evidence, 2012, pp [9] Wobbrock, J.O., Research Contribution Types in Human-Computer Interaction, The Information School University of Washington. [10] ACM SIGCHI, [11] Lazar, J., Feng, J.H., Hochheiser, H. Research Methods In Human-Computer Interaction, Wiley, [12] Göktaş, Y., Küçük, S., Aydemir, M., Telli, E., Arpacık, Ö., Yıldırım, G., Reisoğlu, İ. Türkiye de Eğitim Teknolojileri Araştırmalarındaki Eğilimler: Dönemi Makalelerinin İçerik Analizi, In: Educational Sciences: Theory & Practice - 12(1), 2012, pp