EEG Verilerinden Farklı Müzik Türü ve Zihinsel Görevlerin Ayırt Edilmesi Zhaleh SADREDDİNİ 1 Ebru DURMUŞ 2 Nurhan GÜRSEL ÖZMEN 3 1 Bilgisayar Mühendisliği Bölümü 2,3 Makine Mühendisliği Bölümü Mühendislik-Mimarlık Fakültesi 1,3 Karadeniz Teknik Üniversitesi, TRABZON 2 Nişantaşı Üniversitesi, İSTANBUL Zh.sadreddini@ktu.edu.tr ebru.durmus@nisantasi.edu.tr gnurhan@ktu.edu.tr Özet Bu çalışmanın amacı, insan beyninin farklı durumlardaki değişimini gözlemlemek ve bu değişimin bir beyin bilgisayar arayüzü sisteminde kullanılabilirliğini araştırmaktır. Üç farklı kişi ile müzik dinleme, zihinsel ve motor hareket hayal etme görevleri gerçekleştirilmiş ve farklı öznitelik yöntemleri ve sınıflandırıcılar açısından performansları değerlendirilmiştir. Deneysel sonuçlara göre, müzik dinlerken beynin art kafa (occipital) ve merkez (central) bölgelerinin daha aktif olduğu belirlenmiştir. Öznitelikler arasından seçilen özbağlanım katsayıları (AR) özniteliğinin sonuçları ve sınıflandırıcılar arasından seçilen yapay sinir ağları (NN) ile sınıflandırma sonuçlarının daha başarılı olduğu gözlenmiştir. Elde edilen sonuçlara göre, bu çalışmada kullanılan müzik dineme yöntemi bir beyin bilgisayar arayüzü sistemi için denenebilirdir. Anahtar Kelimeler BBA, EEG, müzik dinleme zihinsel görevi, öznitelik çıkarma, sınıflandırma. Giriş İnsanların bilinen en eski ve temel sosyo-bilişsel alanlarından biri müziktir. Düzenli olarak müzik dinlemek nöron ve sinapsları daha aktif hale getirdiği gibi, sevilen müzikleri dinlemek zihinsel yorgunluğu azaltmaya yardımcı olur. Ses dalgaları incelendiğinde, ses dalgalarının insanların nörolojik (beyin ve sinir ) sisteminde büyük etkisi olduğu saptanmıştır. Dolayısıyla yapılan nörolojik çalışmalar müziğin beyin sistemini değerlendirmek için önemli bir araç olduğunu göstermektedir [1]. Müzik türlerinin her birinin insan vücudunda oluşturduğu kendi frekansları vardır ve beyin ile ilişkili olan frekans bandlarını da Elektroansefalogram (EEG) ile ölçüp incelemek mümkündür [2]. EEG tabanlı Beyin Bilgisayar Arayüzü (BBA) literatüründe müzik dinletilerek kişilerin farklı görevler yerine getirdikleri çalışmalar mevcuttur. Bu çalışmalar iki açıdan ele alınmıştır. Birincisinde, müzik dinletilerek ve müzik dinletilmeden zihinsel görevleri yerine getirenler incelenmiş, ikincisinde ise müzisyen ve müzisyen olmayan insanlar arasında müzik türlerine göre farklılıklar EEG sinyallerinden ayırt edilmeye çalışılmıştır [3,4].
Bu çalışmada ise, müzik dinleme görevi ayrı bir görev olarak ele alınmış, hem farklı müzik türleri (klasik, rock) kendi aralarında karşılaştırılmış hem de diğer zihinsel görevlerle karşılaştırılmıştır. Bu çalışmada kullanılan EEG verilerinin tamamı Karadeniz Teknik Üniversitesi Makine Mühendisliği Bölümü nde Bilimsel Araştırma Projeleri kapsamında satın alınan Biosemi Active Two EEG Sistemi ile gerçekleştirilen ölçümlerden elde edilmiştir. Materyal ve Yöntem Katılımcılar ve İşlem Adımları Çalışmamız üç farklı kişi ile gerçekleştirilmiştir. Bu denekler, Karadeniz Teknik Üniversitesi Makine Mühendisliği öğrencileri olup, yaşları 20 ile 25 arasında değişen ve herhangi bir nörolojik, psikolojik, kronik hastalık tanısı olmayan gönüllü ve sağ elini kullanan kişilerdir. EEG kayıtları sessiz, sakin, gün ışığı ile aydınlatılmış bir odada gerçekleştirilmiştir. Denekler rahat bir sandalyede oturmaktadırlar ve deney esnasında gözlerini açık tutmaları ve hareket etmemeleri söylenmektedir. Deneyden önce deneklere işlem adımları araştırmacı tarafından anlatılır. Her ölçüm öncesinde denekler bir araştırmacı tarafından hangi görevin yapılacağı, başlama ve bitiş zamanları konusunda bilgilendirilirler [2,5]. Her bir deneme 10 saniyelik bir kaydı içermektedir ve ardışık deneyler arasında 2-3 saniyelik ara verilmektedir. Yedi farklı görev için toplamda 100 farklı kayıt gerçekleştirilmiştir. Görev tanımları aşağıdaki şekildedir: Rahat durum: Temel görev olarak adlandırılan bu görev esnasında deneklerin rahat bir şekilde hiçbir şey düşünmeden beklemeleri istenmektedir. Matematiksel işlem: Bu görevde deneklerden zihinden iki basamaklı bir çarpma problemini çözmeleri istenir. İşlemler her defasında değişkendir ve 10 saniye sonunda deneğin sonucu bulup bulamadığı kontrol edilir. Sağ el hareketi hayali: Bu esnada deneklerin sağ ellerini ardışık hareket ettirdiklerini hayal etmeleri istenir. Bu hareketlerin seçilme nedeni, motor görevlerle sezgisel görevler arasındaki ayrımları fark etmek amaçlıdır. Sol el hareketi hayali: Bu görev sağ el hareketi hayali ile aynıdır. A harfi hayali: Bu görev esnasında deneklerin gözleri açık bir şekilde zihinlerinde yanıp sönen veya bir ekrana yazılmış şekilde A harfini canlandırmaları istenir. Klasik müzik dinleme: Bu görev esnasında denek gözleri açık bir pozisyonda kulaklık ile sözsüz klasik müzik dinlemektedir. Rock müzik dinleme: Bu görev de klasik müzik dinleme görevine benzer şekilde uygulanır. Bu yedi görev çalışmanın devamında birbirleriyle karşılaştırılırken kullanım kolaylığı sağlaması için sırasıyla Görev1, Görev2, Görev3, Görev4,Görev5, Görev6 ve Görev7 olarak adlandırılmıştır [5, 6, 7].
Öznitelikler EEG EEG Veri Kaydı ve Önişleme Çalışmada kullanılan veriler Karadeniz Teknik Üniversitesi Makine Mühendisliği Bölümü nde bulunan 64 kanallı Biosemi ActiveTwo EEG kuvvetlendiricisi ile kaydedilmiş ve sayısal ortama aktarılmıştır. Kaydedilen veri sayısal ortama 512 Hz ile aktarılmıştır. Verilerin analizi MATLAB programı ile yapılmıştır. Sinyal analizi için 64 kanal arasından seçilen belirli 6 elektrot kanalına ait EEG verileri kullanılmıştır. Farklı görevler için beynin farklı bölümlerinin sorumlu olduğu ve farklı zihinsel aktiviteler esnasında farklı türden işaretler üretildiği bilindiğinden, o alanları içerecek şekilde Şekil1 de sarı ve kırmızı renkte belirtilen C3, C4, P3, P4, O1 ve O2 kanalları seçilmiştir. Seçilen her bir elektrot kanalının sınıflandırmadaki etkilerini görebilmek amacıyla, sınıflandırma başarımları elektrot bazında incelenmiştir [6]. Şekil1. Uluslararası 10-20 elektrot yerleşim düzeni ve seçilen elektrotlar (sarı-kırmızı),en yüksek başarımın gözlendiği elektrotlar (kırmızı) EEG sinyal analizi adımları Şekil2 de gösterilmektedir. Öncelikle, kaydedilen EEG sinyallerinden doğru ve yüksek performanslı bir sınıflandırma sonucu elde edebilmek için EEG işaretine dâhil olan bozucuların ayıklanması gerekir. Bu nedenle bu çalışmada bozucuların etkisini azaltabilmek için deneklerden gözlerinin açık fakat deney esnasında (her bir 10 saniyelik periyotta) gözlerini hareket ettirmemeleri istenmektedir. Daha sonra elde edilen veriler, bozucu ve gürültülerden ayıklamak için 1-30 Hz aralığını geçiren Elliptik bant geçiren süzgeçten geçirilerek sinyal filtreleme işlemine tabi tutulmuştur. Ön İşleme Filtreleme Öznitelik Çıkarımı Sınıflandırma Şekil 2. EEG analiz şeması
Öznitelik Çıkarımı Öznitelik çıkarmanın temel amacı kaydedilen EEG verilerinin ayırt edici özelliklerinin çıkarılıp öznitelik vektörünün elde edilmesi işlemidir. Bu çalışmada, öznitelik vektörleri olarak, özbağlanım katsayıları(ar), Hjorth parametreleri, güç spektrum yoğunluğu (PSD) ve zihinsel ve motor hareketlerin ayırt edilmesinde frekans karakteristikleri çok önemli olduğu için bu çalışmada kullanılan diğer bir öznitelik çıkarma yöntemi de [7] deki çalışmada yapılan EEG işaretlerinin güç spektral yoğunluğundan elde edilen frekans dağılımlarını esas alarak çıkarılan özniteliktir. Bu dört öznitelik çıkarma yöntemleri, sınıflandırma performansları açısından karşılaştırılmıştır. Mertebesi p olan özbağlanım modeli (AR), Eşitlik 1 denklemi ile hesaplanmaktadır. Bu eşitlikte x(n) çıkış dizini, 2 e(n) varyansı olan beyaz gürültü dizini, a(k) ise özbağlanım (AR) parametrelerini ve/veya özniteliğini belirtmektedir. AR(p) modeli, {a[1], a[2],, a[p], 2 } AR model parametreleri ile karakterize edilir. p x[ n] a[ k] x[ n k] e[ n] k 1 (1) Hjorth tanımlayıcıları, üç alt parametrenin birleşmesiyle oluşturulmuştur. Bu parametreler şu şekildedir: işleklik, taşınırlık ve karmaşıklık. İşleklik en sade haliyle sinyalin enerjisi ( x ) olarak tanımlanır. Taşınırlık ise Eşitlik 2 de verilen denklem ile ifade edersek x sinyalinin birinci türevinin standart sapmasının sinyalin standart sapmasına oranı şeklindedir. T x x (2) Karmaşıklık diğer adıyla biçim faktörü (BF) sinyalin formu ile ilgili hesaplanabilir bir değer verir. BF Tx x / x Tx x / x (3) Öznitelik olarak literatürde de yaygın olarak kullanılan güç spektral yoğunluğu ise Welch periodogramı ile [7,8,9,10] ve [7] deki yöntemle hesaplanmıştır. Sınıflandırma Sinyal işleme sistemlerinin son aşaması olan sınıflandırmada, kullanılan algoritmaya bağlı olarak giriş öznitelik vektörleri incelenir ve sınıflandırma sonucu belirlenir [7,11]. Bilinmeyen bir sinyali tanıyabilmek için öznitelik çıkarımı ve öznitelik seçimi işlemlerinin ardından sınıflandırma işlemi gerçekleştirilir. Sınıflandırma işlemi için, hangi sınıfa ait olduğu önceden bilinen belirli
sayıdaki öznitelik vektörünün oluşturduğu veri kümeleri bir eğitim sürecinden geçirilir. Bu eğitim sonucunda, bilinmeyen sinyali uygun sınıfa atamakta kullanılan bir karar mekanizması oluşturulur [12,13]. Bu çalışmada sınıflandırma performansları yedi farklı görev için üç farklı sınıflandırıcının kendi aralarında ikili sınıflandırma yöntemleri ile değerlendirilmiştir. Sınıflandırıcı olarak seçilen yöntemler Destek Vektör Makinesi, k-en Yakın Komşuluğu ve Yapay Sinir Ağları dır. a. Destek Vektör Makinesi (SVM) İle Sınıflandırma Destek vektör makineleri (SVM), istatistiksel öğrenme teorisine dayalı öğrenme algoritmasıdır [14]. Genellikle SVM de ikili sınıflandırmada etiketlenmiş eğitim verisi (4) ifadesindeki gibi belirtilir. Burada l; örnek sayısı x i ; örnekler, y i ; bu örneklere ait etiketleri temsil etmektedir. { x, y } l i 1 x R, y { 1, 1} (4) i i i i İkili sınıflandırma probleminde doğrusal olarak ayrılabilen bir veri setinin olduğu düşünülürse, bu veri setini ayırabilen sonsuz sayıda hiper-düzlem vardır. SVM karar yüzeyini oluştururken iki sınıfa olan uzaklığı maksimum yapmaya çalışır. Bu düzlemler arasında maksimum sınıra sahip sadece bir hiper-düzlem bulunmaktadır. Sınır genişliğini sınırlandıran noktalara ise destek vektörleri adı verilir. Destek vektör algoritması en büyük sınır genişliğine sahip ayırıcı hiper-düzlem ile sınıflandırma yaparak eğitim hatasını minimize etmeye çalışır. Sınıfları birbirinden ayıran marjini en büyük, doğrusal bir ayırt edici fonksiyon bulunmasını amaçlar. Doğrusal olarak ayrılamayan örnekler için, örnekler doğrusal olarak ayrılabildikleri daha yüksek boyutlu başka bir uzaya taşınır ve sınıflandırma o uzayda yapılır. b. K-En Yakın Komşuluk Algoritması ile Sınıflandırma k-en Yakın Komşu (k-nn) algoritması öznitelik uzayındaki en yakın eğitim örneklerine dayanarak nesneleri sınıflandıran, en basit örüntü tanıma yöntemlerinden birisidir [15]. Bu algoritma verilen k değeri kadar en yakın komşunun sınıfına göre sınıflandırma işlemi yapmaktadır. Bu çalışmada optimum k değeri denemeler sonucunda üç olarak belirlenmiştir. k-en Yakın Komsu algoritmasında bir vektörün sınıflandırılması, sınıfı bilinen vektörler kullanılarak yapılmaktadır. Test edilecek örnek, eğitim kümesindeki her bir örnek ile tek tek işleme alınmıştır. Test edilecek örneğin sınıfını belirlemek için eğitim kümesindeki o örneğe en yakın k adet örnek seçildi (k=3). Seçilen örneklerden oluşan küme içerisinde hangi sınıfa ait en çok örnek varsa test edilecek olan örnek bu sınıfa aittir denildi. Örnekler arası uzaklıklar Öklid (Euclidean) uzaklığı ile hesaplanmıştır. c.yapay Sinir Ağları İle Sınıflandırma Yapay sinir ağları (NN) ile sınıflandırmada tek katmanlı bir YSA modeli Matlab ortamında oluşturulmuştur. Oluşturulan modelde öğrenme kuralı olarak geri yayılım algoritması (traingdx) kullanılmış ve bu öğrenme
kuralındaki parametrelerden öğrenme oranı (learning rate, lr), maksimum iterasyon sayısı (itnum) parametreleri için en uygun değerler araştırılmıştır. Bunun yanı sıra ara katmandaki gizli nöron sayısı için de benzer bir araştırma işlemi gerçekleştirilerek, optimum gizli nöron sayısı belirlenmiştir. Sınıflandırma işlemi esnasında toplam veri seti, eğitim, doğrulama ve test verileri olmak üzere üçe ayrılmıştır. Her bir denemeye ait verilerin %70 i eğitime, %5 i doğrulamaya ve %25 i ise test kümesine yerleştirilerek bir çözüm yapılmıştır. Sınıflandırma performansı ise toplam verilerinden elde edilen yüzdesel ikili sınıflandırma doğruluğu olarak ele alınmış ve yedi farklı görevden her bir elektrot için kaydedilen her yüz veriden kaç tanesinin doğru sınıflandırıldığı bulunmuştur. Tartışma Bu çalışma kapsamında üç farklı kişiden elde edilen EEG verileri hem seçilen görevler, hem öznitelik yöntemleri, hem de sınıflandırıcı performansları açısından değerlendirilmiştir. Sayfa sayısının sınırlı olması nedeniyle, Tablo1 de yalnızca en yüksek başarımın elde edildiği deneğe ait sonuçlar seçilen elektrotlar bazında verilmiştir. Genel olarak 3 kişi için değerlendirdiğimizde, görevlerdeki başarılar ve sınıflandırıcı başarımları Tablo1 deki denek sonuçları ile benzerdir. Sadece öznitelikler arasında farklılıklar gözlenmiştir. Hjorth tanımlayıcısı için sınıflandırma başarımları ortalama olarak %60-70, AR için %90-100 ve PSD değerleride %90-98 civarındadır. AR başarımları biraz daha yüksek olduğu için Tablo 1 e konulmuştur. Sınıflandırıcılar arasında en yüksek başarımlar, sırasıyla NN, SVM ve k-nn sınıflandırıcısıdır. Elektrotlar açısından değerlendirildiğinde, C3 ve O2 elektrolarında 3 kişi için bütün görevlerdeki başarılarının ortalamasının yüksek olduğu gözlenmiştir (Şekil 2 de kırmızı elektrotlar). Tüm görevlerin ikili sınıflandırma sonuçları değerlendirildiğinde, üç sınıflandırıcı ve üç kişi içinde en iyi sonuçlar Görev3-Görev6 (sağ el-klasik müzik), Görev3-Görev7(sağ el-rock müzik), Görev5-Görev6 (A harfi-klasik müzik), Görev5-Görev7( A harfi-rock müzik) ve Görev 6-Görev7 de (Klasik-rock müzik ) görevlerinde elde edilmiştir. Bu sonuçlara göre, BBA sistemleri için, görev tanımlaması yaparken müzik dinleme görevinin de uygun bir seçim olacağı düşünülmektedir. Klasik ve rock müzik dinleme esnasında, EEG sinyallerinde farklılık oluştuğu ve bu farklılığın sınıflandırma başarımlarına yansıdığı görülmüştür. Sonuçlar Bu çalışmada üç farklı kişi ile müzik dinleme, zihinsel ve motor hareket hayal etme görevleri gerçekleştirilmiş ve farklı öznitelik yöntemleri ve sınıflandırıcılar açısından performansları değerlendirilmiştir. Özbağlanım katsayıları (AR), Hjorth parametreleri, güç spektrum yoğunluğu (PSD) ve zihinsel ve motor hareketlerin ayırt edilmesinde frekans karakteristikleri gibi öznitelik yöntemleri arasında, AR parametreleri ile SVM ve NN sınıflandırıcı performanslarının yüksek olduğu görülmüştür. En başarılı elektrot kanalları ise C3 ve O2 olarak gözlenmiştir. Elde edilen sonuçlar ışığında, müzik dinleme görevinin BBA sistemleri için denenebileceği söylenebilir. Kaynaklar [1] Peretz I, Zatorre R. Brain Organization for Music Processing. Annual Review of Psychology, pp: 89 114, 2005 (56).
[2] Asada H, Fukuda Y, Tsunoda S, Yamaguchi M, Tonoike M. Frontal midline theta rhythms reflect alternative activationof prefrontal cortex and anterior cingulated cortex in humans. J Neurophysiology (50), pp: 324 328, 1999. [3] A. Dey, S.K. Palit, D.K. Bhattacharya, D.N. Tibarewala, Debraj Das, Study of the effect of music on central nervous system through long term analysis of eeg signal in time domain International Journal of Engineering Sciences & Emerging Technologies, Volume 5, Issue 1, pp: 59-67, Apr. 2013. [4] J. Bhattacharya, H. Petsche, E. Pereda, Interdependencies in the spontaneous EEG while listening to music Elsevier Science B.V. All rights reserved, 2001. [5] N.G. Ozmen, L. Gumusel, Discrimination between Mental and Motor Tasks of EEG Signals Using Different Classification Methods, INISTA,15-18 June, Istanbul, Turkey, 2011. [6] N.,Gürsel Özmen, L., Gümüsel, Mental and Motor Task Classification by LDA, MEDICON 2010, IFMBE Proceedings29, pp. 172-175, Chalkidiki, Greece., 28-29 May 2010. [7] N.,Gürsel Özmen, L., Gümüsel, Classification of Real and Imaginary Hand Movements for a BCI Design, 978-1-4799-0404-4/13/$31.00 IEEE, TSP 2013. [8] C.W. Anderson ve Z. Sijercic, Classification of EEG signals from four subjects during five mental tasks. Solving Engineering Problems with Neural Networks Proc. Int.Conf. on Engineering Applications of Neural Networks (EANN 96), 1996. [9] C.W Anderson., S.V. Devulapalli, A.Stolze Determining mental state from EEG signals using parallel implementations of neural networks. Scientific Programming IOS Press, 4, 3: 171-183, 1995. [10] N.,Gürsel Özmen, L., Gümüsel, Mental and Motor Task Classification by LDA, MEDICON 2010, IFMBE Proceedings29, pp. 172-175, Chalkidiki, Greece., 28-29 May 2010. [11] Kwak, N., Choi, C.-H., Input feature selection for classification problems, IEEE Transactions on Neural Networks, Vol. 13, No. 1, pp. 143-159, 2002. [12] Gunal S., Örüntü tanıma uygulamalarında alt uzay analiziyle öznitelik seçimi ve sınıflandırma, Doktora tezi, Osmangazi Üniversitesi, Fen Bilimleri Enstitüsü, Eskişehir, 2001. [13] Duda, R. O., Hart, P. E. and Stork, D. G., Pattern classification, John Wiley & Sons Inc., USA, 654 p, 2001. [14] Burges, J.C., A Tutorial on Support Vector Machines for Pattern Recognition, Data Mining and Knowledge Discovery 2, 121-167,1998. [15] Alpaydin, E., ``Introduction to Machine Learning'', MIT Press, 2004.
Tablo1. EEG müzik görevleri verilerinin çalışılan diğer görevlerle ikili sınıflandırma sonuçları Deneme Sınıflandırıcıların (% ) Başarı Değerleri Seti k-nn NN SVM (Görev) C3 C4 P3 P4 O1 O2 C3 C4 P3 P4 O1 O2 C3 C4 P3 P4 O1 O2 1-6 40 27 63 67 57 77 95 83 80 85 61 76 60 37 47 60 70 50 2-6 100 100 90 93 100 100 96 95 95 92 96 93 100 97 47 70 94 94 3-6 93 93 90 100 90 93 90 96 96 94 98 94 97 97 80 100 80 94 4-6 93 93 77 90 93 90 95 93 96 100 95 96 80 67 84 97 80 94 5-6 93 93 93 93 93 93 72 77 77 89 86 80 97 94 94 94 94 94 1-7 97 60 60 80 60 87 100 94 84 93 90 86 97 90 50 94 74 97 2-7 100 63 63 73 80 87 92 82 85 80 85 84 100 74 24 57 84 84 3-7 83 93 80 80 80 77 98 100 98 98 91 98 100 100 87 94 87 84 4-7 87 70 67 77 67 83 91 75 83 82 81 74 90 97 97 90 77 90 5-7 100 100 100 100 100 100 93 91 92 95 87 95 100 100 100 100 100 100 6-7 77 90 90 90 90 90 90 96 95 94 95 96 100 100 100 100 100 100