Pengembangan Metode Pengenalan Emosi Untuk Inter-Subject Berbasis Signal Electroencephalography (EEG) 2D Images Menggunakan Deep Learning

Farokhah, Lia (2024) Pengembangan Metode Pengenalan Emosi Untuk Inter-Subject Berbasis Signal Electroencephalography (EEG) 2D Images Menggunakan Deep Learning. Doctoral thesis, Institut Teknologi Sepuluh Nopember.

Text 7025201007-Dissertation.pdf - Accepted Version Restricted to Repository staff only until 1 April 2026. Download (4MB) | Request a copy

Abstract

Pengenalan emosi melalui pengukuran fisiologis electroencephalography (EEG) merupakan salah satu teknik pengenalan emosi yang paling diandalkan saat ini. Pengenalan emosi melalui EEG memiliki beberapa kendala yang sedang tren. Pertama adalah media stimulus yang masih statis menggunakan layar datar: (1) kurang kuatnya emosi; (2) percobaan yang belum mengikuti skenario nyata. Kedua, proses validasi dan komputasi yang kurang baik: (1) validasi inter-subject lebih sulit dibandingkan intra-subject akibat domain shift sehingga emosi lebih sulit dikenali; (2) komputasi yang besar akibat dari penggunaan saluran dalam jumlah besar. Ketiga, reduksi saluran belum memanfaatkan relevansi biologis lobus otak tertentu sehingga menyebabkan kurangnya kekhususan kontekstual.
Tujuan utama penelitian ini adalah mengembangkan metode pengenalan emosi untuk inter-subject berbasis gambar 2D dan pengurangan komputasi. Metode ini dibangun dengan tiga cara yaitu transformasi signal 1D EEG ke 2D EEG, arsitektur pembelajaran mendalam dan seleksi fitur melalui saluran untuk mengurangi komputasi. Solusi yang diajukan terdiri dari beberapa hal yaitu: (1) penggunaan spectogram dan scalogram sebagai transformasi 1D ke 2D EEG; (2) pengembangan arsitektur CNN; (3) mencari fitur terbaik melalui kolaborasi saluran individu dan modifikasi metode relief; dan (4) mencari pusat emosi melalui pembobotan lobus. Solusi 1, 2, 3, dan 4 akan diuji pada Database for Emotion Analysis of Physiological Signals (DEAP). Adapun tujuan tambahan penelitian ini adalah menguji pembangkitan emosi antara media virtual reality dengan TV 4K UHD beresolusi tinggi pada private dataset. Solusi pembangkitan emosi dilakukan dengan 2 cara yaitu: (1) pembuatan private dataset yang mengkolaborasi EEG, virtual reality, dan TV 4K UHD; (2) melakukan perbandingan kekuatan emosi antar kedua media dari segi resolusi.
Hasil percobaan menunjukkan beberapa hal penting yang dianalisis. Pertama, virtual reality memiliki emosi yang lebih kuat dibandingkan TV 4K UHD meskipun memiliki resolusi layar yang lebih rendah. Kedua, Hasil percobaan pada validasi inter-subject menggunakan spectrogram dan kolaborasi saluran individu terbaik pada public dataset (DEAP) menunjukkan kinerja arsitektur yang diusulkan menggunakan 32 saluran meningkat masing-masing sebesar 9,73% dan 11,7% pada kelas valence dan arousal. Selain itu, saat menggunakan 10 saluran meningkat sebesar 3,53% dan 7,2% masing-masing pada kelas valence dan arousal. Penggunaan scalogram dan modifikasi relief (PR-Relief) dalam pemilihan saluran menghasilkan kinerja lebih baik dari spectogram, kinerja akurasi pada inter-subject menggunakan 10 saluran terjadi kenaikan 2.71% untuk valence dan 1.96% untuk arousal. Ketiga, mengkolaborasikan hasil pembobotan lobus dan klasifikasi menghasilkan 13 saluran depan yang signifikan sebagai pusat emosi valence dan arousal. Penelitian ini menjaga tingkat kompleksitas yang lebih rendah, arsitektur yang diusulkan mencapai tingkat kinerja yang lebih tinggi.

Item Type:	Thesis (Doctoral)
Uncontrolled Keywords:	EEG, variabilitas antar subjek, pembelajaran mendalam, validasi
Subjects:	R Medicine > R Medicine (General) > R858 Deep Learning T Technology > TA Engineering (General). Civil engineering (General) > TA1637 Image processing--Digital techniques T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK5102.9 Signal processing.
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55001-(S3) PhD Thesis
Depositing User:	Lia farokhah
Date Deposited:	07 Feb 2024 06:57
Last Modified:	07 Feb 2024 08:01
URI:	http://repository.its.ac.id/id/eprint/106495

Actions (login required)

View Item