Pembangkitan Citra berdasarkan Sinyal Electroencephalogram menggunakan Variational Autoencoder dan Shifted Diffusion

Anthony, Felix (2025) Pembangkitan Citra berdasarkan Sinyal Electroencephalogram menggunakan Variational Autoencoder dan Shifted Diffusion. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5002211051-Undergraduate_Thesis.pdf Restricted to Repository staff only until 1 April 2027. Download (7MB) | Request a copy

Abstract

Pembangkitan citra berdasarkan sinyal aktivitas otak dapat membantu dalam memvisualisasikan sinyal aktivitas otak pada manusia. Secara umum, studi terkait cenderung menggunakan sinyal aktivitas otak melalui teknik non-invasif electroencephalogram (EEG) yang dikenal lebih praktis dan murah dibandingkan functional magnetic resonance imaging (fMRI). Studi terbaru menggunakan Contrastive Language-Image Pretraining (CLIP) untuk mengekstrak laten pengetahuan dari sinyal EEG dan Diffusion Prior untuk menghasilkan fitur embedding yang digunakan untuk membangkitkan citra baru. Akan tetapi, terdapat kelemahan pada model tersebut antara lain: ekstraksi fitur yang digunakan tidak dapat menangkap seluruh representasi dari EEG dengan lengkap dan citra yang dihasilkan sering kali tidak mempunyai konteks yang tepat. Oleh karena itu, penelitian Tugas Akhir ini mengusulkan sebuah model integrasi antara model Variational Autoencoder (VAE) untuk mengekstraksi fitur laten (tersembunyi) dari sinyal EEG otak dan model Shifted Diffusion untuk menghasilkan embedding citra yang digunakan untuk membangkitkan citra dari fitur laten EEG yang dihasilkan. Penelitian Tugas Akhir ini bertujuan untuk membangkitkan citra yang sesuai dengan konteks dari sinyal EEG yang diberikan. Model yang diusulkan dievaluasi pada dataset publik THINGS-EEG. Dari hasil eksperimen, model yang diusulkan mampu membangkitkan citra dari sinyal EEG lebih baik dibandingkan model baseline dengan nilai metrik two-way identification 0.93.
=================================================================================================================================
Image generation from brain activity signals can help visualize human brain activity signals. Generally, related studies often used brain activity signals from non-invasive method called electroenchephalogram (EEG) as it known cheaper and more easy-to-use compared to functional magnetic resonance imaging (fMRI) technique. The recent study was proposed a model within Contrastive Language-Image Pretraining (CLIP) to
extract the latent information of the EEG signal and Diffusion Prior to produce embedding features for generating the new images. However, there are drawbacks from the previous method: the incomplete EEG feature extraction and the incorrect contexts from the generated image. Hence, this study proposes an integration model between Variational Autoencoders (VAEs) to discover the EEG latent completely and Shifted Diffusion to generate image embedding features for generating new images. The goal of this study is to generate an image given EEG signal data with more accurate contexts. The proposed model will be evaluated on a public dataset for EEG visual classification. Based on the experiment results, the proposed model can generate better image from EEG than the baseline model with the highest two way identification metric achieving 0.93.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Pembangkitan Citra, Sinyal EEG, Shifted Diffusion, Visual Kognitif Image reconstruction, EEG signal, Shifted Diffusion, Visual Cognitives
Subjects:	Q Science > QA Mathematics > QA336 Artificial Intelligence
Divisions:	Faculty of Science and Data Analytics (SCIENTICS) > Mathematics > 44201-(S1) Undergraduate Thesis
Depositing User:	Felix Anthony
Date Deposited:	05 Feb 2025 08:05
Last Modified:	05 Feb 2025 08:05
URI:	http://repository.its.ac.id/id/eprint/118075

Actions (login required)

View Item