Analisis Audio-Visual untuk Deteksi Stres Menggunakan Convolutional Neural Network (CNN)

Shinta, Narika (2025) Analisis Audio-Visual untuk Deteksi Stres Menggunakan Convolutional Neural Network (CNN). Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5023211057-Undergraduate_Thesis.docx - Accepted Version Restricted to Repository staff only Download (5MB) | Request a copy

Abstract

Penelitian ini mengembangkan sistem deteksi tingkat stres menggunakan pendekatan multimodal yang mengintegrasikan data audio dan visual melalui Convolutional Neural Network (CNN) dan late fusion. Sistem mengklasifikasikan tiga tingkat stres (baseline, medium, high) dengan memanfaatkan analisis ekspresi wajah dan karakteristik suara. Model CNN audio dengan arsitektur 1D mencapai performa excellent dengan akurasi testing 87,0% dan metrik precision, recall, F1-score di atas 0,87 untuk semua kelas stres. Analisis fitur audio menunjukkan 14 dari 16 fitur (87,5%) memiliki korelasi signifikan dengan tingkat stres, dengan MFCC1_mean menunjukkan korelasi terkuat (r = -0,294). Model CNN visual menggunakan arsitektur 2D menunjukkan performa moderate dengan akurasi 77,99% pada data testing, namun mengalami kesulitan dalam membedakan tingkat stres subtle antara kelas low dan medium. Implementasi late fusion menghasilkan akurasi 84,09% dengan F1-score rata-rata 0,84, menunjukkan peningkatan dibandingkan model visual tetapi masih di bawah performa CNN audio individual. Validasi sistem dengan assessment psikolog profesional pada sesi konseling 45 menit menunjukkan visual model dan late fusion model mencapai akurasi 64,7%, sementara audio model mencapai 52,9% dalam kondisi real-world. Hasil menunjukkan modalitas audio memiliki keunggulan signifikan dengan performa reliable dan konsisten untuk deteksi stres. Late fusion memberikan stabilitas klasifikasi yang baik meskipun tidak selalu meningkatkan akurasi ketika terdapat disparitas kualitas antar modalitas. Penelitian memberikan kontribusi dalam pengembangan sistem multimodal non-invasif untuk klasifikasi stres multi-kelas dan evaluasi komprehensif fitur akustik dalam konteks deteksi stres psikologis.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Audio-visual, CNN Audio, Deteksi Stres, Late Fusion, CNN Visual
Subjects:	T Technology > T Technology (General) > T57.5 Data Processing T Technology > T Technology (General) > T59.7 Human-machine systems. T Technology > TA Engineering (General). Civil engineering (General) > TA1637 Image processing--Digital techniques. Image analysis--Data processing. T Technology > TA Engineering (General). Civil engineering (General) > TA1650 Face recognition. Optical pattern recognition. T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK5102.9 Signal processing.
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Biomedical Engineering > 11410-(S1) Undergraduate Thesis
Depositing User:	Narika Shinta
Date Deposited:	05 Aug 2025 04:47
Last Modified:	05 Aug 2025 04:47
URI:	http://repository.its.ac.id/id/eprint/126774

Actions (login required)

View Item