Deteksi Kantuk Pada Pengemudi Roda Empat Menggunakan Metode CNN-BiLSTM

Syahli, Jericho Luthfi (2025) Deteksi Kantuk Pada Pengemudi Roda Empat Menggunakan Metode CNN-BiLSTM. Other thesis, Insititut Teknologi Sepuluh Nopember.

Text 5026211072-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (2MB) | Request a copy

Abstract

Kecelakaan lalu lintas yang disebabkan oleh kantuk pada pengemudi masih menjadi salah satu penyebab utama kematian di seluruh dunia. Untuk mengatasi permasalahan ini, tugas akhir ini mengembangkan sistem deteksi kantuk pada pengemudi berbasis visi komputer dengan arsitektur hibrida yang menggabungkan Convolutional Neural Network (CNN) dan Bidirectional Long Short-Term Memory (BiLSTM). Sistem ini diimplementasikan menggunakan dataset National Tsing Hua University Driver Drowsiness Detection (NTHU- DDD), dengan input berupa urutan citra wajah berdurasi 5 detik (100 frame) yang diproses melalui beberapa tahap, termasuk ekstraksi frame, deteksi dan pemotongan wajah menggunakan MediaPipe, normalisasi, serta pembentukan urutan dengan teknik overlapping. Model CNN–BiLSTM ini mampu menangkap fitur spasial dan temporal dari ekspresi wajah— di mana CNN mengekstraksi karakteristik spasial dan BiLSTM menganalisis dinamika temporal antar frame. Penentuan hiperparameter terbaik dilakukan menggunakan Optuna dengan skema Group 5-Fold cross-validation. Model akhir menunjukkan performa sangat baik pada data pelatihan dengan akurasi dan F1-score sebesar 99,56%. Namun, saat diuji pada 35 video baru yang belum pernah dilihat sebelumnya, performa menurun dengan akurasi sebesar 65,48% dan F1-score sebesar 72,15%, yang sebagian besar disebabkan oleh kondisi visual yang menantang seperti pencahayaan buruk, penggunaan kacamata gelap, dan ketidaksesuaian antara label tingkat frame dan prediksi tingkat urutan. Meskipun memiliki keterbatasan, sistem ini menunjukkan kemampuan deteksi kantuk secara real-time yang efektif dan berpotensi besar untuk diterapkan di dunia nyata sebagai alat bantu keselamatan di dalam kendaraan guna mengurangi kecelakaan lalu lintas akibat kantuk.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Deteksi Kantuk Pengemudi, Kecelakaan Lalu Lintas, Convolutional Neural Network, Bidirectional Long Short-Term Memory, CNN–BiLSTM, Driver Drowsiness Detection, Traffic Accidents, Convolutional Neural Network, Bidirectional Long Short-Term Memory, CNN–BiLSTM
Subjects:	Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science)
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Information System > 57201-(S1) Undergraduate Thesis
Depositing User:	Jericho Luthfi Syahli
Date Deposited:	30 Jul 2025 08:49
Last Modified:	30 Jul 2025 08:50
URI:	http://repository.its.ac.id/id/eprint/123849

Actions (login required)

View Item