Sistem Cerdas Pendeteksi Emosi Dan Kantuk Berdasarkan Citra Wajah Pada Pengemudi Transportasi Umum

Wibowo, Hafizh Abid (2024) Sistem Cerdas Pendeteksi Emosi Dan Kantuk Berdasarkan Citra Wajah Pada Pengemudi Transportasi Umum. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5027201011-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (3MB) | Request a copy

Abstract

Kecelakaan transportasi disebabkan karena ketidakmampuan pengemudi untuk mengambil keputusan dengan tepat dan berkendara dalam kondisi mengantuk. Kecelakaan pada transportasi umum dapat berakibat lebih fatal karena banyaknya masyarakat yang akan terdampak sehingga menjadi penting bagi pemerintah, penyedia jasa transportasi, dan instansi keamanan lalu lintas untuk menemukan solusi atas permasalahan tersebut. Pada penelitian sebelumnya, Internet of Things dan kecerdasan buatan digunakan untuk mengembangkan sistem cerdas yang membantu pengemudi mendeteksi emosi berdasarkan citra wajah dengan menggunakan Facial Expression Recognition. Selain untuk mendeteksi emosi, penelitian lain memanfaatkan IoT dan kecerdasan buatan untuk mendeteksi kondisi kantuk pengemudi melalui deteksi facial landmarks dengan kalkulasi Eye Aspect Ratio dan Mouth Aspect Ratio. Penelitian ini mengusulkan solusi preventif berupa sistem cerdas dengan memanfaatkan perkembangan IoT, deep learning, dan komputasi awan. Sistem akan mendapatkan lokasi pengemudi, mendeteksi emosi, dan kantuk pengemudi melalui citra wajah yang didapatkan melalui kamera dan GPS dari perangkat IoT. Melalui aplikasi berbasis web, dapat dilihat data mengenai kondisi emosi, kantuk pengemudi, dan lokasi pengemudi sehingga penyedia jasa transportasi dapat melakukan monitoring terhadap pengemudi. Perangkat IoT juga dilengkapi dengan sistem peringatan pengemudi yang terdiri dari speaker dan pompa air. Untuk memastikan sistem dapat bekerja dengan baik, sistem cerdas diuji menggunakan metode black box testing menguji fungsionalitas perangkat keras dan fungsionalitas perangkat lunak. Hasil uji coba dan implementasi menunjukkan bahwa layanan backend, layanan model, webapps, dan perangkat IoT dapat berjalan dengan baik sesuai dengan kasus penggunaan pada rancangan sistem. Hasil penelitian menunjukkan bahwa sistem dapat menghasilkan hasil benar untuk prediksi ekspresi pada 76% citra dan hasil benar untuk deteksi kantuk pada 83% citra.
====================================================================================================================================
Driver’s inability to take the right decision and drowsy driving leads to transportation accident. Accidents on public transportation can have more fatal consequences, considering more people will be affected, it is a significant concern for the goverment, transportation service providers, and traffic safety agencies to have solutions for this problem. In previous research, Internet of Things and Artificial Intelligent were used to develop a smart system that helps driver detect emotions based on their facial images using Facial Expression Recognition. In addition to detecting emotions, another study utilized IoT and AI to detect driver drowsiness through facial landmarks detection with Eye Aspect Ratio and Mouth Aspect Ratio calculation. This research proposes preventive solution, developing a smart system by utilizing the advancements of IoT, deep learning, and cloud computing. This system will detect driver’s location, emotions, and drowsiness through facial images captured by camera and GPS connected to IoT device. Through web-based application, system can be monitored allowing transportation service providers to monitor their drivers emotions and drowsiness with their location known. The IoT device is also equipped with an alerting system that includes a speaker and water pump to alert driver. The smart system is tested using black box testing methods to ensure its hardware functionality and software functionality. Testing and implementation results show that backend services, model services, webapps, and IoT devices can run well according to the uses cases in the system design. The research results indicate that the system can produce correct results for predicting expression on 76% of the images and correct results for predicting drowsiness on 83% of images.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Deteksi Emosi, Deteksi Kantuk, IoT, Deep Learning, Komputasi Awan, Emotion Detection, Drowsiness Detection, IoT, Deep Learning, Cloud Computing.
Subjects:	T Technology > T Technology (General) T Technology > T Technology (General) > T59.7 Human-machine systems.
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Information Technology > 59201-(S1) Undergraduate Thesis
Depositing User:	Hafizh Abid Wibowo
Date Deposited:	25 Jul 2024 07:44
Last Modified:	25 Jul 2024 07:44
URI:	http://repository.its.ac.id/id/eprint/108927

Actions (login required)

View Item