Time Series Transformer Untuk Klasifikasi Kantuk Multi Kelas Berdasarkan Fitur Pola Kedipan

zaini, Ahmad (2025) Time Series Transformer Untuk Klasifikasi Kantuk Multi Kelas Berdasarkan Fitur Pola Kedipan. Doctoral thesis, Institut Teknologi Sepuluh Nopember.

Text 07111960010021-Dissertation.pdf - Accepted Version Restricted to Repository staff only until 1 April 2027. Download (11MB) | Request a copy

Abstract

Penelitian Disertasi ini membahas tantangan dalam mengklasifikasikan tingkat kantuk secara akurat berdasarkan Skala Kantuk Karolinska (KSS) menggunakan data Eye Aspect Ratio (EAR), terutama ketika ketidakseim bangan kelas menyebabkan prediksi yang bias. Penelitian ini mengusulkan kerangka kerja pembelajaran mendalam yang mengintegrasikan Multi-Layer Perceptron (MLP) dengan Synthetic Minority Oversampling Technique (SMO TE) untuk menyeimbangkan data pelatihan. Fitur EAR, yang mewakili pola penutupan mata, diekstraksi dari bingkai video, dan SMOTE diterapkan untuk menghasilkan data sintetis untuk kelas kantuk yang kurang terwakili. Dengan melatih model MLP pada kumpulan data yang seimbang ini, sistem mencapai akurasi klasifikasi 97,6% dalam membedakan empat tingkat kantuk yang berbeda berdasarkan KSS, yang menunjukkan efektivitasnya dalam mengurangi bias prediksi dan mengelola ketidakseimbangan kelas—keduanya penting untuk sistem deteksi kantuk waktu nyata. Penelitian ini juga mengembangkan kerangka kerja berbasis deep learning yang mengintegrasikan ResNet50 dan Time Series Transformer (TST) un tuk meningkatkan performa klasifikasi kantuk. ResNet50 digunakan untuk mendeteksi kondisi mata dan menghasilkan pola kedipan biner, sementara TST dirancang untuk menangkap dependensi temporal dalam pola kedipan tersebut. Dengan mengekstraksi fitur statistik seperti rata-rata, varians, dan durasi kedipan, pendekatan ini menyederhanakan prapemrosesan data sekaligus meningkatkan ketahanan terhadap gangguan lingkungan. Hasil eksperimen menunjukkan bahwa model yang diusulkan mampu mencapai akurasi 97%, dengan nilai precision, recall, dan skor F1 yang seban ding. Sistem ini dirancang untuk beroperasi secara real-time dengan efisiensi komputasi yang tinggi, menjadikannya solusi praktis untuk meningkatkan keselamatan berkendara melalui deteksi kantuk yang andal dan responsif. Pendekatan ini diharapkan dapat menjadi landasan untuk pengembangan lebih lanjut dalam bidang transportasi cerdas dan keselamatan berkendara.
=====================================================================================================================================
This research dissertation addresses the challenges in accurately classifying drowsiness levels based on the Karolinska Sleepiness Scale (KSS) using Eye Aspect Ratio (EAR) data, particularly when class imbalance leads to biased predictions. The study proposes a deep learning framework that integrates a Multi-Layer Perceptron (MLP) with the Synthetic Minority Oversampling Technique (SMOTE) to balance the training data. EAR features, which represent eye closure patterns, are extracted from video frames, and SMOTE is applied to generate synthetic data for underrepresented drowsiness classes. Training the MLP model on this balanced dataset achieves a classification accuracy of 97.6% in distinguishing four different drowsiness levels based on KSS, demonstrating its effectiveness in reducing prediction bias and addressing class imbalance—both of which are critical for real-time drowsiness detection systems. The research further develops a deep learning-based framework that com bines ResNet50 and the Time Series Transformer (TST) to enhance drowsiness classification performance. ResNet50 is utilized to detect eye conditions and generate binary blink patterns, while TST is designed to capture temporal dependencies in these patterns. By extracting statistical features such as mean, variance, and blink duration, the proposed approach simplifies data preprocessing while improving robustness against environmental disturbances. Experimental results demonstrate that the proposed models achieve an accuracy of 97%, with precision, recall, and F1 scores at comparable levels. The system is designed to operate in real-time with high computational efficiency, providing a practical solution for improving driving safety through reliable and responsive drowsiness detection. This approach is expected to serve as a foundation for further developments in intelligent transportation and road safety systems.

Item Type:	Thesis (Doctoral)
Uncontrolled Keywords:	Klasifikasi Kantuk, Multi-Layer Perceptron (MLP), pola kedipan mata, Eye Aspect Ratio (EAR), ResNet50, Skala Kantuk Karolinska (KSS), SMOTE, Time Series Transformer, Blink pattern analysis, Drowsiness classification, Eye Aspect Ratio (EAR), Karolinska Sleepiness Scale (KSS), Multi-Layer Perceptron (MLP), ResNet50, SMOTE, Time Series Transformer.
Subjects:	T Technology > T Technology (General) > T55 Industrial Safety T Technology > T Technology (General) > T59.7 Human-machine systems. T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK7882.P3 Pattern recognition systems
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20001-(S3) PhD Thesis
Depositing User:	Ahmad Zaini
Date Deposited:	02 Feb 2025 14:03
Last Modified:	02 Feb 2025 14:03
URI:	http://repository.its.ac.id/id/eprint/117665

Actions (login required)

View Item