Collin, Evandrew Reynald (2024) Kontrol Pergerakan Kursi Roda Berbasis Eye Gesture Menggunakan CNN. Other thesis, Institut Teknologi Sepuluh Nopember.
![[thumbnail of 5024201076-Undergraduate_Thesis.pdf]](http://repository.its.ac.id/style/images/fileicons/text.png) |
Text
5024201076-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (33MB) | Request a copy |
Abstract
Penelitian ini menghadirkan pendekatan baru untuk meningkatkan mobilitas bagi pasien ALS dengan mengembangkan sistem kontrol pergerakan kursi roda menggunakan CNN (Convolutional Neural Network), yang berfokus pada pengenalan pose mata, dan diimplementasikan pada platform Intel NUC. Studi ini didorong oleh tantangan yang dihadapi oleh pasien ALS, yang meskipun kehilangan mobilitas fisik, tetap dapat menggerakkan mata. Sistem yang diusulkan bertujuan untuk memberikan kemandirian yang lebih besar dan peningkatan kualitas hidup bagi individu tersebut. Metodologi penelitian ini terdiri dari beberapa komponen kunci: pengambilan dan pengolahan gambar mata, ekstraksi fitur yang relevan, estimasi dan klasifikasi posisi mata, serta eksekusi sistem kontrol pada Next Unit of Computing (NUC). Dengan memanfaatkan MediaPipe untuk pengenalan pose secara real-time dan kemampuan komputasi Intel NUC, studi ini menghasilkan peningkatan yang signifikan dalam otonomi pengguna kursi roda dengan gangguan mobilitas. Model klasifikasi yang digunakan menunjukkan kinerja yang sangat baik berdasarkan hasil evaluasi confusion matrix, dengan nilai accuracy, precision, recall, dan f-1 score sebesar 99%. Performa model pada jarak 30 dan 50 cm, model memiliki akurasi tertinggi yaitu 100%. Model memiliki kinerja yang cukup baik di berbagai tingkat pencahayaan, dengan akurasi tertinggi 100% pada pencahayaan 131 Lux. Model juga menunjukkan hasil deteksi yang cukup baik pada subjek yang berbeda-beda. Sistem menunjukkan kinerja FPS yang cukup baik pada NUC. Waktu respons motor rata-rata untuk perintah "Kanan," "Kiri," dan "Mundur" di bawah 0,25 detik, sedangkan untuk perintah "Maju" dan "Stop" sekitar 0,43 detik. Motor kursi roda menunjukkan waktu output yang konsisten di setiap kelas perintah, dengan standar deviasi terendah pada perintah "Maju" (0,117), menunjukkan keandalan sistem dalam memberikan respons yang stabil dan konsisten. Penelitian ini tidak hanya berkontribusi pada bidang teknologi bantu, tetapi juga berpotensi menjadi model untuk inovasi masa depan dalam solusi mobilitas bagi individu dengan berbagai disabilitas fisik.
=================================================================================================================================
This research presents a novel approach to improving mobility for ALS patients by developing a wheelchair movement control system using CNN (Convolutional Neural Network), focusing on eye pose recognition, and implementing it on the Intel NUC platform. This study is motivated by the challenges faced by ALS patients, who, despite losing physical mobility, can still move their eyes. The proposed system aims to provide greater independence and improved quality of life for these individuals. The research methodology comprises several key components: eye image capture and processing, relevant feature extraction, eye position estimation and classification, and control system execution on the Next Unit of Computing (NUC). Utilizing MediaPipe for real-time pose recognition and the computational capabilities of Intel NUC, this study significantly enhances the autonomy of wheelchair users with mobility impairments. The classification model used demonstrates excellent performance based on the evaluation of the confusion matrix, with accuracy, precision, recall, and F-1 score values of 99%. It achieves the highest accuracy of 100% at distances of 30 and 50 cm. It performs well under various lighting conditions, with the highest accuracy of 100% at 131 Lux. It also shows good detection results across different subjects. The system shows decent FPS performance on the NUC. The average motor response time for "Right," "Left," and "Backward" commands is below 0.25 seconds, while for "Forward" and "Stop" commands it is around 0.43 seconds. The wheelchair motor demonstrates consistent output time across all command classes, with the lowest standard deviation on the "Forward" command (0.117), indicating the system's reliability in providing stable and consistent responses. This research not only contributes to the field of assistive technology but also has the potential to serve as a model for future innovations in mobility solutions for individuals with various physical disabilities.
Actions (login required)
 |
View Item |