Sistem Pengenalan Gestur Tangan Berbasis Deep Neural Network Pada Icar Untuk Komunikasi Dengan Petugas Lalu Lintas

Setyaji, Rizko Trinanda (2024) Sistem Pengenalan Gestur Tangan Berbasis Deep Neural Network Pada Icar Untuk Komunikasi Dengan Petugas Lalu Lintas. Masters thesis, Intitut Teknologi Speuluh Nopember.

Text 6022221027-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (9MB) | Request a copy

Abstract

Pengenalan gestur tangan telah menjadi topik penelitian yang menarik dalam bidang interaksi manusia dan komputer. Salah satu tantangan mengembangkan kendaraan otonom adalah menciptakan komunikasi antara petugas lalu lintas dan iCAR. Selama ini iCAR hanya menghindar apabila terdeteksi manusia, pada penelitian ini akan dibuat sistem agar petugas lalu lintas dapat memberikan instruksi kepada iCAR.
iCAR mendeteksi petugas lalu lintas dengan menggunakan YOLOv8 dan mendeteksi gestur tangan dengan menggunakan mediapipe. Deteksi petugas dengan menggunakan YOLOv8 menggunakan dataset berupa gambar sebanyak 2000 gambar yang kemudian di train dan menghasilkan model YOLOv8. Yolo dan mediapipe dikombinasikan untuk membuat sistem komunikasi antara petugas lalu lintas dan iCAR.
Hasil deteksi petugas lalu lintas untuk iCAR memiliki akurasi yang tinggi dengan rata2 akurasi 96,91%. Rata–rata waktu yang dibutuhkan oleh YOLO untuk mendeteksi adalah 0.0288, sedangkan rata-rata waktu mediapipe yang dibutuhkan untuk mendeteksi gestur tangan untuk instruksi maju adalah 0.0915 dan untuk instruksi berhenti adalah 0.1152. Implementasi pada iCAR dapat mendeteksi petugas lalu lintas pada jarak 2.8 meter dengan latency time 0,1371. Dari data yang sudah diambil dapat diambil keputusan kecepatan maksimum iCAR dari awal mendeteksi petugas lalu lintas sampai iCAR berhenti adalah 20Km/jam.

===================================================================================================================================
Hand gesture recognition has become an intriguing research topic in the field of human-computer interaction. One of the challenges in developing autonomous vehicles is establishing communication between traffic officers and iCAR. Until now, iCAR has only avoided humans upon detection; in this research, a system will be developed to allow traffic officers to give instructions to iCAR. iCAR detects traffic officers using YOLOv8 and recognizes hand gestures using MediaPipe. The detection of traffic officers using YOLOv8 utilizes a dataset of 2000 images, which is then trained to produce the YOLOv8 model. YOLO and MediaPipe are combined to create a communication system between traffic officers and iCAR. The detection results for traffic officers for iCAR have a high accuracy with an average accuracy of 96.91%. The average time taken by YOLO for detection is 0.0288 seconds, while the average time taken by MediaPipe to detect hand gestures for the forward instruction is 0.0915 seconds and for the stop instruction is 0.1152 seconds. The implementation on iCAR can detect traffic officers at a distance of 2.8 meters with a latency time of 0.1371 seconds. From the collected data, it can be concluded that the maximum speed of iCAR from the initial detection of a traffic officer until iCAR stops is 20 km/h.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	Gestur tangan, pengenalan objek, petugas lalu lintas, iCar, DNN, Yolov8, Mediapipe Hand gestures, object recognition, traffic officers, iCar, DNN, Yolov8, Mediapipe
Subjects:	Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science) T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK7888.3 Digital computers
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	Rizko Trinanda Setyaji
Date Deposited:	29 Jul 2024 03:36
Last Modified:	29 Jul 2024 03:36
URI:	http://repository.its.ac.id/id/eprint/109441

Actions (login required)

View Item