Deteksi Objek Menggunakan Deep Learning Dan Implementasinya Dalam Permainan Sepak Bola Robot Humanoid.

Dagsapurwa, Segara Bhagas (2022) Deteksi Objek Menggunakan Deep Learning Dan Implementasinya Dalam Permainan Sepak Bola Robot Humanoid. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 05111840000037-Undergraduate_Thesis.pdf Restricted to Repository staff only Download (16MB)

Abstract

RoboCup sebagai ajang kompetisi robot dan pertemuan ilmiah yang bertujuan agar robot humanoid dapat memenangkan pertandingan sepak bola melawan pemenang Piala Dunia tahun 2050. Dalam mengenali fitur-fitur yang ada di lapangan, dapat digunakan pendekatan Deep Learning menggunakan berbagai arsitektur. Pada penerapannya, sistem visi komputer yang telah dibuat pada penelitian sebelumnya masih memiliki performa yang kurang baik Ketika digunakan di robot. Akibatnya, sistem visi komputer tersebut tidak dapat digunakan untuk robot yang memerlukan deteksi objek secara real-time. Dari masalah-masalah yang telah disebutkan sebelumnya, Tugas Akhir ini akan menerapkan model Deep Learning yang dapat melakukan deteksi terhadap bola, robot, fitur lapangan, serta tiang gawang. Metode yang digunakan dalam Tugas Akhir ini adalah deep learning menggunakan transfer learning model You Only Look Once (YOLO) untuk mendeteksi fitur-fitur lapangan, bola, dan robot. Model YOLO yang digunakan adalah YOLOv3-tiny dan YOLOv4-tiny. Untuk evaluasi performa, digunakan mean Average Precision (mAP) dan Intersection over Union (IoU) serta rata-rata latensi agar model dapat digunakan di robot humanoid secara real-time. Model yang telah dibuat kemudian akan diujikan dalam beberapa skenario menggunakan beberapa perangkat keras yang dapat digunakan sebagai controller dari robot, yaitu Intel® Core™ i3-8109U, Intel® Neural Compute Stick 2, dan NVIDIA Jetson TX2. Model-model YOLOv3-tiny dan YOLOv4-tiny dengan ukuran input sebesar 224x224, 320x320, dan 416x416 telah dibuat dan diuji coba pada beberapa skenario. Durasi pelatihan model tercepat adalah 1 jam 26 menit menggunakan GPU Nvidia A100-SXM4-40GB dengan model yang digunakan adalah YOLOv4-tiny 224x224. Model dengan mAP@IoU=0,5 validasi tertinggi adalah YOLOv4-tiny 416x416 yaitu 0,929. Batas latensi yang dapat melakukan tracking bola dengan lancar adalah 20 ms. Model terbaik yang dapat digunakan untuk mendeteksi bola, gawang, robot, serta fitur-fitur lapangan untuk perangkat NUC i3-8109U adalah YOLOv4-tiny dengan ukuran input 224x224 yang memiliki rata-rata latensi 11,80 ms dan mAP@IoU=0,5 pada data uji coba sebesar 77,9%. Model terbaik untuk Jetson TX2 adalah YOLOv3-tiny dengan ukuran input 224x224 dengan rata-rata latensi 15,22 ms dan mAP@IoU=0,5 pada data uji coba sebesar 79,3%. Jetson TX2 dengan TensorRT menjadi perangkat dan lingkungan yang paling cocok untuk menjalankan model deep learning pada robot humanoid karena memiliki latensi yang rendah dibandingkan dengan perangkat dan lingkungan lain yang diujikan dalam menggunakan model YOLOv3-tiny dan YOLOv4-tiny dengan ukuran input 224x224, 320x320, dan 416x416.
=================================================================================================================================
RoboCup as a robot competition and scientific meeting with the aim of enabling humanoid robots to win a soccer match against the winners of the 2050 World Cup. In recognizing the features on the field, a Deep Learning approach can be used using various architectures. In its application, the computer vision system that has been made in previous studies still has poor performance when used in robots. As a result, the computer vision system cannot be used for robots that require real-time object detection. From the problems mentioned earlier, this Final Project will apply a Deep Learning model that can detect balls, robots, field features, and goal posts. The method used in this study is deep learning using the You Only Look Once (YOLO) transfer learning model to detect field features, ball, and robots. The YOLO models used are YOLOv3-tiny and YOLOv4-tiny. For performance evaluation, the mean Average Precision (mAP) and Intersection over Union (IoU) and average latency are used so that the model can be used in real-time humanoid robots. The model that has been made will then be tested in several scenarios using several hardware devices that can be used as a controller for the robot, those are Intel® Core™ i3-8109U, Intel® Neural Compute Stick 2, and NVIDIA Jetson TX2. YOLOv3-tiny and YOLOv4-tiny models with input sizes of 224x224, 320x320, and 416x416 have been created and tested in several scenarios. The fastest model training duration is 1 hour 26 minutes using the Nvidia A100-SXM4-40GB GPU with the model trained is YOLOv4-tiny 224x224. The model with the highest validation mAP@IoU=0.5 is YOLOv4- tiny 416x416 which is 0.929. The latency limit that can smoothly track the ball is 20 ms. The best model that can be used to detect ball, goal, robot, and field features for the NUC i3-8109U device is YOLOv4-tiny with an input size of 224x224 which has an average the average latency is 11.80 ms and mAP@IoU=0.5 in the test data of 77.9%. The best model for Jetson TX2 is YOLOv3-tiny with an input size of 224x224 with an average latency of 15.22 ms and mAP@IoU=0.5 on the test data of 79.3%. Jetson TX2 with TensorRT is the most suitable device and environment for running deep learning models on humanoid robots because it has low latency compared to other devices and environments tested using YOLOv3-tiny and YOLOv4-tiny models with input sizes of 224x224, 320x320, and 416x416.

Item Type:	Thesis (Other)
Additional Information:	RSIf 005.133 Dag d-1 2022
Uncontrolled Keywords:	RoboCup, Robot Humanoid, Deep Learning, Transfer Learning, You Only Look Once (YOLO). RoboCup, Robot Humanoid, Deep Learning, Transfer Learning, You Only Look Once (YOLO).
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Mr. Marsudiyana -
Date Deposited:	25 May 2026 04:35
Last Modified:	25 May 2026 04:35
URI:	http://repository.its.ac.id/id/eprint/133393

Actions (login required)

View Item