Interaksi Manusia dengan Robot Service Berbasis Estimasi Pose pada Komputasi Terbatas

Alexander, Edward (2025) Interaksi Manusia dengan Robot Service Berbasis Estimasi Pose pada Komputasi Terbatas. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5024201020-Undergraduated_thesis.pdf Restricted to Repository staff only until 1 April 2027. Download (11MB) | Request a copy

Abstract

Manusia perlu berinteraksi dengan robot service untuk memberi instruksi. Pada umumnya robot service memerlukan interaksi yang natural sehingga dapat diterima kehadirannya pada kehidupan sehari-hari manusia. Interaksi yang natural dapat dicapai dengan melibatkan banyak modalitas. Salah satu modalitas yang penting yaitu menggunakan pose tubuh manusia yang dapat menggambarkan instruksi keinginan manusia. Deteksi pose memerlukan komputasi yang banyak, akan tetapi pada robot hanya memiliki kekuatan komputasi yang terbatas. Pada penelitian ini, untuk mengatasi permasalahan deteksi pose pada robot, akan dilakukan pengujian berbagai algoritma State of the Art dengan mencocokannya pada komputasi terbatas. Hasil training dengan algoritma didapati model Mediapipe mencapai akurasi 90% dan Rata-rata 20 frame per second, Movenet mempunyai akurasi yang sedikit dibawah 90% dan rata-rata 5 frame per second, dan YOLO-pose menghasilkan akurasi yang mencapai 99% tetapi memiliki rata-rata 4 frame per second saja. Sementara itu dari model training algoritma yang diimplementasi pada perangkat terbatas didapati performa terbaik pada perangkat Jetson Nano dengan hasil model mediapipe mencapai 5.26 frame per second, Movenet model mencapai 8.99 frame per second, dan Yolo-pose mencapai 0.96 frame per second. Sementara itu pada Raspberry Pi memiliki performa model mediapipe mencapai 1.67 frame per second, Movenet model mencapai 0.11 frame per second, dan Yolo-pose mencapai 0.35 frame per second. Kemudian dengan Raspberry pi dengan tambahan coral, didapati model mediapipe mencapai 1.83 frame per second, sementara itu model movenet dan YOLO-pose tidak dapat diuji berhubungan dengan keterbatas komputasinya perangkat.
=================================================================================================================================
Human-robot interaction requires humans to provide instructions in a way that feels natural to ensure the robot’s behavior is accepted in everyday life. Achieving natural interaction involves multiple modalities, one of which is using human body poses to convey instructions. However, pose detection demands significant computational power, while robots typically operate with limited resources. This study explores solutions for pose detection in robots by experimenting with various state-of-the-art algorithms to determine their suitability for constrained computational devices. Training results show that the Mediapipe model achieves an accuracy of over 90% with an average frame rate of 20 FPS, the Movenet model achieves slightly below 90% accuracy with an average of 5 FPS, and the YOLO-pose model achieves 99% accuracy with 4 FPS. When these models are implemented on SBCs, the Jetson Nano performs best, with the Mediapipe model reaching 5.25 FPS, the Movenet model reaching 8.99 FPS, and the YOLO-pose model reaching 0.96 FPS. On the Raspberry Pi, the Mediapipe model achieves 1.67 FPS, the Movenet model 0.11 FPS, and the YOLO-pose model 0.35 FPS. When using a Raspberry Pi with Coral, the Mediapipe model reaches 1.83 FPS, but the Movenet and YOLO-pose models fail to run due to the device’s computational limits.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Pembelajaran Mesin, Interaksi Manusia Robot, Deteksi Pose; Machine Learning, Human Robot Interaction, Pose Detection
Subjects:	T Technology > T Technology (General) > T59.7 Human-machine systems. T Technology > TA Engineering (General). Civil engineering (General) > TA1637 Image processing--Digital techniques. Image analysis--Data processing. T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK5105.546 Computer algorithms
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Computer Engineering > 90243-(S1) Undergraduate Thesis
Depositing User:	Edward Alexander
Date Deposited:	04 Feb 2025 01:14
Last Modified:	04 Feb 2025 01:14
URI:	http://repository.its.ac.id/id/eprint/117970

Actions (login required)

View Item