Interaksi Manusia Robot Berbasis Large Language Model Untuk Pembangkitan Action Plan Pada Robot Lengan

Perkasa, Aryaduta Putra (2024) Interaksi Manusia Robot Berbasis Large Language Model Untuk Pembangkitan Action Plan Pada Robot Lengan. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5024201077-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (12MB) | Request a copy

Abstract

Meningkatnya interaksi antara manusia dan robot mendorong kebutuhan untuk meningkatkan interaksi manusia-robot yang lebih alami. Perkembangan dalam Large Language Model (LLM) menunjukkan kemajuan pemahaman komputer terhadap konteks bahasa alami manusia. Namun penerapan LLM untuk mengontrol robot secara real-time di lingkungan dunia nyata masih menjadi tantangan, karena sistem implementasi yang tidak mengintegrasikan data lingkungan secara real-time atau menghubungkan fungsi robot hanya melalui API high-level instructions. Penelitian ini mengeksplorasi penggunaan LLM untuk menghasilkan low-level instructions dengan membuat rencana aksi robotik dalam format JSON untuk dapat mengakses semua fungsi robot yang tersedia. Penelitian ini juga mengimplementasikan penggunaan kamera untuk pengumpulan data lingkungan dan implementasi web sebagai antarmukan untuk mencapai interaksi manusia-robot yang lebih alami. Metodologi penelitian melibatkan proses fine-tuning model Gemma 2b yang telah dilatih sebelumnya pada dataset pasangan tindakan robot menggunakan menggunakan supervised fine-tuning dengan metode Low Rank Adaptation untuk menghasilkan rencana aksi untuk robot lengan. Hasil penelitian menunjukkan bahwa model yang telah mengalami fine-tuning mencapai rata-rata 86% kesesuaian dalam menghasilkan rencana aksi robot terhadap dataset validasi sebanyak 200 tugas dan rata-rata tingkat keberhasilan 82% dalam implementasi rencana aksi robot dalam penggunaan dunia nyata dengan 40 tugas. Hal ini menunjukkan bahwa dengan melakukan proses fine-tuning mampu membuat LLM untuk memahami perintah bahasa alami dan menghasilkan rencana tindakan robotik berdasarkan perintah tersebut.
============================================================
============================================================
The increasing interactions between humans and robots drive the need to enhance more natural human-robot interactions. Recent advancement in large language models (LLMs) have improved computers’ understanding of natural language context. However, implementing LLMs to control robots in real-time, real-world environments remains challenging, with many implementations failing to integrate real-time environmental data or connect to robot functions beyond high-level API instructions. This research explores the potential of providing LLMs with low-level functions by generating JSON type robotic action plan to implement access to all possible robotic functions. It also examines the use of cameras for environmental data collection and a website to facilitate user interactions, aiming for more natural human-robot interaction (HRI). The methodology involves fine-tuning a pre-trained Gemma 2b model on a dataset of robot action pairs using supervised learning with the Low Rank Adaptation method to generate action plans for a robotic arm. Results show that the fine-tuned model achieved an average 86% exact match in task completion with a validation dataset of 200 tasks and an average 82% success rate in real-world usage with 40 tasks. These findings suggest that fine-tuning, can make LLMs understand natural language commands and generate robotic action plans based on those commands.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Robot Lengan, Interaksi Robot-Manusia, Pemrosesan Bahasa Alami, Pembangkitan Rencana Aksi, Sistem Robotik, LLM, Arm Robot, Human-Robot Interaction, Natural Language Processing, Action Plan Generation, Robotic System.
Subjects:	T Technology > T Technology (General) > T59.7 Human-machine systems.
Divisions:	Faculty of Electrical Technology > Computer Engineering > 90243-(S1) Undergraduate Thesis
Depositing User:	ARYADUTA PUTRA PERKASA
Date Deposited:	02 Aug 2024 07:20
Last Modified:	02 Aug 2024 07:20
URI:	http://repository.its.ac.id/id/eprint/110843

Actions (login required)

View Item