Pengambilan Objek pada Lingkungan Terhalang menggunakan Vision-Language Model sebagai Perencanaan Semantik untuk Robot Kolaboratif

Harianja, Yohana Magdalena Franklin (2026) Pengambilan Objek pada Lingkungan Terhalang menggunakan Vision-Language Model sebagai Perencanaan Semantik untuk Robot Kolaboratif. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5024221012-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (6MB) | Request a copy

Abstract

Manipulasi robotik pada lingkungan tidak terstruktur dengan tingkat kepadatan objek yang tinggi (cluttered) menuntut kecerdasan kognitif yang mampu melakukan penalaran tingkat tinggi. Tantangan utama dalam sistem otonom adalah bagaimana memastikan robot dapat memahami instruksi bahasa alami dan mengubahnya menjadi urutan aksi fisik yang logis, terutama pada skenario oklusi. Penelitian ini memanfaatkan Cloud VLM sebagai perencana tugas dan Qwen3.5:27B sebagai validator logika serta agen revalidasi untuk meningkatkan keandalan sistem pengambilan objek. Rancangan sistem enam lapis diusulkan dengan mengintegrasikan VLM sebagai planner, modul persepsi dan lokalisasi spasial (YOLO-World dan FastSAM), modul kontrol robot, lingkungan fisik, serta dua model post-check (YOLO-World dan Qwen3.5:27B) dalam satu pipeline closed-loop yang diuji pada robot fisik UR5. Sistem dikembangkan dan dievaluasi pada lingkungan fisik nyata menggunakan lengan robot kolaboratif. Hasil penelitian menunjukkan bahwa VLM dapat menyusun strategi pengambilan bertahap (occlusion reasoning) pada lingkungan nyata dengan kepadatan objek yang tinggi. Berdasarkan pengujian end-to-end pada robot fisik UR5, rancangan sistem yang diusulkan mencapai Mission Success Rate sebesar 82,14% dari total 56 siklus operasi pada kondisi severe occlusion. Implementasi Local Validator mampu memblokir 14,29% halusinasi dari model dasar sebelum dieksekusi. Mode pemulihan closed-loop berhasil menangani 25,00% kegagalan eksekusi awal melalui mekanisme retry. Secara keseluruhan, penelitian ini menunjukkan bahwa VLM dapat digunakan sebagai modul perencana robot untuk menerjemahkan persepsi visual-linguistik menjadi aksi manipulasi fisik yang terukur.
===============================================================================================================================
Robotic manipulation in unstructured and cluttered environments demands cognitive in telligence capable of high-level reasoning. The primary challenge in autonomous systems is ensuring that the robot can comprehend natural language instructions and transform them into logical physical action sequences, particularly in occlusion scenarios. This research leverages a Cloud VLM as a task planner and Qwen3.5:27B as a logic validator and revalidation agent to enhance the reliability of object grasping systems. A six-layer system architecture is proposed by integrating the VLM planner, perception and spatial localization modules (YOLO-World and FastSAM), robot control, the physical environment, and post-check and revalidation mechanisms within a closed-loop pipeline tested on a physical UR5 robot. The system was developed and evaluated in a real physical environment using a collaborative robot arm. The results show that VLMs can formulate step-by-step grasping strategies (occlusion reasoning) in real cluttered environments. Based on end-to-end testing on the physical UR5 robot, the proposed system design achieves a Mission Success Rate of 82.14% out of a total of 56 operation cycles under severe occlusion conditions. The implementation of the Local Validator is capable of blocking 14.29% of hallucinations from the base model before execution. The closed-loop recovery mechanism handled 25.00% of initial execution failures through retry. Overall, this study demonstrates that VLMs can be used as a robotic planner module to translate visual-linguistic perception into measurable physical manipulation actions.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	robotic grasping, Vision-Language Model, keandalan kognitif, occlusion reasoning, robot kolaboratif, cognitive reliability, collaborative robot.
Subjects:	T Technology > T Technology (General) > T55 Industrial Safety T Technology > T Technology (General) > T57.62 Simulation T Technology > T Technology (General) > T59.7 Human-machine systems. T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK3070 Automatic control T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK5105.546 Computer algorithms
Divisions:	Faculty of Information Technology > Computer Engineering > 90243-(S1) Undergraduate Thesis
Depositing User:	Yohana Magdalena Franklin Harianja
Date Deposited:	29 Jul 2026 02:57
Last Modified:	29 Jul 2026 02:57
URI:	http://repository.its.ac.id/id/eprint/139001

Actions (login required)

View Item