Rancang Bangun Large Language Model (LLM) Agent Dengan Advanced RAG untuk Sistem Lab Knowledge Container dan Evaluasi Performa

Parinduri, Mohammad Fadhil Rasyidin (2024) Rancang Bangun Large Language Model (LLM) Agent Dengan Advanced RAG untuk Sistem Lab Knowledge Container dan Evaluasi Performa. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5025201131-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (7MB) | Request a copy

Abstract

Penelitian ini berfokus pada pengintegrasian Large Language Model (LLM) ke dalam sistem manajemen lab knowledge container untuk meningkatkan efisiensi dan efektivitas transfer pengetahuan di lingkungan akademik. Unit penelitian universitas biasanya menghadapi tantangan yang signifikan dalam mengelola dan mentransfer pengetahuan, terutama karena metode informal dan tidak konsisten yang digunakan oleh mahasiswa senior dan junior. Kesenjangan sering kali menghambat metode transfer pengetahuan tradisional dalam hal pemahaman, keterbatasan waktu, dan sifat sementara dari para peneliti mahasiswa. Memanfaatkan konsep kebijaksanaan digital, yang menggabungkan aktivitas kognitif manusia dengan operasi komputer, penelitian ini mengusulkan penggunaan LLM untuk mengotomatisasi dan merampingkan tugas-tugas manajemen pengetahuan. Dengan kemampuan pemahaman bahasa dan memori yang canggih, LLM dapat secara signifikan meningkatkan pengambilan, penataan, dan formalisasi artefak pengetahuan. Sistem yang diusulkan menggunakan teknik Natural Language Processing (NLP) dan metode Retrieval-Augmented Generation (RAG) untuk mengubah koleksi teks yang terisolasi menjadi repositori pengetahuan yang saling terhubung. Repositori ini memfasilitasi koneksi yang koheren berdasarkan konsep bersama dan keterkaitan semantik. Metodologi ini melibatkan pengembangan sistem yang mengintegrasikan LLM untuk transfer pengetahuan interaktif, pengisian formulir, dan tugas pembuatan laporan lab. Fungsionalitas, kinerja, koherensi koneksi, waktu respons, dan skalabilitas sistem dievaluasi dengan menggunakan beberapa metrik kinerja dalam evaluasi yang didasarkan pada kinerja pengguna akhir dan sumber daya komputasi. Kasus uji coba awal termasuk mengotomatiskan pengisian formulir, membuat laporan laboratorium, dan membuat wiki khusus, dengan fokus pada evaluasi pengalaman dan kepuasan pengguna. Penelitian ini memanfaatkan Obsidian, aplikasi pencatatan, sebagai komponen mendasar untuk mengumpulkan pengetahuan pengguna dan menilai kinerja inferensi LLM. Dengan memasukkan LLM ke dalam sistem manajemen pengetahuan laboratorium, penelitian ini bertujuan untuk meningkatkan kualitas dan keberlanjutan penelitian, mendorong lingkungan akademik yang lebih produktif dan kolaboratif. Temuan ini memiliki implikasi yang lebih luas untuk mengintegrasikan LLM di berbagai domain, seperti dukungan akademik dan pengembangan perangkat lunak, yang berpotensi merevolusi bagaimana pengetahuan dikelola dan ditransfer dalam lingkungan penelitian universitas.
=================================================================================================================================
This research focuses on integrating Large Language Models (LLMs) into lab knowledge management systems to enhance the efficiency and effectiveness of knowledge transfer in academic environments. University research units usually face significant challenges in managing and transferring knowledge, mainly due to the informal and inconsistent methods used by senior and junior students. Gaps often hinder traditional knowledge transfer methods in understanding, time constraints, and the transient nature of student researchers. Leveraging the concept of digital wisdom, which combines human cognitive activities with computer operations, this study proposes using LLMs to automate and streamline knowledge management tasks. With their advanced language comprehension and memory capabilities, LLMs can significantly improve knowledge artifacts' retrieval, structuring, and formalization. The proposed system employs Natural Language Processing (NLP) techniques and the Retrieval-Augmented Generation (RAG) method to transform isolated text collections into interconnected knowledge repositories. These repositories facilitate coherent connections based on shared concepts and semantic relatedness. The methodology involves developing a system integrating LLMs for interactive knowledge transfers, form completion, and lab report generation tasks. The system's functionality, performance, coherence of connections, response times, and scalability are evaluated using several performance metrics within the evaluation that are based on the end-user performance and computational resources. Initial test cases include automating form completion, generating lab reports, and creating custom wikis, focusing on evaluating user experiences and satisfaction. The research leverages Obsidian, a note-taking application, as a fundamental component for collecting user knowledge and assessing LLM inference performance.
By incorporating LLMs into lab knowledge management systems, this study aims to improve the quality and continuity of research, fostering a more productive and collaborative academic environment. The findings have broader implications for integrating LLMs in various domains, such as academic support and software development, potentially revolutionizing how knowledge is managed and transferred in university research settings.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	LLM, RAG, Lab Knowledge Container
Subjects:	T Technology > T Technology (General) > T57.5 Data Processing T Technology > T Technology (General) > T58.6 Management information systems T Technology > T Technology (General) > T58.8 Productivity. Efficiency
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Mohammad Fadhil Rasyidin Parinduri
Date Deposited:	10 Sep 2024 08:37
Last Modified:	10 Sep 2024 08:37
URI:	http://repository.its.ac.id/id/eprint/113220

Actions (login required)

View Item