Mannuel, Brendan Timothy (2025) Pengembangan Unified Multi-Database Access Layer Berbasis Model Context Protocol (MCP) dengan Dukungan Large Language Model (LLM) Untuk Integrasi Basis Data Heterogen. Other thesis, Institut Teknologi Sepuluh Nopember.
![[thumbnail of 5025221177-Undergraduate_Thesis.pdf]](http://repository.its.ac.id/style/images/fileicons/text.png) |
Text
5025221177-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (5MB) | Request a copy |
Abstract
Ekosistem data modern ditandai oleh keberagaman Database Management System (DBMS), seperti basis data relasional, NoSQL, dan graf, yang menciptakan tantangan signifikan dalam interoperabilitas dan integrasi. Meskipun pendekatan seperti polystore dan antarmuka bahasa alami telah dikembangkan, keterbatasan dalam kemudahan integrasi dan penanganan kueri yang kompleks masih menjadi kendala. Large Language Models (LLM) menawarkan potensi besar untuk menjembatani kesenjangan ini dengan kemampuannya memahami dan menerjemahkan bahasa manusia menjadi kueri basis data. Namun, integrasi LLM seringkali bersifat stateless dan tidak memiliki mekanisme terpadu untuk mengelola konteks interaksi yang kaya. Penelitian ini mengusulkan pengembangan dan evaluasi Unified Multi-Database Access Layer berbasis Model Context Protocol (MCP), sebuah protokol terbuka yang dirancang untuk memfasilitasi interaksi stateful antara LLM dengan berbagai sumber data eksternal. Sistem ini bertujuan untuk mengintegrasikan basis data heterogen—mencakup PostgreSQL (Supabase), NoSQL (MongoDB), dan database Graf (Neo4j)—melalui sebuah antarmuka terpusat yang digerakkan oleh LLM. Penelitian akan melibatkan implementasi antarmuka kueri bahasa alami menggunakan model LLM terkemuka (GPT 4.1, GPT 5.0, Gemini 2.5 Pro, dan Grok Code Fast 1) dan mengevaluasi kinerjanya dalam menangani kueri sederhana dan kompleks pada dataset standar seperti NorthwindDB, YelpDB, dan POLE. Evaluasi dilakukan berdasarkan metrik akurasi kueri, latensi, dan kualitas teks seperti BLEU, ROUGE, Fuzzy Match, Numeric Match, dan Keyword Match. Hasil penelitian menunjukkan bahwa GPT 5.0 merupakan model paling akurat dengan rata-rata akurasi lintas basis data sebesar 89,46% dan nilai Numeric Match tertinggi (0,836), namun memiliki latensi rata-rata tertinggi (31,53 detik) akibat proses penalaran mendalam. Sebaliknya, Grok Code Fast 1 terbukti sebagai model paling efisien dengan latensi terendah (5,89 detik) dan mencatatkan skor tertinggi untuk metrik linguistik dengan rata-rata BLEU (0,359), ROUGE-N (0,478), Fuzzy Match (0,254), dan Keyword Match (0,595). Hal ini menunjukkan bahwa Grok mampu menyusun jawaban yang paling efisien, ringkas, dan selaras dengan struktur referensi teknis dibandingkan model lainnya. meskipun memiliki akurasi moderat (61,82%) dan keterbatasan pada input multimodal. Penelitian ini membuktikan, arsitektur MCP dengan model GPT 5.0 berhasil memfasilitasi interaksi stateful yang efektif untuk mengintegrasikan basis data heterogen dengan LLM, guna membuat suatu antarmuka akses data terpadu berbasis Natural Language Query.
=============================================================================================================================
The modern data ecosystem is characterized by a diversity of Database Management Systems (DBMS), such as relational, NoSQL, and graph databases, which creates significant challenges in interoperability and integration. Although approaches like polystores and natural language interfaces have been developed, limitations in ease of integration and handling complex queries remain obstacles. Large Language Models (LLMs) offer great potential to bridge this gap with their ability to understand and translate human language into database queries. However, LLM integration is often stateless and lacks a unified mechanism for managing rich interaction context. This research proposes the development and evaluation of a Unified Multi-Database Access Layer based on the Model Context Protocol (MCP), an open protocol designed to facilitate stateful interactions between LLMs and various external data sources. The system aims to integrate heterogeneous databases—including PostgreSQL (Supabase), NoSQL (MongoDB), and Graph databases (Neo4j)—through a centralized interface driven by LLMs. The research involves implementing a natural language query interface using leading LLM models (GPT 4.1, GPT 5.0, Gemini 2.5 Pro, and Grok Code Fast 1) and evaluating their kinerjance in handling simple and complex queries on standard datasets such as NorthwindDB, YelpDB, and POLE. The evaluation is conducted based on query accuracy, latency, and text quality metrics such as BLEU, ROUGE, Fuzzy Match, Numeric Match, and Keyword Match. The results indicate that GPT 5.0 is the most accurate model with an average cross-database accuracy of 89.46% and the highest numeric data precision (0.836), but it has the highest average latency (31.53 seconds) due to deep reasoning processes. Conversely, Grok Code Fast 1 proved to be the most efficient model with the lowest latency (5.89 seconds) and recorded the highest scores for linguistic metrics with an average BLEU (0.359), ROUGE-N (0.478), Fuzzy Match (0.254), and Keyword Match (0.595). This indicates that Grok can construct answers that are the most efficient, concise, and aligned with technical reference structures compared to other models, despite having moderate accuracy (61.82%) and limitations in multimodal input. This research proves that the MCP architecture with GPT 5.0 model successfully facilitates effective stateful interactions to integrate heterogeneous databases with LLMs, creating a unified data access interface based on Natural Language Query.
Actions (login required)
 |
View Item |