Pengembangan Arsitektur Agentic RAG pada Sistem Tanya Jawab Sirah Nabawiyah

Salsabila, Aulia Putri (2026) Pengembangan Arsitektur Agentic RAG pada Sistem Tanya Jawab Sirah Nabawiyah. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5025221281_Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (7MB) | Request a copy

Abstract

Sirah Nabawiyah adalah catatan sejarah kehidupan Nabi Muhammad SAW yang tersusun secara kronologis dan memiliki keterkaitan erat antara satu peristiwa dengan peristiwa lainnya. Penerapan sistem tanya jawab berbasis kecerdasan buatan pada dokumen ini menghadapi dua tantangan utama. Pertama, jawaban atas suatu pertanyaan seringkali tersebar di beberapa bagian dokumen yang harus disintesis secara bersamaan. Kedua, penyajian potongan teks tanpa memperhatikan urutan kronologis cenderung menghasilkan jawaban yang tidak runtut atau tidak akurat.
Penelitian ini mengembangkan sistem tanya jawab Sirah Nabawiyah menggunakan pendekatan agentik, yaitu pendekatan yang memungkinkan sistem menilai sendiri kecukupan informasi dan menentukan langkah pencarian selanjutnya secara mandiri, dipadukan dengan penyusunan ulang teks secara kronologis sebelum jawaban akhir disusun. Sistem dibangun melalui ekstraksi teks dari dokumen Sirah Nabawiyah, segmentasi mengikuti struktur bab dan subbab buku, serta penyimpanan hasilnya ke basis data vektor untuk pencarian berdasarkan kemiripan makna. Selanjutnya, dibuat dataset pertanyaan-jawaban yang dirancang khusus untuk pertanyaan multi-bagian, divalidasi oleh model kecerdasan buatan bersama empat peninjau ahli, melatih model evaluator (sufficiency evaluator) penilai kecukupan informasi. Pada saat menjawab pertanyaan, sistem bekerja secara iteratif, merumuskan pertanyaan lanjutan secara mandiri apabila informasi belum mencukupi, lalu menyusun ulang seluruh potongan teks secara kronologis sebelum jawaban akhir dihasilkan.
Hasil evaluasi menunjukkan bahwa sistem yang dikembangkan secara konsisten melampaui sistem tanya jawab konvensional pada seluruh aspek yang diuji. Gemma SEA-LION v3-9B-IT unggul sebagai sufficiency evaluator, hasilnya sistem menemukan dokumen relevan pada 86,1% percobaan dibandingkan 84,4% pada pendekatan konvensional. Dua konfigurasi generator terbukti unggul sesuai karakteristiknya: SEA-LION menghasilkan jawaban yang lebih sesuai dengan dokumen sumber mencapai 93,0% serta mempertahankan konteks percakapan lebih baik (skor retensi konteks 0,8, koherensi sesi 0,8), sementara Sahabat-AI Gemma-9B unggul dari sisi efisiensi dengan latensi rata-rata 8,05 detik berbanding 8,80 detik pada SEA-LION. Pengujian konsistensi turut menunjukkan jawaban yang stabil terhadap variasi parafrase maupun pengulangan pertanyaan, dengan kemiripan semantik di atas 0,73 pada semua jenis pertanyaan. Pendekatan agentik yang dikombinasikan dengan penyusunan ulang kronologis terbukti efektif meningkatkan akurasi, konsistensi, dan keandalan sistem tanya jawab pada dokumen sejarah.
=====================================================================================================================================
Sirah Nabawiyah is a chronological biographical record of the life of Prophet Muhammad SAW in which events are deeply and closely interrelated. The application of artificial intelligence-based Question-Answering systems to this document faces two primary challenges. First, answers to a given Question are often dispersed across multiple sections of the document that must be synthesized simultaneously. Second, presenting retrieved text passages without regard to chronological order tends to produce answers that are incoherent or Factually inaccurate.
This study develops a Sirah Nabawiyah Question-Answering system using an Agentic approach, in which the system autonomously evaluates the sufficiency of retrieved information and independently determines subsequent retrieval actions, combined with chronological reordering of retrieved passages before generating the final answer. The system is constructed through several stages. Text is extracted from Sirah Nabawiyah documents, segmented according to the book's chapter and subchapter structure, and stored in a vector database that enables semantic retrieval. A Question-Answer dataset specifically designed for multi-hop Questions is then constructed, validated by an AI model together with four expert reviewers, and used to train a Sufficiency Evaluator for assessing the completeness of retrieved information. During the Question-Answering process, the system operates iteratively by autonomously reformulating follow-up queries whenever the retrieved context is insufficient, and subsequently rearranges all retrieved passages in chronological order before generating the final answer.
Evaluation results show that the proposed system consistently outperforms the conventional Question-Answering approach across all evaluated aspects. Gemma SEA-LION v3-9B-IT achieved the best performance as the Sufficiency Evaluator, increasing relevant document retrieval from 84.4% to 86.1%. The two generator configurations demonstrated complementary strengths: SEA-LION produced more faithful answers (93.0%) while achieving better conversational context retention (context retention 0.8, session coherence 0.8), whereas Sahabat-AI Gemma-9B provided lower average latency (8.05 s vs. 8.80 s). Consistency evaluation further showed stable responses to both paraphrased and repeated Questions, with pairwise semantic similarity exceeding 0.73 across all Question types. These findings demonstrate that combining an Agentic retrieval strategy with chronological reordering effectively improves the accuracy, consistency, and reliability of Question-Answering systems for historical documents.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Retrieval-Augmented Generation, Kecerdasan Buatan Agentik, Sirah Nabawiyah, Evaluator Kecukupan, Tanya Jawab, Large Language Model, fine-tuning, Retrieval-Augmented Generation, Agentic AI, Sirah Nabawiyah, Sufficiency Evaluator, Question Answering, Large Language Model, fine-tuning
Subjects:	Q Science > QA Mathematics > QA336 Artificial Intelligence
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Aulia Putri Salsabila
Date Deposited:	24 Jul 2026 02:26
Last Modified:	24 Jul 2026 02:26
URI:	http://repository.its.ac.id/id/eprint/136728

Actions (login required)

View Item