Zega, Kurniaman Andreas (2025) Pengembangan Chatbot Rag Berbasis Web Untuk Peningkatan Layanan Perlindungan WNI Di Singapura Menggunakan Langchain Dan Metrik Ragas. Other thesis, Institut Teknologi Sepuluh Nopember.
![[thumbnail of 5026211056-Undergraduate_Thesis.pdf]](http://repository.its.ac.id/style/images/fileicons/text.png) |
Text
5026211056-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (3MB) | Request a copy |
Abstract
Singapura merupakan salah satu destinasi utama wisatawan nasional dengan proporsi 13,86% atau sekitar 1,24 juta perjalanan pada tahun 2024, serta menjadi negara dengan jumlah Warga Negara Indonesia (WNI) tertinggi di luar negeri, yaitu sekitar 104 ribu jiwa. Namun, permasalahan seperti keterbatasan akses informasi, lambatnya respon terhadap permintaan bantuan, dan sulitnya mengakses kontak kedutaan atau konsulat masih sering terjadi. Penelitian ini bertujuan untuk mengatasi permasalahan tersebut dengan mengembangkan chatbot berbasis Retrieval-Augmented Generation (RAG) untuk mendukung layanan perlindungan WNI di Singapura. Sistem dirancang menggunakan Large Language Model (LLM) GPT-3.5 Turbo dan Gemini 2.0-Flash yang diintegrasikan melalui pipeline LangChain, dengan antarmuka berbasis Flask dan Next.js. Sumber data diperoleh melalui web scraping dari situs Safe Travel dan buku panduan layanan WNI dari situs Peduli WNI, yang kemudian disimpan dalam basis data vektor FAISS untuk pencarian semantik. Evaluasi sistem dilakukan menggunakan framework RAGAS, dengan hasil terbaik pada kombinasi GPT-3.5 Turbo dan text embedding ada-002, yang mencapai skor context recall 0,90, faithfulness 0,79, dan answer relevancy 0,87. Selain itu, evaluasi berbasis persepsi pengguna terhadap delapan dimensi nilai layanan publik juga menunjukkan tanggapan positif. Hasil penelitian ini diharapkan dapat menjadi kontribusi dalam pemanfaatan teknologi LLM untuk layanan publik serta mendukung peningkatan efektivitas pelayanan oleh Direktorat Perlindungan WNI dan KBRI Singapura.
=======================================================================================================================================
Singapore is one of the primary destinations for Indonesian travelers, accounting for 13.86% or approximately 1.24 million trips in 2024. It also hosts the largest population of Indonesian citizens (WNI) abroad, estimated at around 104,000 individuals. However, issues such as limited access to relevant information, slow response times to assistance requests, and difficulties in contacting embassies or consulates remain prevalent. This study aims to address these challenges by developing a chatbot based on the Retrieval-Augmented Generation (RAG) approach to support consular protection services for Indonesian citizens in Singapore. The system is built using Large Language Models (LLMs), specifically GPT-3.5 Turbo and Gemini 2.0-Flash, orchestrated via the LangChain framework with a user interface developed using Flask and Next.js. Data sources were collected through web scraping from the Safe Travel website and the Indonesian citizen service guide from Peduli WNI, and stored in a FAISS vector database to enable semantic search. System evaluation was conducted using the RAGAS framework, with the best performance achieved using the GPT-3.5 Turbo and ada-002 text embedding combination, reaching scores of 0.90 for context recall, 0.79 for faithfulness, and 0.87 for answer relevancy. Additionally, a user perception-based evaluation across eight public service value dimensions showed positive responses. The results of this study are expected to contribute to the implementation of LLM-based solutions in public services and to enhance the effectiveness of consular support provided by the Directorate for Indonesian Citizen Protection and the Indonesian Embassy in Singapore.
Actions (login required)
 |
View Item |