Evaluasi Penggunaan Machine Translation untuk Model Chatbot Etika Penggunaan AI

Setiawan, Caroline Angelia (2026) Evaluasi Penggunaan Machine Translation untuk Model Chatbot Etika Penggunaan AI. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6026242009-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (8MB) | Request a copy

Abstract

Keterbatasan ketersediaan dataset pada bahasa tertentu menjadi salah satu tantangan dalam pembangunan chatbot multibahasa. Salah satu pendekatan yang dapat digunakan untuk mengatasi permasalahan tersebut adalah memanfaatkan machine translation sebagai jembatan antara bahasa pelatihan dan bahasa pengguna. Penelitian ini bertujuan menganalisis pengaruh variasi model machine translation terhadap kualitas hasil terjemahan dan kinerja chatbot berbahasa Indonesia yang dibangun menggunakan dataset berbahasa Inggris pada studi kasus chatbot edukasi etika penggunaan kecerdasan buatan berdasarkan dokumen UNESCO Recommendation on the Ethics of Artificial Intelligence. Penelitian diawali dengan menggunakan Large Language Model (LLM) berbasis Retrieval-Augmented Generation (RAG) untuk menghasilkan simulasi pertanyaan berdasarkan dokumen UNESCO Recommendation on the Ethics of Artificial Intelligence. Selanjutnya, dataset diterjemahkan menggunakan Google Translate, MarianMT Indonesia-Inggris, MarianMT Multilingual-Inggris, M2M-100 (418M), dan M2M-100 (1.2B). Kualitas hasil terjemahan dievaluasi menggunakan metrik BLEU, METEOR, dan BERTScore. Model dengan performa terbaik kemudian diintegrasikan ke dalam chatbot dan dievaluasi menggunakan pertanyaan dengan berbagai tingkat kesulitan. Hasil penelitian menunjukkan bahwa Google Translate memberikan performa terbaik dengan rata-rata skor BLEU sebesar 32,19%, METEOR sebesar 69,03%, dan BERTScore sebesar 96,24%. Di antara model open source, M2M-100 (1.2B) memperoleh hasil terbaik. Evaluasi chatbot menunjukkan bahwa sistem mampu mengidentifikasi intent dengan baik pada pertanyaan eksplisit, tetapi masih mengalami kesalahan pada pertanyaan yang implisit, ambigu, atau mengandung lebih dari satu konsep. Penelitian ini menunjukkan bahwa machine translation merupakan pendekatan yang layak untuk memanfaatkan dataset berbahasa Inggris dalam pembangunan chatbot berbahasa Indonesia, dengan kualitas model penerjemahan menjadi faktor penting yang memengaruhi kualitas terjemahan dan kinerja chatbot.
====================================================================================================================================
The limited availability of datasets in certain languages remains one of the main challenges in developing multilingual chatbots. One approach to addressing this issue is to utilize machine translation as a bridge between the training language and the users' target language. This study aims to analyze the impact of different machine translation models on translation quality and the performance of an Indonesian-language chatbot developed using an English-language dataset. The case study focuses on an AI ethics education chatbot based on the UNESCO Recommendation on the Ethics of Artificial Intelligence. The study began by employing a Retrieval-Augmented Generation (RAG)-based Large Language Model (LLM) to generate simulated questions from the UNESCO Recommendation on the Ethics of Artificial Intelligence document. Subsequently, the dataset was translated using Google Translate, MarianMT Indonesian–English, MarianMT Multilingual–English, M2M-100 (418M), and M2M-100 (1.2B). The translation quality was evaluated using BLEU, METEOR, and BERTScore. The best-performing translation model was then integrated into the chatbot and evaluated using questions with varying levels of difficulty. The results show that Google Translate achieved the best performance, with average BLEU, METEOR, and BERTScore scores of 32.19%, 69.03%, and 96.24%, respectively. Among the open-source models, M2M-100 (1.2B) achieved the highest performance. The chatbot evaluation demonstrated that the system was able to accurately identify intents for explicit questions but still encountered errors when handling implicit, ambiguous, or multi-concept questions. Overall, the findings indicate that machine translation is a viable approach for leveraging English-language datasets in the development of Indonesian-language chatbots. Furthermore, the quality of the translation model plays a crucial role in determining both translation quality and overall chatbot performance.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	chatbot, machine translation, etika kecerdasan buatan, klasifikasi intent, artificial intelligence ethics, intent classification.
Subjects:	T Technology > T Technology (General) > T59.7 Human-machine systems.
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Information System > 59101-(S2) Master Thesis
Depositing User:	Caroline Angelia Setiawan
Date Deposited:	29 Jul 2026 01:59
Last Modified:	29 Jul 2026 01:59
URI:	http://repository.its.ac.id/id/eprint/139227

Actions (login required)

View Item