Pengembangan Chatbot Berbasis Web dengan Teknologi Generative Transformer AI untuk Meningkatkan Layanan Informasi Sivitas Akademika Teknik Informatika ITS

Ramadhani, Ahmad Ferdiansyah (2024) Pengembangan Chatbot Berbasis Web dengan Teknologi Generative Transformer AI untuk Meningkatkan Layanan Informasi Sivitas Akademika Teknik Informatika ITS. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5025201218-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (2MB) | Request a copy

Abstract

Teknologi informasi yang berkembang pesat menuntut sistem otomatisasi yang efisien dalam layanan informasi. Departemen Teknik Informatika – Institut Teknologi Sepuluh Nopember Surabaya (ITS), sebagai lembaga pendidikan tinggi, mengembangkan chatbot berbasis web dengan teknologi Generative Transformer AI. Chatbot ini diharapkan dapat memberikan respons dengan cepat dan akurat terhadap pertanyaan-pertanyaan yang diutarakan oleh para sivitas akademika.
Pemilihan metode RAG (Retrieval Augmented Generation) didasarkan pada keunggulannya dalam ekstraksi teks dan dokumen. Fleksibilitas RAG dalam mengelola dan menyusun data memungkinkan chatbot untuk mengakses dan mengolah informasi secara efektif. Pada pengimplementasiannya, RAG membutuhkan dua model yaitu sentence transformer untuk proses embed dan text generation model untuk proses generasi teks.
Pengujian menggunakan metrik Bleu dan Rouge menunjukkan bahwa GPT3.5-Turbo sebagai text generation model menunjukkan hasil yang paling optimal dibandingkan model lainnya. Sedangkan pada sentence transformer model, dengan pengujian Bleu, Rouge, dan framework Ragas menunjukkan model Multilingual E5 Small memiliki hasil yang paling optimal dibandingkan dengan embedding model lainnya. Hasil pengujian pada pipeline chatbot menggunakan framework Ragas menunjukkan bahwa dengan menggunakan dua model tersebut, serta dengan konfigurasi K parameter 8 memiliki tingkat akurasi 88.02%. Dengan demikian dapat disimpulkan bahwa performa chatbot dengan metode RAG menggunakan GPT3.5-Turbo sebagai text generation model dan Multilingual E5 Small sebagai sentence transformer model sudah memiliki performa yang baik.
=========================================================================
The rapidly advancing information technology demands an efficient automation system in information services. The Department of Informatics Engineering – Institut Teknologi Sepuluh Nopember Surabaya (ITS), as a higher education institution, has developed a web-based chatbot using Generative Transformer AI technology. This chatbot is expected to provide quick and accurate responses to questions posed by the academic community.
The choice of the RAG (Retrieval Augmented Generation) method is based on its advantages in document extraction. RAG's flexibility in managing and organizing data allows the chatbot to access and process information effectively. In its implementation, RAG requires two models: a sentence transformer for the embedding process and a text generation model for the text generation process.
Testing using Bleu and Rouge metrics showed that GPT3.5-Turbo as the text generation model produced the most optimal results compared to other models. Meanwhile, for the sentence transformer model, Bleu, Rouge, and the Ragas framework testing showed that the Multilingual E5 Small model had the most optimal results compared to other embedding models. Testing results on the chatbot pipeline using the Ragas framework indicated that by using these two models also the configuration of K parameter is 8, the accuracy level obtained is 88.02%. Therefore, it can be concluded that the chatbot's performance using the RAG method with GPT3.5-Turbo as the text generation model and Multilingual E5 Small as the sentence transformer model has good performance.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Retrieval Augmented Generation, Sentence Transformer, Text Generation
Subjects:	T Technology > T Technology (General) > T58.8 Productivity. Efficiency
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Ahmad Ferdiansyah Ramadhani
Date Deposited:	01 Aug 2024 08:55
Last Modified:	01 Aug 2024 08:55
URI:	http://repository.its.ac.id/id/eprint/110457

Actions (login required)

View Item