Pengembangan Hybrid Human - Contextual Chatbot dengan Model Berkelanjutan Menggunakan Recurrent Neural Network sebagai Pendukung Help-desk

Sari, Dyah Ayu Permata (2023) Pengembangan Hybrid Human - Contextual Chatbot dengan Model Berkelanjutan Menggunakan Recurrent Neural Network sebagai Pendukung Help-desk. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6025212002-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2023. Download (3MB) | Request a copy

Abstract

Perkembangan chatbot saat ini cukup signifikan mengingat tren layanan interaktif untuk pelanggan 24/7. Beberapa keuntungan yang didapatkan dari penggunakan chatbot adalah mengurangi antrian dan waktu tunggu pelanggan. Efisiensi biaya operasional dan jaminan kualitas layanan adalah tujuan utama dari penggunaan chatbot di sebuah perusahaan. Kemampuan memahami makna kalimat dalam mensolusikan masalah menjadi kebutuhan utama yang harus dimiliki oleh agen bot. Pemahaman tentang arti sebenarnya dari sebuah percakapan mendorong pengembangan chatbot berbasis kontekstual.
Penelitian sebelumnya menyatakan 87% pengguna lebih menyukai interaksi dengan manusia untuk menyelesaikan masalah yang kompleks, sedangkan chatbot menjadi pilihan utama untuk menangani masalah dengan kompleksitas rendah. Pada penelitian ini diusulkan kerangka kerja hybrid human-contextual chatbot dengan pembangunan model yang berkelanjutan menggunakan metode Recurrent Neural Network (RNN). Pemilihan metode RNN didasari kemampuannya dalam menyimpan memori data sebelumnya, sehingga di setiap sampelnya diproses berdasarkan pertimbangan atas sampel-sampel sebelumnya. Hal ini sangat dibutuhkan untuk dapat memahami konteks kalimat dengan baik.
Pembangunan model berkelanjutan yang diusulkan membutuhkan justifikasi dan bantuan manusia sehingga disebut sebagai sistem hybrid human – contextual chatbot. Tujuan penelitian adalah memberikan kemudahan dan fleksibilitas dalam pengembangan model beserta terjaganya kualitas respon yang dihasilkan. Uji coba sistem dilakukan selama empat minggu di divisi manajemen IT perusahaan XYZ. Proses evaluasi performa sistem menggunakan nilai akurasi, hand-off rate, rata-rata waktu eksekusi, dan rata-rata waktu respon.
Dari proses pengujian dan evaluasi sistem didapatkan nilai akurasi dan hand-off rate yang meningkat setiap minggunya. Data pelatihan yang bertumbuh memberi peningkatan performa model dalam menghasilkan prediksi. Sedangkan rata-rata waktu eksekusi dan waktu respon mengalami penurun setiap minggunya. Penurunan waktu eksekusi dan respon mengindikasikan performa model dalam menghasilkan prediksi dan sistem dalam memberikan jawaban menjadi lebih cepat. Didapatkan nilai akurasi dan hand-off rate tertinggi sebesar 0.99 dan 0.98 secara berurutan. Sedangkan rata-rata waktu eksekusi dan waktu respon mendapatkan detik terendah pada 0.39 dan 0.85 detik secara berurutan. Hal ini dapat menjawab tujuan dari penelitian dalam efisiensi tenaga kerja dan efektifitas dari kerangka kerja yang diusulkan.
======================================================================================================================================
The development of chatbots is currently quite significant, considering the trend of interactive services for 24/7 customers. One advantage of using chatbots is reducing queues and customer waiting times. The main goal of using chatbots in company are operational cost efficiency and service quality assurance. Therefore, the ability to understand the meaning of sentences is essential.
Previous research stated that 87% of users prefer interaction with humans to solve complex problems and chatbots for dealing low complexity issues. So in this study introduced a hybrid human-contextual chatbot with sustainable model development using the Recurrent Neural Network (RNN). The choice of the RNN method is based on its ability to store previous data memory so that each sample is processed with the consideration of prior models. This is needed to understand the context of the sentence correctly.
The research aims to provide convenience and flexibility in model development. The model development process is expected to maintain the quality of chatbot responses. The system trial was conducted in the XYZ company's IT management division for four weeks. The system performance evaluation process uses accuracy, hand-off rate, average execution time, and average response time.
Growing training data gives the model performance improvements in generating predictions. The accuracy and hand-off rate values increase every week but average execution time and response time decreased every week. The decrease in execution and response time indicates the model's performance in generating predictions and the system in providing answers becomes faster. The highest accuracy and hand-off rate values were 0.99 and 0.98, respectively. Average execution and response times also get the lowest seconds in 0.39 and 0.85 seconds, respectively. This could address the research objectives for labor efficiency and effectiveness of the proposed framework.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	Recurrent Neural Network, hybrid human-contextual chatbot, help-desk, pengembangan model berkelanjutan, kerangka kerja bisnis kerjasama manusia dengan bot, sustainable model development, business cooperation framework between human and bot.
Subjects:	T Technology > T Technology (General) > T58.6 Management information systems
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55101-(S2) Master Thesis
Depositing User:	Dyah Ayu Permata Sari
Date Deposited:	23 Jul 2023 02:35
Last Modified:	23 Jul 2023 02:35
URI:	http://repository.its.ac.id/id/eprint/98931

Actions (login required)

View Item