Klasifikasi Intent pada Teks Percakapan untuk Sistem Chatbot Service Desk

Pradana, Alfin (2021) Klasifikasi Intent pada Teks Percakapan untuk Sistem Chatbot Service Desk. Undergraduate thesis, Institut Teknologi Sepuluh Nopember.

Text 05111740000191-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2023. Download (2MB) | Request a copy

Abstract

Jaman ini adalah era intelligence machine. Perkembangan artificial intelligence meningkat dengan signifikan, mesin bahkan sudah mulai berperan menggantikan manusia. Salah satu perubahan yang terjadi adalah pada aspek pelayanan pengguna untuk mendapatkan informasi dan keluhan di sebuah instansi. Penggunaan Chatbot dibutuhkan untuk mengefisiensi keluhan dan pertanyaan yang sering disampaikan dan bersifat repetitif kepada sebuah sistem service desk.

Terdapat beberapa metode untuk implementasi Chatbot yang dapat menjawab kebutuhan dari pengguna. Salah satu contohnya yaitu dengan pendekatan metode Artificial Intelligence Markup Language (AIML) dan Pattern Matching. Penggunaan kedua metode ini memiliki kekurangan tersendiri karena tidak memiliki pemahaman terhadap Natural Language, membutuhkan perawatan yang sangat memakan waktu, dan karena sifatnya yang rule based.

Metode lain yang dapat digunakan untuk membuat model klasifikasi intent pada setiap pertanyaan yang disampaikan oleh customer kepada Chatbot. Model ini menggunakan pendekatan deep learning dengan algoritma berbasis Recurrent Neural Network (RNN). Untuk mencari kinerja Chatbot terbaik yang dapat melakukan klasifikasi intent, akan dilakukan berbagai eksperimen dengan menggunakan beberapa metode deep learning seperti Recurrent Neural Network, Long-short Term Memory, Gated Recurrent Units dan juga Ensemble Model pendekatan soft voting.
Pada Tugas Akhir ini, dilakukan klasifikasi intent pada teks percakapan untuk sistem Chatbot service desk, dengan berbagai eksperimen yang memiliki pendekatan deep learning. Tahapan yang akan dilakukan dalam Tugas Akhir ini adalah, persiapan data, ekstraksi fitur menggunakan metode terbaik, self training model, dan diikuti dengan proses eksperimen training model dengan pendekatan deep learning, hasil klasifikasi intent akan menjadi input proses mapping respon Chatbot, respon tersebut menjadi input dari sistem Chatbot yang diterapkan di DPTSI.

Dataset yang digunakan adalah dataset tiket service desk DPTSI ITS tahun 2017 – 2020 yang berjumlah 12.716 data. Dari hasil uji coba terakhir diperoleh skenario terbaik menggunakan fitur ekstraktor BERT dan model deep learning dengan arsitektur LSTM. Skor terbaik yang diperoleh yaitu dengan nilai rata-rata Average Macro F1-Score dan Average Weighted F1-Score 90.13%.
=====================================================================================================
Now is the era of machine intelligence. Artificial Intelligence development rate has increased significantly, machines have even begun to play a role in replacing humans. One of the changes that occur is in the aspect of user service to get information or complaints at an institution. Chatbots is needed to streamline complaints and questions that are often submitted and are repetitive to a service desk system.

There are several methods for implementing Chatbots that can answer the needs of users. Few example are the Artificial Intelligence Markup Language (AIML) and Pattern Matching approach. But the use of these method has its own shortcomings because it does not have an understanding of natural language, and requires very time-consuming maintenance because of its rule-based nature.

Another method that can be used is to create an intents classification for each question asked by a customer to the Chatbots. This model will use a deep learning approach with an algorithm based on Recurrent Neural Network (RNN). To find the best performing Chatbots that can perform intent classification, various experiments will be carried out using several deep learning algorithm such as Recurrent Neural Network, Long-short Term Memory, Gated Recurrent Units and also Ensemble Models using several deep learning models.

In this undergraduate thesis, the intent classification of conversational texts for the service desk Chatbots system will be carried out with various experiments that have a deep learning approach. The stages that will be carried out in this final project are data preparation, feature extraction with the best method, self training model, and followed by a model training experiment process with a deep learning approach, results of the intent classification will be the input for response mapping process, that same respon will be an input for the Chatbots system that will be implemented in DPTSI. Dataset that will be used is from DPTSI ITS service desk ticket 2017-2020 with total 12.716 data. From the final experiments that already conducted, the best model scenario is using BERT as the feature extractor and LSTM model for the Chatbots. Best Average Macro F1-Score and Average Weighted F1-Score is at 90.13%.

Item Type:	Thesis (Undergraduate)
Uncontrolled Keywords:	Klasifikasi Intent, Intent Classification, Chatbot, Bi-LSTM, Ensemble Model, Self Training Model, Augmentasi Data, Data Augmentation, BERT.
Subjects:	Q Science > Q Science (General) > Q325.5 Machine learning. Support vector machines. Q Science > QA Mathematics > QA76.9.D343 Data mining. Querying (Computer science) R Medicine > R Medicine (General) > R858 Deep Learning T Technology > T Technology (General) > T57.5 Data Processing
Divisions:	Faculty of Information and Communication Technology > Informatics > 55201-(S1) Undergraduate Thesis
Depositing User:	alfin pradana
Date Deposited:	04 Aug 2021 21:14
Last Modified:	04 Aug 2021 21:14
URI:	http://repository.its.ac.id/id/eprint/84829

Actions (login required)

View Item