Pendekatan Berbasis BERT dengan Jaringan Convolutional dan Long Short-Term Memory untuk Sistem Penjawab Pertanyaan pada Artikel Wikipedia

Wijaya, Aristya Vika (2023) Pendekatan Berbasis BERT dengan Jaringan Convolutional dan Long Short-Term Memory untuk Sistem Penjawab Pertanyaan pada Artikel Wikipedia. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 05111940000233-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2025. Download (2MB) | Request a copy

Abstract

Wikipedia menjadi salah satu sumber pengetahuan karena menyediakan banyak artikel informatif untuk penggunanya. Luasnya informasi yang disediakan mengakibatkan kuantitas informasi dan ketersediaan data semakin melimpah. Hal ini mengakibatkan pengguna mengalami kesulitan untuk menemukan informasi yang relevan atas pertanyaan yang dimiliki. Sistem tanya jawab merupakan sistem kecerdasan artifisial yang menerapkan pemrosesan bahasa alami yang menjadi salah satu solusi untuk mendapatkan informasi yang tepat bagi penggunanya. Sistem tanya jawab akan memproses dokumen yang digunakan untuk menemukan jawaban yang nantinya akan diekstraksi dan menghasilkan jawaban yang relevan dengan pertanyaan yang telah diajukan. Bidirectional Representation from Transformers atau BERT merupakan pre-trained model yang banyak digunakan untuk pemrosesan natural language. BERT memanfaatkan pendekatan "pre-training" dan "fine-tuning" untuk menghasilkan representasi bahasa yang kaya dan memahami konteks secara mendalam. Penelitian ini akan membandingkan model pra-pelatihan BERT dan DistilBERT dengan menambahkan algoritma deep learning. Implementasi deep learning dilakukan dengan menambahkan lapisan Long Short-Term Memory (LSTM) dan Convolutional Neural Network (CNN) pada model. Beberapa tahun terakhir, penggunaan Convolutional Neural Network (CNN) dan Long Short-Term Memory (LSTM) telah menunjukkan potensi besar dalam meningkatkan kinerja sistem tanya jawab pada NLP. CNN adalah jenis arsitektur jaringan saraf yang mampu mengekstraksi fitur lokal dari teks, sementara LSTM adalah jenis jaringan saraf rekuren yang mampu mengenali ketergantungan konteks dalam urutan data. Tugas Akhir ini menggunakan dataset Stanford Question Answering Dataset (SQuAD 2.0) yang terdiri dari pertanyaan dan artikel Wikipedia. Hasil model yang diimplementasikan akan dievaluasi menggunakan F1 score dan exact match. Hasil penelitian menunjukkan bahwa model pra-pelatihan BERT mendapatkan hasil evaluasi yang lebih baik dibandingkan model DistilBERT. Model BERT dengan lapisan CNN dan LSTM mendapatkan hasil evaluasi paling baik diantara ketiga model lainnya, yaitu F1 score sebesar 0,827 dan exact match sebesar 0,662 dengan waktu yang dibutuhkan untuk pelatihan model selama 16.523 detik. Hasil uji coba menandakan sistem cukup mumpuni untuk menangani permasalahan dalam mengekstraksi jawaban dari artikel.
=================================================================================================================================
Wikipedia is a source of knowledge because it provides many informative articles for its users. The breadth of the information supplied causes the quantity of information and the availability of data to become more abundant. This problem makes it difficult for users to find relevant information for their questions. The question and answer system is an artificial intelligence system that applies natural language processing, one of the solutions to get the correct information for its users. The question and answer system will process the documents used to find answers which will be extracted later and produce answers relevant to the questions asked. Bidirectional Representation from Transformers, or BERT, is a pre-trained model widely used for natural language processing. This study will compare the BERT and DistilBERT pre-training models by adding deep learning algorithms. Deep learning is implemented by adding Long Short-Term Memory (LSTM) and Convolutional Neural Network (CNN) layers to the model. In recent years, the use of Convolutional Neural Networks (CNN) and Long Short-Term Memory (LSTM) has shown great potential in improving the performance of question and answer systems in NLP. CNN is a type of neural network architecture capable of extracting local features from text, while LSTM is a type of recurrent neural network capable of recognizing context dependence in data sequences. This Final Project uses the Stanford Question Answering Dataset (SQuAD 2.0), which consists of questions and Wikipedia articles. The results of the implemented model will be evaluated using the F1 score and exact match. The results showed that the BERT pre-training model obtained better evaluation results than the DistilBERT model. The BERT model with CNN and LSTM layers got the best evaluation results among the other three models, namely an F1 score of 0.827 and an exact match of 0.662 with the time required to train the model for 16,523 seconds. The test results indicate that the system is capable of enough handling problems with extracting answers from articles.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	BERT, CNN, deep learning, LSTM, sistem tanya jawab
Subjects:	R Medicine > R Medicine (General) > R858 Deep Learning
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Aristya Vika Wijaya
Date Deposited:	05 Sep 2023 06:50
Last Modified:	05 Sep 2023 06:50
URI:	http://repository.its.ac.id/id/eprint/101306

Actions (login required)

View Item