Priyantina, Reza Amalia (2019) Evaluasi Kepuasan Pelanggan Hotel Berdasarkan Analisa Sentiment Pada Review Pelanggan. Masters thesis, Institut Teknologi Sepuluh Nopember.
Preview |
Text
09211750053018-Master_Thesis.pdf Download (3MB) | Preview |
Abstract
Customer relationship management (CRM) memiliki pengaruh yang sangat besar bagi kinerja perusahaan. Hubungan pelanggan dengan perusahaan saat ini sangat mudah untuk dilakukan, salah satunya melalui website pada review online. Review online akan sangat membantu perusahaan untuk mengetahui hal apa dari bisnis tersebut yang disenangi pelanggan maupun yang tidak. Untuk mempermudah perusahaan dalam mengetahui kepuasan pelanggan, diusulkan penelitian untuk mencari sentiment kepuasan dari setiap review sesuai dengan kategori aspect hotel kemudian melakukan evaluasi kepuasan. Aspect yang dimaksud terdiri dari: location, meal, service, comfort serta cleanliness hotel.
Penelitian ini mengambil teks review dalam bahasa Inggris. Kategorisasi aspect akan dilakukan dengan beberapa tahapan, pertama menggunakan Latent Dirichlet Allocation (LDA) sebagai metode untuk menemukan hidden topic dari review. Latent Dirichlet Allocation (LDA) memiliki kekurangan untuk mengklasifikasikan dokumen ke dalam salah satu aspect secara langsung. Sehingga pada tahap kedua diusulkan metode Semantic Similarity untuk mengkategorikan setiap hidden topic review yang dihasilkan oleh Latent Dirichlet Allocation (LDA) pada 5 aspect hotel. Kemudian dalam menghitung Semantic Similatiry, term list akan diperluas dengan menggunakan metode Term Frequency-Inverse Cluster Frequency (TF-ICF). Akhirnya, dilakukan proses klasifikasi terhadap sentiment pelanggan (puas atau tidak puas) menggunakan Word Embedding untuk mengekstraksi setiap kata dan dokumen menjadi vector kata yang kemudian akan digunakan sebagai input untuk proses klasifikasi menggunakan metode Long Short Tem Memmory (LSTM). setelah ditemukan sentimen pada setiap aspect, selanjutnya akan dilakukan evaluasi hasil.
Performa dari setiap metode dievaluasi menggunakan precision, recall dan F1-Measure. Hasil dari uji coba menunjukkan bahwa performa kategorisasi aspect tertinggi dilakukan dengan melakukan penggabungan metode Latent Dirichlet Allocation (LDA) untuk mencari hidden topic, digabungkan dengan Term Frequency-Inverse Cluster Frequency (TF-ICF) 100% untuk peluasan term dan Semantic Similarity untuk kategorisasi aspect yang mendapatkan hasil performa hingga mencapai 85% dan performa Word Embedding untuk representasi angka vector dengan Long Short Term Memmory (LSTM) untuk klasifikasi sentiment sangat tinggi yang mendapatkan performa mencapai 94%. Sehingga, peneliti melakukan penggabungan metode LDA+TF-ICF 100%+Semantic Similarity untuk melakukan kategorisasi aspect lalu menggunakan Word Embedding+LSTM untuk melakukan klasifikasi sentiment pada setiap review. Kemudian, pada evaluasi akhir yang dilakukan, peneliti mendapatkan bahwa aspect comfort hotel memiliki review dengan sentiment negative sangat tinggi yang mencapai 11,369% dibanding dengan sentiment review pada aspect lainnya (location: 0.464, meal: 0.696, service: 3.016, dan cleanliness: 1.160) sehingga pihak manajemen hotel perlu melakukan perbaikan-perbaikan untuk lebih memperhatikan kenyamanan pelanggan dengan tujuan untuk mengurangi jumlah review negative pada aspect comfort tersebut. Hasil juga menunjukkan bahwa perubahan sentiment (pada positive atau negative sentiment) dipengaruhi oleh aspect yang dimiliki oleh setiap review.
================================================================================================
Customer relationship management (CRM) has a huge influence on company performance. Nowadays, customers can contact companies in easy ways, one of them is through the website on an online review. Online reviews will greatly help the company to find out any of the business that makes customers like it or not. To help companies determine customer satisfaction, the proposed research to find satisfaction sentiment of each review in accordance with aspects of the category of the hotel then do an evaluation of satisfaction. Aspect is composed of location, meal, service, comfort, and cleanliness of the hotel.
This research will take a review text in English. These aspects were classified in several stages, first using the Latent Dirichlet Allocation (LDA) was used as a method to find the hidden topic of a document. Latent Dirichlet Allocation (LDA) has the disadvantage to classify documents into one aspect directly. So that in the second stage the Semantic Similarity method was proposed to categorize each hidden topic review produced by Latent Dirichlet Allocation (LDA) on 5 aspects of the hotel. Then in calculating the Semantic Similarity, term list will be expanded by using Cluster Term Frequency-Inverse Frequency (TF-ICF). Finally, the classification of customer sentiment (satisfied or dissatisfied) is done using Word Embedding to extract each word and document into a word vector which will then be used as input for the classification process using the LSTM method. After finding sentiment on each aspect, then the results evaluation will be carried out.
The performance of each method is evaluated using precision, recall and F1-Measure. The results of the trials show that the highest performance of aspect categorization is done by combining the Latent Dirichlet Allocation (LDA) method to search hidden topics, combined with 100% Term Frequency-Inverse Cluster Frequency (TF-ICF) for expansion term and Semantic Similarity for categorization that get performance results up to 85% and Word Embedding for word vector representation combined with Long Short Term Memmory (LSTM) is getting very high sentiment classifications that get a performance of 94%. So, the researcher merged the LDA + TF-ICF 100% + Semantic Similarity method to categorize aspects and then used Word Embedding + LSTM to classify sentiments in each review. Then, at the final evaluation, the researcher found that the comfort aspect of the hotel had a review with very high negative sentiment which reached 11,369% compared to other aspects of the review sentiment (location: 0.464, meal: 0.696, service: 3.016, dan cleanliness: 1.160) so the hotel management needs to make improvements to pay more attention to customer convenience in order to reduce the number of negative reviews on the comfort aspect. The results also show that changes in sentiment (in positive or negative sentiments) are influenced by the aspects of each review.
| Item Type: | Thesis (Masters) |
|---|---|
| Additional Information: | RTMT 658.834 3 Pri e-1 2019 |
| Uncontrolled Keywords: | Customer relationship, Analisa Review, Kategorisasi Aspect, Klasifikasi Sentiment, topic modelling, LDA, LDA-Similarity, TF-ICF, Word Embedding, LSTM. |
| Subjects: | H Social Sciences > HF Commerce > HF5415.335 Consumer satisfaction T Technology > T Technology (General) T Technology > T Technology (General) > T57.5 Data Processing T Technology > T Technology (General) > T58.6 Management information systems T Technology > T Technology (General) > T58.8 Productivity. Efficiency |
| Divisions: | Faculty of Creative Design and Digital Business (CREABIZ) > Technology Management > 61101-(S2) Master Thesis |
| Depositing User: | Reza Amalia Priyantina |
| Date Deposited: | 10 Jun 2022 03:27 |
| Last Modified: | 10 Jun 2022 03:27 |
| URI: | http://repository.its.ac.id/id/eprint/63128 |
Actions (login required)
 |
View Item |