Pengembangan Sistem Klasifikasi Tiket Aduan Service Desk Berbasis Knowledge Base Menggunakan SVM dan IndoBERT untuk Pemberian Rekomendasi SLA Otomatis (Studi Kasus: Service Desk ITS)

Hutagalung, Samuel (2026) Pengembangan Sistem Klasifikasi Tiket Aduan Service Desk Berbasis Knowledge Base Menggunakan SVM dan IndoBERT untuk Pemberian Rekomendasi SLA Otomatis (Studi Kasus: Service Desk ITS). Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5026221067-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (2MB) | Request a copy

Abstract

Layanan Teknologi Informasi (TI) di Institut Teknologi Sepuluh Nopember (ITS) didukung oleh Direktorat Pengembangan Teknologi dan Sistem Informasi (DPTSI) dengan service desk sebagai jembatan komunikasi utama antara penyedia dan pengguna layanan TI. Pada kondisi saat ini, routing tiket aduan pada service desk masih dilakukan secara manual berdasarkan input dari pengguna yang memiliki kecenderungan salah sasaran sehingga mengakibatkan waktu resolusi yang melebihi batas dan menghambat penerapan Service Level Agreement (SLA) yang konsisten antar unit kerja. Penelitian ini mengembangkan sistem klasifikasi tiket aduan berbasis Knowledge Base menggunakan pendekatan Natural Language Processing (NLP) untuk mengklasifikasikan tiket aduan dan merekomendasikan SLA secara otomatis. Penelitian diawali dengan pembangunan Knowledge Base melalui akuisisi pengetahuan bersama tim internal DPTSI dan validasi bersama admin dari 11 unit kerja ITS, menghasilkan struktur yang memuat kategori isu, canonical keyword beserta variasinya, serta nilai SLA yang telah dikonfirmasi. Selanjutnya, penelitian ini membandingkan kinerja dua metode klasifikasi teks yakni Support Vector Machine (SVM) dan fine-tuning IndoBERT menggunakan dataset tiket aduan berbahasa Indonesia periode Januari hingga Mei 2025. Modul routing dikembangkan untuk menentukan kategori isu spesifik dan merekomendasikan SLA yang sesuai berdasarkan pencocokan teks aduan dengan Knowledge Base menggunakan Fuzzy Matching String. Evaluasi performa model dilakukan menggunakan metrik Macro F1-Score dan akurasi keseluruhan dengan metode Stratified 5-Fold Cross-Validation untuk mengakomodasi kondisi distribusi data yang tidak seimbang. Hasil evaluasi menunjukkan bahwa SVM memperoleh Macro F1-Score sebesar 0,8441 dengan akurasi 88,63%, sementara IndoBERT memperoleh Macro F1-Score sebesar 0,8457 dengan akurasi 90,19%. IndoBERT dipilih sebagai model utama karena mencapai akurasi keseluruhan yang lebih tinggi, kemampuan generalisasi yang lebih baik yang tercermin dari gap train-test lebih kecil (Δ=0,0843 vs Δ=0,1034), serta latensi inferensi yang lebih stabil dan dapat diprediksi untuk implementasi produksi. Validasi sistem dilakukan melalui pengujian test case oleh pakar dan sesi demonstrasi dengan pengguna operasional service desk ITS, dengan hasil penerimaan positif dari seluruh responden.
==================================================================================================================================
Information Technology (IT) services at the Institut Teknologi Sepuluh Nopember (ITS) are supported by the Directorate of Information Technology and Systems Development (DPTSI), with the service desk serving as the primary communication bridge between IT service providers and users. Currently, complaint ticket routing at the service desk is performed manually based on user input, a process prone to misdirection that leads to extended resolution times and hinders the consistent implementation of Service Level Agreements (SLAs) across work units. This research develops a Knowledge Base-based complaint ticket classification system utilizing a Natural Language Processing (NLP) approach to classify complaint tickets and automatically recommend SLAs. The research commenced with the construction of a Knowledge Base through knowledge acquisition with the internal DPTSI team and validation involving administrators from 11 ITS work units, establishing a structure encompassing issue categories, canonical keywords with their variations, and confirmed SLA values. Furthermore, this study compared the performance of two text classification methods—the traditional Support Vector Machine (SVM) and fine-tuned IndoBERT—utilizing an Indonesian-language complaint ticket dataset from January to May 2025. A routing module was developed to determine specific issue categories and recommend corresponding SLAs by matching complaint texts against the Knowledge Base using Fuzzy String Matching. Model performance was evaluated using the Macro F1-Score and overall accuracy metrics with a Stratified 5-Fold Cross-Validation method to account for imbalanced data distribution. Evaluation results indicate that SVM achieved a Macro F1-Score of 0.8441 with an overall accuracy of 88.63%, while IndoBERT achieved a Macro F1-Score of 0.8457 with an overall accuracy of 90.19%. IndoBERT was selected as the primary model due to its higher overall accuracy, superior generalization capability reflected in a smaller train-test gap (Δ=0.0843 vs. Δ=0.1034), and more stable and predictable inference latency for production deployment. System validation was conducted through expert test case evaluations and demonstration sessions with ITS service desk operational users, resulting in positive acceptance from all respondents.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	SLA, Service Desk, Klasifikasi Teks, TF-IDF, SVM, IndoBERT, SLA, Service Desk, Text Classification, TF-IDF, SVM, IndoBERT
Subjects:	Q Science > Q Science (General) > Q325.5 Machine learning. Support vector machines. T Technology > T Technology (General) > T58.62 Decision support systems
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Information System > 57201-(S1) Undergraduate Thesis
Depositing User:	Samuel Ba. Hutagalung
Date Deposited:	27 Jul 2026 02:49
Last Modified:	27 Jul 2026 02:49
URI:	http://repository.its.ac.id/id/eprint/137828

Actions (login required)

View Item