Optimasi Model Machine Learning Ensemble untuk Prediksi Customer Churn dengan Hyperparamater Tuning dan Teknik Synthetic Minority Over-Sampling

Azhar, Muhammad (2025) Optimasi Model Machine Learning Ensemble untuk Prediksi Customer Churn dengan Hyperparamater Tuning dan Teknik Synthetic Minority Over-Sampling. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6025231027-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (3MB) | Request a copy

Abstract

Customer churn merupakan fenomena di mana pelanggan menghentikan langganan terhadap layanan suatu perusahaan dan beralih ke penyedia lain. Dalam industri telekomunikasi, churn menjadi tantangan yang signifikan karena biaya untuk memperoleh pelanggan baru lebih tinggi dibandingkan dengan biaya mempertahankan pelanggan yang sudah ada. Salah satu tantangan utama dalam pengembangan model prediksi churn adalah masalah ketidakseimbangan kelas, di mana jumlah data pelanggan yang tidak churn jauh lebih banyak dibandingkan dengan pelanggan yang churn. Hal ini menyebabkan model cenderung bias terhadap kelas mayoritas, sehingga menurunkan kinerja dan keandalan model prediksi secara keseluruhan. Sebagai respons terhadap permasalahan tersebut, penelitian ini mengusulkan pendekatan pembelajaran mesin ansambel menggunakan Extreme Gradient Boosting (XGBoost) dan Light Gradient Boosting Machine (LightGBM), yang ditingkatkan melalui penerapan Synthetic Minority Over-sampling Technique yang dikombinasikan dengan Edited Nearest Neighbors (SMOTE-ENN) serta optimasi hiperparameter menggunakan Grid Search Cross-Validation (GridSearchCV). Integrasi SMOTE-ENN secara efektif mengatasi ketidakseimbangan kelas dengan menghasilkan sampel sintetis dari kelas minoritas dan menghapus instance yang bersifat noise atau berada di batas kelas, sementara GridSearchCV secara sistematis mengidentifikasi konfigurasi parameter yang optimal. Hasil eksperimen menunjukkan bahwa model XGBoost dan LightGBM yang telah dioptimalkan mampu mencapai tingkat akurasi prediksi yang tinggi, masing-masing sebesar 90,12% dan 89,13%. Temuan ini mengonfirmasi bahwa pendekatan yang diusulkan secara signifikan meningkatkan kinerja model serta memberikan kerangka kerja yang andal untuk mengembangkan sistem prediksi churn yang akurat dan terpercaya.
===================================================================================================================================
Customer churn is a phenomenon where customers terminate their subscription with a company's offerings and switch to another provider. In the telecommunications industry, churn presents a significant challenge as customer acquisition costs are higher than retention costs. In developing churn prediction models, a major challenge is the class imbalance problem, where a significantly higher number of non-churn instances compared to churn instances leads to biased model predictions that favor the majority class, thereby reducing the overall performance and reliability of the predictive model. In response to this challenge, this study proposes an ensemble machine learning approach using Extreme Gradient Boosting (XGBoost) and Light Gradient Boosting Machine (LightGBM), enhanced through the application of Synthetic Minority Over-sampling Technique combined with Edited Nearest Neighbors (SMOTE-ENN) and hyperparameter optimization via Grid Search Cross-Validation (GridSearchCV). The integration of SMOTE-ENN effectively addresses class imbalance by generating synthetic minority samples and eliminating noisy or borderline instances, while GridSearchCV systematically identifies the optimal parameter configurations. Experimental results demonstrate that the optimized XGBoost and LightGBM models achieved high prediction accuracies of 90.12% and 89.13%, respectively. These findings confirm that the proposed approach significantly enhances model performance and offers a robust framework for developing accurate and reliable churn prediction systems.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	Customer Churn, Machine Learning Ensemble, Hyperparameter Tuning, Oversampling
Subjects:	Q Science > QA Mathematics > QA76.9.D343 Data mining. Querying (Computer science) T Technology > T Technology (General) > T57.5 Data Processing
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55101-(S2) Master Thesis
Depositing User:	Muhammad Azhar
Date Deposited:	04 Aug 2025 10:45
Last Modified:	04 Aug 2025 10:45
URI:	http://repository.its.ac.id/id/eprint/126570

Actions (login required)

View Item