Pengembangan Model Expectile Regression Neural Network dengan Regularisasi Modified LASSO untuk Data Mixed-Frequency Time Series

Saputra, Wisnowan Hendy (2026) Pengembangan Model Expectile Regression Neural Network dengan Regularisasi Modified LASSO untuk Data Mixed-Frequency Time Series. Doctoral thesis, Institut Teknologi Sepuluh Nopember.

Text 7003231004-Doctoral.pdf - Accepted Version Restricted to Repository staff only Download (7MB) | Request a copy

Abstract

Pengembangan model regresi robust merupakan pekerjaan yang cukup sering dilakukan pada Ilmu Statistik dan Ilmu Ekonomi. Konsep ini sering disebut robust estimator yang memiliki tingkat sensitifitas rendah terhadap nilai yang menyimpang (outlier). Model Quantile Regression Neural Network – Mixed Data Sampling (QRNN-MIDAS) dianggap sebagai model Machine Learning yang dapat menangkap adanya pola nonlinier pada kasus regresi kuantil time series berfrekuensi campuran (mixed-frequency). Model terkait juga pernah dikembangkan dengan mengaplikasikan fungsi Asymmetric Least Squared (ALS) salah satunya Expectile Regression Neural Network (ERNN). ERNN dapat dianggap sebagai model ER nonparametrik dengan fungsi kerugian (loss function) asimetris. Penelitian ini berfokus pada pengembangan model ERNN untuk data Mixed-Frequency Time Series yang kemudian disebut Expectile Regression Neural Network – Mixed Data Sampling (ERNN-MIDAS). Selain itu, juga dilakukan pengembangan struktur model dengan menambahkan regularisasi Least Absolute Shrinkage and Selection Operator (LASSO) yang dimodifikasi (kemudian disebut modified LASSO atau mL) agar dapat melakukan nodes selection pada model ERNN-MIDAS. ERNN-MIDAS adalah model berbasis NN pada pemodelan Mixed-Frequency Data Sampling (MIDAS) yang memanfaatkan loss function ALS atau expectile. Akibat penggunaan loss function expectile yang bersifat differentiable secara global, proses estimasi parameter model ERNN-MIDAS dapat dilakukan menggunakan metode berbasis gradien standar. Selanjutnya, regularisasi modified LASSO atau yang selanjutnya disingkat mL merupakan regularisasi yang diterapkan pada proses estimasi parameter model berbasis NN dengan tujuan untuk dapat melakukan penyeleksian nodes/neuron. Penyeleksian nodes dilakukan dengan ide melakukan seleksi parameter yang menghubungkan antar nodes (connection) pada arsitektur NN. Studi simulasi secara khusus mengkaji empat model yaitu ERNN-MIDAS, NN-mL, ERNN-mL, dan ERNN-MIDAS-mL (E-M-mL). Untuk model ERNN-MIDAS, skenario simulasi mencakup variasi jenis persamaan true model (linier dan nonlinier) serta distribusi residual. Berdasarkan metrik kebaikan model Expectile-based Generalized Aproximate Cross Validation (GACV), ERNN-MIDAS terbukti secara signifikan lebih baik dibandingkan model-model terkait seperti ER, ERNN, ER-MIDAS, dan QRNN-MIDAS. Kinerja prediksinya juga menunjukkan akurasi yang lebih tinggi, dengan ilustrasi boxplot yang lebih rendah. Studi simulasi model NN-mL melibatkan skenario dengan jenis persamaan true model yang berbeda, termasuk input linier, autoregresor nonlinier, serta auto dan eksogen regressor nonlinier. Hasilnya menunjukkan bahwa NN-mL, dengan regularisasi mL-nya, lebih unggul dari model NN tanpa regularisasi, membuktikan kemampuan regularisasi mL dalam mengurangi kompleksitas model tanpa mengorbankan kemampuan prediksi, sebagaimana diukur oleh metrik Akaike Information Criterion (AIC). Model ERNN-mL dievaluasi dalam skenario simulasi serupa dengan ERNN-MIDAS, yaitu jenis persamaan true model (linier dan nonlinier) dan distribusi residual. Metrik GACV menunjukkan bahwa ERNN-mL lebih baik daripada ERNN tanpa regularisasi, dengan akurasi prediksi yang lebih tinggi meskipun kompleksitas modelnya telah disederhanakan oleh regularisasi mL. Uji beda juga mengkonfirmasi peningkatan signifikan dalam akurasi prediksi. Terakhir, model E-M-mL, dalam skenario yang sama, terbukti lebih baik dibandingkan ERNN-MIDAS berdasarkan metrik GACV. E-M-mL tidak hanya menawarkan akurasi prediksi yang lebih tinggi, yang tercermin dari ilustrasi boxplot yang lebih rendah, tetapi juga berhasil mengurangi kompleksitas modelnya secara efektif, dengan akurasi prediksi yang secara signifikan lebih baik dibandingkan ERNN-MIDAS. Selain studi simulasi, penelitian ini juga mengaplikasikan model-model tersebut pada kasus nyata. Model ERNN dan ERNN-mL diterapkan untuk pemodelan risiko beberapa indeks saham dunia (IHSG, S&P500, DAX, FTSE100, dan Nikkei225). Meskipun akurasi prediksi (diukur dengan AEL) ERNN-mL sedikit lebih baik dari ERNN (tidak signifikan), model ERNN-mL menunjukkan kompleksitas yang jauh lebih sederhana (signifikan) berdasarkan metrik AIC. Dalam pemodelan risiko sistemik, IHSG ditemukan lebih rentan terhadap guncangan eksternal tetapi memiliki kontribusi penyebaran risiko yang terbatas ke pasar global karena kapitalisasi pasarnya yang lebih kecil. Penerapan model NN dan NN-mL untuk peramalan PDB Indonesia menunjukkan bahwa arsitektur NN-mL yang diregulasi berhasil menyusutkan koneksi menjadi nol, membuktikan efektivitas regularisasi mL dalam mengurangi kompleksitas model dan menghindari overfitting, didukung oleh nilai AIC yang lebih kecil dan akurasi ramalan yang lebih baik. Terakhir, model ERNN-MIDAS dan E-M-mL diterapkan untuk peramalan, nowcasting, dan pemodelan risiko pertumbuhan PDB Indonesia. ERNN-MIDAS menunjukkan akurasi peramalan yang lebih baik dibandingkan model terkait lainnya, namun masih kalah dibandingkan E-M-mL. Model E-M-mL terbukti menghasilkan akurasi yang lebih baik dengan kompleksitas yang lebih sederhana. Dalam nowcasting PDB, kedua model menunjukkan hasil yang konsisten, dengan E-M-mL memberikan angka yang sedikit lebih rendah tetapi dengan jaminan kompleksitas model yang lebih sederhana. Yang terpenting, kedua model mampu mendeteksi potensi penurunan pertumbuhan lebih dini, terutama selama krisis COVID-19. Secara keseluruhan, penelitian ini menunjukkan bahwa model-model yang diusulkan, khususnya yang menggabungkan regularisasi mL pada model berbasis NN, secara konsisten memberikan kinerja yang unggul dalam hal akurasi prediksi dan efisiensi model dibandingkan dengan metode yang ada, baik dalam kajian simulasi maupun aplikasi data empiris.
===============================================================================================================================
The development of robust regression models is a common practice in Statistics and Economics. This concept is often referred to as a robust estimator, which has a low sensitivity to outliers. The Quantile Regression Neural Network – Mixed Data Sampling (QRNN-MIDAS) model is considered a machine learning model capable of capturing nonlinear patterns in mixed-frequency time series quantile regression. Related models have also been developed by applying the Asymmetric Least Squared (ALS) function, one of which is the Expectile Regression Neural Network (ERNN). ERNN can be considered a nonparametric ER model with an asymmetric loss function. This research focuses on the development of an ERNN model for Mixed-Frequency Time Series data, which is then called the Expectile Regression Neural Network – Mixed Data Sampling (ERNN-MIDAS). In addition, the model structure was also developed by adding a modified Least Absolute Shrinkage and Selection Operator (LASSO) regularization (later called modified LASSO or mL) to be able to perform node selection in the ERNN-MIDAS model. ERNN-MIDAS is an NN-based model in Mixed-Frequency Data Sampling (MIDAS) modeling that utilizes the ALS or expectile loss function. Due to the use of a globally differentiable expectile loss function, the ERNN-MIDAS model parameter estimation process can be carried out using standard gradient-based methods. Furthermore, modified LASSO regularization or hereinafter abbreviated as mL is a regularization applied to the parameter estimation process of NN-based models with the aim of being able to select nodes/neurons. Node selection is carried out with the idea of selecting parameters that connect nodes (connections) in the NN architecture. The simulation study specifically examines four models, namely ERNN-MIDAS, NN-mL, ERNN-mL, and ERNN-MIDAS-mL (E-M-mL). For the ERNN-MIDAS model, simulation scenarios included variations in the true model equation types (linear and nonlinear) and residual distributions. Based on the Expectile-based Generalized Approximate Cross Validation (GACV) goodness-of-fit metric, ERNN-MIDAS was shown to be significantly better than related models such as ER, ERNN, ER-MIDAS, and QRNN-MIDAS. Its predictive performance also showed higher accuracy, illustrated by lower boxplots. Simulation studies of the NN-mL model involved scenarios with different true model equation types, including linear inputs, nonlinear autoregressors, and nonlinear auto and exogenous regressors. The results showed that NN-mL, with its mL regularization, outperformed the NN model without regularization, proving the ability of mL regularization to reduce model complexity without sacrificing predictive ability, as measured by the Akaike Information Criterion (AIC) metric. The ERNN-mL model was evaluated in similar simulation scenarios as ERNN-MIDAS, namely the true model equation types (linear and nonlinear) and residual distributions. The GACV metric shows that ERNN-mL outperforms ERNN without regularization, with higher prediction accuracy despite the model complexity being simplified by mL regularization. A difference test also confirms a significant improvement in prediction accuracy. Finally, the E-M-mL model, under the same scenario, is shown to outperform ERNN-MIDAS based on the GACV metric. E-M-mL not only offers higher prediction accuracy, as reflected by the lower boxplot illustration, but also effectively reduces its model complexity, with significantly better prediction accuracy than ERNN-MIDAS. In addition to simulation studies, this research also applies these models to real-world cases. The ERNN and ERNN-mL models are applied to model the risk of several global stock indices (JCI, S&P500, DAX, FTSE100, and Nikkei225). Although the prediction accuracy (measured by AEL) of ERNN-mL is slightly better than ERNN (not significant), the ERNN-mL model shows a much simpler complexity (significant) based on the AIC metric. In systemic risk modeling, the JCI is found to be more vulnerable to external shocks but has a limited risk-spreading contribution to the global market due to its smaller market capitalization. The application of NN and NN-mL models to Indonesian GDP forecasting shows that the regularized NN-mL architecture successfully shrinks the connections to zero, proving the effectiveness of mL regularization in reducing model complexity and avoiding overfitting, supported by smaller AIC values and better forecast accuracy. Finally, the ERNN-MIDAS and E-M-mL models were applied for forecasting, nowcasting, and risk modeling of Indonesian GDP growth. ERNN-MIDAS demonstrated better forecasting accuracy compared to other related models, but still inferior to E-M-mL. The E-M-mL model was shown to produce better accuracy with lower complexity. In GDP nowcasting, both models showed consistent results, with E-M-mL providing slightly lower figures but with the assurance of lower model complexity. Importantly, both models were able to detect potential growth declines early, particularly during the COVID-19 crisis. Overall, this study shows that the proposed models, particularly those incorporating mL regularization in NN-based models, consistently deliver superior performance in terms of predictive accuracy and model efficiency compared to existing methods, both in simulation studies and empirical data applications.

Item Type:	Thesis (Doctoral)
Uncontrolled Keywords:	Expectile Regression Neural Network, Mixed-Frequency, Nodes Selection, Modified LASSO Expectile Regression Neural Network, Mixed-Frequency, Nodes Selection, Modified LASSO
Subjects:	Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science)
Divisions:	Faculty of Science and Data Analytics (SCIENTICS) > Statistics > 49001-(S3) PhD Thesis
Depositing User:	Wisnowan Hendy Saputra
Date Deposited:	29 Jan 2026 04:09
Last Modified:	29 Jan 2026 04:09
URI:	http://repository.its.ac.id/id/eprint/130996

Actions (login required)

View Item