Optimal Ensemble Network (OpenNet): Arsitektur Dual-Net Transformer Untuk Prediksi Deret Waktu Jangka Panjang

Manalu, Anggito Anju Hartawan (2024) Optimal Ensemble Network (OpenNet): Arsitektur Dual-Net Transformer Untuk Prediksi Deret Waktu Jangka Panjang. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5025201216-Anggito Anju Hartawan Manalu-BukuTA.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (3MB) | Request a copy

Abstract

Dalam perkembangan model prediksi deret waktu, berbagai model prediksi deret waktu yang dikembangkan berusaha meningkatkan akurasi prediksi termasuk arsitektur berbasis attention, seperti Transformer yang efektif dalam memprediksi data sekuensial yang bersifat kontinu. Namun, tantangan seperti overfitting dan adaptasi model terhadap data masih menjadi masalah yang cukup sering dijumpai. Penelitian ini mengembangkan dan mengevaluasi model Optimal Ensemble Network (OpenNet) dengan Universal Representation Transformer (URT) dan metode pembelajaran reinforcement learning dalam arsitektur ensemble network. OpenNet diharapkan lebih kokoh terhadap perubahan data dan mampu menghindari overfitting. Penelitian ini penting dalam bidang machine learning dan analisis data terutama dengan meningkatnya kebutuhan akan model prediksi yang akurat di domain seperti finansial, cuaca, dan kesehatan. Penelitian ini menunjukkan bahwa OpenNet mengatasi masalah overfitting dan adaptasi yang menjadi kendala dalam model prediksi lainnya.
Metode penelitian ini mengembangkan dua model dengan metode penggabungan ensemble learning yang berbeda, yaitu metode URT dan reinforcement learning (RL). Proses ini dimulai dengan pelatihan jaringan slow learner menggunakan metode self-supervised learning, yang memungkinkan model untuk belajar dari data tanpa label dan membangun representasi data yang task-agnostic. Selanjutnya, fast learner dilatih dengan data berlabel untuk mendapatkan representasi data yang lebih spesifik. Kedua jenis learner ini kemudian digabungkan menggunakan lapisan URT yang menerapkan mekanisme self-attention maupun RL yang mengimplementasikan metode agen DDPG untuk memilih learner terbaik secara dinamis.
Uji coba dilakukan dengan menggunakan beberapa dataset deret waktu untuk mengevaluasi kinerja model dalam berbagai skenario prediksi. Hasil uji coba menunjukkan bahwa model OpenNet yang menggunakan URT dan reinforcement learning berhasil meningkatkan akurasi prediksi yang cukup baik dibandingkan dengan model individu. Tabel hasil prediksi menunjukkan bahwa OpenNet mampu mengatasi masalah overfitting dan adaptasi data dengan panjang deret prediksi yang lebih panjang dengan lebih baik. Pembahasan hasil lainnya juga menunjukkan bahwa pendekatan URT lebih unggul dalam memilih learner terbaik untuk setiap time step dibandingkan dengan metode pembelajaran reinforcement learning. Perbedaan ini dipengaruhi oleh bagaimana perbedaan kedua metode ini dalam mengambil keputusan untuk mendapatkan learner terbaik untuk setiap time step-nya. Kesimpulan dari penelitian ini adalah bahwa OpenNet dengan URT merupakan solusi yang efektif dan efisien untuk prediksi deret waktu, memberikan kontribusi yang berarti dalam pengembangan model machine learning yang lebih adaptif dan akurat.
===========================================================
In the development of time series prediction models, various models have been designed to improve prediction accuracy, including attention-based architectures such as Transformers, which are effective in predicting continuous sequential data. However, challenges such as overfitting and model adaptation to data remain prevalent issues. This research develops and evaluates the Optimal Ensemble Network (OpenNet) model with the Universal Representation Transformer (URT) and reinforcement learning methods in an ensemble network architecture. OpenNet is expected to be more robust to data changes and capable of avoiding overfitting. This research is significant in the field of machine learning and data analysis, especially with the increasing demand for accurate prediction models in domains such as finance, weather, and healthcare. The study demonstrates that OpenNet addresses the issues of overfitting and adaptation that hinder other prediction models.
The research methodology involves developing two models with different ensemble learning methods: the URT method and reinforcement learning (RL). The process begins with training a slow learner network using self-supervised learning, enabling the model to learn from unlabeled data and build task-agnostic data representations. Subsequently, a fast learner is trained with labeled data to obtain more specific data representations. These two types of learners are then combined using a URT layer that applies self-attention mechanisms or RL implementing the DDPG agent method to dynamically select the best learner.
Experiments were conducted using several time series datasets to evaluate the model's performance across various prediction scenarios. The experimental results indicate that the OpenNet model, utilizing URT and reinforcement learning, significantly improves prediction accuracy compared to individual models. The prediction results table shows that OpenNet effectively addresses overfitting and data adaptation issues, performing better with longer prediction sequences. Further discussion reveals that the URT approach is superior in selecting the best learner for each time step compared to the reinforcement learning method. This difference is influenced by how each method makes decisions to select the best learner for each time step. The conclusion of this research is that OpenNet with URT is an effective and efficient solution for time series prediction, contributing significantly to the development of more adaptive and accurate machine learning models.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Dual Network, Inverted Transformer, Prediksi Deret Waktu Jangka Panjang, Reinforcement Learning, Long-Term Time series Forecasting
Subjects:	T Technology > T Technology (General) T Technology > T Technology (General) > T174 Technological forecasting
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Anggito Anju Hartawan Manalu
Date Deposited:	31 Jul 2024 07:32
Last Modified:	31 Jul 2024 07:32
URI:	http://repository.its.ac.id/id/eprint/110216

Actions (login required)

View Item