Pengaruh Sparsitas Bobot Terhadap Akurasi dan Efisiensi Physics-Informed Neural Networks

Santosa, Fajar Adie (2026) Pengaruh Sparsitas Bobot Terhadap Akurasi dan Efisiensi Physics-Informed Neural Networks. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5002221145-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (6MB) | Request a copy

Abstract

Physics-Informed Neural Networks (PINNs) banyak digunakan untuk menyelesaikan persamaan diferensial nonlinier, namun arsitektur jaringan yang umumnya bersifat dense menyebabkan jumlah parameter yang besar dan biaya komputasi yang tinggi. Penelitian ini mengkaji pengaruh sparsitas bobot terhadap akurasi solusi dan efisiensi komputasi PINNs melalui perancangan dan evaluasi arsitektur PINNs sparse dengan pola konektivitas tetap (fixed sparse) yang ditentukan sejak awal pelatihan, tanpa melalui tahap pruning. Sparsitas diterapkan pada matriks bobot W^(2) menggunakan dua pola konektivitas, yaitu band matrix dengan parameter bandwidth (bw) terinspirasi struktur finite difference, dan uniform matrix yang menjaga setiap neuron memiliki jumlah koneksi keluar yang sama sebesar k. Pelatihan model dilakukan menggunakan algoritma Levenberg-Marquardt untuk mengoptimalkan bobot jaringan PINNs. Evaluasi dilakukan pada tiga persamaan diferensial nonlinier, yaitu Persamaan Bratu 1D, Bratu 2D, dan Burgers 2D, dalam dua skenario perbandingan: jumlah bobot aktif yang mendekati dengan dense dan jumlah bobot aktif yang lebih sedikit. Hasil penelitian menunjukkan bahwa pada Persamaan Bratu 1D, PINNs sparse mampu melampaui performa dense dalam akurasi sekaligus menghemat waktu komputasi pada tingkat sparsitas 60% - 70% bobot aktif. Pada permasalahan dua dimensi (Bratu 2D dan Burgers 2D), PINNs sparse menunjukkan keunggulan utama dari sisi waktu komputasi, karena mampu menghasilkan waktu pelatihan yang lebih singkat dengan akurasi yang tetap sebanding. Bahkan, pada arsitektur berukuran lebih besar (2-50-50-1), konfigurasi sparse dengan 80% bobot aktif mampu mengungguli dense dalam akurasi sekaligus membutuhkan waktu komputasi yang lebih rendah, yang menunjukkan bahwa keunggulan sparsitas semakin kuat seiring bertambahnya ukuran arsitektur. Titik keseimbangan terbaik antara akurasi dan efisiensi secara konsisten diperoleh pada sparsitas menengah, yaitu 70% - 80% bobot aktif, yang menunjukkan bahwa pengurangan koneksi secara terstruktur dapat meningkatkan efisiensi komputasi tanpa menurunkan akurasi secara signifikan.
======================================================================================================================================
Physics-Informed Neural Networks (PINNs) are widely used for solving nonlinear differential equations; however, the commonly adopted dense network architectures lead to a large number of parameters and high computational costs. This study investigates the effect of weight sparsity on the solution accuracy and computational efficiency of PINNs by designing and evaluating sparse PINNs architectures with a fixed connectivity pattern (fixed sparse) determined prior to training, without relying on pruning. Sparsity is applied to the weight matrix W^(2) using two connectivity patterns: a band matrix with bandwidth parameter (bw) inspired by finite difference structures, and a uniform matrix that maintains equal out-degree k for each neuron. Model training is performed using the Levenberg-Marquardt algorithm to optimize the PINNs network weights. Evaluation is performed on three nonlinear differential equations, namely the 1D Bratu equation, 2D Bratu equation, and 2D Burgers equation, under two comparison scenarios: the number of active weights close to that of the dense model and a smaller number of active weights. The results show that, for the 1D Bratu equation, sparse PINNs are able to outperform dense PINNs in terms of accuracy while reducing computational time at 60% - 70% active weight sparsity levels. For two-dimensional problems (2D Bratu and 2D Burgers), sparse PINNs show a main advantage in computational time by producing shorter training times with comparable accuracy. Moreover, on a larger architecture (2-50-50-1), the sparse configuration with 80% active weights outperforms the dense model in accuracy while requiring lower computational time, indicating that the advantage of sparsity becomes more pronounced as the architecture size increases. The best trade-off between accuracy and efficiency is consistently obtained at an intermediate sparsity level, namely 70% - 80% active weights, showing that structured connection reduction can improve computational efficiency without significantly degrading accuracy.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	physics-informed neural networks, sparsitas bobot, fixed sparse, persamaan diferensial nonlinier, efisiensi komputasi, weight sparsity, nonlinear differential equations, computational efficiency, Levenberg–Marquardt.
Subjects:	Q Science > Q Science (General) > Q180.55.M38 Mathematical models Q Science > QA Mathematics > QA336 Artificial Intelligence Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science) Q Science > QA Mathematics > QA9.58 Algorithms
Divisions:	Faculty of Science and Data Analytics (SCIENTICS) > Mathematics > 44201-(S1) Undergraduate Thesis
Depositing User:	Fajar Adie Santosa
Date Deposited:	30 Jul 2026 02:13
Last Modified:	30 Jul 2026 02:13
URI:	http://repository.its.ac.id/id/eprint/140003

Actions (login required)

View Item