Deep Learning Deployment Pada Infrastruktur Big Data Menggunakan Apache Spark (Studi Kasus Deteksi Covid-19 Menggunakan Citra X-Ray)

Ramadani, Hendra (2022) Deep Learning Deployment Pada Infrastruktur Big Data Menggunakan Apache Spark (Studi Kasus Deteksi Covid-19 Menggunakan Citra X-Ray). Other thesis, Institut Teknologi Sepuluh Nopember.

Text 05111740000055-Undergraduate_Thesis.pdf Restricted to Repository staff only Download (4MB) | Request a copy

Abstract

Sebagian besar program Deep Learning dimulai pengembangan dari lokal komputer. Akan tetapi akan sangat sulit mengimplementasikan Deep Learning untuk menangani data dalam skala besar dengan ruang lingkup Big Data semisal hanya menggunakan lokal komputer saja. Oleh karena itu diperlukan arsitektur yang dapat mengatasi masalah tersebut yaitu dengan menggunakan klaster Apache Spark. Apache Spark sebagai alat yang digunakan dalam pengolahan data dalam Big Data mampu untuk mengatasi masalah tersebut. Dengan menggunakan library BigDL dapat menjalankan aplikasi Deep Learning di atas klaster Apache Spark. BigDL tidak seperti Deep Learning pada umumnya, karena mengimplementasikan pemrosesan secara terdistribusi dan paralel, sehingga dengan menggunakan BigDL horizontal scalling worker dapat dilakukan dengan keuntungan mempercepat waktu yang ditempuh pelatihan. Untuk melakukan simulasi pengujian pada klaster Apache Spark menggunakan aplikasi Deep Learning dengan menggunakan metode transfer learning dengan memanfaatkan model yang sudah ada. Deep learning dapat dikembangkan menggunakan framework BigDL.
=================================================================================================================================
Most Deep Learning programs begin development from a local computer. However, it will be very difficult to implement Deep Learning to handle large-scale data with the scope of Big Data, such as using only local computers. Therefore we need an architecture that can overcome these problems, namely by using the Apache Spark cluster. Apache Spark as a tool used in data processing in Big Data is able to overcome these problems. Using the BigDL library you can run Deep Learning applications on top of Apache Spark clusters. BigDL is unlike Deep Learning in general, in that it implements parallel and distributed processing, so using BigDL horizontal scaling workers can be done with the advantage of speeding up training time. To perform a test simulation on the Apache Spark cluster using a Deep Learning application using the transfer learning method by utilizing an existing model. Deep learning can be developed using the BigDL framework.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Big Data, Apache Spark, Spark Cluster, Distributed Deep Learning, BigDL
Subjects:	T Technology > T Technology (General) > T58.5 Information technology. IT--Auditing
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Mr. Marsudiyana -
Date Deposited:	10 Oct 2025 06:16
Last Modified:	10 Oct 2025 06:16
URI:	http://repository.its.ac.id/id/eprint/128551

Actions (login required)

View Item