Pengembangan Sistem Low-cost untuk Deteksi Jenis dan Kesegaran Ikan Menggunakan Pendekatan Deep Learning

Prasetyo, Eko (2022) Pengembangan Sistem Low-cost untuk Deteksi Jenis dan Kesegaran Ikan Menggunakan Pendekatan Deep Learning. Doctoral thesis, Institut Teknologi Sepuluh Nopember.

Text 05111960010005-Doctoral.pdf Restricted to Repository staff only Download (9MB)

Abstract

Ikan segar sebagai konsumsi lauk pauk harian masyarakat Indonesia dapat diperoleh di pasar tradisional dengan mudah. Namun, tidak semua ikan yang dijual di pasar tradisional dalam kondisi segar. Ikan tidak segar yang diawetkan menggunakan es juga dijual di pasar. Maka, masyarakat harus jeli membedakan ikan segar dan tidak segar dimana posisi ikan di lapak pedagang biasanya sembarang dan latar belakang bervariasi. Selain itu, banyaknya jenis ikan di Indonesia juga menjadi tantangan bagi masyarakat untuk mengenalinya. Penelitian terkait deteksi jenis dan kesegaran ikan oleh peneliti sebelumnya memiliki tiga kelemahan: penggunaan alat elektronik berbasis sensor gelombang membutuhkan kehadiran alat dengan biaya mahal dan tidak praktis, pendekatan konvensional berbasis citra digital membutuhkan upaya lebih dalam menentukan metode-metode tiap tahapnya dengan membatasi latar belakang obyek satu warna, dan belum ada eksplorasi metode deep learning untuk penyelesaian deteksi jenis dan kesegaran ikan dalam satu aplikasi yang low-cost, handal, mudah, dan cepat. Penelitian ini mengembangkan sistem klasifikasi jenis dan kesegaran ikan dengan tiga modul utama yaitu: segmentasi bagian tubuh ikan, klasifikasi jenis ikan, dan klasifikasi kesegaran ikan. Dataset yang digunakan adalah Fish and Fish Part Detection (FFPD) yang berisi 600 citra dan 3 kelas untuk deteksi objek, Fish-gres (3.248 citra dan 8 jenis ikan) untuk klasifikasi jenis, dan dataset 10.094 citra untuk klasifikasi kesegaran. Modul deteksi dan lokalisasi objek disusun agar robust terhadap variasi latar belakang, sedangkan modul klasifikasi jenis dan kesegaran ikan disusun agar memiliki kinerja yang baik dengan ukuran model lebih kecil. Semua modul yang dikembangkan adalah low-cost yaitu kebutuhan sumber daya komputasi lebih rendah, handal yaitu mencapai kinerja bersaing dengan model lainnya, mudah digunakan, dan cepat memberikan jawaban kepada pengguna. Modul deteksi objek menggunakan citra masukan untuk mendapatkan ikan utuh, kepala dan ekor dengan model deteksi objek. Model tersebut diselesaikan dengan pengembangan Yolov4-tiny, Wing Convolutional Layer, Tiny Spatial Pyramid Pooling (Tiny-SPP), Bottleneck and Expansion Convolution, dan detektor skala ketiga menjadi Wing Convolutional Layer Yolov4-tiny (WCL-Yolov4-tiny). Modul klasifikasi jenis ikan berdasarkan seluruh tubuh diselesaikan dengan mengembangkan Multi-Level Residual VGGNet (MLR-VGGNet) yang menggabungkan fitur level bawah dan atas. Modul klasifikasi kesegaran diselesaikan dengan pengembangan FreshNet yang membangkitkan hanya fitur level bawah. FreshNet menggunakan 3 konsep utama: twin-backbone untuk menambah fitur sejak awal konvolusi, shallow convolutional model agar membangkitkan hanya fitur level bawah, dan features- sharing untuk integrasi fitur dari dua blok paralel dan menambah efek kedalaman konvolusi. WCL-Yolov4-tiny diuji menggunakan dataset FFPD untuk mendeteksi kepala, ekor dan ikan utuh. Kinerja yang dicapai mengungguli Yolov4-tiny original dengan mAP hingga viii 93,11% dan sumber daya komputasi mirip dengan versi original yaitu 6,91 Binary Floating Point Operations (BFLOPS). Pengujian MLR-VGGNet menggunakan dataset Fish-gres mencapai Akurasi lebih unggul yaitu 98,46% dan parameter relatif lebih rendah 22% dibanding model CNN lainnya. FreshNet diuji menggunakan 10.094 citra kepala, ekor dan ikan utuh dengan kinerja bersaing, dimana FreshNet mencapai generalisasi model lebih baik. Akurasi yang dicapai hingga 75,63%. FreshNet juga menggunakan sumber daya komputasi lebih rendah 83,17% dibandingkan model reguler lainnya. Aplikasi MyFish sebagai implementasi kerangka kerja deteksi jenis dan kesegaran ikan secara otomatis sudah dikembangkan dengan merangkai ketiga modul. Masukan aplikasi berupa citra ikan, sedangkan luarannya adalah informasi jenis dan kesegaran ikan.
==============================================================================================================================
Fresh fish as a daily side dish for Indonesian are easily acquired in traditional markets. However, not all fish sold in traditional markets are fresh. Unfresh fish preserved using ice is also sold in the market. Therefore, the people should pay attention to picking between fresh and unfresh fish, where the standing of fish in the booths is arbitrary in location and background. In addition, many species of fish in Indonesia are challenging for people to recognize. Research related to the detection of fish species and freshness by the researcher has three disadvantages: the use of electronic devices based on wave sensors requires the presence of expensive and impractical tools, and conventional approaches based on digital images require more effort in determining the methods at each stage by limiting one color background, and there was no exploration of deep learning approach to complete the detection of fish species and freshness in a low-cost, reliable, easy, and fast application. This study developed a classification system for fish species and freshness with three major modules: fish body parts segmentation, fish species classification, and fish freshness classification. The dataset used is Fish and Fish Part Detection (FFPD), which contains 600 images and three classes for object detection, Fish-gres (3,248 images and eight fish species) for species classification, and a dataset of 10,094 images for freshness classification. The object detection and localization module are robust against background variations, while the fish species and freshness classification module is structured to perform excellently with a smaller model size. All modules developed are low-cost (lower computational resource requirements), reliable (achieving competitive performance with other models), easy to use, and quick answers to users. The object detection module uses the input image to acquire the whole fish, head, and tail with an object detection model. The model was completed with the development of Yolov4- tiny, Wing Convolutional Layer, Tiny Spatial Pyramid Pooling (Tiny-SPP), Bottleneck -and Expansion Convolution, and a third-scale detector to become Wing Convolutional Layer Yolov4-tiny (WCL-Yolov4-tiny). The fish species classification module based on the whole body was completed by developing the Multi-Level Residual VGGNet (MLR-VGGNet), which combines lower and upper-level features. The freshness classification module was completed with the development of FreshNet, which generates only lower-level features. FreshNet utilizes three primary ideas: twin-backbone to add features from the beginning of convolution, a shallow convolutional model to generate only lower-level features, and features- sharing to integrate two parallel blocks of features and deepen the convolution effects. WCL-Yolov4-tiny was experimented with using the FFPD dataset to detect heads, tails, and whole fish. The mAP performance outperforms the original Yolov4-tiny up to 93.11% with computing resources similar to the original version, 6.91 Binary Floating Point Operations x (BFLOPS). The MLR-VGGNet was experimented with using the Fish-gres dataset and achieved a superior accuracy of 98.46% and a relatively lower parameter of 22% compared to other CNN models. FreshNet was experimented with using 10,094 head, tail, and whole fish images with competitive performance, where FreshNet achieved better model generalization. The accuracy achieved up to 75.63%. Furthermore, FreshNet uses 83.17% smaller computing resources than other regular models. MyFish application as an implementation of an automatic fish species and freshness detection framework was developed by assembling the three modules. The input is fish images, while the output is the species and freshness of fish.

Item Type:	Thesis (Doctoral)
Additional Information:	RDIf 006.31 Pra p-1 2022
Uncontrolled Keywords:	deteksi ikan, tingkat kesegaran ikan, jenis ikan, deep learning. deteksi ikan, tingkat kesegaran ikan, jenis ikan, deep learning. detection, fish freshness level, fish species, deep learning.
Subjects:	T Technology > T Technology (General) > T58.5 Information technology. IT--Auditing
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55001-(S3) PhD Thesis (Comp Science)
Depositing User:	Mr. Marsudiyana -
Date Deposited:	09 Jul 2026 07:07
Last Modified:	09 Jul 2026 07:07
URI:	http://repository.its.ac.id/id/eprint/134596

Actions (login required)

View Item