Kerangka Kerja Machine Learning Dengan Integrasi Bentuk Sederhana Pada Rekonstruksi Permukaan 3d Dari Citra Tunggal

Yuniarti, Anny (2022) Kerangka Kerja Machine Learning Dengan Integrasi Bentuk Sederhana Pada Rekonstruksi Permukaan 3d Dari Citra Tunggal. Doctoral thesis, Institut Teknologi Sepuluh Nopember.

Text 05111960010004-Doctoral.pdf Restricted to Repository staff only Download (5MB)

Abstract

Rekonstruksi bentuk tiga dimensi (3D) dari citra dua dimensi (2D) merupakan permasalahan klasik di bidang visi komputer. Metode konvensional untuk rekonstruksi 3D dari citra 2D memiliki keterbatasan yaitu memerlukan jumlah citra input yang banyak serta informasi seperti posisi kamera atau sumber cahaya yang sudah diketahui sebelumnya, sehingga kurang dapat digunakan pada kondisi nyata. Metode berbasis deep learning dengan pendekatan end-to-end dapat digunakan tanpa memerlukan input beberapa citra. Beberapa peneliti telah menerapkan metode berbasis deep learning dengan beberapa jenis representasi bentuk 3D. Representasi grid reguler seperti voxel memungkinkan untuk mengembangkan pendekatan berbasis deep learning. Akan tetapi metode dengan representasi voxel kurang efisien dan tidak scalable. Representasi irregular form seperti point cloud atau mesh lebih sesuai untuk permasalahan rekonstruksi permukaan 3D dari citra 2D. Akan tetapi, fungsi mapping yang tidak terkontrol seringkali menghasilkan elemen mesh yang tidak beraturan dan terdistorsi sehingga menurunkan kualitas bentuk yang direkonstruksi. Oleh karena itu, dibutuhkan adanya sebuah mekanisme yang mampu mengatur fungsi mapping sehingga elemen mesh yang dihasilkan tidak terdistorsi. Penelitian ini mengembangkan sebuah kerangka kerja machine learning dengan integrasi bentuk sederhana pada rekonstruksi permukaan 3D dari citra tunggal. Metode pada penelitian ini mengadopsi cara manusia mengenali objek di sekitar berdasarkan pengetahuan sebelumnya. Secara khusus, kerangka kerja yang diusulkan terdiri atas: 1) modul klasifikasi untuk menentukan kategori citra input, 2) modul penentuan 3D template, 3) modul encoder baik untuk citra input maupun 3D template, 4) modul decoder untuk menghasilkan titik 3D. Modul klasifikasi yang dikembangkan menggunakan trained model yang dilatih ulang sesuai dataset yang digunakan pada penelitian ini. Modul penentuan 3D template dikembangkan dengan menganalisa masing-masing kategori lalu menentukan sebuah objek 3D pada kategori tertentu sebagai 3D template yang digunakan. Penentuan ini berdasarkan jumlah verteks terkecil pada sebuah kategori. Modul encoder citra input dikembangkan berbasis ResNet, menghasilkan vektor fitur berukuran 1x1024. Modul encoder 3D template dikembangkan berdasarkan PointNet, menghasilkan vektor fitur berukuran 1x1024. Kedua vektor fitur tersebut dilakukan konkatenasi dan digunakan pada modul decoder yang menghasilkan kumpulan titik xii 3D. Untuk menurunkan ukuran model jaringan rekonstruksi yang dihasilkan, diusulkan network pruning pada bagian encoder. Dan untuk meningkatkan usability sistem rekonstruksi, dikembangkan instance segmentation pada dataset citra bebas berbasis ShapeNet Rendering. Fungsi loss yang digunakan pada kerangka kerja yang dikembangkan pada penelitian ini berupa jarak Chamfer antara kumpulan titik 3D hasil rekonstruksi dengan kumpulan titik 3D yang sebenarnya. Kualitas hasil rekonstruksi juga diukur menggunakan jarak Chamfer, yang dihitung sebagai total selisih setiap titik hasil rekonstruksi dengan titik terdekat yang sebenarnya. Penelitian ini menggunakan dataset ShapeNet yang terdiri atas 13 kategori dengan 43.782 objek yang unique. Hasil ujicoba pada dataset ShapeNet menghasilkan rata-rata jarak Chamfer sebesar 0,00314, dimana nilai tersebut lebih kecil daripada rata-rata jarak Chamfer yang dihasilkan metode-metode pembanding. Secara visual, metode yang dikembangkan juga menghasilkan bentuk objek yang lebih merepresentasikan objek yang sebenarnya dibandingkan dengan hasil rekonstruksi metode pembanding. Selain itu, network pruning yang dikembangkan berhasil mendapatkan ukuran model network rekonstruksi yang lebih kecil dengan tetap mempertahankan kualitas hasil rekonstruksi. Pada kasus citra input memiliki latar belakang kompleks, metode segmentasi instance berhasil digunakan untuk menghasilkan hasil rekonstruksi yang sesuai dengan objek yang terdapat didalam citra input. Oleh karena itu dapat disimpulkan bahwa dengan integrasi bentuk sederhana pada kerangka kerja machine learning yang dikembangkan, rekonstruksi permukaan 3D dari sebuah citra tunggal dapat dilakukan dengan performa mengungguli metode-metode pembanding.
==============================================================================================================================
Three-dimensional (3D) shape reconstruction from two-dimensional (2D) images is a classical computer vision problem. Conventional methods for 3D reconstruction of 2D images have limitations such as the constraints of using multiple images with known camera parameters or known lighting parameters, hence, are difficult to be applied in real world scenarios. Some researchers have proposed deep learning based methods using several 3D shape representations. Based on 3D object representation, voxel-based methods were more common in previous works. Limitations of voxel-based methods are that voxel grid size is less flexible, and the reconstruction results are low resolution. Another representation type is point cloud representation. This representation is more flexible than the voxel grid, but learning such irregular representations is challenging due to the unordered properties of such representations. Moreover, a mapping function with less control often results in distorted reconstructed points. Therefore, a mechanism that is able to guard the mapping function is needed such that the reconstructed mesh element is undistorted. This research proposes a machine learning framework by integrating 3D templates on the identification of object’s surface for 3D reconstruction of a single image. The proposed framework adopts the way of human being in recognizing real world objects that is based on previous knowledge. In particular, the proposed framework consists of 1) an image classification module to define the input image category, 2) a 3D template identification and assignment, 3) an encoder module for both the input image and the retrieved 3D template, and 4) a decoder module for reproducing the 3D points. The classification module employs a transfer learning method by using a trained models on a source dataset and fine-tuning the trained models on the dataset used in this research. The 3D template identification module is developed by analyzing each category in the dataset and assigning a chosen 3D object as the 3D template for the chosen category. The assignment follows a rule that the chosen 3D template for a category is the 3D object with the smallest number of vertices. The encoder module for the input images and 3D templates were developed based on ResNet and PointNet. Then, the latent information from both input image and 3D template are combined and used as input to the decoder module that results in 3D reconstructed points. In order to reduce the reconstruction model xiv size, we proposed a network pruning at the encoder part of the point generation network. Moreover, to increase the usability of the 3D reconstruction system, we developed an instance segmentation on a customized image dataset constructed based on the ShapeNet rendering dataset. The loss function used in the proposed framework was the Chamfer distance between the 3D reconstructed points and the 3D ground truth points. The quantitative performance measurement also used the Chamfer distance, computed as the total distance of each reconstructed points with the nearest ground truth points. The experiments used in this research were performed on the ShapeNet dataset that consists of 13 categories with 43,782 unique 3D objects. The average Chamfer distance on the validation set was 0.00314, which is lower than the average Chamfer distances resulted from the state-of-the-art methods. Visually, the proposed framework was able to reconstruct object shape that was more representing the real shape compared to the results of compared methods. Furthermore, the proposed network pruning was able to reduce the network size while maintaining the quality of the 3D reconstruction result. In the case of input image with complex background, the instance segmentation method was successfully used to reconstruct the 3D shape of object in the input image. Thus, we conclude that by integrating the 3D template into the proposed machine learning framework, the 3D surface reconstruction from single images was successful with the reconstruction performance higher than the compared state-of-the-art methods.

Item Type:	Thesis (Doctoral)
Additional Information:	RDIf 006.31 Yun k-1 2022
Uncontrolled Keywords:	rekonstruksi permukaan 3D, single view reconstruction, point generation network, neural network architecture, klasifikasi citra, 3D template. 3D surface reconstruction, single view reconstruction, point generation network, neural network architecture, image classification, 3D template.
Subjects:	T Technology > T Technology (General) > T58.5 Information technology. IT--Auditing
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55001-(S3) PhD Thesis (Comp Science)
Depositing User:	Mr. Marsudiyana -
Date Deposited:	09 Jul 2026 07:01
Last Modified:	09 Jul 2026 07:01
URI:	http://repository.its.ac.id/id/eprint/134593

Actions (login required)

View Item