Pengembangan Model Pengenalan Seseorang dan Aktivitas Berbasis Fitur Joint Swing and Angle Energy Menggunakan Hybrid CNN-2LSTM dari Kamera Drone

Yunardi, Riky Tri (2025) Pengembangan Model Pengenalan Seseorang dan Aktivitas Berbasis Fitur Joint Swing and Angle Energy Menggunakan Hybrid CNN-2LSTM dari Kamera Drone. Doctoral thesis, Institut Teknologi Sepuluh Nopember.

Text 7022221004-Dissertation.pdf - Accepted Version Restricted to Repository staff only Download (10MB) | Request a copy

Abstract

Pengenalan seseorang dan aktivitas seseorang berbasis visi komputer telah menjadi topik penelitian penting di era digital, terutama dalam autentikasi dan pendeteksian gerakan tubuh pada aplikasi sistem pengawasan video. Sistem pengenalan yang menggunakan data video dari kamera memungkinkan deteksi seseorang dari jarak jauh tanpa kontak langsung. Penggunaan kamera RGB yang dipasang pada drone menjadi alternatif permasalahan pada keterbatasan sudut pandangnya dalam mendeteksi seseorang dan aktivitasnya. Namun, terdapat urgensi masalah akurasi dalam proses klasifikasi untuk pengenalan pada gambar 2D yang diambil dari kamera RGB yang disebabkan oleh sudut pandang dan resolusi gambar yang rendah. Penelitian ini bertujuan untuk memberikan solusi dengan menawarkan metode ekstraksi fitur dan desain model pengklasifikasi deep learning baru yang dapat meningkatkan akurasi pengenalan seseorang dan aktivitas. Metode ekstraksi fitur dikembangkan dengan menganalisis gerakan sendi tubuh menjadi fitur ayunan posisi dan sudut sendi, yang disebut sebagai Joint Swing and Angle Energy (JSAE). Pengembangan selanjutnya adalah mendesain model pengklasifikasi deep learning dari arsitektur CNN dan LSTM, yang diberi nama Hybrid CNN-2LSTM. Model ini dirancang untuk memproses dan mengklasifikasi pola urutan data JSAE menggunakan fitur gerakan seseorang melalui ciri-ciri gerakan saat melakukan gerakan yang difokuskan pada gerakan walking pada tugas pengenalan seseorang, serta untuk tugas pengenalan aktivitas gerakan yang berbeda antara lain boxing, waving, clapping, running, dan jogging yang dilakukan oleh subjek dari data video. Dataset yang digunakan dalam penelitian ini yaitu data video dari CASIA-B dataset, KTH dataset, Weizmann dataset, dan video dari kamera drone. Evaluasi kinerja dilakukan terhadap fitur dan pengklasifikasi yang diusulkan, dibandingkan dengan pengklasifikasi dan fitur lainnya. Berdasarkan hasil pengujian pengenalan seseorang pada dataset CASIA-B, model yang diusulkan mencapai akurasi tertinggi sebesar 0,84. Sedangkan untuk pengenalan aktivitas, pada dataset KTH model menghasilkan akurasi 0,96, dan pada dataset Weizmann menghasilkan akurasi 0,93. Pada pengujian implementasi data video kamera RGB pada drone, model mampu mengenali seseorang dengan akurasi 0,85, sementara untuk pengenalan aktivitas, akurasinya mencapai 0,76. Hasil penelitian ini menunjukkan bahwa metode ekstraksi fitur JSAE dan desain model pengklasifikasi Hybrid CNN-2LSTM yang diusulkan dapat berkontribusi dalam meningkatkan akurasi pengenalan seseorang dan aktivitas seseorang berbasis gerakan sendi tubuh.
==================================================================================================================================
Person and activity recognition based on computer vision has become an important research topic in the digital era, particularly in authentication and body movement detection for video surveillance system applications. Recognition systems that utilize video data from cameras enable the detection of individuals remotely without direct contact. The use of RGB cameras mounted on drones offers an alternative solution to the limited field of view in detecting individuals and their activities. However, there is a pressing issue regarding classification accuracy in recognizing individuals in 2D images captured by RGB cameras, which is caused by limited viewpoints and low image resolution. This study aims to provide a solution by proposing a new feature extraction method and deep learning classifier design to improve the accuracy of human and activity recognition. The feature extraction method is developed by analyzing body joint movements into features of joint position swing and angle, referred to as Joint Swing and Angle Energy (JSAE). Further development involves designing a deep learning classification model based on the CNN and LSTM architecture, named Hybrid CNN-2LSTM. This model is designed to process and classify sequential JSAE data patterns using individual motion features, with a focus on walking motion for human recognition tasks, as well as for activity recognition tasks involving different movements such as boxing, waving, clapping, running, and jogging performed by subjects in video data. The datasets used in this study include video data from the CASIA-B dataset, KTH dataset, Weizmann dataset, and videos from drone-mounted RGB cameras. Performance evaluation is conducted on the proposed features and classifiers and compared with other existing classifiers and features. Based on testing results for human recognition using the CASIA-B dataset, the proposed model achieved the highest accuracy of 0.84. For activity recognition, the model achieved 0.96 accuracy on the KTH dataset and 0.93 on the Weizmann dataset. In testing RGB video data from drones, the model was able to recognize individuals with an accuracy of 0.85, and activity recognition achieved an accuracy of 0.76. These findings indicate that the proposed JSAE feature extraction method and Hybrid CNN-2LSTM classifier design can contribute to improving the accuracy of human and activity recognition based on body joint motion

Item Type:	Thesis (Doctoral)
Uncontrolled Keywords:	pengenalan seseorang dan aktivitas, visi komputer, joint swing and angle energi, hybrid CNN-2LSTM, kamera drone RGB, person and activity recognition, computer vision, joint swing and angle energy, hybrid CNN-2LSTM, RGB drone camera
Subjects:	Q Science > QA Mathematics > QA336 Artificial Intelligence Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science) T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK7882.B56 Biometric identification T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK7882.P3 Pattern recognition systems
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20001-(S3) PhD Thesis
Depositing User:	Riky Tri Yunardi
Date Deposited:	21 Jul 2025 05:44
Last Modified:	21 Jul 2025 05:44
URI:	http://repository.its.ac.id/id/eprint/120256

Actions (login required)

View Item