Rancang Bangun Sistem Peringatan Area Berbahaya bagi Penyandang Tunanetra dengan Action Recognition

Putri, Karina Adi and Kusuma, Hendra (2025) Rancang Bangun Sistem Peringatan Area Berbahaya bagi Penyandang Tunanetra dengan Action Recognition. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6022231071-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (5MB) | Request a copy

Abstract

Gangguan penglihatan membatasi individu dalam melakukan aktivitas sehari-hari, khususnya dalam mengenali lingkungan sekitar, yang dapat menyebabkan bahaya yang tidak terduga. Penelitian ini mengusulkan sebuah sistem peringatan area berbahaya bagi penyandang tunanetra dengan memanfaatkan teknik action recognition. Sistem yang diusulkan bekerja dengan mengklasifikasikan pola berjalan atau gait antara individu normal dan penyandang tunanetra. Ketika individu tunanetra terdeteksi berada pada jarak antara 5 hingga 2 meter dari sistem, maka sistem akan memberikan peringatan suara. Metode yang diusulkan menggunakan MediaPipe Pose Landmarker untuk mengekstraksi fitur tubuh, meliputi data spasial (posisi objek) dan data temporal (pergerakan objek). Fitur-fitur ini kemudian diproses oleh jaringan LSTM untuk proses klasifikasi, serta depth camera digunakan untuk estimasi jarak. Setelah dilakukan eksperimen pada enam model LSTM yang berbeda, hasil menunjukkan bahwa model yang dilatih dengan dataset yang telah melalui augmentasi berbasis frame shifting menunjukkan generalisasi yang lebih baik. Dari seluruh model yang diuji, model multi-input LSTM yang dilatih dengan dataset augmented dipilih karena perfromanya yang stabil dan generalisasi yang baik, dengan akurasi sebesar 0.9501 dan loss sebesar 0.1961 pada data pengujian. Di sisi lain, metode regresi linier yang digunakan untuk mengkalibrasi estimasi jarak dari depth camera berhasil menurunkan rata-rata error dari 0.3792 m menjadi 0.0231 m.
==================================================================================================================================
Visual impairment limits individuals in performing daily tasks, particularly in recognizing their surroundings, which can lead to unpredictable dangers. This paper proposes a dangerous area warning system for visually impaired individuals by utilizing action recognition techniques. The system classifies gait or walking patterns of normal and visually impaired individuals. When a visually impaired person is detected within a range of 5 to 2 meters from the system, it delivers a verbal warning. The proposed method uses MediaPipe Pose Landmarker to extract skeletal features, including spatial data (object position) and temporal data (object motion). These features are then processed using an LSTM network for classification, and a depth camera is employed for distance estimation. After experimenting with six different LSTM models, the results show that models trained on datasets augmented using a frame-shifting technique demonstrate better generalization. Among all models, the multi-input LSTM trained on augmented data was chosen for deployment in the system because of its stability and robustness. It achieved an accuracy of 0.9501 and a loss of 0.1961 on the test data. Furthermore, the use of a linear regression method to calibrate the depth camera's distance estimation successfully reduced the mean error from 0.3792 m to 0.0231 m.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	action recognition, depth camera, gait classification, LSTM, tunanetra, visually impaired
Subjects:	T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK5105.546 Computer algorithms
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	Karina Adi Putri
Date Deposited:	28 Jul 2025 02:32
Last Modified:	28 Jul 2025 02:32
URI:	http://repository.its.ac.id/id/eprint/121899

Actions (login required)

View Item