Sistem Pemandu Arah Tunanetra Menggunakan Metode Floor Segmentation dan Distance Estimation

Permana, Amri Abyad (2025) Sistem Pemandu Arah Tunanetra Menggunakan Metode Floor Segmentation dan Distance Estimation. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6022231065-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (4MB) | Request a copy

Abstract

Tunanetra seringkali mengalami beberapa tantangan dalam melakukan aktivitas yang berkaitan dengan mobilitas. Beberapa sistem telah dikembangkan untuk mengatasi tantangan tersebut, akan tetapi sistem-sistem yang dikembangkan masih menggunakan perangkat dengan biaya yang relatif tinggi, kurang wearable, dan menyediakan respon yang terbatas. Pada penelitian ini, dibuat sebuah sistem yang dapat membantu para penyandang tunanetra untuk menghindari halangan dan berjalan pada jalur yang aman, terutama pada area lantai dengan susunan pola “grid”. Pada penelitian ini digunakan metode image segmentation berbasis deep learning untuk segmentasi lantai dan perspective transform untuk estimasi jarak halangan. Sistem diimplementasikan pada perangkat smartphone android dan dapat memberikan respon pemandu dalam bentuk arah jam menggunakan text-to-speech dan dalam bentuk suara stereo. Selain itu, sistem dilengkapi dengan kompas dan Generative AI yang dapat digunakan sebagai acuan petunjuk arah dan mendeskripsikan kondisi jalur. Model segmentasi yang diajukan pada penelitian ini dapat menghasilkan nilai rata-rata akurasi Intersection over Union (IoU) hingga 91% dengan rata-rata total waktu pemrosesan sebesar 173.96 ms. Nilai rata-rata error yang dihasilkan dari metode estimasi jarak pada sudut kamera 45 derajat yaitu sebesar 5.1 cm. Sehingga dengan hasil tersebut, sistem tersebut dapat menyediakan pemandu arah yang akurat, wearable, dan terjangkau bagi para penyandang tunanetra.
===================================================================================================================================
Visually impaired individuals face several challenges in mobility-related activities. Several systems have been developed to address these challenges. However, these systems are expensive, less wearable, and provide less effective responses. In this study, we propose a system that can assist visually impaired individuals in avoiding obstacles and walking in safe areas, especially on floors with a grid-like pattern. Deep learning-based image segmentation is used to differentiate between walkable floor areas and areas with obstacles. Additionally, a perspective transformation or homography method is also applied to estimate the obstacle's distance. The system is implemented on Android smartphones and can provide a safe area response in the form of a clock position using text-to-speech audio. In addition, the system is equipped with a compass and Generative AI which can be used as a reference for directions and to describe the conditions of the environment. The segmentation model can achieve average Intersection over Union (IoU) accuracy of 91% with an average total processing time of 173.96 ms. The average distance estimation error is 5.1 centimeter at a 45-degree camera angle. With these results, the system can offer an accurate, wearable, and cost-effective guidance system for visually impaired individuals.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	Tunanetra, Image Segmentation, Estimasi Jarak, Deep learning, Perspective Transform, Visual Impairment, Image; Segmentation, Distance Estimation, Deep Learning, Perspective Transformation
Subjects:	T Technology > T Technology (General) > T58.62 Decision support systems
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	Amri Abyad Permana
Date Deposited:	21 Jul 2025 07:55
Last Modified:	21 Jul 2025 07:55
URI:	http://repository.its.ac.id/id/eprint/120336

Actions (login required)

View Item