Rancang Bangun Deteksi Kemasan Obat bagi Penyandang Tunanetra dengan Output Suara Menggunakan YOLO Object Detection

Ulfia, Asri (2025) Rancang Bangun Deteksi Kemasan Obat bagi Penyandang Tunanetra dengan Output Suara Menggunakan YOLO Object Detection. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6022231013-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (3MB) | Request a copy

Abstract

Sekitar 285 juta orang di dunia mengalami gangguan penglihatan, dari ringan hingga kebutaan total. Penyandang tunanetra menghadapi kesulitan dalam aktivitas sehari-hari seperti bergerak, berkomunikasi, dan mengakses informasi, termasuk dalam mengelola dan mengenali obat-obatan. Kesalahan dalam pengambilan obat dapat menyebabkan overdosis dan efek samping serius. Statistik menunjukkan bahwa sekitar 30% penyandang tunanetra pernah mengalami overdosis, dengan sepertiga kematian akibat penyakit disebabkan oleh penggunaan obat yang tidak rasional.Penelitian ini bertujuan untuk mengembangkan sistem pendeteksi dan pengenalan teks pada kemasan obat untuk membantu individu tunanetra dalam mendapatkan informasi penting melalui kamera pada sistem. Selanjutnya, sistem akan menyampaikan informasi dalam bentuk suara kepada penyandang tunanetra. Tujuan utama dari proyek ini adalah untuk memungkinkan individu tunanetra mengelola obat-obatan secara lebih aman dan mandiri.Sistem ini menggunakan algoritma YOLOv8 untuk mendeteksi objek kemasan obat, yang mencapai akurasi 0,91, presisi 0,94, recall 0,97, dan F1-score sebesar 0,95 untuk deteksi teks. Algoritma ini dipadukan dengan Optical Character Recognition (OCR) untuk mengonversi teks ke format yang dapat dibaca mesin. Selanjutnya, teks diubah menjadi suara menggunakan gTTS, memberikan keluaran audio bagi pengguna dengan waktu pemrosesan rata-rata sekitar 7,6 detik. Sistem pada penelitian ini dikembangkan menggunakan Jetson Nano. Selain itu, penelitian ini juga melibatkan uji penerimaan pengguna dengan lima responden tunanetra untuk menilai kegunaan sistem. Umpan balik dari peserta sangat positif, menyatakan bahwa sistem ini sangat membantu dan mudah digunakan.
======================================================================================================================================
Approximately 285 million people worldwide experience visual impairments, ranging from mild conditions to total blindness. Individuals who are blind face challenges in daily activities such as mobility, communication, and accessing information—including managing and identifying medications. Errors in medication intake can lead to overdoses and serious side effects. Statistics indicate that about 30% of blind individuals have experienced an overdose, with one-third of disease-related deaths attributed to irrational drug use.This research aims to develop a text detection and recognition system for medication packaging to assist blind individuals in obtaining essential information via a camera integrated into the system. The recognized text is then converted into speech and delivered to the user through audio output. The primary objective of this project is to enable blind individuals to manage their medications more safely and independently. The system employs the YOLOv8 algorithm for detecting medication packaging, achieving an accuracy of 0.91, precision of 0.94, recall of 0.97, and an F1 score of 0.95 for text detection. This is integrated with Optical Character Recognition (OCR) to convert the detected text into a machine-readable format. The text is then transformed into speech using gTTS, providing audio feedback to the user with an average processing time of 7.6 seconds. The system was developed using Jetson Nano, and user acceptance testing was conducted with five blind participants to evaluate its usability. Feedback from the participants was highly positive, indicating that the system is helpful and easy to use.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	Object Detection, Jetson Nano, Teknologi Bantu, Text Recognition Object Detection, Jetson Nano, Assistive Technology, Text Recognition
Subjects:	T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK7882.P3 Pattern recognition systems
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	Ulfia Asri
Date Deposited:	22 Jul 2025 06:21
Last Modified:	22 Jul 2025 06:21
URI:	http://repository.its.ac.id/id/eprint/120476

Actions (login required)

View Item