Sistem Pengenalan Kemasan Obat berbasis YOLO Object Detection pada Perangkat Android sebagai Assistive Technology untuk Penyandang Tunanetra

Zahiroh, Zulfa (2025) Sistem Pengenalan Kemasan Obat berbasis YOLO Object Detection pada Perangkat Android sebagai Assistive Technology untuk Penyandang Tunanetra. Masters thesis, Intitut Teknologi Sepuluh Nopember.

Text 6022231030-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (7MB) | Request a copy

Abstract

Penelitian ini dilakukan untuk mendapatkan solusi atas permasalahan penyandang tunanetra dalam mengenali kemasan obat. Tunanetra merupakan suatu kondisi dimana seseorang tidak memiliki penglihatan sama sekali (buta total) maupun sesorang dengan kondisi masih memiliki sisa penglihatan namun tidak mampu menggunakan penglihatannya untuk membaca tulisan biasa berukuran 12 point dalam keadaan cahaya dan jarak normal meskipun dibantu dengan kaca mata (lurang awas/ low vision). Secara global, World Health Organization (WHO) menyatakan bahwa lebih dari 2,2 miliar orang di dunia mengalami gangguan penglihatan jarak dekat maupun jauh. Sedangkan Kementrian Kesehatan RI mengestimasi bahwa sebesar 3,75 juta jiwa atau 1% dari jumlah penduduk Indonesia merupakan penyandang tunanetra. Penyandang tunanetra mengalami beberapa kesulitan ketika hendak mengkonsumsi obat seperti kesulitan membedakan antar satu obat dengan yang lain, mengakses dosis pemakaian, dan sebagainya. Hal ini mengakibatkan terjadinya kesalahan pengobatan karena ketidaksengajaan hingga tahap kesalahan yang fatal.
Penelitian ini mengembangkan sebuah sistem Assistive Technology untuk membantu penyandang tunanetra mengenali kemasan obat berbasis object detection menggunakan arsitektur YOLOv8n dengan output suara menggunakan teknologi Text to Speech. Data label kelas yang dihasilkan akan menjadi keyword menuju web basis data untuk informasi lebih lanjut tentang obat tersebut. Informasi yang tersedia pada web basis data akan diproses pula menggunakan teknologi Text to Speech sehingga dihasilkan output suara yang akan memudahkan penyandang tunanetra mengenali obat melalui kemasannya. Didapatkan tingkat presisi sistem sebesar 0,998 dan recall sebesar 0,997. Waktu latensi yang diperlukan oleh sistem ini sekitar 100-130 ms. Pencapaian ini menunjukkan bahwa sistem memiliki performa yang tinggi. Sistem ini kemudian diimplementasikan pada perangkat Android agar mudah digunakan dan memiliki jangkauan penggunaan yang luas.
=====================================================================================================================================
This study was conducted to find solutions to the problems faced by visually impaired people in recognizing medicine packaging. Visual impairment is a condition in which a person has no vision at all (total blindness) or a person who still has some vision but is unable to use their vision to read normal 12-point font in normal light and distance conditions, even with the aid of glasses (low vision). Globally, the World Health Organization (WHO) states that more than 2.2 billion people worldwide experience near or far vision impairment. Meanwhile, the Indonesian Ministry of Health estimates that 3.75 million people, or 1% of Indonesia's population, are visually impaired. People with visual impairments face several challenges when taking medication, such as difficulty distinguishing between different medications, accessing dosage information, and so on. This can lead to medication errors, ranging from unintentional mistakes to fatal errors.
This study developed an Assistive Technology system to help visually impaired individuals recognize medication packaging using object detection with the YOLOv8n architecture, with audio output generated via Text-to-Speech technology. The generated class label data will serve as keywords to access a web database for further information about the medication. The information available in the web database will also be processed using Text-to-Speech technology, generating voice output to facilitate visually impaired individuals in identifying medications through their packaging. The system achieved a precision rate of 0.998 and a recall rate of 0.997. The latency time required by this system is approximately 100-130 ms. This achievement demonstrates that the system has high performance. The system was then implemented on Android devices to make it easy to use and have a wide range of applications.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	Penyandang Tunanetra, Pengenalan Kemasan Obat, Object Detection, Text to Speech, Perangkat Android, Visually Impaired People, Medicine Packaging Recognition, Object Detection, Text to Speech, Android Devices
Subjects:	T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK7882.P3 Pattern recognition systems
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	Zulfa Zahiroh
Date Deposited:	04 Aug 2025 08:46
Last Modified:	04 Aug 2025 08:46
URI:	http://repository.its.ac.id/id/eprint/124480

Actions (login required)

View Item