Salni, Hibban Rabbani (2026) Sistem Deteksi Kendaraan Real-Time pada Kacamata Pintar Berbasis YOLO untuk Keselamatan Penyebrangan Tunanetra. Other thesis, Institut Teknologi Sepuluh Nopember.
![[thumbnail of 5024221070-Undergradute_Thesis.pdf]](http://repository.its.ac.id/style/images/fileicons/text.png) |
Text
5024221070-Undergradute_Thesis.pdf Restricted to Repository staff only Download (11MB) | Request a copy |
Abstract
Hambatan mobilitas merupakan tantangan utama bagi penyandang tunanetra, terutama saat berinteraksi dengan lalu lintas jalan raya yang dinamis. Alat bantu konvensional seperti tongkat putih memiliki keterbatasan dalam mendeteksi kendaraan bergerak dari jarak jauh, sementara solusi kacamata pintar berbasis Single Board Computer (SBC) umumnya memiliki bobot yang berat dan boros daya. Penelitian ini mengusulkan pengembangan purwarupa kacamata pintar yang ergonomis menggunakan modul ESP32-CAM sebagai stasiun akuisisi citra nirkabel, yang terintegrasi dengan smartphone sebagai unit pemrosesan utama Edge Computing. Perangkat lunak seluler dikembangkan menggunakan kerangka kerja Swift yang mengorkestrasi model kecerdasan buatan YOLOv8 Nano berformat Core ML. Sistem memanfaatkan pendelegasian Unit Pemroses Grafis GPU Delegate pada smartphone untuk mengakselerasi inferensi deteksi objek kendaraan secara real-time. Algoritma kalkulasi jarak berbasis visi monokuler focal length diimplementasikan untuk menentukan kedalaman spasial, yang kemudian dihubungkan dengan percabangan kondisi untuk memicu luaran audio adaptif melalui True Wireless Stereo (TWS) Bluetooth. Guna mencegah kelebihan beban sensorik sensory overload, sistem dirancang untuk memberikan peringatan tingkat tinggi pada jarak kritis (< 5 meter), peringatan menengah pada jarak 5 hingga 15 meter, dan meniadakan suara mute ketika kondisi aman. Hasil pengujian lapangan secara empiris menunjukkan bahwa sistem mampu beroperasi secara stabil dengan latensi komunikasi end-to-end rata-rata sebesar 7 ms dan kecepatan pemrosesan mencapai 35 Frame Per Second (FPS) pada resolusi masukan 256×256 piksel. Akurasi estimasi jarak mencatatkan selisih galat margin of error yang sangat minor sebesar ±0,16 meter, dengan persentase keberhasilan deteksi operasional di jalan raya mencapai 86%. Keseluruhan hasil ini memvalidasi bahwa purwarupa sistem komputasi terdistribusi yang dibangun terbukti tangguh, reliabel, dan responsif sebagai teknologi asistif untuk mendukung keselamatan mobilitas penyandang tunanetra.
================================================================================================================================
Mobility barriers present a fundamental challenge for visually impaired individuals, particularly when interacting with dynamic road traffic environments. Conventional assistive devices, such as the white cane, have inherent limitations in detecting moving vehicles from a distance, while existing smart glasses solutions based on Single Board Computers (SBC) generally suffer from heavy weight and high power consumption. This research proposes the development of an ergonomic smart glasses prototype utilizing the ESP32-CAM module as a wireless image acquisition station, integrated with a smartphone as the main processing unit (Edge Computing). The mobile software is developed using the Swift framework, orchestrating the YOLOv8 Nano artificial intelligence model in Core ML format. The system utilizes hardware delegation (GPU Delegate) on the smartphone to accelerate real-time vehicle object detection inference. A distance calculation algorithm based on monocular vision (focal length) is implemented to determine spatial depth, which is subsequently integrated with conditional branching logic to trigger adaptive audio feedback via Bluetooth True Wireless Stereo (TWS). To prevent sensory overload, the system is designed to issue high-level warnings at critical distances (<5 meters), moderate warnings at distances between 5 and 15 meters, and remain silent (mute) under safe conditions. Empirical field testing results demonstrate that the system operates stably with an average end-to-end communication latency of 7 ms and a processing speed of 35 Frames Per Second (FPS) at a 256×256 pixel input resolution. The distance estimation accuracy records a highly minor margin of error of ±0.16 meters, with an operational detection success rate in real-world traffic reaching 86%. These overall results validate that the proposed distributed computing system prototype is robust, reliable, and responsive as an assistive technology toenhance the mobility safety of the visually impaired.
Actions (login required)
 |
View Item |