Implementasi Deep Learning Pada Sistem Klasifikasi Suara Alarm Bahaya Bagi Penyandang Tunarungu

Nugroho, Devis Styo (2022) Implementasi Deep Learning Pada Sistem Klasifikasi Suara Alarm Bahaya Bagi Penyandang Tunarungu. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6022201042-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 April 2025. Download (4MB) | Request a copy

Abstract

Pendengaran adalah fungsi sensorik yang sangat penting bagi manusia. Penyandang tuna rungu yang tidak dapat mengenali sinyal yang menunjukkan situasi berbahaya di sekitarnya dapat membahayakan nyawa mereka. Sinyal suara yang dapat membahayakan seperti sinyal alarm kebakaran gedung, alarm kebocoran gas, alarm tsunami, dan alarm berbahaya lainnya. Penelitian ini mengusulkan sistem yang dapat mengenali dan mengklasifikasikan suara alarm secara otomatis. Metode yang digunakan adalah CNN (Convolutional Neural Network) dengan input berupa citra Mel Spektrogram. Mel spektrogram adalah representasi visual dari spektrum frekuensi sinyal suara yang bervariasi dengan waktu, menggunakan skala mel, yang merupakan skala frekuensi bagaimana telinga manusia merasakan frekuensi secara logaritmik. Algoritma CNN digunakan untuk mengklasifikasikan suara alarm yang telah ditransformasi menjadi citra Mel spektrogram. Dataset yang digunakan merupakan suara alarm yang terdiri empat kelas suara alarm yang berbeda dan satu kelas sebagai non alarm (background noise). Di penelitian ini akan membandingkan model berdasarkan parameter untuk membentuk citra Mel spektrogram. Model yang telah dilatih kemudian akan diimplementasikan pada Raspberry Pi 4 yang telah terhubung dengan mikrofon dan 4 jenis warna lampu berbeda untuk masing-masing mewakili kelas alarm. Berdasarkan hasil penelitian akurasi terbaik mencapai 98,7%, dan latensi tercepat 3 milidetik dan latensi terlama adalah 34 milidetik.
==============================================================================================================================
Hearing is a very important sensory function for humans. Deaf people who are unable to recognize signals indicating dangerous situations around them can put their lives at risk. Sound signals that can be dangerous such as building fire alarm signals, gas leak alarms, tsunami alarms, and other dangerous alarms. This research proposes a system that can recognize and classify alarm sounds automatically. The method used is CNN (Convolutional Neural Network) with input in the form of Mel Spectrogram image. Mel spectrogram is a visual representation of the frequency spectrum of a time-varying sound signal, using the mel scale, which is the frequency scale of how the human ear perceives frequency logarithmically. CNN algorithm is used to classify alarm sounds that have been transformed into Mel spectrogram images. The dataset used is an alarm sound consisting of four different alarm sound classes and one class as a non-alarm (Background noise). This research will compare models based on parameters to form Mel spectrogram images. The model that has been trained will then be implemented on a Raspberry Pi 4 that has been connected to a microphone and 4 different types of lamp colors for each representing the alarm class. Based on the research results, the best accuracy reached 98.7%, and the fastest latency was 3 milliseconds and the longest latency was 34 milliseconds.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	CNN, Mel spektrogram, suara alarm, tuna rungu, Raspberry Pi, alarm sound, deaf
Subjects:	Q Science > Q Science (General) > Q325.5 Machine learning. R Medicine > R Medicine (General) > R858 Deep Learning T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK5102.9 Signal processing.
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	Devis Styo Nugroho
Date Deposited:	10 Jan 2023 07:56
Last Modified:	10 Jan 2023 07:56
URI:	http://repository.its.ac.id/id/eprint/95354

Actions (login required)

View Item