RANCANG BANGUN ROBOT ASISTEN UNTUK PENCAHAYAAN MULUT: INTEGRASI VISI KOMPUTER, KONTROL ROBOT LENGAN, DAN PENGENALAN SUARA DALAM SISTEM TERTANAM

Burhan, Ahmad Hifzhil (2024) RANCANG BANGUN ROBOT ASISTEN UNTUK PENCAHAYAAN MULUT: INTEGRASI VISI KOMPUTER, KONTROL ROBOT LENGAN, DAN PENGENALAN SUARA DALAM SISTEM TERTANAM. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5022201020_Ahmad Hifzhil Burhan_TA_Bismillah.pdf - Accepted Version Restricted to Repository staff only Download (4MB) | Request a copy

Abstract

Perkembangan teknologi robotika kini telah memungkinkan robot bekerja sama dengan manusia, baik di ranah industri maupun publik sebagai asisten pintar. Berlanjut dari penelitian sebelumnya, penggunaan robot asisten dalam bidang kedokteran gigi memiliki potensi besar untuk membantu dokter gigi dalam tugas-tugas sederhana, serta menjadi konsep yang realistis dan telah terbukti bermanfaat bagi para praktisi gigi. Berdasarkan wawancara dengan dokter gigi yang mengungkapkan keluhan dalam mengarahkan pencahayaan ke mulut pasien secara manual yang melelahkan dan selalu dilakukan berulang kali saat bekerja dengan pasien, dirancanglah prototype robot asisten yang dapat mengarahkan penerangan ke mulut pasien secara otomatis. Robot asisten ini dibangun berbasis sistem tertanam dengan kemampuan untuk mendeteksi wajah dan landmark serta keterbukaan mulut manusia dengan fungsionalitas visi komputernya. Penelitian ini juga akan mengkaji antarmuka robot asisten yang didesain menggunakan perintah verbal dengan fungsionalitas pengenalan suara. Robot asisten juga dapat merespon perubahan posisi mulut kemudian menggerakkan servo agar selalu mengikuti posisi mulut dengan fungsionalitas kontrol robot lengannya.
Hasil dari penelitian ini adalah model deteksi keterbukaan mulut yang dijalankan pada Seed Studio ESP32S3 Sense dengan latensi 59.2ms dan akurasi 85%. Sistem face detection digunakan untuk mendeteksi wajah dan menentukan posisi mulut, berhasil dijalankan dengan latensi 112ms dan akurasi 92.77%. Sistem kontrol visual juga berhasil dilakukan dengan robot dapat merespon pergerakan mulut subjek. Keterbatasan penelitian ini terjadi pada fungsionalitas pengenalan suara pada board mikrokontroler yang digunakan namun sukses pada board lain dengan chip yang sama dengan latensi rata-rata 47ms.
============================================================
The advancement of robotics technology now allows robots to collaborate with humans, both in industrial and public domains as intelligent assistants. Continuing from previous research, the use of assistant robots in the field of dentistry has significant potential to help dentists with simple tasks, making it a realistic concept that has proven beneficial for dental practitioners. Based on interviews with dentists who expressed concerns about the manual, repetitive task of directing lighting into patients' mouths, we designed a prototype assistant robot that can automatically direct lighting to the patient's mouth. This assistant robot is built on an embedded system with the ability to detect faces and landmarks, as well as the openness of the mouth using its computer vision functionality. This study also examines the robot's interface, which was designed using verbal commands with voice recognition functionality. The assistant robot can respond to changes in mouth position and move servos to continuously follow the mouth's position using its robotic arm control functionality.
The results of this study include a mouth openness detection model running on the Seed Studio ESP32S3 Sense with a latency of 59.2ms and an accuracy of 85%. The face detection system used to detect faces and determine mouth positions was successfully operated with a latency of 112ms and an accuracy of 92.77%. The visual control system also successfully allowed the robot to respond to the subject's mouth movements. The study's limitation lies in the voice recognition functionality on the microcontroller board used, although it was successful on another board with the same chip, with an average latency of 47ms.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Robot Asisten, Visi Komputer, Kontrol Robot Lengan, Pengenalan Suara, Sistem Tertanam ================= Robotic Assistant, Computer Vision, Robotic Arm Control, Voice Recognition, Embedded System
Subjects:	T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK7878 Electronic instruments
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20201-(S1) Undergraduate Thesis
Depositing User:	Ahmad Hifzhil Burhan
Date Deposited:	06 Aug 2024 02:10
Last Modified:	06 Aug 2024 02:10
URI:	http://repository.its.ac.id/id/eprint/112994

Actions (login required)

View Item