Bimantara, Andaru Kharisma (2022) Pengenalan Ekspresi Wajah Menggunakan Multi- Channel Local Binary Pattern Dan Convolutional Neural Network. Masters thesis, Institut Teknologi Sepuluh Nopember.
![[thumbnail of 05111950010017-Master_Thesis.pdf]](http://repository.its.ac.id/style/images/fileicons/text.png) |
Text
05111950010017-Master_Thesis.pdf Restricted to Repository staff only Download (1MB) | Request a copy |
Abstract
Pengenalan ekspresi wajah (Facial Expression Recognition/FER) merupakan bidang Artificial Intelligence yang terkait dengan komunikasi non- verbal manusia. Pengembangan FER dengan Convolutional Neural Network (CNN) rentan terhadap noise, terutama jika menggunakan citra RGB original sebagai data latih. Beberapa penelitian mengeksplorasi fitur tekstur yang lebih tahan terhadap noise, seperti Local Binary Pattern (LBP) atau Gray Level Co-occurrence Matrix (GLCM), yang umumnya bekerja pada citra grayscale. Metode Multi-Channel Local Binary Pattern (MCLBP) merupakan modifikasi dari LBP yang menganalisis tekstur pada citra warna dalam domain RGB. Pengembangan FER menggunakan metode hybrid fitur tekstur hand-crafted dengan CNN diharapkan dapat menngkatkan kinerja FER. Penelitian ini mengusulkan metode hybrid MCLBP dan CNN pada studi kasus FER. Pertama, dilakukan praproses pada citra wajah untuk menyamakan pencahayaan menggunakan Adaptive Gamma Correction Weighted Distribution (AGCWD). Setelah itu citra wajah dikonversi menjadi citra MCLBP yang menjadi data latih dari Arsitektur CNN yang terdiri dari 3 Layer Konvolusi dan 2 Layer Fully Connected Layer. CNN menggunakan optimasi SGD dan learning rate 0,005. Uji coba dilakukan dengan beberapa skenario untuk membandingkan kinerja akurasi, precision, recall dan F1-score pada FER menggunakan pendekatan konvensional, CNN dan hybrid. Terdapat lima skenario yaitu pendekatan konvensional dengan fitur tekstur MCLBP dan LBP serta metode klasifikasi Neural Network (NN), pendekatan CNN, dan pendekatan hybrid LBP + CNN serta hybrid MCLBP + CNN. Dataset yang digunakan pada penelitian ini adalah Karonliska Directed Emotional Faces (KDEF) dan Taiwanese Facial Expression Image Dataset TFEID. Dari semua pendekatan yang diuji, metode yang terbaik adalah MCLBP x dengan klasifikasi Neural Network membutuhkan 22 epoch pada rasio training dan testing 60:40 untuk mencapai F1-Score 100% dibandingkan dengan MCLBP dengan klasifikasi CNN yang membutuhkan 35 epoch pada rasio training dan testing 60:40 untuk mencapai F1-Score 100%. Hal ini karena MCLBP dengan klasifikasi Neural Network mengambil semua input node dibandigkan dengan MCLBP dengan klasifikasi CNN yang mengambil input hanya di dalam ukuran kernel.
==============================================================================================================================
Facial Expression Recognition (FER) is subset of Artificial Intelligence (AI) which related with human non-verbal communication. The development of Convolutional Neural Network (CNN) based FER are subject to noise, mainly because the usage of RGB Original Image as a training data. So many research explored texture feature which noise resistant, such as Local Binary Pattern (LBP) or Gray Level Cooccurrence Matrix (GLCM), which only worked for grayscale images. Multi-Channel Local Binary Pattern (MCLBP) is derived from LBP which analyze texture on color image. The hybrid method of hand-crafted texture feature with CNN can increase the desirable FER performances. This research proposed hybrid method of hand-crafted texture feature with CNN on FER subject. First, preprocessing applied on facial image for contrasting with Adaptive Gamma Correction Weighted Distribution (AGCWD). Next, facial images converted to MCLBP images as a CNN architecture training data with 3 convolution layer and 2 fully connected layer. This CNN use SGD optimation with learning rate 0,005. Performance testing held by comparing accuracy, precision, recall, and F1- score from many scenarios on FER with conventional, CNN, hybrid LBP+CNN approaches. There are 5 scenarios in FER: conventional method with MCLBP and LBP texture method with Neural Network (NN), CNN approach, and hybrid LBP+CNN also hybrid MCLBP+CNN approaches. These research use Karonliska Directed Emotional Faces (KDEF) and Taiwanese Facial Expression Image Dataset TFEID. From all scenario we have tried, the best method is MCLBP with Neural Network Classifier in 22 epochs required for gaining F1-Score 1 with 60:40 training and testing data ratio instead of MCLBP with CNN Classifier in 35 epochs required for gaining F1-Score 1 with 60:40 training and testing data ratio. This result could xii happen because MCLBP with Neural Network Classifier take all input node instead of MCLBP with CNN Classifier take only input node inside kernel size.
| Item Type: | Thesis (Masters) |
|---|---|
| Additional Information: | RTIf 006.4 Bim p-1 2022 |
| Uncontrolled Keywords: | Pengenalan ekspresi wajah (Facial Expression Recognition/FER) merupakan bidang Artificial Intelligence yang terkait dengan komunikasi non- verbal manusia. Pengembangan FER dengan Convolutional Neural Network (CNN) rentan terhadap noise, terutama jika menggunakan citra RGB original sebagai data latih. Beberapa penelitian mengeksplorasi fitur tekstur yang lebih tahan terhadap noise, seperti Local Binary Pattern (LBP) atau Gray Level Co-occurrence Matrix (GLCM), yang umumnya bekerja pada citra grayscale. Metode Multi-Channel Local Binary Pattern (MCLBP) merupakan modifikasi dari LBP yang menganalisis tekstur pada citra warna dalam domain RGB. Pengembangan FER menggunakan metode hybrid fitur tekstur hand-crafted dengan CNN diharapkan dapat menngkatkan kinerja FER. Penelitian ini mengusulkan metode hybrid MCLBP dan CNN pada studi kasus FER. Pertama, dilakukan praproses pada citra wajah untuk menyamakan pencahayaan menggunakan Adaptive Gamma Correction Weighted Distribution (AGCWD). Setelah itu citra wajah dikonversi menjadi citra MCLBP yang menjadi data latih dari Arsitektur CNN yang terdiri dari 3 Layer Konvolusi dan 2 Layer Fully Connected Layer. CNN menggunakan optimasi SGD dan learning rate 0,005. Uji coba dilakukan dengan beberapa skenario untuk membandingkan kinerja akurasi, precision, recall dan F1-score pada FER menggunakan pendekatan konvensional, CNN dan hybrid. Terdapat lima skenario yaitu pendekatan konvensional dengan fitur tekstur MCLBP dan LBP serta metode klasifikasi Neural Network (NN), pendekatan CNN, dan pendekatan hybrid LBP + CNN serta hybrid MCLBP + CNN. Dataset yang digunakan pada penelitian ini adalah Karonliska Directed Emotional Faces (KDEF) dan Taiwanese Facial Expression Image Dataset TFEID. Dari semua pendekatan yang diuji, metode yang terbaik adalah MCLBP x dengan klasifikasi Neural Network membutuhkan 22 epoch pada rasio training dan testing 60:40 untuk mencapai F1-Score 100% dibandingkan dengan MCLBP dengan klasifikasi CNN yang membutuhkan 35 epoch pada rasio training dan testing 60:40 untuk mencapai F1-Score 100%. Hal ini karena MCLBP dengan klasifikasi Neural Network mengambil semua input node dibandigkan dengan MCLBP dengan klasifikasi CNN yang mengambil input hanya di dalam ukuran kernel. ============================================================================================================================== Facial Expression Recognition (FER) is subset of Artificial Intelligence (AI) which related with human non-verbal communication. The development of Convolutional Neural Network (CNN) based FER are subject to noise, mainly because the usage of RGB Original Image as a training data. So many research explored texture feature which noise resistant, such as Local Binary Pattern (LBP) or Gray Level Cooccurrence Matrix (GLCM), which only worked for grayscale images. Multi-Channel Local Binary Pattern (MCLBP) is derived from LBP which analyze texture on color image. The hybrid method of hand-crafted texture feature with CNN can increase the desirable FER performances. This research proposed hybrid method of hand-crafted texture feature with CNN on FER subject. First, preprocessing applied on facial image for contrasting with Adaptive Gamma Correction Weighted Distribution (AGCWD). Next, facial images converted to MCLBP images as a CNN architecture training data with 3 convolution layer and 2 fully connected layer. This CNN use SGD optimation with learning rate 0,005. Performance testing held by comparing accuracy, precision, recall, and F1- score from many scenarios on FER with conventional, CNN, hybrid LBP+CNN approaches. There are 5 scenarios in FER: conventional method with MCLBP and LBP texture method with Neural Network (NN), CNN approach, and hybrid LBP+CNN also hybrid MCLBP+CNN approaches. These research use Karonliska Directed Emotional Faces (KDEF) and Taiwanese Facial Expression Image Dataset TFEID. From all scenario we have tried, the best method is MCLBP with Neural Network Classifier in 22 epochs required for gaining F1-Score 1 with 60:40 training and testing data ratio instead of MCLBP with CNN Classifier in 35 epochs required for gaining F1-Score 1 with 60:40 training and testing data ratio. This result could xii happen because MCLBP with Neural Network Classifier take all input node instead of MCLBP with CNN Classifier take only input node inside kernel size. |
| Subjects: | T Technology > T Technology (General) > T58.5 Information technology. IT--Auditing |
| Divisions: | Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55101-(S2) Master Thesis |
| Depositing User: | Mr. Marsudiyana - |
| Date Deposited: | 09 Jul 2026 06:25 |
| Last Modified: | 09 Jul 2026 06:42 |
| URI: | http://repository.its.ac.id/id/eprint/134585 |
Actions (login required)
 |
View Item |