Mental Workload Assessment Using Performance, Multi-Physiological Signals, and Individual Characteristics

Wiediartini, Wiediartini (2024) Mental Workload Assessment Using Performance, Multi-Physiological Signals, and Individual Characteristics. Doctoral thesis, Institut Teknologi Sepuluh Nopember.

Text 02411960010007-Dissertation.pdf - Accepted Version Restricted to Repository staff only until 1 July 2026. Download (6MB) | Request a copy

Abstract

Perkembangan teknologi telah memberikan lebih banyak tuntutan kognitif dibandingkan tuntutan fisik. Beban kerja mental mempengaruhi kinerja dan dapat menurun karena kelebihan atau kekurangan beban. Meningkatnya beban kerja mental memerlukan tuntutan kognitif yang lebih banyak dan proses ini akan mempengaruhi aktivitas fisiologis dalam tubuh manusia. Selain itu, indikator fisiologis bisa berbeda pada jenis pekerjaan yang berbeda. Beban kerja mental tidak hanya ditentukan oleh pekerjaan itu sendiri, tetapi juga oleh faktor individu seperti kepribadian. Penelitian ini bertujuan untuk mengidentifikasi dan menganalisis pengaruh kesulitan pekerjaan terhadap penilaian subjektif, kinerja, respon fisiologis, dan power band EEG. Machine learning juga digunakan untuk mengklasifikasikan tingkat beban kerja mental menggunakan kombinasi respons fisiologis, EEG, kinerja, dan kepribadian dan mendapatkan tingkat akurasi terbaik. Penelitian ini menggunakan dan membandingkan dua jenis pekerjaan working memory, yaitu n-back dan aritmatika karena jenis pekerjaan ini sering digunakan dalam penelitian sebelumnya sebagai tugas eksperimental untuk menilai working memory. Subjective rating dan waktu respons meningkat secara signifikan seiring dengan meningkatnya tingkat kesulitan pekerjaan di n-back dan aritmatika. Waktu respon seorang introverts lebih cepat daripada ekstrovert pada semua tingkat kesulitan pada n-back, sebaliknya pada aritmatik, waktu respon ekstrovert lebih cepat dibandingkan introvert.
Fixation duration dan pupil diameter signifikan pada tiga tingkat kesulitan di n-back dan aritmatika, namun blink rate tidak signifikan pada kedua jenis pekerjaan. Baik pekerjaan n-back dan aritmatika memiliki pola yang sama yaitu peningkatan pupil diameter dan heart rate serta penurunan fixation duration dengan meningkatnya kesulitan pekerjaan, yang konsisten dengan penelitian sebelumnya. Satu-satunya pengecualian yang hasilnya tidak sama dengan beberapa penelitian terdahulu adalah blink duration yang meningkat dengan meningkatnya tingkat kesulitan. Hal ini kemungkinan besar disebabkan oleh cara responden menyimpan informasi dalam pekerjaan n-back. Blink duration lebih lama ketika responden melakukan latihan ekstra untuk mengingat lebih banyak huruf. Gelombang alfa, theta dan beta sensitif terhadap tingkat kesulitan pada pekerjaan n-back, sedangkan delta dan theta sensitif pada tugas aritmatika. Hal ini sejalan dengan hasil klasifikasi yang menunjukkan tingkat akurasi yang tinggi di wilayah otak frontal. Pada dua jenis pekerjaan tersebut, menggabungkan fitur fisiologis, EEG, dan kinerja sebagai input pada machine learning meningkatkan akurasi dibandingkan dengan hanya menggunakan satu indeks fisiologis. Akurasi tertinggi dalam pekerjaan n-back dicapai ketika kepribadian ditambahkan sebagai input, tetapi tidak meningkatkan akurasi pada pekerjaan aritmatika. Hal ini mungkin disebabkan oleh perbedaan proses dalam sistem memori kerja saat melakukan pekerjaan, yang mungkin memerlukan kecerdasan intelektual (IQ) sebagai variabel yang mewakili karakteristik pribadi dalam tugas aritmatika
==================================================================================================================================
Technological developments have placed more cognitive demands than physical demands. Mental workload affects performance and can decrease due to overload or underload. Increasing mental workload requires greater cognitive demands and this process will affect physiological activities in the human body. In addition, physiological indicators may differ in different types of work. Mental workload is determined not only by the job itself, but also by individual factors such as personality. This study aims to identify and analyze the influence of job difficulty on subjective assessment, performance, physiological responses, and EEG power band. Machine learning was also used to classify the level of mental workload using a combination of physiological responses, EEG, performance and personality and achieved the best level of accuracy. This study uses and compares two types of working memory tasks, namely n-back and arithmetic because these types of tasks are often used in previous research as experimental tasks to assess working memory. Subjective ratings and response times increased significantly with increasing job difficulty in n-back and arithmetic. Introverts' response time is faster than extroverts at all levels of difficulty on n-back, whereas in arithmetic, extroverts' response time is faster than introverts.
Fixation duration and pupil diameter were significant at three levels of difficulty in n-back and arithmetic, but blink rate was not significant in both types of work. Both n-back and arithmetic tasks had the same pattern of increasing pupil diameter and heart rate and decreasing fixation duration with increasing job difficulty, which is consistent with previous research. The only exception whose results are not the same as some previous studies is the blink duration which increases with increasing difficulty level. This is most likely due to the way respondents store information in n-back jobs. Blink duration was longer when respondents did extra practice to remember more letters. Alpha, theta and beta waves are sensitive to the level of difficulty in n-back tasks, while delta and theta are sensitive to arithmetic tasks. This is in line with the classification results which show a high level of accuracy in the frontal brain region. In these two types of work, combining physiological, EEG, and performance features as input to machine learning improves accuracy compared to using only one physiological index. The highest accuracy in n-back work was achieved when personality was added as input, but did not improve accuracy in arithmetic work. This may be due to differences in processing in the working memory system when performing tasks, which may require intellectual quotient (IQ) as a variable representing personal characteristics in arithmetic tasks

Item Type:	Thesis (Doctoral)
Uncontrolled Keywords:	beban kerja mental, pengukuran fisiologis, EEG, kepribadian, klasifikasi, pekerjaan n-back, pekerjaan aritmatika; mental workload, physiological measures, EEG, personality, classification, n-back, arithmetic tasks
Subjects:	T Technology > T Technology (General) > T59.7 Human-machine systems.
Divisions:	Faculty of Industrial Technology and Systems Engineering (INDSYS) > Industrial Engineering > 26001-(S3) PhD Thesis
Depositing User:	Wiediartini Wiediartini
Date Deposited:	13 Feb 2024 03:54
Last Modified:	13 Feb 2024 03:54
URI:	http://repository.its.ac.id/id/eprint/107130

Actions (login required)

View Item