Identifikasi Emosi Pengguna Konferensi Video Menggunakan Convolutional Neural Network

Penulis

  • Lina Lina Universitas Tarumanagara, Jakarta Barat
  • Arthur Adhitya Marunduh Universitas Tarumanagara, Jakarta Barat
  • Wasino Wasino Universitas Tarumanagara, Jakarta Barat
  • Daniel Ajienegoro Universitas Tarumanagara, Jakarta Barat

DOI:

https://doi.org/10.25126/jtiik.2022955269

Abstrak

Pandemi COVID-19 telah menyebabkan pergeseran bentuk komunikasi antar individu maupun antar kelompok. Komunikasi lisan antar individu dilakukan dengan bantuan teknologi secara daring. Berbagai teknologi konferensi video secara daring banyak dikembangkan, seperti Zoom, MS Teams, Google Meet, dan lain sebagainya. Dengan penggunaan teknologi tersebut, pengguna dapat saling berinteraksi secara visual dan verbal. Umumnya peserta konferensi video dengan mudah menangkap sinyal verbal dari lawan bicara. Namun untuk menginterpretasikan sinyal visual, peserta memerlukan proses analisis yang lebih kompleks. Makalah ini membahas tentang sistem identifikasi emosi secara otomatis dari peserta konferensi video. Sistem yang dikembangkan dapat diterapkan pada semua jenis teknologi konferensi video, baik versi rekaman maupun versi langsung. Aplikasi yang dikembangkan dapat digunakan untuk keperluan umum, seperti dalam rapat kelompok, kuliah, webinar, dan jenis rapat lainnya. Dalam eksperimen yang dilakukan, terdapat empat kelas emosi manusia yang digunakan, yaitu netral, senang, sedih, dan marah. Sistem melakukan deteksi area wajah dalam citra dari video masukan dengan algoritma Viola-Jones, dan melakukan identifikasi emosi pada wajah yang terdeteksi menggunakan metode Convolutional Neural Network (CNN) dengan arsitektur VGG-16. Hasil eksperimen menunjukkan bahwa sistem mampu secara otomatis melakukan pendeteksian area wajah dengan tingkat akurasi sebesar 93.15% dan melakukan identifikasi emosi dengan akurasi sebesar 88.39% untuk data latih dan 70.17% untuk data pengujian.

 

Abstract

The COVID-19 pandemic has caused a shift in the form of communication between individuals and between groups. Oral communication between individuals is carried out with the help of online technology. Various online video conferencing technologies have been developed, such as Zoom, MS Teams, Google Meet, etc. With the use of this technology, users can interact with each other visually and verbally.  Generally, video conference participants can easily receive verbal signals from the speaker. However, a more complex analysis is required to interpret other signals such as visual signals from face, gesture, etc.This paper discusses an automatic emotion identification system of video conferencing participants. The developed system can be applied to all types of video conference technology, both recorded or live versions, The developed application can be used for general purpose, such as in group meetings, lectures, webinars, and other types of meetings. In the experiments, four classes of human emotion are examined, such as neutral, happy, angry, and sad. The system detects facial areas in video frames using the Viola-Jones algorithm and identifies the emotions on the detected faces using the Convolutional Neural Network (CNN) method with the VGG-16 architecture. The experimental results show that the proposed system is able to automatically detect facial areas with an accuracy of 93.15% and identify emotions from the detected faces with an accuracy of 88.39% for training data and 70.17% for test data. 

 

Downloads

Download data is not yet available.

Referensi

ANDIKA, L.A., PRATIWI, H., HANDAJANI, S.S. 2019. Klasifikasi penyakit pneumonia menggunakan metode convolutional neural network dengan optimasi adaptive momentum. Indonesian Journal of Statistics and Its Applications, 3(3), pp. 331-340.

BATOTENG, F.G., PASIAK, T.F. dan TICOALU, S.H.R., 2015. Gambaran musculi facialis pada ekspresi wajah dan emosi dengan menggunakan facial action coding system pada calon presiden Jokowi. Jurnal e-Biomedik, 3(1), pp.280-284.

GIANNOPOULUS, P., PERIKOS, I, HATZILYGEROUDIS I. 2018. Deep learning approaches for facial emotion recognition: a case study on FER-2013. Advances in Hybridization of Intelligent Methods, pp.1-16.

LEE, M., LEE Y.K., LIM M-T., KANG, T-K. 2020. Emotion recognition using convolutional neural network with selected statistical photoplethysmogram features, Applied Science, 10(10), 3501.

LIEBOLD, B., RICHTER, R., TEICHMANN, M., HAMKER, F., and OHLER, P. 2015. Human capacities for emotion recognition and their implications for computer vision. I-com, 14(2), pp.126-137.

LINA, TAKAHASHI, T., IDE, I. dan MURASE, H. 2009. Incremental unsupervised-learning of appearance manifold with view-dependent covariance matrix for face recognition from video sequences. IEICE Trans. on Information and Systems, E92-D(4), pp.642-652.

MELINTE, D.O. and VLADAREANU, L. 2020. Facial expressions recognition for human-robot interaction using deep convolutional neural networks with rectified adam optimizer. Sensors, 20(8), 2393.

OH, G., RYU, J., JEONG, E., YANG, J.H., HWANG, S., LEE, S., and LIM, S. 2021. Sensors, 21(6), 2166.

VIOLA, P. and JONES, M. 2001. Rapid Object Detection Using a Boosted Cascade of Simple Features. IEEE Conf. on Computer Vision and Pattern Recognition, 990517.

WANG, F., WU, S., ZHANG, W., XU, Z., ZHANG Y., WU C., and COLEMAN, S. 2020. Emotion recognition with convolutional neural network and EEG-based EFDMs. Neuropsychologia, 146(10), 107506.

YU, J. and ZHANG, W. 2021. Face mask wearing detection algorithm based on improved YOLO-v4. Sensors, 21(9), 3263.

Diterbitkan

31-10-2022

Terbitan

Bagian

Ilmu Komputer

Cara Mengutip

Identifikasi Emosi Pengguna Konferensi Video Menggunakan Convolutional Neural Network. (2022). Jurnal Teknologi Informasi Dan Ilmu Komputer, 9(5), 1047-1054. https://doi.org/10.25126/jtiik.2022955269