Komparasi Metode Klasifikasi untuk Deteksi Ekspresi Wajah Dengan Fitur Facial Landmark
DOI:
https://doi.org/10.25126/jtiik.2021834434Abstrak
Human machine interaction, khususnya pada facial behavior mulai banyak diperhatikan untuk dapat digunakan sebagai salah satu cara untuk personalisasi pengguna. Kombinasi ekstraksi fitur dengan metode klasifikasi dapat digunakan agar sebuah mesin dapat mengenali ekspresi wajah. Akan tetapi belum diketahui basis metode klasifikasi apa yang tepat untuk digunakan. Penelitian ini membandingkan tiga metode klasifikasi untuk melakukan klasifikasi ekspresi wajah. Dataset ekspresi wajah yang digunakan pada penelitian ini adalah JAFFE dataset dengan total 213 citra wajah yang menunjukkan 7 (tujuh) ekspresi wajah. Ekspresi wajah pada dataset tersebut yaitu anger, disgust, fear, happy, neutral, sadness, dan surprised. Facial Landmark digunakan sebagai ekstraksi fitur wajah. Model klasifikasi yang digunakan pada penelitian ini adalah ELM, SVM, dan k-NN. Masing masing model klasifikasi akan dicari nilai parameter terbaik dengan menggunakan 80% dari total data. 5- fold cross-validation digunakan untuk mencari parameter terbaik. Pengujian model dilakukan dengan 20% data dengan metode evaluasi akurasi, F1 Score, dan waktu komputasi. Nilai parameter terbaik pada ELM adalah menggunakan 40 hidden neuron, SVM dengan nilai = 105 dan 200 iterasi, sedangkan untuk k-NN menggunakan 3 k tetangga. Hasil uji menggunakan parameter tersebut menunjukkan ELM merupakan algoritme terbaik diantara ketiga model klasifikasi tersebut. Akurasi dan F1 Score untuk klasifikasi ekspresi wajah untuk ELM mendapatkan nilai akurasi sebesar 0.76 dan F1 Score 0.76, sedangkan untuk waktu komputasi membutuhkan waktu 6.97´10-3 detik.
Abstract
Human-machine interaction, especially facial behavior is considered to be use in user personalization. Feature extraction and classification model combinations can be used for a machine to understand the human facial expression. However, which classification base method should be used is not yet known. This study compares three classification methods for facial expression recognition. JAFFE dataset is used in this study with a total of 213 facial images which shows seven facial expressions. The seven facial expressions are anger, disgust, fear, happy, neutral, sadness, dan surprised. Facial Landmark is used as a facial component features. The classification model used in this study is ELM, SVM, and k-NN. The hyperparameter of each model is searched using 80% of the total data. 5-fold cross-validation is used to find the hyperparameter. The testing is done using 20% of the data and evaluated using accuracy, F1 Score, and computation time. The hyperparameter for ELM is 40 hidden neurons, SVM with = 105 and 200 iteration, while k-NN used 3 k neighbors. The experiment results show that ELM outperforms other classification methods. The accuracy and F1 Score achieved by ELM is 0.76 and 0.76, respectively. Meanwhile, time computation takes 6.97 10-3 seconds.
Downloads
Referensi
AGGARWAL, C.C., 2015. Data mining: the textbook. Switzerland: Springer International Publishing.
BOSER, B.E., GUYON, I.M. and VAPNIK, V.N., 1992, July. A training algorithm for optimal margin classifiers. In Proceedings of the fifth annual workshop on Computational learning theory (pp. 144-152).
BUSSO, C. and JAIN, J., 2012. Advances in multimodal tracking of driver distraction. In Digital Signal Processing for In-Vehicle Systems and Safety (pp. 253-270). Springer, New York, NY.
BLOM, P.M., BAKKES, S., Tan, C.T., WHITESON, S., ROIJERS, D., VALENTI, R. and GEVERS, T., 2014, September. Towards personalised gaming via facial expression recognition. In Tenth Artificial Intelligence and Interactive Digital Entertainment Conference.
COVER, T. and HART, P., 1967. Nearest neighbor pattern classification. IEEE transactions on information theory, 13(1), pp.21-27.
DE LA TORRE, F. and COHN, J.F., 2011. Guide to Visual Analysis of Humans: Looking at People, chapter Facial Expression Analysis. Springer, 9, pp.31-33.
DINO, H.I. and ABDULRAZZAQ, M.B., 2019, April. Facial expression classification based on SVM, KNN and MLP classifiers. In 2019 International Conference on Advanced Science and Engineering (ICOASE) (pp. 70-75). IEEE.
EKMAN, P., FRIESEN, W.V. and ELLSWORTH, P., 2013. Emotion in the human face: Guidelines for research and an integration of findings (Vol. 11). Elsevier.
GIRARD, J.M., COHN, J.F., MAHOOR, M.H., MAVADATI, S. and ROSENWALD, D.P., 2013, April. Social risk and depression: Evidence from manual and automatic facial expression analysis. In 2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG) (pp. 1-8). IEEE.
HUANG, G.B., ZHU, Q.Y. and SIEW, C.K., 2006. Extreme learning machine: theory and applications. Neurocomputing, 70(1-3), pp.489-501.
KAZEMI, V. and SULLIVAN, J., 2014. One millisecond face alignment with an ensemble of regression trees. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1867-1874).
MARTINEZ, B. and VALSTAR, M.F., 2016. Advances, challenges, and opportunities in automatic facial expression recognition. In Advances in face detection and facial image analysis (pp. 63-100). Springer, Cham.
MCDUFF, D., El KALIOUBY, R., DEMIRDJIAN, D. and PICARD, R., 2013, April. Predicting online media effectiveness based on smile responses gathered over the internet. In 2013 10th IEEE international conference and workshops on automatic face and gesture recognition (FG) (pp. 1-7). IEEE.
MCDANIEL, B., D'MELLO, S., KING, B., CHIPMAN, P., TAPP, K. and GRAESSER, A., 2007. Facial features for affective state detection in learning environments. In Proceedings of the Annual Meeting of the Cognitive Science Society (Vol. 29, No. 29).
MEHRABIAN, A., 2008. Communication without words. Communication theory, 6, pp.193-200.
NUGRAHAENI, R.A. and MUTIJARSA, K., 2016, August. Comparative analysis of machine learning KNN, SVM, and random forests algorithm for facial expression classification. In 2016 International Seminar on Application for Technology of Information and Communication (ISemantic) (pp. 163-168). IEEE.
SOHAIL, A.S.M. and BHATTACHARYA, P., 2007, March. Classification of facial expressions using k-nearest neighbor classifier. In International Conference on Computer Vision/Computer Graphics Collaboration Techniques and Applications (pp. 555-566). Springer, Berlin, Heidelberg.
WU, Y. and JI, Q., 2019. Facial landmark detection: A literature survey. International Journal of Computer Vision, 127(2), pp.115-142.
Unduhan
Diterbitkan
Terbitan
Bagian
Lisensi
Artikel ini berlisensi Creative Common Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)
Penulis yang menerbitkan di jurnal ini menyetujui ketentuan berikut:
- Penulis menyimpan hak cipta dan memberikan jurnal hak penerbitan pertama naskah secara simultan dengan lisensi di bawah Creative Common Attribution-ShareAlike 4.0 International (CC BY-SA 4.0) yang mengizinkan orang lain untuk berbagi pekerjaan dengan sebuah pernyataan kepenulisan pekerjaan dan penerbitan awal di jurnal ini.
- Penulis bisa memasukkan ke dalam penyusunan kontraktual tambahan terpisah untuk distribusi non ekslusif versi kaya terbitan jurnal (contoh: mempostingnya ke repositori institusional atau menerbitkannya dalam sebuah buku), dengan pengakuan penerbitan awalnya di jurnal ini.
- Penulis diizinkan dan didorong untuk mem-posting karya mereka online (contoh: di repositori institusional atau di website mereka) sebelum dan selama proses penyerahan, karena dapat mengarahkan ke pertukaran produktif, seperti halnya sitiran yang lebih awal dan lebih hebat dari karya yang diterbitkan. (Lihat Efek Akses Terbuka).
