Analisis Perbandingan Algoritma Machine Learning dan Deep Learning untuk Klasifikasi Citra Sistem Isyarat Bahasa Indonesia (SIBI)

Abstrak

Terdapat orang yang tidak mampu berkomunikasi secara verbal yang menyebabkan kesulitan dalam berkomunikasi. Orang tersebut mengalami gangguan seperti tuli atau bisu. Mereka hanya dapat berkomunikasi melalui bahasa isyarat salah satunya adalah Sistem Isyarat Bahasa Indonesia (SIBI). Pengenalan Bahasa Isyarat adalah permasalahan klasifikasi yang kompleks untuk dipecahkan. Setiap bahasa isyarat memiliki sintaks dan tata bahasanya sendiri. Computer vision adalah sebuah Teknik yang digunakan komputer untuk melakukan klasifikasi citra. Computer vision membantu pengenalan citra SIBI secara otomatis sehingga memudahkan orang normal berkomunikasi dengan orang tuli atau bisu. Pada penelitian sebelumnya belum ada yang melakukan perbandingan algoritma klasifikasi machine learning dan deep learning untuk pengenalan SIBI. Perbandingan penting dilakukan untuk melihat efektifitas tiap algoritma klasifikasi dalam hal performa klasifikasi dan waktu komputasi. Algoritma klasifikasi machine learning memiliki waktu komputasi lebih rendah sedangkan Deep learning memiliki performa klasifikasi lebih tinggi. Penelitian ini menganalisis time to performance dari algoritma machine learning dan deep learning dalam melakukan klasifikasi citra SIBI huruf A hingga Z. K-Nearest Neighbors (KNN), Support Vector Machine (SVM), dan Convolutional neural network (CNN) dengan transfer learning adalah tiga algorimta klasifikasi populer yang dibandingkan dalam penelitian ini. Arsitektur transfer learning yang digunakan adalah Xception, ResNet50, VGG15, dan MobileNetV2. Dari hasil penelitian yang dilakukan menggunakan 5 cross validation, CNN dengan arsitektur Xception memiliki nilai F1 Score tertinggi yaitu 99,57% dengan waktu training rata-rata 1.387 detik. Sedangkan KNN dengan nilai K = 1 memiliki waktu training tercepat yaitu 0,03 detik dan memiliki nilai F1 Score 86,95%.

Abstract

The person who has a disorder such as deaf or dumb are unable to communicate verbally, which causes difficulties in communicating. They can only communicate through sign language, one of which is the Indonesian Language Sign System or Sistem Isyarat Bahasa Indonesia (SIBI). Sign Language Recognition is a complex classification problem to solve. Each sign language has its syntax and grammar. Computer vision is a technique used by computers to classify images. Computer vision helps automatically recognize SIBI images, making it easier for normal people to communicate with deaf or mute people. In previous studies, no one has compared machine learning and deep learning classification algorithms for the classification of SIBI. Therefore, a meaningful comparison is made to see each classification algorithm's effectiveness in classification performance and computation time. Machine learning classification algorithms have lower computation time, while Deep learning has higher classification performance. This study analyzes the time to performance of machine learning and deep learning algorithms in classifying SIBI images of letters A to Z. K-Nearest Neighbors (KNN), Support Vector Machine (SVM), and Convolutional neural network (CNN) with transfer learning are three popular classification algorithms compared in this study. The transfer learning architectures used are Xception, ResNet50, VGG15, and MobileNetV2. The results of research conducted using 5 cross-validation, CNN with the Xception architecture has highest F1 Score of 99.57%, with an average training time of 1.387 seconds. KNN, with a value of K = 1, has the fastest training time of 0.03 seconds and an F1 Score of 86.95%.