Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential secara Real Time

Abstrak

Bahasa isyarat dengan menggunakan gerakan tangan biasanya dilakukan oleh tuna rungu dan tuna wicara. Bahasa isyarat yang digunakan di Indonesia adalah SIBI (Sistem Isyarat Bahasa Indonesia). Namun, penggunaan bahasa isyarat tangan tidak selalu di mengerti oleh manusia normal sehingga dibutuhkan perangkat tambahan yang dapat mempermudah dalam menerjemahkan suatu isyarat. Perangkat tambahan yang dikembangkan dalam penelitian ini melibatkan teknologi visi komputer deep learning sehingga menghasilkan tools untuk menerjemahkan bahasa isyarat tangan. Dalam penelitian ini, gambar isyarat tangan di capture menggunakan webcam kemudian dilakukan pre-processing dengan mengubah gambar ke dalam bentuk HSV. Gambar yang digunakan dalam penelitian berupa citra sebanyak 26 kelas huruf alfabet SIBI dan 3 kelas tambahan, dengan masing-masing kelas memiliki 1000 gambar. Kemudian dilakukan cropping dan thresholding dengan menempatkan isyarat tangan yang berbentuk huruf  kedalam kotak yang merupakan area ROI untuk memudahkan pengenalan. Teknologi visi komputer deep learning convolutional neural network (CNN) digunakan untuk feature learning dan mengklasifikasi isyarat tangan pada sebuah obyek. Untuk menguji metode CNN, digunakan berbagai variasi cahaya sebesar 10-200 lux, serta jarak dari tangan ke webcam 50-200 cm. Hasil penelitian dengan metode CNN pada citra isyarat tangan memberikan akurasi sebesar 92%, presisi 91,96%, sensitivitas 91,9%, spesivisitas 91,96% dan f1 score 91,9%.

Abstract

Sign language is usually used by deaf and speech impaired persons. The Sistem Isyarat Bahasa Indonesia (SIBI) is a hand signal language used in Indonesia. The use of hand signals is not always understood by normal humans, such that additional devices are needed to make sign translation easier. The additional device in this study is developed using deep learning and computer vision technology to produce a hand signal translation tool. This study uses 29 sign images for a dataset, consisting of 26 letters of the alphabet and 3 additional signs, namely space, delete, and unclassified. Pre-processing is performed by converting the image into HSV, cropping, and thresholding to make easy recognition. The convolutional neural network (CNN) method is then used as a learning feature and hand signals classifier on an object. The testing phase is performed on various lights ranging from 10-200 lux and the hand distance to the webcam is about 50-200 cm. Experimental results show that the CNN method on the hand signal image could provide an accuracy of 97.2%, precision of 91.96%, sensitivity of 91.9%, specificity of 91.96%, and F1 score of 91.9%, respectively.