Game Edukasi Pengenalan Sistem Isyarat Bahasa Indonesia (SIBI) Menggunakan Myo Armband pada Arsitektur Client Server

Penulis

Rizky Yuniar Hakkun, M. Rizky, Buchori Rafsanjani

Abstrak

Komunikasi verbal adalah komunikasi umum digunakan sebagai sarana dalam memberikan informasi kepada orang lain. Disamping itu, untuk berkomunikasi dengan tuna rungu serta tuna wicara sarana komunikasi dapat melalui bahasa isyarat. Indonesia telah memiliki sistem bahasa isyarat yaitu Bahasa Isyarat Indonesia atau Sistim Isyarat Bahasa Indonesia (SIBI). Aplikasi pengenalan dan pembelajaran SIBI yang ada pada saat ini berupa aplikasi yang terikat pada platform. Aplikasi beserta proses pengenalan menjadi satu sehingga memiliki kebergantungan yang cukup tinggi. Penelitian ini bertujuan mengembangkan platform cloud sebagai backend untuk pengenalan gerakan tangan, sehingga memudahkan pengembang untuk membuat aplikasi pengenalan SIBI. Platform tersebut memiliki kemampuan untuk mengenal gerakan tangan yang diperoleh dari data sensor Myo Armband. Aplikasi yang berada sisi frontend dapat menggunakan fitur platform melalui Application Programming Interface (API) yang disediakan. Penelitian ini juga membangun aplikasi permainan edukasi yang menggunakan platform cloud tersebut sebagai implementasi dari penggunaan platform. Hasil pengujian terhadap platform yang dilakukan menghasilkan kemampuan pengenalan secara real-time dari satu atau lebih client secara simultan. Pada uji 5 client request bersamaan secara simultan, waktu yang dibutuhkan rerata 0.1107333 detik per request pada latency jaringan rerata 36.7 ms.   

Abstract

Verbal communication is a general communication used in providing information to other people. On the other hand, to communicate with deaf and speech impaired people can use sign language. Indonesia has a sign language system called Indonesian Sign Language or Indonesian Sign Language System (SIBI). The current SIBI introduction and learning application is an application tied to the platform. Application, along with the recognition process, is combined so that it has a high enough dependence. This study aims to develop a cloud platform as a backend for hand gesture recognition, making it easier for developers to create SIBI recognition applications. The platform can recognize hand movements obtained from Myo Armband sensor data. Applications on the front-end side can use the platform features through the provided Application Programming Interface (API). This study also builds an educational game application that uses the cloud platform to implement platform usage. The results of the platform's testing carried out resulted in real-time recognition capabilities from one or more clients simultaneously. In the five simultaneous client requests test, the average time needed is 0.12654 seconds per request at a mean network latency of 36.7 ms.


 

 

Teks Lengkap:

PDF

Referensi


ANGGRAENI, M., SARINASTITI, W., & WATI, S., 2019. Indonesian Sign Language (SIBI) Vocabulary Learning Media Design Based on Augmented Reality for Hearing-Impaired Children. Jurnal EECCIS, 13(3), pp.139-144.

HAKKUN, R.Y., & BAHARUDDIN, A., 2015, September. Sign language learning based on android for deaf and speech impaired people. In 2015 International Electronics Symposium (IES) (pp. 114-117). IEEE.

HARDIYANTI, M., LALILI, U., & MUNIF, A., 2013. Rancang Bangun Aplikasi Pembelajaran Pengucapan bagi Penderita Tunarungu Menggunakan Teknologi Kinect. Institut Teknologi Sepuluh Nopember, Surabaya.

NEUMANN, A., LARANJEIRO, N., & BERNARDINO, J., 2018. An analysis of public REST web service APIs. IEEE Transactions on Services Computing.

POEDJIASTOETI, S., & LILIASARI, L., 2016. Pembelajaran Kimia Berbantuan Multimedia untuk Siswa Tunarungu SMALB-B. Jurnal Ilmu Pendidikan, 17(1).

PRADIKJA, M.H., TOLLE, H., & BRATA, K.C., 2018. Pengembangan Aplikasi Pembelajaran Bahasa Isyarat Berbasis Android Tablet. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN, 2548, p.964X.

RAHAGIYANTO, A., 2019. Identifikasi Ekstraksi Fitur untuk Gerakan Tangan dalam Bahasa Isyarat (SIBI) Menggunakan Sensor MYO Armband. MATRIK: Jurnal Manajemen, Teknik Informatika dan Rekayasa Komputer, 19(1), pp.127-137.

RAHAGIYANTO, A., BASUKI, A., & SIGIT, R., 2017. Moment Invariant Features Extraction for Hand Gesture Recognition of Sign Language based on SIBI. EMITTER International Journal of Engineering Technology, 5(1), pp.119-138.

RAHAGIYANTO, A., BASUKI, A., SIGIT, R., ANWAR, A., & ZIKKY, M., 2017, November. Hand Gesture Classification for Sign Language Using Artificial Neural Network. In 2017 21st International Computer Science and Engineering Conference (ICSEC) (pp. 1-5). IEEE.

UTAMI, F. N., & SALAMAH, U. 2019. Aplikasi Augmented Reality Pembelajaran Huruf Hijaiyah dalam Bahasa Isyarat Arab dan Indonesia. Jurnal RESTI, Vol.3 No. 1 pp. 1-10

WINALDI, I., & SETYAWAN, A., 2018. Aplikasi Pengenalan Bahasa Isyarat Untuk Penyandang Tuna Tungu Berbasis Android (Studi Kasus: SLB Madina Serang). JSiI (Jurnal Sistem Informasi), 5(2).

ZIKKY, M., AR, A. F., BASUKI, A., & HAKKUN, R. Y. (2017). Game Tebak Gambar Sistem Isyarat Bahasa Indonesia (SIBI) dengan Nuansa Augmented Reality Menggunakan Perangkat Interaksi Sensor Leap Motion Controller. PROSIDING SNITT POLTEKBA, 2(1), 82-86.




DOI: http://dx.doi.org/10.25126/jtiik.2021864149