Kombinasi Intent Classification dan Named Entity Recognition pada Data Berbahasa Indonesia dengan Metode Dual Intent and Entity Transformer

Abstrak

Pelayanan pelanggan atau customer service adalah sebuah bentuk upaya pemenuhan keinginan dan kebutuhan pelanggan yang disertai dengan ketepatan penyampaian sesuai standar perusahaan demi memenuhi harapan pelanggan. Pada beberapa kasus seperti layanan perbankan, diperlukan layanan pelanggan yang dapat diakses setiap saat dengan ketepatan dan daya tanggap tinggi. Atas kebutuhan pelayanan dengan kualitas tinggi ini, perusahaan dapat mengaplikasikan konsep pelayanan prima. Salah satu penerapan konsep kecerdasan buatan demi pelaksanaan pelayanan prima adalah penggunaan chatbot, yang memerlukan metode yang tepat bagi proses klasifikasi intensi pengguna maupun Named Entity Recognition (NER). Salah satu kekurangan dari pelaksanaan klasifikasi intensi dan NER secara terpisah terletak pada representasi numerik yang digunakan dalam tiap model. Meski menggunakan data latih dan arsitektur model yang serupa, model dapat menghasilkan representasi numerik yang berbeda dalam tahap fiturisasi, sehingga berpotensi mengurangi tingkat generalisasi model. Untuk mengatasi masalah tersebut, klasifikasi intensi dan NER dapat digabungkan dengan menggunakan mekanisme multi-task learning dalam bentuk model Dual Intent and Entity Transformer (DIET). Penelitian dilakukan dengan memanfaatkan data sekunder dari Helpdesk TIK UB, merancang model DIET menggunakan pustaka PyTorch dan Transformers, lalu mengevaluasi model DIET menggunakan f1-score. Kombinasi hyperparameter terbaik yang didapatkan adalah warm-up step sebesar 70, early stopping patience sebesar 15, weight decay sebesar 0,01, bobot loss NER sebesar 0,6, dan bobot loss klasifikasi intensi berupa 0,4. Kombinasi hyperparameter yang telah diperoleh menghasilkan kapabilitas yang berbeda apabila terdapat perubahan dalam data yang digunakan, karena kapabilitas model DIET baik dalam melakukan klasifikasi intensi maupun NER sangat bergantung terhadap data.

Abstract

Customer service is a way to fulfill the wants and needs of customers accompanied by the accuracy of delivery according to company standards in order to meet customer expectations. In some cases such as banking services, customer service is needed that can be accessed at any time with high accuracy and responsiveness. For this high-quality service requirement, companies can implement the concept of excellent service. One application of artificial intelligence for service excellence is the use of a chatbot, which requires an appropriate method for the classification of user intent and Named Entity Recognition (NER). One of the drawbacks of performing intent classification and NER separately lies in the different numerical representations used in each model. Despite using similar training data and model architecture, the models may produce different numerical representations in the featurization stage, potentially reducing the generalization ability of the model. To overcome this problem, intent and NER classification can be combined using a multi-task learning mechanism in the form of a Dual Intent and Entity Transformer (DIET) model. The research was conducted by utilizing secondary data from Helpdesk TIK UB, designing DIET models using PyTorch and Transformers libraries, then evaluating DIET models using f1-score. The best hyperparameter combination obtained is a warm-up step of 70, early stopping patience of 15, weight decay of 0.01, NER loss weight of 0.6, and intent classification loss weight of 0.4. The combination of hyperparameters that have been obtained produce different capabilities if there are changes in the data that is used because the capabilities of the DIET model in both intention and NER classification are highly dependent on the data.