Analisis Sentimen Berbasis Aspek Pada Aplikasi Elektronik Survei Kepuasan Masyarakat (E-SKM) Jawa Tengah Menggunakan Indobert

Abstrak

Perkembangan tentang Natural Language Processing (NLP) semakin berkembang dengan pesat, salah satunya yaitu dalam bidang analisis sentimen. Dalam dunia bisnis, analisis sentimen sangat diperlukan untuk mengetahui dan memahami persepsi pelanggan terhadap produk yang telah didapatkan dari perusahaan. Hal yang sama juga berlaku pada sektor pemerintahan. Pemerintah sebagai penyelenggara pelayanan publik harus dapat mengetahui persepsi dari pengguna layanan terhadap penyelenggaraan pelayanan publik tersebut sebagai bahan perbaikan kualitas layanan. Aplikasi E-SKM merupakan aplikasi milik Pemerintah Provinsi Jawa Tengah yang saat ini hanya mengolah nilai survei layanan meliputi sembilan aspek pertanyaan, sedangkan data saran/masukan pada aplikasi ini belum dimanfaatkan lebih lanjut. Pada penelitian ini, dilakukan analisis sentimen pada data saran/masukan tersebut untuk menggali informasi tambahan yang dapat meningkatkan pemahaman pemerintah terhadap kepuasan pengguna layanan. Metode yang diusulkan yaitu menggunakan pendekatan analisis sentimen berbasis aspek menggunakan model IndoBERT. Pendekatan berbasis aspek ditujukan agar dapat diketahui aspek apa saja yang paling banyak dibicarakan oleh pengguna layanan, terutama yang berhubungan dengan sembilan aspek pertanyaan tersebut. Pada penelitian ini juga digunakan kamus leksikon sebagai pelabelan data, kemudian pendekatan berbasis aturan (rule-based) digunakan dalam proses klasifikasi aspek yang berkaitan dengan sembilan aspek pertanyaan. Selain itu, penelitian ini bertujuan untuk mengukur kemampuan model IndoBERT dalam proses klasifikasi sentimen dengan beberapa skenario yang berbeda. Dari hasil analisis, model evaluasi IndoBERT berjalan dengan baik. Hal ini dilihat dari nilai rata-rata parameter evaluasi seperti akurasi, precision, recall, dan f1-score mencapai 95%. Penerapan model ini memiliki kontribusi pada data aplikasi E-SKM untuk mendapatkan informasi sentimen dan aspek pada data pelayanan publik di pemerintahan yang dapat digunakan sebagai bahan pengambilan keputusan pada level manajemen kebijakan.

Abstract

The field of Natural Language Processing (NLP) is rapidly advancing, particularly in sentiment analysis. In the business world, sentiment analysis is essential for understanding customer perceptions of products they have received from a company. The same applies to the government sector, where it is crucial for public service providers to gain insight into user perceptions of public services as a basis for service improvement. The E-SKM application, owned by the Central Java provincial government, currently processes only service survey scores covering nine question aspects, while suggestions/feedback data from this application have not yet been fully utilized. In this study, sentiment analysis was conducted on the suggestion/feedback data to extract additional insights that could improve understanding of user satisfaction. The proposed method involves an aspect-based sentiment analysis approach using the IndoBERT model. This aspect-based approach aims to identify the aspects most frequently mentioned by service users, particularly those related to the nine survey aspects. A lexicon-based approach was used for data labeling, followed by a rule-based approach for classifying aspects associated with the nine questions. Additionally, this study aims to assess the performance of the IndoBERT model in sentiment classification across several scenarios. Evaluation results indicate that IndoBERT performs well, with average metrics such as accuracy, precision, recall, and F1-score reaching 95%. The implementation of this model contributes to the E-SKM application data by providing sentiment and aspect information on public service data within the government, which can be used as a basis for decision-making at the policy management level.