Implementasi Algoritma Catboost dan Shapley Additive Explanations (Shap) dalam Memprediksi Popularitas Game Indie pada Platform Steam

Abstrak

Meningkatnya popularitas game indie di pasar game mewajibkan para pengembang game indie bersaing untuk membuat game nya diminati oleh para pengguna dengan berbagai cara agar dapat meningkatkan potensi popularitasnya. Penelitian sebelumnya telah mencoba menggunakan algoritma logistic regression dan random forest untuk meramalkan popularitas game indie di platform Steam, namun hasil model menggunakan berbagai macam metode masih rendah. Selain itu masih belum memberikan pengetahuan yang cukup kepada pengembang tentang apa yang mempengaruhi popularitasnya.Karena data game indie yang diambil dari platform steam yang digunakan dalam studi ini memiliki tipe kategorikal dan non-linear, maka digunakan pendekatan lain dengan memanfaatkan Algoritma CatBoost yang dalam beberapa penelitian lain terbukti memiliki kinerja dan kemampuan yang lebih baik dalam menangani data kategorikal dan non-linear. Metode Shapley Additive Explanations (SHAP) juga digunakan untuk mengartikan kontribusi dan pengaruh dari setiap fitur terhadap hasil prediksi. Hasil evaluasi pada data game indie dari platform steam hasil scraping yang terdiri dari 52627 baris dan 11 fitur menunjukkan bahwa model CatBoost memiliki akurasi 81%, presisi 0.83, recall 0.77, F1-score 0.80 menunjukkan kemampuan model yang seimbang dalam membedakan kelas popularitas. Hal tersebut didukung dengan nilai AUC 0.88 dimana kurva cenderung mendekati 90 derajat. Metode SHAP mengungkapkan pengaruh fitur terhadap hasil prediksi. Keberadaan kategori steam trading cards, genre RPG dan kompartibel pada sistem operasi mac akan meningkatkan popularitas. Hal tersebut juga terjadi pada semakin tinggi harga dan achievements yang disediakan. Namun keberadaan genre casual akan mengurangi popularitas. Dengan hasil penelitian ini diharapkan dapat membantu pengembang indie dalam mengetahui faktor yang berkemungkinan mempengaruhi popularitas game mereka.

Abstract

The increasing popularity of indie games in the gaming market requires indie game developers to compete to make their games attractive to users in various ways in order to increase their potential popularity. Previous research has tried to use logistic regression and random forest algorithms to forecast the popularity of indie games on the Steam platform, However, the model results using various methods are still low. Since the indie game data taken from the steam platform used in this study is categorical and non-linear, another approach is used by utilizing the CatBoost Algorithm which in several other studies has proven to have better performance and ability in handling categorical and non-linear data. The Shapley Additive Explanations (SHAP) method is also used to interpret the contribution and influence of each feature to the prediction results. Evaluation results on indie game data from the steam platform scraping results consisting of 52627 rows and 11 features show that the CatBoost model has 81% accuracy, precision 0.83, recall 0.77, F1-score 0.80 indicating a balanced model ability in distinguishing popularity classes. This is supported by the AUC value of 0.88 where the curve tends to approach 90 degrees. The SHAP method reveals the influence of features on prediction results. The existence of steam trading cards category, RPG genre and compatibility on mac operating system will increase the popularity. This also happens with the higher prices and achievements provided. However, the presence of the casual genre will reduce popularity. With the results of this study, it is hoped that it can help indie developers in knowing the factors that are likely to affect the popularity of their games.