Analisis Sentimen Ulasan Aplikasi Ruangguru Menggunakan Indobert dan Explainable AI (SHAP) Uuntuk Evaluasi Kepuasan Pengguna


Muhammad Aswar Firmansyah(1*); Dolly Indra(2); Abdul Rachman Manga(3);

(1) Universitas Muslim Indonesia
(2) Universitas Muslim Indonesia
(3) Universitas Muslim Indonesia
(*) Corresponding Author

  

Abstract


Ulasan pengguna pada Google Play Store merupakan salah satu sumber informasi yang dapat digunakan untuk mengevaluasi tingkat kepuasan pengguna terhadap aplikasi Ruangguru. Banyaknya ulasan dalam bentuk teks tidak terstruktur menyebabkan proses analisis secara manual menjadi kurang efektif, sehingga diperlukan metode analisis sentimen yang mampu mengklasifikasikan opini pengguna sekaligus menjelaskan faktor yang memengaruhi hasil klasifikasi. Penelitian ini bertujuan menganalisis sentimen ulasan aplikasi Ruangguru menggunakan IndoBERT dan menjelaskan hasil prediksi model menggunakan Explainable Artificial Intelligence (XAI) dengan metode SHAP (SHapley Additive exPlanations). Sebanyak 10.000 ulasan dikumpulkan dari Google Play Store menggunakan Google Play Scraper, kemudian melalui tahap preprocessing sehingga diperoleh 8.380 ulasan yang memenuhi kriteria. Dataset tersebut terdiri atas 6.610 ulasan positif (78,88%), 1.366 ulasan negatif (16,30%), dan 404 ulasan netral (4,82%). Ketidakseimbangan kelas ditangani menggunakan Weighted Cross-Entropy Loss pada proses fine-tuning IndoBERT. Dataset selanjutnya dibagi menjadi 6.704 data pelatihan, 838 data validasi, dan 838 data pengujian. Model menghasilkan akurasi sebesar 88,42%, dengan Macro Precision 64,72%, Macro Recall 66,23%, dan Macro F1-score 65,44%. Kinerja terbaik diperoleh pada kelas positif dengan F1-score 95,35%, diikuti kelas negatif sebesar 74,47% dan kelas netral sebesar 26,51%. Interpretasi menggunakan SHAP menunjukkan kontribusi kata atau token yang mendorong model dalam menentukan sentimen positif, netral, maupun negatif. Pada data pengujian, model memprediksi 650 ulasan (77,57%) sebagai positif, 145 ulasan (17,30%) sebagai negatif, dan 43 ulasan (5,13%) sebagai netral, yang menunjukkan bahwa ulasan pengguna secara umum didominasi oleh pengalaman positif terhadap aplikasi Ruangguru. Dengan demikian, kombinasi IndoBERT, Weighted Cross-Entropy Loss, dan SHAP dapat digunakan untuk mengklasifikasikan sentimen sekaligus memberikan interpretasi yang lebih transparan sebagai dasar evaluasi kepuasan pengguna aplikasi Ruangguru

Keywords


Analisis Sentimen; Ruangguru; IndoBERT; SHAP; Explainable Artificial Intelligence; Weighted Cross-Entropy Loss; Kepuasan Pengguna

  
  

Full Text:

XML
  

Article Metrics

Abstract view: 0 times
XML view: 0 times 		     

Digital Object Identifier

doi  https://doi.org/10.33096/linier.v3i3.3878 		  

Cite

How to cite item

References


N. Izzah and R. Pitri, “Sentiment Analysis Of Review Data Of The Ruangguru Online Learning Application Using The C5 . 0 Algorithm Keywords : Ruangguru , Sentiment Analysis , Classification , C5 . 0 Algorithm, ALGORITHM Keywords : Ruangguru , Sentiment Analysis , Classification ,” vol. 3, no. 2, pp. 76–83, 2023.

Aqifah et al., “Analisis Pengukuran Kualitas Website FIKOM Dengan Menggunakan,” vol. 3, no. 1, pp. 23–33, 2026.

M. Fadhli, A. Indrani, and L. Nur, “Analisis Sentimen Review Aplikasi Traveloka di Google Play Store Menggunakan Metode Naïve Bayes,” vol. 2, no. 4, pp. 543–550, 2025.

M. Faiq, P. Lestari, L. Belluano, and H. Darwis, “Analisis Sentimen Review Aplikasi di Google Play Store Menggunakan Random Forest,” vol. 2, no. 3, pp. 380–388, 2025.

D. Sofia and P. Sekarpuji, “Penerapan Metode Stacking Ensemble Untuk Analisis,” vol. 8, pp. 248–257, 2025.

M. Azhari and L. Nur, “Analisis Sentimen Pengguna Aplikasi Gopay Berdasarkan Ulasan Pada Play Store Menggunakan Metode Naïve Bayes,” vol. 3, no. 1, pp. 57–64, 2026.

Y. A. Rohim and V. Atina, “Analisis Sentimen terhadap Ulasan Aplikasi Ruangguru Menggunakan Algoritma Naive Bayes,” vol. 7, pp. 5918–5926, 2024.

M. R. Fahlevvi, “Sentiment Analysis And Topic Modeling on User Reviews of Online Tutoring Applications Using Support Vector Machine and Latent Dirichlet Allocation,” vol. 02, no. 02, pp. 142–155, 2022.

R. Mas, R. Wahyu, P. Kusuma, and W. Yustanti, “Analisis Sentimen Customer Review Aplikasi Ruang Guru dengan Metode BERT ( Bidirectional Encoder Representations from Transformers ),” vol. 02, no. 03, pp. 55–62, 2021.

B. Wilie et al., “IndoNLU : Benchmark and Resources for Evaluating Indonesian Natural Language Understanding,” pp. 843–857, 2020.

F. Koto and T. Baldwin, “IndoLEM and IndoBERT : A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP,” pp. 757–770, 2020.

F. F. R. Agnia Suci Rizkia, Wufron, “Sentiment Analysis of Coretax : A Comparison of Manual , Transformers- Based , and Lexicon-Based Data Labeling on IndoBERT Performance Analisis Sentimen Coretax : Perbandingan Pelabelan Data Manual ,” vol. 5, no. July, pp. 1037–1048, 2025.

G. Rullyana and T. Rizki, “Analisis Sentimen Ulasan Pengguna Indonesia terhadap Platform Pembelajaran Digital Ruangguru Menggunakan Algoritma Leksikal Multilingual,” vol. 9, no. 2, pp. 263–275, 2025.

M. F. Abdullah, A. Agus, and A. Miftachuddin, “Analisis Sentimen Review Aplikasi Ruang Guru Menggunakan Multinomial Naïve Bayes,” vol. 01, no. 01, pp. 10–18, 2025.

F. Fandi, D. Imaniawan, R. Wijianto, V. Maarif, and J. D. Mulyanto, “Implementation of Zero-Shot DeBERTa and IndoBERT for Aspect-Based Sentiment Analysis on Reviews of Five LLM Applications,” vol. 7, no. 1, 2026.

G. K. Afra Rihadatul Aisy, “Analisis Sentimen Terhadap Ulasan Google Play Store Aplikasi,” vol. 7, no. 3, pp. 2127–2135, 2025, doi: 10.47065/bits.v7i3.8745.

A. F. Firman Akbar, Purnawansyah, “Analisis Sentimen Pengguna Sosial Media X Terhadap Penundaan Pengangkatan CPNS dan P3K di Indonesia,” vol. 3, no. 1, pp. 65–72, 2026.

D. D. Purwanto, “Empirical Evaluation of IndoBERT and LSTM for Sentiment Analysis of Tourism Reviews : A Data-Driven Study on Kenjeran Park,” vol. 7, no. 1, pp. 463–474, 2026.

R. Hamonangan, R. D. Dana, Y. A. Wijaya, and O. Nurdiawan, “Implementation of IndoBERT for Sustainability Impact Assessment in University Collaboration Information Systems,” vol. 7, no. 3, pp. 2506–2516, 2026.

A. Noviana, M. Pusparisti, and P. Pamungkas, “Penerapan Pendekatan Adjustment Factor dalam Analisis Sentimen Kepuasan Konsumen Menggunakan Indo-BERT Application of the Adjustment Factor Approach in Consumer Satisfaction Sentiment Analysis Using Indo-BERT,” vol. 7, no. 3, pp. 241–252, 2026.

R. Zhang, A. Ullah, K. U. Khan, and M. N. Khan, “Evaluating mobile app performance through sentiment analysis with SimCLR and MobileBERT,” 2026, doi: 10.1371/journal.pone.0349555.

D. L. Method, “Sentiment Analysis of Pospay Application Reviews Using The Bert Deep Learning Method,” vol. 18, no. 2, pp. 173–183, 2025.


Refbacks

  • There are currently no refbacks.


Copyright (c) 2026 Muhammad Aswar Firmansyah, Dolly Indra, Abdul Rachman Manga

Creative Commons License
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.



Linier: Literatur Informatika dan Komputer indexed by

Google_Scholar_logogaruda_logoCROSSREF_logoROAD_logo

ISSN 3063-2218
Published by Prodi Teknik Informatika FIK Universitas Muslim Indonesia
Website :  https://jurnal.fikom.umi.ac.id/index.php/LINIER/
Email : linier@umi.ac.id

 This work is licensed under a Creative Commons Attribution-ShareAlike 4.0