Analisis Pengaruh Penanganan Imbalanced Dataset Terhadap Kinerja Model Klasifikasi Kualitas Peta Konsep Menggunakan Algoritma Support Vector Machine

Abstract

Penilaian kualitas peta konsep sering digunakan untuk melihat pemahaman mahasiswa secara lebih terstruktur, namun proses penilaiannya masih banyak dilakukan secara manual sehingga memerlukan waktu dan berpotensi tidak konsisten. Tantangan lain yang muncul adalah ketidakseimbangan jumlah data antar kelas kualitas, yang dapat membuat model klasifikasi cenderung bias pada kelas mayoritas. Penelitian ini bertujuan menguji pengaruh SMOTE ENN terhadap kinerja Support Vector Machine dalam mengklasifikasikan kualitas proposisi peta konsep. Data yang digunakan berjumlah 691 proposisi dengan empat kelas kualitas, di mana kelas 3 mendominasi sebesar 64,3 persen. Teks diproses melalui tahap pra pemrosesan, kemudian direpresentasikan menggunakan TF IDF dengan ukuran kosakata 321 fitur. Data dibagi menjadi pelatihan dan pengujian dengan rasio 80 banding 20. Eksperimen dilakukan pada dua skenario, yaitu SVM tanpa penyeimbangan sebagai baseline, serta SVM dengan SMOTE ENN yang diterapkan pada data pelatihan sehingga ukuran data pelatihan meningkat dari 552 menjadi 1309 sampel dan distribusi kelas menjadi lebih seimbang. Hasil pengujian menunjukkan bahwa SMOTE ENN meningkatkan recall rata rata antar kelas dari 0,6479 menjadi 0,7149 dan F1 Score rata rata antar kelas dari 0,6806 menjadi 0,7297, serta menurunkan MAE dari 0,2230 menjadi 0,1871. Akurasi mengalami penurunan kecil dari 0,8633 menjadi 0,8561. Namun, penurunan ini disertai peningkatan recall dan F1 rata-rata antar kelas, yang berarti model lebih adil dan lebih baik dalam mendeteksi kelas-kelas yang sebelumnya jarang. Temuan ini mengindikasikan bahwa SMOTE ENN efektif untuk meningkatkan pemerataan performa klasifikasi pada dataset peta konsep yang tidak seimbang