Implementasi Algoritma Embedding Statis dan Kontekstual BERT Dalam Sistem Penilaian Esai Otomatis Berbasis Kemiripan Semantik = Implementation of Static and Contextual Embedding Algorithms BERT in Semantic Similarity Based Automatic Essay Grading System

ANGELA GABRIELLE TUNGKY. Implementasi Algoritma Embedding Statis dan Kontekstual BERT Dalam Sistem Penilaian Esai Otomatis Berbasis Kemiripan Semantik (dibimbing oleh Christoforus Yohannes). Latar Belakang. Esai merupakan metode penilaian yang efektif untuk mengukur kemampuan berpikir kritis siswa, namun penilaian manual cenderung memakan waktu dan subjektif. Tujuan. Penelitian ini bertujuan untuk membandingkan kinerja embedding statis (Word2Vec, FastText) dengan embedding kontekstual berbasis deep learning (BERT) dalam mengukur kemiripan semantik antara jawaban siswa dan kunci jawaban dalam bahasa Indonesia dan Inggris. Metode. Penelitian menggunakan embedding statis dengan ekstraksi fitur (Average Cosine Similarity, smooth inverse frequency, Word Mover’s Distance) dan embedding kontekstual dengan BERT. Evaluasi model dilakukan menggunakan Mean Absolute Error (MAE), Root Mean Square Error (RMSE), dan korelasi Pearson. Hasil. Pada dataset uji, BERT menunjukkan performa terbaik. Untuk bahasa Inggris, BERT menghasilkan RMSE 0.1337, MAE 0.0948, dan Pearson 0.8242, sementara untuk Bahasa Indonesia, RMSE 0.1668, MAE 0.1119, dan Pearson 0.9012. Embedding statis dengan kombinasi FastText-AvgCos-Linear memberikan RMSE 0.20396, MAE 0.1587, dan Pearson 0.5187 untuk bahasa Inggris, sedangkan FastText-WMD-SVR menghasilkan RMSE 0.203961, MAE 0.1445, dan Pearson 0.8407 untuk bahasa Indonesia. Hasil optimum juga diperoleh dari model pretrained Word2Vec-WMD-SVR 70:15:15 pada data uji dengan MAE 0.1602, RMSE 0.205183, dan Pearson 0.8416. Pada dataset baru, Word2Vec-AvgCos-RFR unggul dengan RMSE 1.3553, MAE 1.0930, dan Pearson 0.1983, sedangkan BERT mengalami overfitting. Namun, skenario tanpa fine-tuning meningkatkan performa BERT dengan RMSE 0.3225, MAE 0.2483, dan Pearson -0.1997. Kesimpulan. Kesimpulannya, BERT unggul pada dataset latih tetapi rentan terhadap overfitting. Dengan penyesuaian tanpa fine-tuning, performa BERT dapat lebih optimal, sementara embedding statis menunjukkan performa baik pada dataset baru dengan kombinasi model yang bervariasi tergantung pada karakteristik data.