Pengembangan Dashboard Estimasi Beban Tugas Mahasiswa Berbasis Retrieval-Augmented Generation (RAG) (Studi Kasus: Tugas Akademik Sistem Informasi)

Latar Belakang. Perkembangan kecerdasan buatan (Artificial Intelligence) membuka peluang pemanfaatan data akademik untuk mendukung proses pembelajaran di perguruan tinggi. Namun, pemanfaatan data historis tugas untuk menghasilkan estimasi beban tugas akademik masih relatif terbatas. Oleh karena itu, diperlukan pendekatan yang mampu menghasilkan estimasi beban tugas yang kontekstual dan dapat dijelaskan. Tujuan. Penelitian ini bertujuan untuk mengimplementasikan dan mengevaluasi dashboard estimasi beban tugas mahasiswa berbasis Retrieval-Augmented Generation (RAG), serta menilai efektivitas pendekatan RAG dalam melakukan estimasi beban tugas akademik. Metode. Penelitian menggunakan pendekatan kuantitatif dengan metode eksperimen melalui pengembangan dashboard berbasis Streamlit. Dataset terdiri atas 278 data tugas akademik yang berasal dari riwayat tugas Program Studi Sistem Informasi dan data sintetis yang telah divalidasi. Sistem memanfaatkan model multilingual-e5-base, FAISS, dan LLaMa 3.1 8B dalam arsitektur RAG. Evaluasi dilakukan menggunakan Hit Rate, Precision Rate, manual judgement, LLM-as-a-Judge, dan Parsing Success Rate (PSR). Hasil. Sistem memperoleh Hit Rate@3 sebesar 100% dan Precision@3 sebesar 80%. Evaluasi manual judgement menghasilkan skor rata-rata 4,16 untuk kesesuaian deadline, 3,94 untuk realisme estimasi waktu pengerjaan, dan 3.98 untuk kesesuaian tingkat kesulitan. Evaluasi LLM-as-a-Judge memperoleh skor rata-rata 4,07, sedangkan Parsing Success Rate mencapai 100%. Kesimpulan. Pendekatan Retrieval-Augmented Generation terbukti dapat menghasilkan estimasi beban tugas akademik berbasis referensi historis. Sistem mampu menghasilkan estimasi yang dinilai realistis, menyediakan reasoning yang relevan, serta menghasilkan keluaran yang konsisten dan terstruktur melalui dashboard yang dikembangkan.