Implementasi Retrieval-Augmented Generation (RAG) dan Large Language Model (LLM) untuk Otomatisasi Pembuatan Soal Praktikum (Studi Kasus: Aplikasi Website SI-Lab Program Studi Sistem Informasi Universitas Hasanuddin)=Implementation of Retrieval-Augmented Generation (RAG) and Large Language Model (LLM) for Automating Practical Assessment Generation (Case Study: SI-Lab Website Application of Information Systems Study Program, Hasanuddin University)

Latar belakang. Pembuatan soal praktikum pemrograman secara manual memerlukan waktu yang signifikan bagi asisten laboratorium, terutama dengan tuntutan variasi soal dan konsistensi kualitas. Large language model (model bahasa besar) mampu menghasilkan teks berkualitas, tetapi memiliki keterbatasan berupa hallucination (halusinasi) dan kurangnya konteks spesifik terhadap materi modul. Tujuan. Penelitian ini bertujuan mengimplementasikan sistem retrieval-augmented generation (generasi teraugmentasi berbasis pengambilan) terintegrasi LLM untuk mengotomatisasi pembuatan soal praktikum yang relevan dengan materi modul pada aplikasi SI-Lab. Metode. Sistem dikembangkan menggunakan pendekatan Design Science Research (penelitian sains desain) dengan arsitektur RAG yang mencakup text extraction (ekstraksi teks), semantic chunking (pemenggalan semantik), embedding (penyematan vektor) menggunakan model all-MiniLM-L6-v2, vector storage (penyimpanan vektor) menggunakan FAISS, serta two-stage retrieval (pengambilan dua tahap) dengan crossencoder reranking (pemeringkatan ulang) menggunakan model ms-marco-TinyBERT-L2-v2. Evaluasi dilakukan melalui metrik otomatis dan evaluasi expert (pakar) dengan pendekatan formative evaluation oleh 9 asisten laboratorium terhadap 26 soal dari 5 mata kuliah praktikum pemrograman. Hasil. Sistem berhasil menghasilkan soal praktikum untuk lima mata kuliah dengan tiga tingkat kesulitan. Evaluasi retrieval terhadap 100 query menunjukkan probabilitas relevansi rata-rata 94,6% dengan waktu respons 42,54 ms. Evaluasi expert menunjukkan skor keseluruhan rata-rata 4,30/5,00 (kategori "Sangat Baik"), dengan skor struktur sempurna 5,00/5,00. Dari 50 evaluasi, 70% memperoleh interpretasi "Sangat Baik (Siap digunakan langsung)" dan 30% "Baik (Memenuhi ekspektasi)". Sistem berhasil diintegrasikan dengan aplikasi SI-Lab melalui REST API (antarmuka pemrograman aplikasi berbasis REST). Kesimpulan. Sistem RAG–LLM Assessment Generator berhasil menghasilkan soal praktikum yang relevan, terstruktur, dan berkualitas berdasarkan materi modul, dengan probabilitas relevansi retrieval 96,4% dan skor evaluasi expert 4,30/5,00 (kategori "Sangat Baik"), serta berhasil diintegrasikan dengan aplikasi SI-Lab melalui REST API.