Sistem Identifikasi Sertifikat Berbasis Dokumen Hasil Digitalisasi Menggunakan Integrasi K-Nearest Neighbor (KNN) dan Retrieval-Augmented Generation (RAG)

Latar belakang. Verifikasi sertifikat prestasi menjadi tantangan relevan seiring meningkatnya penggunaan sertifikat sebagai dokumen pendukung seleksi pendidikan berbasis prestasi. Proses verifikasi manual membutuhkan waktu dan sumber daya signifikan, sementara tidak tersedia basis data referensi terpusat untuk mengonfirmasi sertifikat secara otomatis. Tujuan. Penelitian ini merancang sistem identifikasi sertifikat digital yang mengintegrasikan klasifikasi KNN dan rule-based untuk kategorisasi dokumen, serta pipeline RAG berbasis pencarian web real-time untuk verifikasi berbasis bukti daring, sekaligus mengevaluasi efektivitas retrieval melalui eksperimen ablasi dan faithfulness keputusan LLM. Metode. Sistem terdiri dari tiga modul: ekstraksi teks menggunakan EasyOCR berbasis PyMuPDF; klasifikasi kategori menggunakan KNN (TF-IDF, K=3, Cosine Similarity) dan rule-based berbasis pattern matching regex; serta verifikasi menggunakan pipeline RAG dengan multi-stage retrieval (BM25 + dense retrieval + cross-encoder) dan Chain-of-Thought menggunakan DeepSeek-R1. Evaluasi mencakup metrik klasifikasi standar, ablasi score fusion, faithfulness (RAGAS), dan perbandingan dengan human judgment. Hasil. KNN mencapai accuracy 69,84% dan macro F1 0,6675; rule-based unggul dengan accuracy 84,13% dan macro F1 0,8284. Ablasi mengonfirmasi cross-encoder sebagai komponen paling kritis (Δ=−0,0438 saat dihilangkan). Empat kategori administratif menghasilkan mean score_final 0,76–0,79 dibanding kategori Tidak Terdefinisi (0,609). Faithfulness menghasilkan skor 0,3678 (KNN) dan 0,3584 (rule-based), rendah karena klaim inkonsistensi yang integral dalam reasoning CoT. Human judgment terhadap 114 dokumen menunjukkan kesenjangan 34,2%, dengan manusia lebih toleran (58,8% VALID) dibanding DeepSeek-R1 (13,2% VALID). Kesimpulan. Integrasi KNN, rule-based, dan RAG multi-stage retrieval membentuk sistem verifikasi fungsional. Meski rule-based unggul secara metrik, kedua pipeline menghasilkan distribusi keputusan RAG serupa, mengonfirmasi robustnya modul RAG terhadap variasi akurasi klasifikasi. DeepSeek-R1 dengan CoT menghasilkan keputusan lebih konsisten dan konservatif dibanding penilaian manusia.