IMPLEMENTASI MODEL TRANSFER LEARNING UNTUK KLASIFIKASI ANGKA BAHASA ISYARAT DENGAN VISUALISASI EXPLAINABLE AI (GRAD-CAM) PADA DASHBOARD STREAMLIT=IMPLEMENTATION OF TRANSFER LEARNING MODEL FOR SIGN LANGUAGE NUMBERS CLASSIFICATION WITH EXPLAINABLE AI VISUALIZATION (GRAD-CAM) ON STREAMLIT DASHBOARD

Latar Belakang. Bahasa isyarat merupakan sistem komunikasi visual yang menggunakan gerakan tangan, ekspresi wajah, dan postur tubuh untuk menyampaikan informasi. Seiring dengan kemajuan teknologi kecerdasan buatan (Artificial Intelligence/AI), khususnya dalam bidang computer vision dan deep learning, peluang untuk menciptakan sistem pengenalan bahasa isyarat secara otomatis semakin terbuka lebar. Tujuan. Penelitian ini bertujuan untuk merancang dan membandingkan kinerja model klasifikasi angka bahasa isyarat (0-9) menggunakan pendekatan Transfer Learning langsung dan pelatihan lanjutan (fine-tuning) serta mengimplementasikannya ke dalam dashboard interaktif dengan visualisasi Explainable AI (XAI) melalui metode Grad-CAM. Metode. Penelitian menggunakan pendekatan kuantitatif dengan dataset Sign Language Digits berjumlah 2.062 citra awal. Dataset diperluas melalui teknik augmentasi rotasi menjadi total 4.124 citra. Model dilatih selama 50 epoch dengan skema pembagian data 64% train, 16% validation, dan 20% test. Penelitian ini membandingkan pendekatan Transfer Learning langsung dari bobot ImageNet terhadap pendekatan fine-tuning sekuensial pada variasi dataset asli, augmentasi, dan gabungan. Hasil. Arsitektur VGG16 dengan skema Transfer Learning langsung pada data gabungan memberikan hasil paling optimal dengan tingkat akurasi sebesar 0.9806 pada data uji asli dan 0.9637 pada data uji gabungan. Proses augmentasi terbukti signifikan meningkatkan ketahanan model, di mana akurasi pada data tes rotasi meningkat dari 0.7724 menjadi 0.9467. Pada arsitektur ResNet50, pendekatan pelatihan lanjutan (fine-tuning) menghasilkan stabilitas pembelajaran yang lebih baik dengan nilai loss validasi terendah sebesar 0.1279. Implementasi Grad-CAM berhasil memvisualisasikan area fokus model pada bagian jari dan telapak tangan yang menjadi dasar klasifikasi. Kesimpulan. Pendekatan Transfer Learning langsung pada data gabungan merupakan skema yang paling efektif, di mana arsitektur VGG16 menunjukkan keunggulan performa dibandingkan ResNet50. Implementasi pada dashboard Streamlit dengan integrasi OpenCV dan MediaPipe berhasil menyajikan sistem deteksi real-time yang transparan, memungkinkan pengguna memahami area fokus model dalam pengambilan keputusan klasifikasi melalui fitur Grad-CAM.