Analisis Perbandingan Performa Algoritma Vision Transformer, Resnet, dan Efficientnetv2 dalam Klasifikasi Alfabet Bahasa Isyarat Indonesia (BISINDO) = Comparative Performance Analysis of Vision Transformer, ResNet, and EfficientNetV2 Algorithms in Classifying Indonesian Sign Language (BISINDO) Alphabet

Sebagian individu memanfaatkan bahasa isyarat sebagai sarana komunikasi karena keterbatasan fisik yang mereka miliki namun tidak semua orang mampu memahami bahasa isyarat dengan baik. Dalam konteks ini, teknologi klasifikasi gambar telah menjadi solusi yang signifikan untuk mengatasi berbagai masalah di berbagai bidang. Penelitian ini bertujuan untuk mendapatkan hasil kinerja algoritma EfficientNetV2-S, ResNet-50, dan ViT-B/32 dalam mengklasifikasikan huruf alfabet BISINDO. Dataset yang digunakan adalah citra huruf alfabet BISINDO yang didapatkan dari menggabungkan data yang diperoleh oleh peneliti dan data yang dikumpulkan dari halaman Kaggle dan Roboflow dengan total keseluruhan sebanyak 2600 citra. Penelitian ini menggunakan akurasi, loss, dan F1-score untuk mengukur kinerja setiap model. Model yang memiliki kinerja terbaik akan diuji kembali menggunakan input secara real-time. Model ViT-B/32 memiliki kinerja terbaik dalam semua metrik pengujian jika dibandingkan dengan EfficientNetV2-S dan ResNet-50. Akurasi ViT-B/32 memiliki akurasi testing tertinggi yaitu sebesar 91,92%, diikuti oleh ResNet-50 dengan akurasi sebesar 89,23% dan EfficientNetV2-S sebesar 81,92%. Model ViT-B/32 juga memiliki stabilitas paling baik ditandai dengan nilai loss terendah yaitu 0,29 diikuti oleh ResNet-50 dengan nilai loss sebesar 0,47 dan EfficientNetV2-S dengan nilai loss sebesar 0,67. Melihat dari rata-rata F1-score, ViT-B/32 memiliki rata-rata F1-score sebesar 0,92 diikuti oleh ResNet-50 dengan F1-score 0,89 dan EfficientNetV2-S dengan F1-score sebesar 0,82. Selain itu, model ViT-B/32 dapat memprediksi secara tepat 89 dari 100 frame gambar dalam pengujian real-time. Model ViT-B/32 tidak hanya memiliki kinerja yang paling baik dibandingkan dengan dua model lainnya, tetapi juga mampu mempertahankan kinerja yang baik ketika diuji saat mengklasifikasikan huruf BISINDO secara real-time.