Model Deteksi Gerakan Senam Otak Tangan Menggunakan Yolov11-Pose dengan Ekstraksi Keypoint Mediapipe=Hand Brain Gym Movement Detection Model Using YOLOv11-Pose with MediaPipe Keypoint Extraction

Latar Belakang. Senam otak tangan merupakan latihan motorik halus yang menstimulasi aktivitas kognitif melalui koordinasi gerakan jari dan tangan. Namun, evaluasi ketepatan gerakan masih umumnya dilakukan secara manual sehingga bersifat subjektif dan kurang konsisten, khususnya pada latihan mandiri dan skala besar. Tujuan. Penelitian ini bertujuan membangun model deteksi gerakan senam otak tangan berbasis computer vision menggunakan YOLOv11-Pose dengan ekstraksi keypoint MediaPipe Hands serta mengevaluasi kinerja dan ketahanannya pada pengujian real-time. Metode. Penelitian ini menggunakan pendekatan eksperimental dengan dataset citra tangan hasil ekstraksi video yang terdiri dari enam kelas gerakan, yaitu thumb_side, default, little_finger, peace, pistol, dan back-slap. Dataset diproses melalui pelabelan bounding box, pembersihan data, serta data enrichment menggunakan pseudo-label keypoint otomatis dari MediaPipe Hands. Model dilatih dalam empat skenario eksperimen (M1–M4) menggunakan YOLOv11-Pose dan dievaluasi menggunakan metrik Precision, Recall, F1-Score, dan Mean Average Precision (mAP50–95). Hasil. Hasil penelitian menunjukkan bahwa data enrichment meningkatkan kemampuan generalisasi dan stabilitas model. Model terbaik (M4) mencapai nilai mAP50 sebesar 0,951 pada deteksi bounding box dan 0,840 pada estimasi pose serta menunjukkan performa paling stabil pada pengujian real-time. Kesimpulan. Integrasi YOLOv11-Pose dan MediaPipe Hands efektif untuk membangun sistem deteksi gerakan senam otak tangan yang objektif dan robust.