KLASIFIKASI KEMATANGAN BUAH PALA PADA KONDISI OKLUSI MENGGUNAKAN HYBRID U-NET DAN VISION TRANSFORMER (ViT)

Latar Belakang: Klasifikasi kematangan buah pala merupakan salah satu tahapan penting dalam mendukung ketepatan waktu panen. Namun, pada kondisi lapangan, proses ini masih menghadapi berbagai kendala, terutama ketika buah mengalami oklusi oleh daun dan cabang, serta berada pada latar belakang yang kompleks. Kondisi tersebut dapat menurunkan kualitas area objek yang diamati dan memengaruhi ketepatan klasifikasi. Tujuan: Penelitian ini bertujuan membangun sistem hybrid berbasis visi komputer yang mampu mengklasifikasikan kematangan buah pala pada kondisi oklusi melalui integrasi segmentasi dan klasifikasi, serta mengevaluasi pengaruh kualitas ROI terhadap performa sistem. Metode: Penelitian ini menggunakan arsitektur U-Net dengan encoder MiT-B0 untuk melakukan segmentasi area buah matang dan membentuk region of interest (ROI) dari citra/video drone RGB yang dikumpulkan secara manual di kebun pala. ROI hasil segmentasi kemudian diklasifikasikan menggunakan Vision Transformer Small/16 ke dalam dua kelas, yaitu matang dan bukan matang. Model ViT dilatih menggunakan gabungan tiga kondisi ROI, yaitu ROI A, ROI B, dan ROI C, untuk meningkatkan kemampuan model dalam menghadapi variasi ROI pada kondisi lapangan. Evaluasi dilakukan pada Test A, Test B, Test C secara terpisah, serta pada gabungan Test A+B+C untuk memperoleh performa keseluruhan. Hasil: Hasil penelitian menunjukkan bahwa model segmentasi memperoleh mean IoU sebesar 0,9335. Pada tahap klasifikasi, model hybrid U-Net + ViT memperoleh akurasi 99,31% pada Test A, 99,92% pada Test B, dan 82,54% pada Test C. Pada pengujian gabungan Test A+B+C, model memperoleh akurasi 96,10%, precision 99,62%, recall 90,95%, dan F1-score 95,09%. Kesimpulan: Pendekatan hybrid U-Net dan Vision Transformer terbukti efektif untuk klasifikasi kematangan buah pala pada kondisi oklusi. Kualitas segmentasi dan ROI berperan penting dalam menentukan keberhasilan klasifikasi, sehingga metode ini berpotensi dikembangkan lebih lanjut sebagai sistem pendukung keputusan panen berbasis visi komputer