Monokular 3D Rekonstruksi Wajah Menggunakan 3D Morphable Model dan ElastcFace

3D Morphable Model, salah satu model yang digunakan untuk merekonstruksi 3D wajah dari gambar monokular 2D wajah, telah mencapai hasil yang memuaskan seiring dengan perkembangan computer vision dan grafis. Namun, rekonstruksi 3D wajah menggunakan 3D Morphable Model secara weakly-supervised memiliki tantangan tersendiri karena tidak membutuhkan label sebagai ground truth dan hanya mengandalkan kemiripan fitur antara citra monokular 2D dan 3D wajah. Penelitian ini menggunakan rekonstruksi 3D wajah secara weakly-supervised dengan membandingkan ekstraksi fitur identitas. Dalam hal ini, teknik deep face recognition yang digunakan untuk ekstraksi fitur identitas adalah ArcFace, CosFace, dan ElasticFace. Proses rekonstruksi 3D wajah dibagi menjadi 1) rigid fitting untuk menyesuaikan landmark 3D wajah dengan landmark wajah dari citra monokular 2D dan 2) non-rigid fitting feature similarity dengan hybrid-level weak supervision yang mengaplikasikan model deep face recognition yang beragam. Hasil rekonstruksi 3D wajah kemudian dievaluasi menggunakan NoW Challange. Hasil eksperimen pada protokol NoW menunjukkan bahwa memodifikasi model deep face recognition dapat mengubah hasil rekonstruksi 3D. ElasticFace-Arc+ dengan hasil error tertinggi dibandingkan dengan ElasticFace-Cos+ yang memiliki nilai error terendah, memiliki perbedaan penurunan error sebesar 0% untuk median dari 1,37 menjadi 1,37, perbedaan penurunan error untuk rata-rata 1,02 % dari 1,96 menjadi 1,94, perbedaan penurunan error standar deviasi sebesar 0,41 % dari 2,43 menjadi 2,42