Model Deteksi Kebohongan Melalui Analisis Wajah dan Suara Dengan Pendekatan Deep Learning = Lie Detection Model Through Face and Voice Analysis with Deep Learning Approach

Dewi Kusumawati. “Model Deteksi Kebohongan Melalui Analisa Wajah dan Suara Menggunakan Pendekatan Deep Learning” (dibimbing oleh Amil Ahmad Ilham, Andani Achmad,Ingrid Nurtanio) Penelitian ini mengembangkan suatu model deteksi kebohongan yang menggabungkan analisis wajah dan suara menggunakan pendekatan deep learning. Kebohongan merupakan perilaku kompleks yang dapat tercermin dalam ekspresi wajah dan karakteristik suara seseorang. Model ini dirancang untuk meningkatkan akurasi dan ketepatan dalam mengidentifikasi indikasi kebohongan dengan memanfaatkan kekuatan representasi fitur dari metode deep learning. Dalam proses analisis wajah, kami menggunakan arsitektur Convolutional Neural Network (CNN) dengan menambahkan layer multihead attention, dan menambahkan algoritma untuk menghitung perubahan ukuran pupil manusia dalam ekstraksi pola fitur dari ekspresi wajah berdasarkan rekaman video. Sebagai pendukung, analisis suara dilakukan menggunakan jaringan rekuren Long Short Term Memory (LSTM), dengan ekstraksi fitur MFCC untuk menangkap pola temporal dalam suara yang dapat mengisyaratkan ketidakjujuran. Model yang dihasilkan ditiap fitur yaitu dari wajah dan suara di gabungkan dengan model fusion untuk meningkatkan performa model dalam deteksi kebohongan. Model diperkuat melalui pelatihan menggunakan dataset luas yang mencakup berbagai situasi dan konteks kebohongan dan menggunakan dataset yang di bangun sendiri dan telah tervalidasi. Pengujian lintas dataset dilakukan untuk mengevaluasi generalitas dan kinerja model. Hasil eksperimen menunjukkan bahwa model yang diusulkan berhasil mencapai tingkat akurasi deteksi kebohongan yang signifikan, dengan memanfaatkan keunggulan integrasi output model dari analisis wajah dan suara dimana hasil rata-rata yang didapatkan dari akurasi dan presisi sebesar 100%. Penelitian ini memberikan kontribusi penting dalam pengembangan model deteksi kebohongan dengan mengkombinasikan model CNN untuk wajah dan model LSTM untuk suara.

Keyword : CNN, deep learning, deteksi kebohongan, LSTM, MFCC, pupil, suara, spatial attention.