PENDETEKSIAN DEEPFAKE PADA VIDEO MENGGUNAKAN RESNEXT CNN DAN LONG SHORT-TERM MEMORY = DEEPFAKE DETECTION ON VIDEO USING RESNEXT CNN AND LONG SHORT-TERM MEMORY

MUHAMMAD INDRA ABIDIN. Pendeteksian Deepfake pada Video Menggunakan ResNext CNN dan Long Short-Term Memory (dibimbing oleh Ingrid Nurtanio and Andani Achmad).
Computer vision merupakan ilmu yang mengarah pada proses pengenalan terhadap suatu objek yang dilakukan dengan sistem komputer. Proses pengenalan yang dilakukan dapat mengatasi berbagai masalah, salah satunya adalah pemalsuan dalam video atau biasa disebut deepfake. Deepfake memungkinkan untuk membuat seseorang mengatakan atau melakukan sesuatu yang tidak pernah mereka katakan atau lakukan dalam sebuah video bahkan hingga pada pemalsuan wajah yang dapat mempengaruhi privasi. Kemudahan dalam membuat video deepfake menunjukkan bahwa kebutuhan metode otentikasi yang semakin meningkat untuk menklasifikasi video deepfake. Penelitian ini bertujuan untuk mendeteksi deep-fake pada video dengan menggunakan metode ResNext Convolutional Neural Networks (CNN) dan Long Short-Term Memory (LSTM). Data yang telah dikumpulkan dalam bentuk video sebanyak 200 data, dilakukan proses preprocessing dengan mencropping gambar dari video menjadi 112 x 112 pixels dan mengelompokkan menjadi 10 frames, 20 frames, 40 frames dan 60 frames. Data yang telah melalui proses preprocessing akan diinputkan ke dalam sistem yang dibangun dengan metode ResNext CNN dan LSTM. Metode ResNext CNN akan melakukan extraction dari objek, Metode LSTM memiliki blok memory yang akan berfungsi untuk mengingat struktur keluaran dari data training. Kombinasi proses metode ResNext CNN dan LSTM ini akan mengambil keputusan fake atau realnya suatu objek. Kinerja sistem akan diukur dengan metode confusion matrix. Proses implementansi memperoleh hasil akurasi tertinggi yaitu 90% pada data video yang memiliki 60 frames. Sedangkan data dengan 10 frames memiliki akurasi terendah yaitu 52%. Pada ukuran citra yang kecil ResNext CNN-LSTM mampu mendeteksi deepfake pada video dengan baik.

Keywords : Deepfake, ResNext CNN, LSTM