Analisis perbandingan kinerja model arsitektur XLNet, T5, dan ERNIE terhadap deteksi teks hasil kecerdasan buatan = Comparative Performance Analysis of XLNet, T5, and ERNIE Model Architectures for AI-Generated Text Detection

Latar belakang. Perkembangan kecerdasan buatan dalam membuat teks telah berkembang pesat dan memiliki manfaat yang baik namun juga dapat disalahgunakan. Tujuan. Penelitian ini bertujuan untuk membandingkan model arsitektur XLNet, T5, dan ERNIE untuk melihat kinerja terbaik dalam mendeteksi teks hasil kecerdasan buatan serta mengimplementasikannya ke dalam laman web. Metode. Dataset yang digunakan berisikan teks abstrak penelitian (14.000 baris) dan wikipedia (210.000 baris) dengan label manusia dan mesin. Dataset kemudian digabungkan dengan jumlah keseluruhan dan jumlah seimbang sehingga dihasilkan empat jenis dataset. Penelitian ini menggunakan nilai akurasi, precision, recall, F1score dan sumber daya yang digunakan model dalam menilai kinerja yang terbaik. Hugging Face digunakan sebagai tempat menggunggah model dan Streamlit sebagai framework pengembangan website. Hasil. Model yang dilatih menggunakan dataset ukuran besar seperti gabungan penuh antara abstrak dan wikipedia memiliki hasil paling tinggi dari dataset yang lain. T5 memiliki nilai akurasi 97,2% jika dibandingkan dengan XLNet (64,62%) dan ERNIE (61,56%). Melihat dari nilai F1score menggunakan empat dataset, keseluruhan model T5 menduduki empat teratas dengan nilai 0.84 - 0.99. Hal ini berbeda jauh dengan nilai XLNet dan ERNIE yang memiliki nilai F1score di bawah 0.68. Kesimpulan. Model arsitektur T5 memiliki kinerja paling baik, terlebih jika dilatih menggunakan dataset yang besar seperti gabungan keseluruhan data abstrak dan wikipedia. Pengembangan website menggunakan Streamlit dapat diakses melalui https://predict-gpt-sisfo.streamlit.app/.

Kata kunci : deteksi ChatGPT; pengembangan website; evaluasi peforma