Skripsi

Hyfumo: Model Teks-Visual-Audio Multimodal Hybrid Fusion untuk Rekognisi Emosi pada Situasi Percakapan Manusia / Muhammad Anandha Fritama

Abstrak
Emosi merupakan hal yang krusial dalam nilai dan keadaan manusia yang juga merupakan kunci untuk membangun interaksi komputer yang alami seperti manusia kecerdasan buatan dan sistem intelijen yang tidak dapat dipisahkan untuk meningkatkan kualitas hidup manusia sehingga mesin dapat memahami dan merespons emosi manusia. Emosi dapat hadir dalam berbagai bentuk dan modalitas. Emosi berkaitan dengan perilaku perasaan dan pikiran manusia yang mempengaruhi bagaimana kita mengambil keputusan bernalar dan merencanakan kehidupan. Kemajuan teknologi mempengaruhi manusia dalam banyak hal selain perubahan disruptif yang mempengaruhi kesehatan mental dan kondisi emosi kita juga membutuhkan kemajuan dalam sistem pengenalan emosi. Pengenalan emosi dapat membantu individu untuk memahami diri mereka sendiri dan meningkatkan kualitas hidup manusia. Namun kompleksitas data dan sistem pengenalan emosi sangat menantang. Pengenalan emosi terutama dalam percakapan dapat mengatasi masalah tersebut. Penulis mengusulkan pendekatan multimodal dengan fusi hibrida untuk memanfaatkan keuntungan dari teknik fusi awal dan akhir untuk meningkatkan kinerja. Oleh karena itu dalam penelitian ini penulis mengusulkan Model Teks-Visual-Audio Multimodal Hybrid Fusion (HyFuMo) yang mengekstrak fitur-fitur yang relevan dari modalitas audio tekstual dan visual dengan struktur modular dengan pendekatan baru dalam transformasi dan ekstraksi model dan modul pengklasifikasi. Hasilnya menunjukkan bahwa model yang diusulkan dapat bersaing dengan penelitian sebelumnya pada dataset IEMOCAP tetapi menciptakan peluang untuk meningkatkan performa model pada dataset MELD di penelitian selanjutnya.

Informasi Detail

DDC

SKRIPSI DIGITAL

Prodi

Universitas Negeri Malang. Program Studi Teknik Informatika, 2025.

Deskripsi Fisik

vii, 57 hlm. : ilus.

Bahasa

Indonesia

No Reg

0401/RS/25

Edisi

Skripsi (Sarjana)--Universitas Negeri Malang. 2025

Subjek

1. MODEL MULTIMODAL - TEKS-VISUAL-AUDIO
2. MULTIMODAL MODEL - TEXT-VISUAL-AUDIO

Pembimbing

1. Muhammad Jauharul Fuady, S.t., M.t.

Lampiran Berkas