UPT Perpustakaan UM

  • Beranda
  • Informasi
  • Repository UM
  • SIPADU UM
  • OPAC SIPADU

Pencarian Spesifik

Pencarian berdasarkan :

SEMUA Pengarang Subjek ISBN/ISSN Pencarian Spesifik

Pencarian terakhir:

{{tmpObj[k].text}}
No image available for this title

Disertasi

Generator ucapan natural dari gerakan bibir Bahasa Indonesia menggunakan multimodal deep generative autoencoder / Eka Rahayu Setyaningsih

Setyaningsih, Eka Rahayu - Nama Orang;

Abstrak
Komunikasi verbal manusia tidak hanya bergantung pada sinyal suara tetapi juga sangat dipengaruhi oleh informasi visual dari gerakan bibir. Aspek visual ini menjadi penting terutama pada lingkungan bising serta bagi individu dengan gangguan bicara seperti aphonia. Perkembangan deep learning telah mendorong kemajuan signifikan dalam bidang lip-to-speech synthesis namun sebagian besar penelitian masih berfokus pada Bahasa Inggris. Perbedaan karakteristik fonetik visemik serta keterbatasan ketersediaan dataset audio-visual Bahasa Indonesia menimbulkan research gap yang signifikan. Oleh karena itu disertasi ini bertujuan mengembangkan sistem sintesis suara dari gerakan bibir yang spesifik untuk Bahasa Indonesia dengan pendekatan multimodal deep generative autoencoder berbasis pembicara (speaker-specific). Penelitian ini mengusulkan arsitektur dua tahap berbasis autoencoder multimodal yang terdiri atas model visual untuk memetakan urutan gerakan bibir ke dalam representasi laten dan model audio untuk merekonstruksi kembali fitur akustik dalam bentuk mel-spectrogram. Fitur visual diekstraksi menggunakan arsitektur CNN dan dimodelkan secara temporal menggunakan LSTM Bi-LSTM serta pengembangan multi-head attention (4-head dan 8-head) untuk meningkatkan kemampuan model dalam menangkap keterkaitan antarurutan waktu. Mel-spectrogram hasil rekonstruksi selanjutnya diubah kembali menjadi sinyal suara menggunakan vocoder. Selain pengembangan model kontribusi penting lainnya dalam penelitian ini adalah penyusunan dataset audio-visual Bahasa Indonesia dengan cakupan suku kata yang dirancang secara sistematis menggunakan pendekatan genetic algorithm sebagai upaya mengatasi keterbatasan data pada penelitian lip-to-speech sebelumnya. Kontribusi utama penelitian ini meliputi (1) pengembangan model lip-to-speech berbasis autoencoder multimodalyang dirancang khusus untuk Bahasa Indonesia (2) pembangunan dataset audio-visual Bahasa Indonesia dengan desain fonetik terkontrol serta (3) analisis pengaruh mekanisme attention terhadap kualitas sintesis suara. Evaluasi kinerja model dilakukan menggunakan metrik objektif Perceptual Evaluation of Speech Quality (PESQ) Short-Time Objective Intelligibility (STOI) dan Extended STOI (ESTOI). Hasil pengujian menunjukkan bahwa model terbaik menghasilkan nilai PESQ pada kisaran 1 08 ndash 1 11 nilai STOI pada kisaran 0 14 ndash 0 20 serta nilai ESTOI pada kisaran 0 03 ndash 0 08 yang menunjukkan adanya peningkatan kualitas dan keterpahaman ucapan hasil sintesis secara konsisten dibandingkan model tanpa mekanisme attention. Meskipun demikian penelitian ini masih memiliki beberapa keterbatasan yaitu (1) skenario pengujian masih bersifat speaker-specific sehingga kemampuan generalisasi terhadap pembicara baru belum dievaluasi secara menyeluruh (2) jumlah pembicara dalam dataset meskipun mencakup variasi gender masih relatif terbatas serta (3) kualitas sinyal suara hasil sintesis masih dipengaruhi oleh resolusi visual dan kondisi pencahayaan saat perekaman video. Oleh karena itu pengembangan ke arah speaker-independent lip-to-speech peningkatan skala dan keragaman dataset serta integrasi model generatif lanjutan seperti diffusion model menjadi peluang penelitian pada tahap selanjutnya. Model dan dataset yang dihasilkan dalam penelitian ini diharapkan dapat memberikan kontribusi penting dalam pengembangan teknologi lip-to-speech Bahasa Indonesia khususnya sebagai solusi bantu komunikasi bagi penderita aphonia peningkatan kualitas audio pada video tanpa suara serta penguatan riset multimodal speech processing di Indonesia.


Informasi Detail
DDC
Rd 006.35 SET g
Prodi
Universitas Negeri Malang. Program Studi Teknik Elektro dan Informatika, 2026.
Deskripsi Fisik
xix, 176 lembar : ilus. ; 30 cm.
Bahasa
Indonesia
No Reg
00081/RD/26
Edisi
Disertasi(Pascasarjana)--Universitas Negeri Malang. 2026
Subjek
1. KOMPUTASIONAL LINGUISTIK
2. TEKNIK ELEKTRO - DEEP LEARNING
3. COMPUTATIONAL LINGUISTICS

Pembimbing
1. Dr.eng Anik Nur Handayani, S.t., M.t; 2. Dr. Wahyu Sakti Gunawan Irianto, M.kom
Lampiran Berkas
You must be logged in to get fulltext


UPT Perpustakaan UM
  • Berita

Tentang Kami

TIM IT Perpustakaan 2023

Cari

masukkan satu atau lebih kata kunci dari judul, pengarang, atau subjek

Donasi untuk SLiMS

Pilih subjek yang menarik bagi Anda
  • Karya Umum
  • Filsafat
  • Agama
  • Ilmu-ilmu Sosial
  • Bahasa
  • Ilmu-ilmu Murni
  • Ilmu-ilmu Terapan
  • Kesenian, Hiburan, dan Olahraga
  • Kesusastraan
  • Geografi dan Sejarah
Icons made by Freepik from www.flaticon.com
Pencarian Spesifik