Disertasi
Multimodal product matching and grouping dengan pendekatan agglomerative deep hierarchical clustering untuk sistem rekomendasi pada marketplace Indonesia / Yuliana Melita Pranoto
Abstrak
Dalam era digital e-commerce telah menjadi pendorong utama transformasi ekonomi global. Lonjakan volume dan variasi produk di platform marketplace menciptakan tantangan besar dalam mencocokkan dan mengelompokkan produk secara akurat. Sebagian besar pendekatan terdahulu bersifat unimodal hanya mengandalkan satu jenis informasi (teks atau gambar) dan belum cukup efektif dalam menangani produk baru (cold-start items) yang minim anotasi. Berbeda dari penelitian sebelumnya penelitian ini mengusulkan pendekatan multimodal yang mengintegrasikan Convolutional Neural Network (CNN) untuk ekstraksi fitur visual dan Doc2Vec untuk representasi teks. Fitur dari kedua modality ini digabungkan melalui arsitektur Feedforward Neural Network (FNN) sederhana namun efektif dalam skema cross-modality. Hasil embedding multimodal ini selanjutnya digunakan dalam proses pengelompokan menggunakan algoritma Agglomerative Hierarchical Clustering yang adaptif tanpa memerlukan jumlah cluster yang ditentukan di awal. Dataset penelitian terdiri dari total 34.353 produk e-commerce dari berbagai kategori. Evaluasi performa model dilakukan dengan menggunakan metrik Normalized Mutual Information (NMI) untuk mengukur kualitas clustering. Hasil penelitian menunjukkan bahwa pendekatan multimodal dengan FNN menghasilkan peningkatan kualitas pengelompokan secara signifikan dengan nilai NMI mencapai 0 97 pada dataset yang berisi sejumlah 34.353 produk. Pendekatan ini mampu menghasilkan cluster yang lebih relevan secara semantik dan visual dibandingkan model unimodal maupun multimodal tanpa pelatihan lintas-modal. Temuan ini menegaskan bahwa integrasi representasi visual dan tekstual melalui arsitektur deep learning dapat meningkatkan efektivitas pencocokan dan pengelompokan produk secara adaptif dan skalabel. Kontribusi utama penelitian ini terletak pada penerapan model multimodal berbasis clustering dalam sistem rekomendasi produk e-commerce yang dapat meningkatkan relevansi hasil pencarian rekomendasi otomatis serta pengalaman pengguna secara keseluruhan.