Skripsi
Analisis komparatif kinerja metode ensemble dalam integrasi model tabtransformer dan charbert untuk deteksi url phishing / Hafizh Falasyah
Abstrak
Phishing merupakan salah satu ancaman kejahatan siber yang paling dominan dan umumnya diwujudkan melalui URL phishing yang dirancang menyerupai URL benign. Tingginya kemiripan struktur antara URL phishing dan URL benign menjadikan deteksi URL phishing sebagai permasalahan klasifikasi yang kompleks terutama dalam menghadapi variasi teknik manipulasi URL dan evolusi pola serangan yang dinamis. Penelitian ini bertujuan untuk menganalisis dan membandingkan kinerja berbagai metode ensemble dalam mengintegrasikan dua model deep learning berbasis representasi yang berbeda yaitu TabTransformer dan CharBERT untuk deteksi URL phishing. TabTransformer digunakan untuk memodelkan fitur struktural URL berbasis data tabular sedangkan CharBERT digunakan untuk menangkap pola manipulasi URL pada level karakter. Integrasi kedua model dilakukan menggunakan metode soft voting weighted voting bagging boosting dan stacking. Dataset yang digunakan merupakan hasil rekonstruksi dan pengayaan dari ISCX-URL2016 dengan mengintegrasikan Tranco untuk URL benign dan OpenPhish untuk URL phishing. Dataset re_iscxurl2016 terdiri atas 12.942 URL dengan distribusi kelas yang relatif seimbang. Evaluasi kinerja dilakukan menggunakan confusion matrix metrik accuracy precision recall F1-score AUC-ROC AUPRC serta uji signifikansi statistik McNemar. Hasil penelitian menunjukkan bahwa integrasi multi-representasi TabTransformer dan CharBERT menghasilkan kinerja deteksi URL phishing yang tinggi dan stabil. Seluruh metode ensemble mampu meningkatkan kinerja dibandingkan model baseline tunggal. Secara numerik metode Bagging dan Stacking memperoleh nilai F1-score tertinggi dengan keseimbangan precision dan recall yang baik. Namun uji McNemar menunjukkan bahwa perbedaan kesalahan klasifikasi antar metode ensemble tidak signifikan secara statistik. Penelitian ini menyimpulkan bahwa seluruh metode ensemble memiliki kinerja yang relatif setara sehingga pemilihan metode lebih tepat didasarkan pada stabilitas dan karakteristik kesalahan klasifikasi.