Analisis Performa Model Transformer untuk Menentukan Model Terbaik pada Tugas Klasifikasi Komentar Judi Online di YouTube
Artikel ini membahas implementasi praktis dari penelitian yang telah dipublikasikan mengenai deteksi komentar judi online (judol) di YouTube. Fokus utama artikel adalah pemilihan model NLP terbaik berdasarkan evaluasi berbagai arsitektur Transformer, serta pemanfaatan dataset klasifikasi dan Named Entity Recognition (NER) untuk mendukung pengembangan sistem moderasi konten digital.
Tag
Pendahuluan
Komentar promosi judi online (judol) di YouTube merupakan salah satu bentuk penyalahgunaan platform digital yang sulit dikendalikan secara manual. Tantangan utama dalam penanganannya bukan hanya mendeteksi komentar judol, tetapi menentukan model NLP yang paling tepat untuk digunakan dalam sistem moderasi otomatis yang andal dan efisien.
Penelitian ini tidak bertujuan sekadar mendeteksi komentar judol, melainkan melakukan evaluasi komparatif model transformer berdasarkan variasi learning rate, sehingga hasilnya dapat digunakan sebagai dasar pengambilan keputusan model dalam sistem anti-judol di lingkungan produksi (production system).
Artikel ini merupakan versi ringkasan semi-populer dari jurnal ilmiah yang membahas evaluasi tersebut.
Tujuan Evaluasi
Tujuan utama penelitian ini adalah:
Mengevaluasi performa beberapa model transformer pada tugas klasifikasi komentar judol
Menganalisis sensitivitas performa model terhadap variasi learning rate
Menentukan model paling stabil, akurat, dan layak digunakan dalam sistem moderasi komentar judi online
Dataset dan Skenario Evaluasi
Evaluasi dilakukan menggunakan dataset komentar YouTube berbahasa Indonesia dengan karakteristik sebagai berikut:
Total data: 26.455 komentar
Periode pengambilan: Februari – Juli 2025
Pembagian data:
Training set (seimbang): 18.926 komentar
Validation set (seimbang): 3.340 komentar
Testing set (tidak seimbang): 4.189 komentar
28,05% judol
71,95% non-judol
Skenario data uji tidak seimbang dipilih untuk mencerminkan kondisi nyata di YouTube.
Model dan Variasi Learning Rate
Tiga model transformer diuji menggunakan pendekatan fine-tuning:
IndoBERT
IndoBERTweet
XLM-RoBERTa
Masing-masing model diuji dengan tiga variasi learning rate:
1e-5
2e-5
3e-5
Total dilakukan 9 skenario eksperimen.
Hasil Evaluasi Kuantitatif
Tabel Perbandingan Performa Terbaik Setiap Model
Model | Learning Rate | Precision (%) | Recall (%) | AUC-ROC |
|---|---|---|---|---|
IndoBERT | 1e-5 | 99.65 | 99.49 | 0.999 |
IndoBERTweet | 2e-5 | 98.71 | 98.46 | 0.992 |
XLM-RoBERTa | 1e-5 | 99.31 | 99.28 | 0.997 |
➡️ IndoBERT dengan learning rate 1e-5 menghasilkan performa terbaik secara keseluruhan, terutama pada metrik F1-score dan recall, yang krusial untuk mendeteksi komentar judol secara maksimal.
Stabilitas Model terhadap Learning Rate
Model | Std. Dev |
|---|---|
IndoBERT | 0.0011 |
IndoBERTweet | 0.0068 |
XLM-RoBERTa | 0.0039 |
➡️ IndoBERT menunjukkan stabilitas tertinggi, artinya performanya paling konsisten meskipun learning rate diubah.
Performa Inferensi
Model | Waktu Inferensi (ms) |
|---|---|
IndoBERT | 3.12 |
IndoBERT | 3.12 |
XLM-RoBERTa | 2.48 |
➡️ XLM-RoBERTa unggul dalam kecepatan inferensi, sehingga lebih cocok untuk skenario real-time berskala besar.
Analisis dan Implikasi Keputusan Model
Hasil evaluasi menunjukkan bahwa:
IndoBERT paling cocok untuk:
Sistem dengan prioritas akurasi maksimal
Deteksi judol yang menuntut false negative serendah mungkin
XLM-RoBERTa cocok untuk:
Sistem real-time dengan batasan latensi
Skala besar dengan kompromi kecil pada akurasi
IndoBERTweet, meskipun dilatih pada data media sosial, tidak selalu unggul pada pola promosi judol yang cenderung terstruktur dan sistematis
Dengan demikian, pemilihan model harus disesuaikan dengan kebutuhan sistem, bukan sekadar akurasi tunggal.
Kesimpulan
Penelitian ini menegaskan bahwa evaluasi model berbasis variasi learning rate sangat penting sebelum menentukan model yang akan digunakan dalam sistem moderasi komentar judi online.
Berdasarkan hasil evaluasi:
IndoBERT (LR = 1e-5) direkomendasikan sebagai model utama untuk sistem anti-judol berbasis akurasi
XLM-RoBERTa menjadi alternatif ideal untuk kebutuhan efisiensi dan real-time deployment
Kamu bisa taruh di bagian paling bawah (paling aman) atau setelah Pendahuluan kalau mau pembaca langsung tahu konteks risetnya.
Referensi Publikasi Ilmiah
Artikel ini disusun berdasarkan paper ilmiah yang telah dipublikasikan secara resmi dalam jurnal bit-Tech. Penelitian tersebut berfokus pada analisis komparatif beberapa model Transformer untuk mendeteksi komentar judi online (judol) pada platform YouTube, dengan tujuan menentukan model paling optimal sebagai dasar pengambilan keputusan dalam pengembangan sistem anti-judol.
Sitasi Paper:
K. Iansyah, A. L. Nurlaili, and M. M. A. Haromainy,
“Comparative Analysis of IndoBERT, IndoBERTweet, and XLM-RoBERTa for Detecting Online Gambling Comments on YouTube”,
bit-Tech, vol. 8, no. 2, pp. 2379–2390, Dec. 2025.
DOI: https://doi.org/10.32877/bt.v8i2.3257
Artikel ini menyajikan versi interpretatif dan aplikatif dari hasil penelitian tersebut, dengan penekanan pada konteks implementasi nyata dalam sistem moderasi komentar.
Dataset yang Digunakan
Seluruh eksperimen dan evaluasi model dalam penelitian ini menggunakan dataset komentar YouTube berbahasa Indonesia yang disusun dan dirilis secara terbuka oleh penulis.
Dataset ini juga telah dibahas secara terpisah dalam artikel khusus berikut:
📘 Artikel Dataset (Bahasa Indonesia)
https://keviniansyah.site/articles/berbagi-dataset-komentar-youtube-judi-online-untuk-klasifikasi-dan-named-entity-recognition-ner📗 Artikel Dataset (Bahasa Inggris)
https://keviniansyah.site/articles/sharing-a-youtube-comment-dataset-for-online-gambling-classification-and-named-entity-recognition-ner💾 Repository GitHub Dataset
https://github.com/KevinIansyah/dataset-komentar-youtube.git
Dataset ini mencakup tugas klasifikasi komentar judi online serta Named Entity Recognition (NER) untuk mengekstraksi istilah dan entitas terkait judol, dan dapat digunakan secara bebas untuk keperluan riset dan pengembangan sistem.