Generative Chatbot Berbahasa Indonesia Dengan Menggunakan Arsitektur Transformer
DOI:
https://doi.org/10.52158/v1x82029Keywords:
bleu score, chatbot, self-attention, sequence-to-sequence, transformerAbstract
Chatbot merupakan program komputer yang dirancang untuk berinteraksi dengan manusia melalui pesan teks maupun suara. Salah satu pendekatan yang banyak dikaji adalah Generative Chatbot, yang menghasilkan respons secara dinamis berdasarkan data percakapan, berbeda dengan pendekatan Retrieval maupun Rule-based yang bergantung pada templat atau basis pengetahuan tetap. Penelitian ini secara khusus bertujuan untuk mengembangkan model sequence-to-sequence berbasis Transformer untuk percakapan berbahasa Indonesia serta melakukan pembandingan empiris dengan arsitektur GRU yang diperkaya dengan mekanisme Attention. Dataset yang digunakan berupa pasangan tanya–jawab berbahasa Indonesia yang diambil dari penelitian terdahulu dan diperluas melalui teknik augmentasi berbasis sinonim guna meningkatkan variasi dan keberagaman data pelatihan. Model dievaluasi menggunakan metrik BLEU-Score untuk mengukur kualitas respons yang dihasilkan serta indikator efisiensi komputasi selama pelatihan dan inferensi. Hasil eksperimen menunjukkan bahwa arsitektur Transformer menunjukkan kinerja yang lebih baik dalam mempertahankan konteks pada urutan kalimat yang panjang, yang tercermin pada peningkatan nilai BLEU-Score dibandingkan GRU+Attention pada data setiap dataset yang diuji. Selain itu, sifat pemrosesan paralel pada Transformer berkontribusi pada efisiensi waktu pelatihan yang lebih baik dibandingkan model berbasis GRU+Attention yang bersifat sequential. Penelitian ini menunjukkan potensi Transformer sebagai fondasi yang efektif untuk pengembangan generative chatbot berbahasa Indonesia
Downloads
References
E. Adamopoulou and L. Moussiades, “Chatbots: History, technology, and applications,” Machine Learning with Applications, vol. 2, no. October, p. 100006, 2020, doi: 10.1016/j.mlwa.2020.100006.
G. Wijayanto, Y. Rivai, A. Alvionita, S. W. Wildah, and J. Jushermi, “Evaluation of the Effect of Chatbot in Improving Customer Interaction and Satisfaction in Online Marketing in Indonesia,” West Science Business and Management, vol. 1, no. 04, pp. 304–310, Sep. 2023, doi: 10.58812/wsbm.v1i04.248.
G. Caldarini, S. Jaf, and K. McGarry, “A Literature Survey of Recent Advances in Chatbots,” Information, vol. 13, no. 1, p. 41, Jan. 2022, doi: 10.3390/info13010041.
A. Elcholiqi and A. Musdholifah, “Chatbot in Bahasa Indonesia using NLP to Provide Banking Information,” IJCCS (Indonesian Journal of Computing and Cybernetics Systems), vol. 14, no. 1, p. 91, Jan. 2020, doi: 10.22146/ijccs.41289.
Zein Hanni Pradana, Hanin Nafi’ah, and Raditya Artha Rochmanto, “in Chatbot-based Information Service using RASA Open-SourceFrameworkin Prambanan Temple Tourism Object,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 6, no. 4, pp. 656–662, Aug. 2022, doi: 10.29207/resti.v6i4.3913.
Y. S. H. Langgeng, “Long short-term memory-based chatbot for vocational registration information services,” Journal of Applied Data Sciences, vol. 4, no. 4, pp. 414–430, Dec. 2023, doi: 10.47738/jads.v4i4.128.
M. Ilyas Tri Khaqiqi, N. H. Harani, and C. Prianto, “Performance Analysis and Development of QnA Chatbot Model Using LSTM in Answering Questions,” The Indonesian Journal of Computer Science, vol. 12, no. 3, Jun. 2023, doi: 10.33022/ijcs.v12i3.3249.
Fahmi Yusron Fiddin, A. Komarudin, and M. Melina, “Chatbot Informasi Penerimaan Mahasiswa Baru Menggunakan Metode FastText dan LSTM,” Journal of Applied Computer Science and Technology, vol. 5, no. 1, pp. 33–39, Feb. 2024, doi: 10.52158/jacost.v5i1.648.
P. Choudhary and S. Chauhan, “An intelligent chatbot design and implementation model using long short-term memory with recurrent neural networks and attention mechanism,” Decision Analytics Journal, vol. 9, p. 100359, Dec. 2023, doi: 10.1016/j.dajour.2023.100359.
Suryani and Mustakim, “An Intelligent Chatbot for Faculty Administration Using Bidirectional LSTM and Seq2Seq Architecture,” in 2024 International Conference on Smart Computing, IoT and Machine Learning (SIML), IEEE, Jun. 2024, pp. 226–231. doi: 10.1109/SIML61815.2024.10578161.
M. A. Khadija, W. Nurharjadmo, and Widyawan, “Deep Learning Generative Indonesian Response Model Chatbot for JKN-KIS,” in 2022 1st International Conference on Smart Technology, Applied Informatics, and Engineering (APICS), IEEE, Aug. 2022, pp. 70–74. doi: 10.1109/APICS56469.2022.9918686.
A. Vaswani et al., “Attention Is All You Need,” Adv Neural Inf Process Syst, vol. arXiv:1706, Jun. 2017, [Online]. Available: http://arxiv.org/abs/1706.03762
S. M. Jain, “Introduction to Transformers,” in Introduction to Transformers for NLP, Berkeley, CA: Apress, 2022, pp. 19–36. doi: 10.1007/978-1-4842-8844-3_2.
L. H. Suadaa, I. Santoso, and A. T. B. Panjaitan, “Transfer Learning of Pre-trained Transformers for Covid-19 Hoax Detection in Indonesian Language,” IJCCS (Indonesian Journal of Computing and Cybernetics Systems), vol. 15, no. 3, p. 317, Jul. 2021, doi: 10.22146/ijccs.66205.
J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of deep bidirectional transformers for language understanding,” ArXiv, pp. 4171–4186, 2018, doi: https://doi.org/10.48550/arXiv.1810.04805
F. Koto, A. Rahimi, J. H. Lau, and T. Baldwin, “IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP,” Online. [Online]. Available: https://huggingface.co/
A. Musyafa, Y. Gao, A. Solyman, C. Wu, and S. Khan, “Automatic Correction of Indonesian Grammatical Errors Based on Transformer,” Applied Sciences, vol. 12, no. 20, p. 10380, Oct. 2022, doi: 10.3390/app122010380.
K. Nassiri and M. Akhloufi, “Transformer models used for text-based question answering systems,” Applied Intelligence, vol. 53, no. 9, pp. 10602–10635, May 2023, doi: 10.1007/s10489-022-04052-8.
B. Wilie et al., “IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding,” ArXiv, pp. 843–857, Sep. 2020, [Online]. Available: http://arxiv.org/abs/2009.05387
A. S. Nikmatun, A. Y. Winatmoko, A. A. Septiandri, and A. Jamal, “Colloquial Indonesian Lexicon,” in 2018 International Conference on Asian Language Processing (IALP), Bandung: IEEE, Nov. 2018, pp. 226–229. doi: 10.1109/IALP.2018.8629151.
Abdurrahman and A. Purwarianti, “Effective Use of Augmentation Degree and Language Model for Synonym-based Text Augmentation on Indonesian Text Classification,” in 2019 International Conference on Advanced Computer Science and information Systems (ICACSIS), Bali: IEEE, Oct. 2019, pp. 217–222. doi: 10.1109/ICACSIS47736.2019.8979733.
K. Papineni, S. Roukos, T. Ward, and W. Zhu, “BLEU: a Method for Automatic Evaluation of Machine Translation,” in Proceedings of the 40th Annual Meeting on Association for Computational Linguistics - ACL ’02, Morristown, NJ, USA: Association for Computational Linguistics, 2002, p. 311. doi: 10.3115/1073083.1073135.
Downloads
Published
Issue
Section
License
Copyright (c) 2026 Winarto Saputro, Edi Winarko
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Pernyataan Hak Cipta dan Lisensi
Dengan mengirimkan manuskrip ke Journal of Applied Computer Science and Technology (JACOST), penulis setuju dengan kebijakan ini. Tidak diperlukan persetujuan dokumen khusus.
- Hak cipta pada setiap artikel adalah milik penulis.
- Penulis mempertahankan semua hak mereka atas karya yang diterbitkan, tak terbatas pada hak-hak yang diatur dalam laman ini.
- Penulis mengakui bahwa Journal of Applied Computer Science and Technology (JACOST) sebagai yang pertama kali mempublikasikan dengan lisensi Creative Commons Atribusi 4.0 Internasional (CC BY-SA).
- Penulis dapat memasukan tulisan secara terpisah, mengatur distribusi non-ekskulif dari naskah yang telah terbit di jurnal ini kedalam versi yang lain (misal: dikirim ke respository institusi penulis, publikasi kedalam buku, dll), dengan mengakui bahwa naskah telah terbit pertama kali pada Journal of Applied Computer Science and Technology (JACOST);
- Penulis menjamin bahwa artikel asli, ditulis oleh penulis yang disebutkan, belum pernah dipublikasikan sebelumnya, tidak mengandung pernyataan yang melanggar hukum, tidak melanggar hak orang lain, tunduk pada hak cipta yang secara eksklusif dipegang oleh penulis.
- Jika artikel dipersiapkan bersama oleh lebih dari satu penulis, setiap penulis yang mengirimkan naskah menjamin bahwa dia telah diberi wewenang oleh semua penulis bersama untuk menyetujui hak cipta dan pemberitahuan lisensi (perjanjian) atas nama mereka, dan setuju untuk memberi tahu rekan penulis persyaratan kebijakan ini. Journal of Applied Computer Science and Technology (JACOST) tidak akan dimintai pertanggungjawaban atas apa pun yang mungkin timbul karena perselisihan internal penulis.
Lisensi :
Journal of Applied Computer Science and Technology (JACOST) diterbitkan berdasarkan ketentuan Lisensi Creative Commons Atribusi 4.0 Internasional (CC BY-SA). Lisensi ini mengizinkan setiap orang untuk :.
- Berbagi — menyalin dan menyebarluaskan kembali materi ini dalam bentuk atau format apapun;
- Adaptasi — menggubah, mengubah, dan membuat turunan dari materi ini untuk kepentingan apapun.
Lisensi :
-
Atribusi — Anda harus mencantumkan nama yang sesuai, mencantumkan tautan terhadap lisensi, dan menyatakan bahwa telah ada perubahan yang dilakukan. Anda dapat melakukan hal ini dengan cara yang sesuai, namun tidak mengisyaratkan bahwa pemberi lisensi mendukung Anda atau penggunaan Anda.
-
BerbagiSerupa — Apabila Anda menggubah, mengubah, atau membuat turunan dari materi ini, Anda harus menyebarluaskan kontribusi Anda di bawah lisensi yang sama dengan materi asli.
