Application of Bagging and Boosting Methods for Heart Disease Classification

Authors

  • Yehezkiel E.A Parapak STMIK Time
  • Robet Robet STMIK Time
  • Jackri Hendrik STMIK Time

DOI:

https://doi.org/10.52158/we9asn06

Keywords:

Heart Disease, SMOTE, Extra Tress, Bagging, Boosting

Abstract

Cardiovascular disease remains a primary contributor to global mortality, underscoring the urgent need for accurate and early diagnostic tools. This study aims to develop a robust classification model for heart disease by conducting a comparative analysis of six ensemble machine learning algorithms, comprising three from the Bagging family (Random Forest, Bagged Decision Tree, Extra Trees) and three from the Boosting family (AdaBoost, Gradient Boosting, XGBoost). The research utilizes the publicly available UCI Cleveland Heart Disease dataset, which exhibits a mild class imbalance. To address this, the Synthetic Minority Over-sampling Technique (SMOTE) was strategically applied to the training data. The performance of each model was rigorously evaluated using accuracy, precision, recall, and F1-score. Experimental results revealed that the Extra Trees algorithm, when combined with SMOTE, achieved the highest overall performance with 90% accuracy, 96% precision, 82% recall, and an 88% F1-score. The primary contribution of this work lies in its comprehensive analysis demonstrating that the randomization strategy of Extra Trees provides a superior and more reliable framework for this classification task compared to other common ensemble techniques, particularly after data balancing. These findings confirm that an integrated approach of ensemble learning and proper data balancing can significantly enhance the development of fair and effective diagnostic tools to support medical professionals.

Downloads

Download data is not yet available.

References

[1] N. Nasution, F. Nasution, and M. A. Hasan, “Heart Disease Risk Prediction: Evaluating Machine Learning Algorithms With Feature Reduction Using Lda,” JURTEKSI (Jurnal Teknol. dan Sist. Informasi), vol. 11, no. 1, pp. 9–16, 2024, doi: 10.33330/jurteksi.v11i1.3498.

[2] M. K. Dwipa Jaya, “Perbandingan Random Forest, Decision Tree, Gradient Boosting, Logistic Regression untuk Klasifikasi Penyakit Jantung,” Jnatia, vol. 2, no. November, pp. 1–5, 2023.

[3] Irpanudin, Reka, R. Nur Anggraeni, P. Pratama, A. Sujjada, and A. Fergina, “Prediksi Penyakit Jantung Menggunakan Metode Deep Neural Network dengan Memanfaatkan Internet of Things,” J. Inf. dan Teknol., vol. 5, pp. 45–55, 2023, doi: 10.37034/jidt.v5i2.330.

[4] N. H. Alfajr and S. Defiyanti, “Prediksi Penyakit Jantung Menggunakan Metode Random Forest Dan Penerapan Principal Component Analysis (Pca),” J. Inform. dan Tek. Elektro Terap., vol. 12, no. 3S1, 2024, doi: 10.23960/jitet.v12i3s1.5055.

[5] A. Rahmada and E. R. Susanto, “Peningkatan Akurasi Prediksi Penyakit Jantung dengan Teknik SMOTEENN pada Algoritma Random Forest,” J. Pendidik. dan Teknol. Indones., vol. 4, no. 12, pp. 795–803, 2025, doi: 10.52436/1.jpti.524.

[6] G. Fernando, H. M. Zaydan, I. Akbar, and R. Dwi Irawan, “Biner : Jurnal Ilmu Komputer, Teknik dan Multimedia Klasifikasi Penyakit Jantung Menggunakan Extreme Gradient Boosting,” vol. 2, no. 5, pp. 667–670, 2024, [Online]. Available: https://journal.mediapublikasi.id/index.php/Biner

[7] D. Sitanggang, N. Nicholas, V. Wilson, A. R. A. Sinaga, and A. D. Simanjuntak, “Implementasi Data Mining Untuk Memprediksi Penyakit Jantung Menggunakan Metode K-Nearest Neighbor Dan Logistic Regression,” J. Tek. Inf. dan Komput., vol. 5, no. 2, p. 493, 2022, doi: 10.37600/tekinkom.v5i2.698.

[8] C. A. Ramadan, F. E. Fahriza, F. Hidayatullah, and M. T. Amru, “Literatur Review : Pendekatan Ensemble Learning untuk Klasifikasi Penyakit Jantung Koroner,” vol. 2, no. 3, pp. 482–486, 2024.

[9] S. A. T. Al Azhima, D. Darmawan, N. F. Arief Hakim, I. Kustiawan, M. Al Qibtiya, and N. S. Syafei, “Hybrid Machine Learning Model untuk memprediksi Penyakit Jantung dengan Metode Logistic Regression dan Random Forest,” J. Teknol. Terpadu, vol. 8, no. 1, pp. 40–46, 2022, doi: 10.54914/jtt.v8i1.539.

[10] A. A. Surya and Y. Yamasari, “Penerapan Algoritma Naïve Bayes (NB) untuk Klasifikasi Penyakit Jantung,” J. Informatics Comput. Sci., vol. 5, no. 03, pp. 447–455, 2024, doi: 10.26740/jinacs.v5n03.p447-455.

[11] S. A. Kamila, R. S. Sulistijowati, and I. Susanto, “Klasifikasi Penyakit Jantung Menggunakan Decision Tree dan Random Forest,” Semin. Nas. Teknol. &Amp; Sains, vol. 2, no. 1, pp. 7–12, 2023.

[12] M. I. Aziz, A. Z. Fanani, and A. Affandy, “Analisis Metode Ensemble Pada Klasifikasi Penyakit Jantung Berbasis Decision Tree,” J. Media Inform. Budidarma, vol. 7, no. 1, p. 1, 2023, doi: 10.30865/mib.v7i1.5169.

[13] A. F. Anjani, D. Anggraeni, and I. M. Tirta, “Implementasi Random Forest Menggunakan SMOTE untuk Analisis Sentimen Ulasan Aplikasi Sister for Students UNEJ,” J. Nas. Teknol. dan Sist. Inf., vol. 9, no. 2, pp. 163–172, 2023, doi: 10.25077/teknosi.v9i2.2023.163-172.

[14] F. M. Natsir, R. Y. Bakti, and T. Wahyuni, “Analisis Deteksi Dini Penyakit Jantung dengan Pendekatan Support Vector Machine pada Data Pasien,” Arus J. Sains dan Teknol., vol. 2, no. 2, pp. 437–446, 2024, doi: 10.57250/ajst.v2i2.669.

[15] S. G. Barus, “Klasifikasi Sentimen Data Tidak Seimbang Menggunakan Algoritma Smote Dan K-Nearest Neighbor Pada Ulasan Pengguna Aplikasi Pedulilindungi,” Senamika, pp. 162–173, 2022.

[16] D. Wijayanto, R. Marco, A. Sidauruk, and M. Sulistiyono, “The Effect of SMOTE and Optuna Hyperparameter Optimization on TabNet Performance for Heart Disease Classification,” J. Sisfokom (Sistem Inf. dan Komputer), vol. 14, no. 2, pp. 156–164, 2025, doi: 10.32736/sisfokom.v14i2.2348.

[17] G. F. Fahrudin, S. Suroso, and S. Soim, “Pengembangan Model Support Vector Machine untuk Meningkatkan Akurasi Klasifikasi Diagnosis Penyakit Jantung,” J. Teknol. Sist. Inf. dan Apl., vol. 7, no. 3, pp. 1418–1428, 2024, doi: 10.32493/jtsi.v7i3.42254.

[18] Y. Amelia, “Perbandingan Metode Machine Learning Untuk Mendeteksi Penyakit Jantung,” IDEALIS Indones. J. Inf. Syst., vol. 6, no. 2, pp. 220–225, 2023, doi: 10.36080/idealis.v6i2.3043.

[19] R. Waluyo and A. S. Munir, “Optimasi Prediksi Kematian pada Gagal Jantung Analisis Perbandingan Algoritma Pembelajaran Ensemble dan Teknik Penyeimbangan Data pada Dataset,” J. Sist. dan Teknol. Inf., vol. 12, no. 2, p. 365, 2024, doi: 10.26418/justin.v12i2.75158.

[20] A. S. Prabowo and F. I. Kurniadi, “Analisis Perbandingan Kinerja Algoritma Klasifikasi dalam Mendeteksi Penyakit Jantung,” J. SISKOM-KB (Sistem Komput. dan Kecerdasan Buatan), vol. 7, no. 1, pp. 56–61, 2023, doi: 10.47970/siskom-kb.v7i1.468.

Downloads

Published

2025-12-15

Issue

Vol. 6 No. 2 (2025): Desember 2025

Section

Articles

License

Copyright (c) 2025 Yehezkiel E.A Parapak, Robet Robet, Jackri Hendrik

Creative Commons License

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

Pernyataan Hak Cipta dan Lisensi

Dengan mengirimkan manuskrip ke Journal of Applied Computer Science and Technology (JACOST), penulis setuju dengan kebijakan ini. Tidak diperlukan persetujuan dokumen khusus.

  1. Hak cipta pada setiap artikel adalah milik penulis.
  2. Penulis mempertahankan semua hak mereka atas karya yang diterbitkan, tak terbatas pada hak-hak yang diatur dalam laman ini.
  3. Penulis mengakui bahwa Journal of Applied Computer Science and Technology (JACOST) sebagai yang pertama kali mempublikasikan dengan lisensi Creative Commons Atribusi 4.0 Internasional (CC BY-SA).
  4. Penulis dapat memasukan tulisan secara terpisah, mengatur distribusi non-ekskulif  dari naskah yang telah terbit di jurnal ini kedalam versi yang lain (misal: dikirim ke respository institusi penulis, publikasi kedalam buku, dll), dengan mengakui bahwa naskah telah terbit pertama kali pada Journal of Applied Computer Science and Technology (JACOST);
  5. Penulis menjamin bahwa artikel asli, ditulis oleh penulis yang disebutkan, belum pernah dipublikasikan sebelumnya, tidak mengandung pernyataan yang melanggar hukum, tidak melanggar hak orang lain, tunduk pada hak cipta yang secara eksklusif dipegang oleh penulis.
  6. Jika artikel dipersiapkan bersama oleh lebih dari satu penulis, setiap penulis yang mengirimkan naskah menjamin bahwa dia telah diberi wewenang oleh semua penulis bersama untuk menyetujui hak cipta dan pemberitahuan lisensi (perjanjian) atas nama mereka, dan setuju untuk memberi tahu rekan penulis persyaratan kebijakan ini.  Journal of Applied Computer Science and Technology (JACOST) tidak akan dimintai pertanggungjawaban atas apa pun yang mungkin timbul karena perselisihan internal penulis.

Lisensi :

Journal of Applied Computer Science and Technology (JACOST) diterbitkan berdasarkan ketentuan Lisensi Creative Commons Atribusi 4.0 Internasional (CC BY-SA). Lisensi ini mengizinkan setiap orang untuk :.

  • Adaptasi — menggubah, mengubah, dan membuat turunan dari materi ini untuk kepentingan apapun.

Lisensi :

  • Atribusi — Anda harus mencantumkan nama yang sesuai, mencantumkan tautan terhadap lisensi, dan menyatakan bahwa telah ada perubahan yang dilakukan. Anda dapat melakukan hal ini dengan cara yang sesuai, namun tidak mengisyaratkan bahwa pemberi lisensi mendukung Anda atau penggunaan Anda.

  • BerbagiSerupa — Apabila Anda menggubah, mengubah, atau membuat turunan dari materi ini, Anda harus menyebarluaskan kontribusi Anda di bawah lisensi yang sama dengan materi asli.

How to Cite

[1]
“Application of Bagging and Boosting Methods for Heart Disease Classification”, J. Appl. Comput. Sci. Technol., vol. 6, no. 2, pp. 67–73, Dec. 2025, doi: 10.52158/we9asn06.