Hyperparameter Tuning on Classification Algorithm with Grid Search

Abstract

Saat ini algoritma machine learning terus dikembangkan untuk bisa dilakukan optimasi dengan berbagai metode agar menghasilkan model dengan performa terbaik. Salah satu cara optimasi dengan menerapkan tuning hyperparameter . Pada Supervised learning atau klasifikasi sebagian besar algoritmanya memiliki hyperparameter . Tuning hyperparameter merupakan arsitektur dari deep learning untuk meningkatkan performa dari model prediksi. Metodologi hyperparameter yang populer diantaranya adalah Grid Search . Grid Search menggunakan Cross Validation memberikan kemudahan dalam menguji coba setiap parameter model tanpa harus melakukan validasi manual satu persatu. Pada penelitian ini akan menggunakan metode dalam optimasi hyperparameter yaitu Grid Search . Tujuan dari penelitian ini ingin mengetahui optimasi terbaik dari hyperparameter terhadap 7 algoritma klasifikasi machine learning. Validasi terhadap hasil eksperimen menggunakan metrik pengukuran Mean Cross Validation . Dari hasil eksperimen menunjukkan bahwa model XGBoost memperoleh nilai terbaik sedangkan Decision tree memiliki nilai terendah. Abstract Currently, machine learning algorithms continue to be developed to perform optimization with various methods to produce the best-performing model. In Supervised learning or classification, most of the algorithms have hyperparameters. Tuning hyperparameter is an architecture of deep learning to improve the performance of predictive models. One of the popular hyperparameter methodologies is Grid Search. Grid Search using Cross Validation provides convenience in testing each model parameter without having to do manual validation one by one. In this study, we will use a method in hyperparameter optimization, namely Grid Search. The purpose of this study is to find out the best optimization of hyperparameters against 7 machine learning classification algorithms. Validation of experimental results using the Mean Cross Validation. The experimental results show that the XGBoost model gets the best value while the Decision tree has the lowest value.