Human Activity Recognition Berdasarkan Tangkapan Webcam Menggunakan Metode Convolutional Neural Network (CNN) Dengan Arsitektur MobileNet

Abstract

Manusia tidak bisa terlepas dari aktivitas sehari-hari yang mana merupakan bagian dari kehidupan manusia. Human activity recognition atau pengenalan aktivitas manusia saat ini merupakan salah satu topik yang sedang banyak diteliti seiring dengan pesatnya kemajuan di bidang teknologi yang berkembang saat ini. Hampir semua bidang terdampak dari pandemi COVID-19 yang memengaruhi aktivitas manusia sehingga menjadi lebih terbatas. Salah satu bidang yang paling terdampak yaitu pendidikan, di mana kampus menerapkan sistem pembelajaran daring, yang membuat dosen lebih sulit untuk mengawasi pembelajaran maupun ujian yang dilakukan secara daring karena tidak dapat mengawasi aktivitas yang dilakukan mahasiswa secara langsung. Penelitian ini bertujuan untuk membuat model yang dapat mengenali aktivitas seseorang saat ujian daring berdasarkan tangkapan webcam dengan memanfaatkan model deep learning dengan metode Convolution Neural Network (CNN) menggunakan arsitektur MobileNetV2. Pengujian hyperparameter dilakukan untuk menghasilkan model optimal yang dilakukan pada batch size sebesar 16, 32, dan 64 serta dense layer sebanyak 1, 3, 5, dan 7. Pengujian tersebut menghasilkan model optimal dengan hyperparameter berupa max epoch sebanyak 20, early stopping dengan patience sebesar 10, learning rate sebesar 0,0001, batch size sebesar 16, dan dense layer sebanyak 5. Model tersebut dievaluasi menggunakan cross validation dan confusion matrix yang berhasil memberikan performa F1-score akhir sebesar 84,52%.