Analisis Perbandingan Algoritma Machine Learning dan Deep Learning untuk Klasifikasi Citra Sistem Isyarat Bahasa Indonesia (SIBI)

Jurnal Teknologi Informasi dan Ilmu Komputer Pub Date : 2023-08-30 DOI:10.25126/jtiik.20241046823

M. F. Naufal, Selvia Ferdiana Kusuma

{"title":"Analisis Perbandingan Algoritma Machine Learning dan Deep Learning untuk Klasifikasi Citra Sistem Isyarat Bahasa Indonesia (SIBI)","authors":"M. F. Naufal, Selvia Ferdiana Kusuma","doi":"10.25126/jtiik.20241046823","DOIUrl":null,"url":null,"abstract":"Terdapat orang yang tidak mampu berkomunikasi secara verbal yang menyebabkan kesulitan dalam berkomunikasi. Orang tersebut mengalami gangguan seperti tuli atau bisu. Mereka hanya dapat berkomunikasi melalui bahasa isyarat salah satunya adalah Sistem Isyarat Bahasa Indonesia (SIBI). Pengenalan Bahasa Isyarat adalah permasalahan klasifikasi yang kompleks untuk dipecahkan. Setiap bahasa isyarat memiliki sintaks dan tata bahasanya sendiri. Computer vision adalah sebuah Teknik yang digunakan komputer untuk melakukan klasifikasi citra. Computer vision membantu pengenalan citra SIBI secara otomatis sehingga memudahkan orang normal berkomunikasi dengan orang tuli atau bisu. Pada penelitian sebelumnya belum ada yang melakukan perbandingan algoritma klasifikasi machine learning dan deep learning untuk pengenalan SIBI. Perbandingan penting dilakukan untuk melihat efektifitas tiap algoritma klasifikasi dalam hal performa klasifikasi dan waktu komputasi. Algoritma klasifikasi machine learning memiliki waktu komputasi lebih rendah sedangkan Deep learning memiliki performa klasifikasi lebih tinggi. Penelitian ini menganalisis time to performance dari algoritma machine learning dan deep learning dalam melakukan klasifikasi citra SIBI huruf A hingga Z. K-Nearest Neighbors (KNN), Support Vector Machine (SVM), dan Convolutional neural network (CNN) dengan transfer learning adalah tiga algorimta klasifikasi populer yang dibandingkan dalam penelitian ini. Arsitektur transfer learning yang digunakan adalah Xception, ResNet50, VGG15, dan MobileNetV2. Dari hasil penelitian yang dilakukan menggunakan 5 cross validation, CNN dengan arsitektur Xception memiliki nilai F1 Score tertinggi yaitu 99,57% dengan waktu training rata-rata 1.387 detik. Sedangkan KNN dengan nilai K = 1 memiliki waktu training tercepat yaitu 0,03 detik dan memiliki nilai F1 Score 86,95%. AbstractThe person who has a disorder such as deaf or dumb are unable to communicate verbally, which causes difficulties in communicating. They can only communicate through sign language, one of which is the Indonesian Language Sign System or Sistem Isyarat Bahasa Indonesia (SIBI). Sign Language Recognition is a complex classification problem to solve. Each sign language has its syntax and grammar. Computer vision is a technique used by computers to classify images. Computer vision helps automatically recognize SIBI images, making it easier for normal people to communicate with deaf or mute people. In previous studies, no one has compared machine learning and deep learning classification algorithms for the classification of SIBI. Therefore, a meaningful comparison is made to see each classification algorithm's effectiveness in classification performance and computation time. Machine learning classification algorithms have lower computation time, while Deep learning has higher classification performance. This study analyzes the time to performance of machine learning and deep learning algorithms in classifying SIBI images of letters A to Z. K-Nearest Neighbors (KNN), Support Vector Machine (SVM), and Convolutional neural network (CNN) with transfer learning are three popular classification algorithms compared in this study. The transfer learning architectures used are Xception, ResNet50, VGG15, and MobileNetV2. The results of research conducted using 5 cross-validation, CNN with the Xception architecture has highest F1 Score of 99.57%, with an average training time of 1.387 seconds. KNN, with a value of K = 1, has the fastest training time of 0.03 seconds and an F1 Score of 86.95%. ","PeriodicalId":32501,"journal":{"name":"Jurnal Teknologi Informasi dan Ilmu Komputer","volume":" ","pages":""},"PeriodicalIF":0.0000,"publicationDate":"2023-08-30","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Jurnal Teknologi Informasi dan Ilmu Komputer","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.25126/jtiik.20241046823","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}

引用次数: 0

Terdapat orang yang tidak mampu berkomunikasi secara verbal yang menyebabkan kesulitan dalam berkomunikasi. Orang tersebut mengalami gangguan seperti tuli atau bisu. Mereka hanya dapat berkomunikasi melalui bahasa isyarat salah satunya adalah Sistem Isyarat Bahasa Indonesia (SIBI). Pengenalan Bahasa Isyarat adalah permasalahan klasifikasi yang kompleks untuk dipecahkan. Setiap bahasa isyarat memiliki sintaks dan tata bahasanya sendiri. Computer vision adalah sebuah Teknik yang digunakan komputer untuk melakukan klasifikasi citra. Computer vision membantu pengenalan citra SIBI secara otomatis sehingga memudahkan orang normal berkomunikasi dengan orang tuli atau bisu. Pada penelitian sebelumnya belum ada yang melakukan perbandingan algoritma klasifikasi machine learning dan deep learning untuk pengenalan SIBI. Perbandingan penting dilakukan untuk melihat efektifitas tiap algoritma klasifikasi dalam hal performa klasifikasi dan waktu komputasi. Algoritma klasifikasi machine learning memiliki waktu komputasi lebih rendah sedangkan Deep learning memiliki performa klasifikasi lebih tinggi. Penelitian ini menganalisis time to performance dari algoritma machine learning dan deep learning dalam melakukan klasifikasi citra SIBI huruf A hingga Z. K-Nearest Neighbors (KNN), Support Vector Machine (SVM), dan Convolutional neural network (CNN) dengan transfer learning adalah tiga algorimta klasifikasi populer yang dibandingkan dalam penelitian ini. Arsitektur transfer learning yang digunakan adalah Xception, ResNet50, VGG15, dan MobileNetV2. Dari hasil penelitian yang dilakukan menggunakan 5 cross validation, CNN dengan arsitektur Xception memiliki nilai F1 Score tertinggi yaitu 99,57% dengan waktu training rata-rata 1.387 detik. Sedangkan KNN dengan nilai K = 1 memiliki waktu training tercepat yaitu 0,03 detik dan memiliki nilai F1 Score 86,95%.

Abstract

The person who has a disorder such as deaf or dumb are unable to communicate verbally, which causes difficulties in communicating. They can only communicate through sign language, one of which is the Indonesian Language Sign System or Sistem Isyarat Bahasa Indonesia (SIBI). Sign Language Recognition is a complex classification problem to solve. Each sign language has its syntax and grammar. Computer vision is a technique used by computers to classify images. Computer vision helps automatically recognize SIBI images, making it easier for normal people to communicate with deaf or mute people. In previous studies, no one has compared machine learning and deep learning classification algorithms for the classification of SIBI. Therefore, a meaningful comparison is made to see each classification algorithm's effectiveness in classification performance and computation time. Machine learning classification algorithms have lower computation time, while Deep learning has higher classification performance. This study analyzes the time to performance of machine learning and deep learning algorithms in classifying SIBI images of letters A to Z. K-Nearest Neighbors (KNN), Support Vector Machine (SVM), and Convolutional neural network (CNN) with transfer learning are three popular classification algorithms compared in this study. The transfer learning architectures used are Xception, ResNet50, VGG15, and MobileNetV2. The results of research conducted using 5 cross-validation, CNN with the Xception architecture has highest F1 Score of 99.57%, with an average training time of 1.387 seconds. KNN, with a value of K = 1, has the fastest training time of 0.03 seconds and an F1 Score of 86.95%.

查看原文本刊更多论文

印尼信号系统（SIBI）图像分类的机器学习和深度学习比较算法分析

有些人无法进行口头交流，从而导致沟通困难。这个人受到了失聪或失聪的困扰。他们只能通过语言进行通信，其中一个信号是印尼信号系统（SIBI）。信号语言识别是一个需要解决的复杂分类问题。每种信号语言都有自己的语法和语言系统。计算机视觉是一种计算机用来对图像进行分类的技术。计算机视觉自动帮助识别SIBI图像，以便正常人可以与聋人或聋哑人交流。在之前的研究中，没有人对机器学习和深度学习算法进行SIBI识别的比较。对每种分类算法在分类性能和计算时间方面的有效性进行了重要的比较。机器学习分类算法具有较低的计算时间，而深度学习具有较高的分类性能。本研究分析了机器学习和深度学习算法在执行SIBI图像分类字母A到Z时的时间-性能。K-最近邻（KNN）、支持向量机（SVM）和带迁移学习的卷积神经网络（CNN）是本研究中比较的三种流行分类算法。使用的迁移学习架构是Xception、ResNet50、VGG15和MobileNetV2。从使用5个交叉验证进行的研究结果来看，具有Xception架构的CNN的F1得分最高，为99.57%，平均训练时间为1387秒。K=1的KNN训练时间最快，为0.03秒，F1成绩为86.95%。摘要患有聋哑等障碍的人无法进行言语交流，这会导致沟通困难。他们只能通过手语进行交流，其中之一是印尼语手语系统或印度尼西亚语手语系统（SIBI）。手语识别是一个需要解决的复杂分类问题。语言计算机视觉是计算机用来对图像进行分类的一种技术。计算机视觉有助于自动识别SIBI图像，使普通人更容易与聋哑人交流。在以前的研究中，没有人比较机器学习和深度学习分类算法对SIBI的分类。因此，对每种分类算法在分类性能和计算时间方面的有效性进行了有意义的比较。机器学习分类算法具有较低的计算时间，而深度学习具有较高的分类性能。本研究分析了机器学习和深度学习算法在字母A到Z的SIBI图像分类中的时间-性能。K-最近邻（KNN）、支持向量机（SVM）和带迁移学习的卷积神经网络（CNN）是本研究中比较的三种流行分类算法。使用的迁移学习架构有Xception、ResNet50、VGG15和MobileNetV2。使用5个交叉验证进行的研究结果表明，具有Xception架构的CNN的F1得分最高，为99.57%，平均训练时间为1.387秒。K=1的KNN训练时间最快，为0.03秒，F1成绩为86.95%。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

求助全文

约1分钟内获得全文求助全文

来源期刊

Jurnal Teknologi Informasi dan Ilmu Komputer

自引率

0.00%

发文量

审稿时长

16 weeks