Analisis Efek Augmentasi Dataset dan Fine Tune pada Algoritma Pre-Trained Convolutional Neural Network (CNN)

T. B. Sasongko, Haryoko Haryoko, Agit Amrullah
{"title":"Analisis Efek Augmentasi Dataset dan Fine Tune pada Algoritma Pre-Trained Convolutional Neural Network (CNN)","authors":"T. B. Sasongko, Haryoko Haryoko, Agit Amrullah","doi":"10.25126/jtiik.20241046583","DOIUrl":null,"url":null,"abstract":"Kemajuan teknologi deep learning seringkali berbanding lurus dengan keterkaitan metode yang dapat diandalkan dalam penggunaan jumlah data yang besar. Convolutional Neural Network (CNN) adalah salah satu algoritma deep learning yang paling popular saat ini guna pengolahan citra. Pada era deep learning model CNN yang kompleks seperti saat ini memiliki tantangan-tantangan yang baru baik gradient vanishing, overfitting yang dikarenakan keterbatasan dataset, optimasi parameter hingga keterbatasan perangkat keras. Penelitian ini bertujuan mengukur pengaruh teknik fine tuning dan augmentasi dataset pada model transfer learning CNN Mobilenet, Efficientnet, dan Nasnetmobile dengan dataset yang variasi jumlah dataset yang memiliki jumlah yang terbatas. Pada hasil dari penelitian ini, dari ketiga dataset yang digunakan sebagai dalam melakukan training pada model efisien transfer learning baik MobileNet, EfficientNet, dan NasNetmobile, teknik augmentasi zoom range ataupun random erase dapat meningkatkan akurasi pada dataset dengan jumlah 56 citra dan 222 citra, sedangkan pada dataset dengan jumlah 500 data citra, semua teknik augmentasi terbukti dapat meningkatkan akurasi pada model arsitektur MobileNetV2 dan NasNetMobile. Sedangkan teknik fine tuning terbukti efektif dalam meningkatkan akurasi pada semua skala data yang kecil. AbstractToday deep learning technology is often associated with reliable processes (methods) when we have large amounts of data. In deep learning CNN (Convolutional Neural Network) plays a very important role which is often used to analyze (classify or recognize) visual images. In the era of deep learning models such as the complex Convolutional Neural Network (CNN) as it is today, it has new challenges such as gradient vanishing, overfitting due to dataset limitations, parameter optimization to hardware limitations. The MobileNet architecture was coined in 2017 by Howards, et al, which is one of the convolutional neural networks (CNN) architectures that can be used to overcome the need for excessive computing resources. This study aims to measure the effect of fine tune and dataset augmentation techniques on CNN mobilenet, efficientnet, and nasnetmobile transfer learning models with very small datasets. The results of this study are that of the three datasets used as the basis for training in efficient transfer learning models (mobilenet, efficientnet, and nasnetmobile), random erase and zoom range augmentation techniques dominate the increase in model accuracy. The amount of increase in accuracy after random erase or zoom range augmentation that occurs is about 0.03% to 0.1%.","PeriodicalId":32501,"journal":{"name":"Jurnal Teknologi Informasi dan Ilmu Komputer","volume":" ","pages":""},"PeriodicalIF":0.0000,"publicationDate":"2023-08-30","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Jurnal Teknologi Informasi dan Ilmu Komputer","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.25126/jtiik.20241046583","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}
引用次数: 0

Abstract

Kemajuan teknologi deep learning seringkali berbanding lurus dengan keterkaitan metode yang dapat diandalkan dalam penggunaan jumlah data yang besar. Convolutional Neural Network (CNN) adalah salah satu algoritma deep learning yang paling popular saat ini guna pengolahan citra. Pada era deep learning model CNN yang kompleks seperti saat ini memiliki tantangan-tantangan yang baru baik gradient vanishing, overfitting yang dikarenakan keterbatasan dataset, optimasi parameter hingga keterbatasan perangkat keras. Penelitian ini bertujuan mengukur pengaruh teknik fine tuning dan augmentasi dataset pada model transfer learning CNN Mobilenet, Efficientnet, dan Nasnetmobile dengan dataset yang variasi jumlah dataset yang memiliki jumlah yang terbatas. Pada hasil dari penelitian ini, dari ketiga dataset yang digunakan sebagai dalam melakukan training pada model efisien transfer learning baik MobileNet, EfficientNet, dan NasNetmobile, teknik augmentasi zoom range ataupun random erase dapat meningkatkan akurasi pada dataset dengan jumlah 56 citra dan 222 citra, sedangkan pada dataset dengan jumlah 500 data citra, semua teknik augmentasi terbukti dapat meningkatkan akurasi pada model arsitektur MobileNetV2 dan NasNetMobile. Sedangkan teknik fine tuning terbukti efektif dalam meningkatkan akurasi pada semua skala data yang kecil. AbstractToday deep learning technology is often associated with reliable processes (methods) when we have large amounts of data. In deep learning CNN (Convolutional Neural Network) plays a very important role which is often used to analyze (classify or recognize) visual images. In the era of deep learning models such as the complex Convolutional Neural Network (CNN) as it is today, it has new challenges such as gradient vanishing, overfitting due to dataset limitations, parameter optimization to hardware limitations. The MobileNet architecture was coined in 2017 by Howards, et al, which is one of the convolutional neural networks (CNN) architectures that can be used to overcome the need for excessive computing resources. This study aims to measure the effect of fine tune and dataset augmentation techniques on CNN mobilenet, efficientnet, and nasnetmobile transfer learning models with very small datasets. The results of this study are that of the three datasets used as the basis for training in efficient transfer learning models (mobilenet, efficientnet, and nasnetmobile), random erase and zoom range augmentation techniques dominate the increase in model accuracy. The amount of increase in accuracy after random erase or zoom range augmentation that occurs is about 0.03% to 0.1%.
用微调算法分析Efek Augmentasi数据集预训练卷积神经网络(CNN)
深度学习技术的进步经常被比作使用大量数据的可靠方法组合。卷积神经网络(CNN)是目前使用图像处理的最流行的深度学习算法之一。在深度学习时代,像今天这样复杂的CNN模型面临着新的挑战——梯度消失、数据集限制导致的过拟合、硬件限制导致的参数优化。本研究旨在衡量微调技术和数据集扩充对CNN-Mobilenet迁移学习模型、Efficientnet和Nasnetmobile的影响,这些数据集的数量不同,但数量有限。作为这项研究的结果,在用于在学习效率模型MobileNet、EfficientNet和NasNetmobile上训练的三个数据集中,变焦范围扩大技术或随机删除可以将数据集的准确性提高56个图像和222个图像,而在数据集中提高500个图像数据,所有经过验证的增强技术都可以提高MobileNetV2和NasNetMobile架构模型的准确性。而微调技术已被证明在所有小数据尺度上都能有效提高精度。摘要今天,当我们拥有大量数据时,深度学习技术通常与可靠的过程(方法)联系在一起。在深度学习中,卷积神经网络(Convolutional Neural Network,CNN)起着非常重要的作用,通常用于分析(分类或识别)视觉图像。在深度学习模型的时代,如今天的复杂卷积神经网络(CNN),它面临着新的挑战,如梯度消失、数据集限制导致的过拟合、硬件限制导致的参数优化。MobileNet架构由Howards等人于2017年提出,是卷积神经网络(CNN)架构之一,可用于克服对过度计算资源的需求。本研究旨在测量微调和数据集扩充技术对CNN移动网、efficientnet和nasnetmobile迁移学习模型的影响,这些模型具有非常小的数据集。本研究的结果是,在高效迁移学习模型(mobilenet、efficientnet和nasnetmobile)中用作训练基础的三个数据集中,随机擦除和缩放范围扩大技术主导了模型精度的提高。在随机擦除或缩放范围增大之后,精度的增加量为约0.03%至0.1%。
本文章由计算机程序翻译,如有差异,请以英文原文为准。
求助全文
约1分钟内获得全文 求助全文
来源期刊
自引率
0.00%
发文量
0
审稿时长
16 weeks
×
引用
GB/T 7714-2015
复制
MLA
复制
APA
复制
导出至
BibTeX EndNote RefMan NoteFirst NoteExpress
×
提示
您的信息不完整,为了账户安全,请先补充。
现在去补充
×
提示
您因"违规操作"
具体请查看互助需知
我知道了
×
提示
确定
请完成安全验证×
copy
已复制链接
快去分享给好友吧!
我知道了
右上角分享
点击右上角分享
0
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:604180095
Book学术官方微信