Identifikasi Alfabet Bahasa Isyarat Indonesia dengan Menggunakan Convolutional LSTM

Prosiding SENIATI Pub Date : 2023-12-08 DOI:10.36040/seniati.v7i2.7925

Andrian Dwi Baitur Rizky, Muhammad Aulia Faqihuddin, Fajar Fatha Romadhan, Indah Agustien Siradjuddin

{"title":"Identifikasi Alfabet Bahasa Isyarat Indonesia dengan Menggunakan Convolutional LSTM","authors":"Andrian Dwi Baitur Rizky, Muhammad Aulia Faqihuddin, Fajar Fatha Romadhan, Indah Agustien Siradjuddin","doi":"10.36040/seniati.v7i2.7925","DOIUrl":null,"url":null,"abstract":"Bagi orang dengan gangguan pendengaran, bahasa isyarat Indonesia sangat penting dikarenakan mereka dapat berkomunikasi dengan menggunakan isyarat tangan yang menunjukkan arti tertentu. Namun, karena beberapa konsep tidak memiliki isyarat khusus, maka harus diuraikan menggunakan huruf alfabet. Biasanya seseorang akan merasa sulit ketika berkomunikasi dengan orang yang memiliki gangguan pendengaran dan tidak mengenal bahasa isyarat. Oleh karena itu, diperlukan suatu model yang dapat mengenali bahasa isyarat untuk membantu pemula yang belajar bahasa isyarat berbasis abjad. Tujuan dari penelitian ini adalah untuk mengembangkan model pengenalan bahasa isyarat Indonesia (BISINDO) dari data timeseries berupa video yang terdiri dari 26 kategori dengan menggunakan metode convolutional LSTM. Metode ini merupakan inovasi dalam dunia deep learning yang menggabungkan Long-Short Term Memory (LSTM) dan Convolutional Neural Network (CNN). Penelitian ini menggunakan model convolutional LSTM 2D dengan arsitektur yang sudah direncanakan. Hasil menunjukkan bahwa model memiliki tingkat akurasi model sekitar 68%, menggambarkan kemampuan yang signifikan dalam memprediksi gerakan alfabet dalam Bahasa Isyarat Indonesia (BISINDO). Namun, perlu ketahui bahwa terdapat 32% kemungkinan prediksi yang tidak tepat, perlunya penelitian yang lebih mendalam untuk mengatasi kerumitan variasi gerakan dalam bahasa isyarat","PeriodicalId":508658,"journal":{"name":"Prosiding SENIATI","volume":"52 9","pages":""},"PeriodicalIF":0.0000,"publicationDate":"2023-12-08","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Prosiding SENIATI","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.36040/seniati.v7i2.7925","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}

引用次数: 0

Abstract

Bagi orang dengan gangguan pendengaran, bahasa isyarat Indonesia sangat penting dikarenakan mereka dapat berkomunikasi dengan menggunakan isyarat tangan yang menunjukkan arti tertentu. Namun, karena beberapa konsep tidak memiliki isyarat khusus, maka harus diuraikan menggunakan huruf alfabet. Biasanya seseorang akan merasa sulit ketika berkomunikasi dengan orang yang memiliki gangguan pendengaran dan tidak mengenal bahasa isyarat. Oleh karena itu, diperlukan suatu model yang dapat mengenali bahasa isyarat untuk membantu pemula yang belajar bahasa isyarat berbasis abjad. Tujuan dari penelitian ini adalah untuk mengembangkan model pengenalan bahasa isyarat Indonesia (BISINDO) dari data timeseries berupa video yang terdiri dari 26 kategori dengan menggunakan metode convolutional LSTM. Metode ini merupakan inovasi dalam dunia deep learning yang menggabungkan Long-Short Term Memory (LSTM) dan Convolutional Neural Network (CNN). Penelitian ini menggunakan model convolutional LSTM 2D dengan arsitektur yang sudah direncanakan. Hasil menunjukkan bahwa model memiliki tingkat akurasi model sekitar 68%, menggambarkan kemampuan yang signifikan dalam memprediksi gerakan alfabet dalam Bahasa Isyarat Indonesia (BISINDO). Namun, perlu ketahui bahwa terdapat 32% kemungkinan prediksi yang tidak tepat, perlunya penelitian yang lebih mendalam untuk mengatasi kerumitan variasi gerakan dalam bahasa isyarat

查看原文本刊更多论文

使用卷积 LSTM 识别印度尼西亚手语字母

对于有听力障碍的人来说，印尼手语非常重要，因为他们可以通过手势来表达某些意思。但是，由于某些概念没有专门的手势，因此必须使用字母来破译。通常，一个人在与听力受损且不懂手语的人交流时会感到困难。因此，需要一种能够识别手语的模式，以帮助初学者学习基于字母的手语。本研究的目的是利用卷积 LSTM 方法，从由 26 个类别组成的视频形式的时间序列数据中开发印度尼西亚手语识别模型（BISINDO）。这种方法是深度学习领域的一项创新，它结合了长短期记忆（LSTM）和卷积神经网络（CNN）。本研究使用了一个规划架构的二维卷积 LSTM 模型。结果表明，该模型的准确率约为 68%，在预测印尼手语（BISINDO）中的字母手势方面能力突出。但需要注意的是，预测错误的几率为 32%，这就需要进行更深入的研究，以解决手语中手势变化的复杂性问题。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

求助全文

约1分钟内获得全文求助全文

来源期刊

Prosiding SENIATI

自引率

0.00%

发文量