Türk İşaret Dilinin Sınıflandırılması için Derin Öğrenme Yaklaşımları

Abstract

İşaret dili, sağır ve dilsiz bireylerin duygularını, düşüncelerini ve sosyal kimliklerini çevrelerine aktarabilmek için kullandıkları sözsüz bir iletişim aracıdır. İşaret dili, sağır ve dilsiz bireyler ile toplumun geri kalan bireyleri arasındaki iletişimde kilit bir role sahiptir. Normal insanlar arasında işaret dilinin çok yaygın bilinmemesi ve insan-bilgisayar etkileşiminin artmasıyla birlikte birçok işaret dili tanıma sistemleri geliştirilmiştir. Bu çalışmada, Türk işaret dili için literatürde ilk kez rakam temelli yeni bir veri seti önerilmiştir. Türk işaret dilinin otonom bir şekilde sınıflandırılması ve bu konuda sıkıntı yaşayan insanların iletişimini bilgisayar temelli yapabilmesi için en güncel derin öğrenme yaklaşımları önerilen veri setine uygulanmıştır. Çalışmada özellikle CNN tabanlı VGG, ResNet, MobileNet, DenseNet ve EfficientNet gibi en güncel ve popüler mimariler kullanılmıştır. Deneysel çalışmalarda ResNet152 modeli, %98.76 doğruluk, %98.85 kesinlik, %98.81 duyarlılık ve %98.80 F1-skoru ile diğer modellere göre daha iyi performans gösterdiği gözlemlenmiştir. Ayrıca, deneysel çalışmalarda kullanılan diğer modellerin hepsi %90'ın üzerinde bir başarım oranı göstererek önerilen veri setinin etkililiğini desteklemektedir. Bu, CNN modellerinin Türk işaret dilini tanımayı başarılı bir şekilde tespit yapabildiğini göstermektedir.