Türk İşaret Dilindeki Harflerin Tespiti İçin Derin Öğrenme Tekniğinin Kullanımı

Abstract

İşaret dili, işitme veya konuşma engelli bireylerin mimikler ve el hareketleri ile iletişim kurduklarıgörsel bir dildir. İşitme veya konuşma engelli bireylerin hem kendi aralarında hem de diğer insanlarlaanlaşabilmesi için işaret dilini tanıma sitemlerine olan ihtiyaç her geçen gün artmaktadır. Bu çalışmada, elve parmaklar ile gösterilen hareketleri kamera karşısında algılayan ve harekete karşılık gelen harfi tanıyanYOLOv5 mimarisinin kullanıldığı bir yapı esas alınmıştır. Kaggle’dan alınan Türk işaret dilinin, TürkçeParmak Yazımı Alfabesi ile verildiği bir veri seti kullanılmıştır. Bu veri seti 29 sınıftan oluşmaktadır ve hersınıf, Türk alfabesinin bir harfini temsil etmektedir. Harflerin algılanması ve tespit edilmesinde, bütünsınıflar için mAP değeri %99.4 elde edilmiştir. Literatür çalışmalarına kıyasla daha yüksek mAP değerlerive daha yüksek başarı oranları edilmiştir.