Hafif Evrişimsel Sinir Ağları Kullanılarak Sahte Yüz Görüntülerinin Tespiti

Abstract

Sahte yüz bulunan görüntü ve video içerikleri en yaygın dijital manipülasyon türüdür. Genellikle eğlence amaçlı üretilen bu içerikler zararlı sonuçlar doğurabilir. Sahte yüz görüntüsü üretiminde makine öğrenmesi algoritmaları kullanılmaya başlanmıştır. Makine öğrenmesi algoritmaları ile gerçeğe oldukça yakın yüz manipülasyonları yapılabilmektedir. Bu nedenle gerçek ile sahte içeriklerin ayırt edilebilmesi oldukça zorlaşmıştır. Yüz manipülasyonları tüm yüz sentezi, kimlik değiştirme, nitelik manipülasyonu ve ifade değiştirme olmak üzere 4 temel gruba ayrılır. Tüm yüz sentezi ile çekişmeli üretici ağlar kullanılarak gerçekte olmayan yüzler üretilmektedir. Kimlik değiştirme video içerisindeki kişinin yüz görüntüsünün başka bir yüz ile değiştirilmesidir. Nitelik manipülasyonu yüzün cilt, cinsiyet, yaş, gözlük, saç rengi vb. özelliklerinin değiştirilmesidir. İfade değiştirme manipülasyon yöntemi kişinin yüz ifadesinin değiştirilmesidir. Yapılan çalışmada tüm yüz sentezi manipülasyon yöntemi ile üretilen sahte yüz görüntülerinin tespiti için hafif evrişimsel sinir ağları kullanılmıştır. Eğitim işlemi için MobileNet, MobileNetV2, EfficientNetB0 ve NASNetMobile algoritmaları kullanılmıştır. Kullanılan veri setinde FFHQ veri setindeki 70.000 gerçek görüntü ile FFHQ veri seti kullanılarak StyleGAN2 ile üretilen 70.000 sahte görüntü yer almaktadır. Eğitim işleminde modellerin ImageNet veri seti üzerinde eğitilmiş ağırlıkları transfer öğrenme ile tekrar kullanılmıştır. EfficientNetB0 algoritmasında %93,64 başarı oranı ile en yüksek doğruluk oranına ulaşılmıştır.