Hypothesis of Neuron Activation According to the Laws of Symmetry

Abstract

В статье рассматриваются основные функции активации в современных нейронных сетях и их недостатки. Сделан вывод, что все они обладают одним недостатком, который заключается в невозможности интерпретировать полученные сигналы, это просто нормализованные значения взвешенной суммы синапсов. Рассмотрена таблица симметрий (автоморфизмов) и их роль в семиотическом анализе и лингвистике. Лингвистика содержит универсалии, которые даже при поверхностном анализе являются симметриями. Следовательно, семиотический анализ является математическим методом, так же как лингвистика представляет собой точную науку, подчиняющуюся законам теории множеств и универсальной алгебры. Сделано предположение о возможности использования прагматического анализа и механизма симметрий в нейронных сетях. Предложен новый подход, который включает в себя группировку нейронов в скрытом слое по виду симметрии (автоморфизма) и использовании трехфазовой функций активации для каждой группы, характеризующих проявление свойств автоморфизма данной группы. Каждая группа нейронов обладает собственной памятью для хранения частых сигналов, генерирующих в дальнейшем символьные цепочки. На начальном этапе взяты две группы симметрий – переставная и зеркальная. Предлагаемый подход может сделать нейронные сети более доступными для понимания ввиду интерпретируемости сигналов.