{"title":"Matrix Neuro-Fuzzy Self-Organizing Clustering Network","authors":"Yevgeniy V. Bodyanskiy, V. Volkova, M. Skuratov","doi":"10.2478/v10143-011-0042-1","DOIUrl":null,"url":null,"abstract":"Matrix Neuro-Fuzzy Self-Organizing Clustering Network In this article the problem of clustering massive data sets, which are represented in the matrix form, is considered. The article represents the 2-D self-organizing Kohonen map and its self-learning algorithms based on the winner-take-all (WTA) and winner-take-more (WTM) rules with Gaussian and Epanechnikov functions as the fuzzy membership functions, and without the winner. The fuzzy inference for processing data with overlapping classes in a neural network is introduced. It allows one to estimate membership levels for every sample to every class. This network is the generalization of a vector neuro- and neuro-fuzzy Kohonen network and allows for data processing as they are fed in the on-line mode. Matricveida neiro-izplūdušais pašorganizējošais klasterizācijas tīkls Apskatīts datu masīvu, kas doti matricas formā, klasterizācijas uzdevums. Tāpat tiek pieņemts, ka apstrādei paredzētie dati tiek papildināti secīgi tiešsaistes režīmā, bet paši klasteri, kurus veido šie dati, kādā veidā pārklājas tā, ka katrs ar matricu attēlotais tēls ar dažādiem piederības līmeņiem var vienlaicīgi piederēt uzreiz vairākām klasēm. Uzdevuma atrisināšanai ir ieviestas divdimensionāla T. Kohonena pašorganizējošā karte un tās apmācības algoritma modifikācija, balstoties uz likumiem \"uzvarētājs iegūst visu\" (WTA), \"uzvarētājs iegūst vairāk\" (WTM) un bez uzvarētāja. Ja pašapmācības procesā izmanto konkurences etapu, tad katrā solī tiek noteikts neirons uzvarētājs, kas matricas sfēriskajā metrikā ir vistuvākais izmantotajam ieejas tēlam, un tiek izmantota uz WTA likuma balstīta apmācība. Savukārt, ja pašapmācības procesā tiek izmantots kooperācijas etaps, tad tiek ieviesta skalāra kaimiņa funkcija, piemēram, Gausa funkcija ar matricas argumentu, un tiek pielietota uz WTM likuma balstīta apmācība visiem tīkla neironiem. WTM apmācības procedūras konvergence visiem tīkla neironiem tiek nodrošināta, samazinot meklēšanas soli un pastāvīgi sašaurinot kaimiņu funkcijas receptoro lauku, kas sarežgī apmācības procesa realizāciju tāda veida funkcijai. Tāpēc par kaimiņu funkciju tradicionālo Gausa funkciju vietā ir piedāvāts izmantot V. Epanečnikova funkcijas. Tāpat darbā piedāvāta divdimensionāla neiro-izplūdušās Kohonena kartes modifikācija un tās apmācības adaptīvais algoritms, kas ļauj novērtēt gan klasteru prototipu (centroīdu) parametrus, gan piederības līmeņus. Ir parādīts, ka apmācības algoritms ir izplūdušās c-vidējo metodes modifikācija. Piedāvātais matricu algoritms, atsakoties no vektorizācijas un devektorizācijas operācijām, nodrošina daudzas priekšrocības skaitliskajā realizācijā pār tradicionālajām pieejām, kad tiek apstrādāti divdimensionāli lauki un liela izmēra datu masīvi. Матричная нейро-нечёткая самоорганизующаяся кластеризирующая сеть Рассмотрена задача кластеризации массивов данных, заданных в матричной форме. При этом предполагается, что данные поступают на обработку последовательно в on-line режиме, а сами кластеры, образуемые этими данными, некоторым образом пересекаются так, что каждый образ-матрица с различными уровнями принадлежности может одновременно принадлежать сразу нескольким классам. Для решения задачи введена двумерная модификация самоорганизующейся карты Т.Кохонена и алгоритмы ее обучения, основанные на правилах победитель получает все (WTA), победитель получает больше (WTM) и без победителя. Если в процессе самообучения используется этап конкуренции, на каждом шаге определяется нейрон-победитель, наиболее близкий в матричной сферической метрике к предъявляемому входному образу, и используется WTA- правило обучения. Если же в процессе самообучения используется этап кооперации, в рассмотрение вводится скалярная функция соседства, например, гауссиан с матричным аргументом, и применяется WTM- правило обучения для всех нейронов сети. Сходимость WTM- процедуры обучения для всех нейронов сети обеспечивается уменьшением шага поиска и постоянным сужением рецепторного поля функции соседства, что усложняет реализацию процесса обучения для функции такого вида. Поэтому в качестве функции соседства вместо традиционных гауссианов предложено использовать функции В.Епанечникова. В работе также предложена двумерная модификация нейро-нечёткой карты Кохонена и адаптивный алгоритм ее обучения, позволяющий оценивать как параметры прототипов (центроидов) кластеров, так и уровни принадлежностей. Показано, что алгоритм обучения является модификацией нечёткого метода с-средних (FCM). Введенный матричный алгоритм обеспечивает ряд преимуществ в численной реализации перед традиционными подходами при обработке двумерных полей и массивов данных большой размерности, благодаря отказу от операций векторизации-девекторизации.","PeriodicalId":211660,"journal":{"name":"Sci. J. Riga Tech. Univ. Ser. Comput. Sci.","volume":"27 1","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"1900-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"5","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Sci. J. Riga Tech. Univ. Ser. Comput. Sci.","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.2478/v10143-011-0042-1","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}
引用次数: 5
Abstract
Matrix Neuro-Fuzzy Self-Organizing Clustering Network In this article the problem of clustering massive data sets, which are represented in the matrix form, is considered. The article represents the 2-D self-organizing Kohonen map and its self-learning algorithms based on the winner-take-all (WTA) and winner-take-more (WTM) rules with Gaussian and Epanechnikov functions as the fuzzy membership functions, and without the winner. The fuzzy inference for processing data with overlapping classes in a neural network is introduced. It allows one to estimate membership levels for every sample to every class. This network is the generalization of a vector neuro- and neuro-fuzzy Kohonen network and allows for data processing as they are fed in the on-line mode. Matricveida neiro-izplūdušais pašorganizējošais klasterizācijas tīkls Apskatīts datu masīvu, kas doti matricas formā, klasterizācijas uzdevums. Tāpat tiek pieņemts, ka apstrādei paredzētie dati tiek papildināti secīgi tiešsaistes režīmā, bet paši klasteri, kurus veido šie dati, kādā veidā pārklājas tā, ka katrs ar matricu attēlotais tēls ar dažādiem piederības līmeņiem var vienlaicīgi piederēt uzreiz vairākām klasēm. Uzdevuma atrisināšanai ir ieviestas divdimensionāla T. Kohonena pašorganizējošā karte un tās apmācības algoritma modifikācija, balstoties uz likumiem "uzvarētājs iegūst visu" (WTA), "uzvarētājs iegūst vairāk" (WTM) un bez uzvarētāja. Ja pašapmācības procesā izmanto konkurences etapu, tad katrā solī tiek noteikts neirons uzvarētājs, kas matricas sfēriskajā metrikā ir vistuvākais izmantotajam ieejas tēlam, un tiek izmantota uz WTA likuma balstīta apmācība. Savukārt, ja pašapmācības procesā tiek izmantots kooperācijas etaps, tad tiek ieviesta skalāra kaimiņa funkcija, piemēram, Gausa funkcija ar matricas argumentu, un tiek pielietota uz WTM likuma balstīta apmācība visiem tīkla neironiem. WTM apmācības procedūras konvergence visiem tīkla neironiem tiek nodrošināta, samazinot meklēšanas soli un pastāvīgi sašaurinot kaimiņu funkcijas receptoro lauku, kas sarežgī apmācības procesa realizāciju tāda veida funkcijai. Tāpēc par kaimiņu funkciju tradicionālo Gausa funkciju vietā ir piedāvāts izmantot V. Epanečnikova funkcijas. Tāpat darbā piedāvāta divdimensionāla neiro-izplūdušās Kohonena kartes modifikācija un tās apmācības adaptīvais algoritms, kas ļauj novērtēt gan klasteru prototipu (centroīdu) parametrus, gan piederības līmeņus. Ir parādīts, ka apmācības algoritms ir izplūdušās c-vidējo metodes modifikācija. Piedāvātais matricu algoritms, atsakoties no vektorizācijas un devektorizācijas operācijām, nodrošina daudzas priekšrocības skaitliskajā realizācijā pār tradicionālajām pieejām, kad tiek apstrādāti divdimensionāli lauki un liela izmēra datu masīvi. Матричная нейро-нечёткая самоорганизующаяся кластеризирующая сеть Рассмотрена задача кластеризации массивов данных, заданных в матричной форме. При этом предполагается, что данные поступают на обработку последовательно в on-line режиме, а сами кластеры, образуемые этими данными, некоторым образом пересекаются так, что каждый образ-матрица с различными уровнями принадлежности может одновременно принадлежать сразу нескольким классам. Для решения задачи введена двумерная модификация самоорганизующейся карты Т.Кохонена и алгоритмы ее обучения, основанные на правилах победитель получает все (WTA), победитель получает больше (WTM) и без победителя. Если в процессе самообучения используется этап конкуренции, на каждом шаге определяется нейрон-победитель, наиболее близкий в матричной сферической метрике к предъявляемому входному образу, и используется WTA- правило обучения. Если же в процессе самообучения используется этап кооперации, в рассмотрение вводится скалярная функция соседства, например, гауссиан с матричным аргументом, и применяется WTM- правило обучения для всех нейронов сети. Сходимость WTM- процедуры обучения для всех нейронов сети обеспечивается уменьшением шага поиска и постоянным сужением рецепторного поля функции соседства, что усложняет реализацию процесса обучения для функции такого вида. Поэтому в качестве функции соседства вместо традиционных гауссианов предложено использовать функции В.Епанечникова. В работе также предложена двумерная модификация нейро-нечёткой карты Кохонена и адаптивный алгоритм ее обучения, позволяющий оценивать как параметры прототипов (центроидов) кластеров, так и уровни принадлежностей. Показано, что алгоритм обучения является модификацией нечёткого метода с-средних (FCM). Введенный матричный алгоритм обеспечивает ряд преимуществ в численной реализации перед традиционными подходами при обработке двумерных полей и массивов данных большой размерности, благодаря отказу от операций векторизации-девекторизации.
本文研究了以矩阵形式表示的海量数据集的聚类问题。本文以高斯函数和Epanechnikov函数为模糊隶属函数,在没有赢家的情况下,提出了基于赢者通吃(WTA)和赢者多吃(WTM)规则的二维自组织Kohonen映射及其自学习算法。介绍了神经网络中处理类重叠数据的模糊推理方法。它允许估计每个样本到每个类的成员水平。该网络是向量神经和神经模糊Kohonen网络的推广,并允许数据处理,因为它们是在线模式馈送。Matricveida neiro-izplūdušais pašorganizējošais klasterizācijas tīkls Apskatīts datu mass īvu, kas doti matricformi, klasterizācijas uzdevums。Tāpat tiek派ņ紧急救护,ka apstrā一些paredzē领带蒂tiek papildināti交会īgi领带šsaistes再保险žīmā,我打赌pašklasteri,库鲁病veidošie蒂kādāveidāpārklā雅Tāka katrs ar matricu attēlotais Tēls ar dažā吴廷琰斑驳的ības lī我ņiem var vienlaicīgi斑驳的ēT uzreiz松鼠皮ākām兰ēm。Uzdevuma atrisināšanai ir ieviestas divdimensionāla T. Kohonena pašorganizējošā karte un tās apmācības算法modifikācija, balstoties uz likumiem“uzvarētājs iegūst visu”(WTA)、“uzvarētājs iegūst vairāk”(WTM)和bez uzvarētāja。Ja pašapmācības procesizmanto konkurences etapu, tad katrā solektieknoteikts neirons uzvarētājs, kas matricas sfēriskajā metrikir vistuvākais izmantotajamieejas tēlam, un tiek izmantotauz WTA likuma balstasturta apmācība。Savukārt, ja pašapmācības procestiek izmantots kooperācijas etaps, tad tiek ieviesta skalāra kaimiņa funkcija, piemēram, Gausa funkcija ar materials argumentu, un tiek pielietota uz WTM likuma balst ta apmācība visiem tunikneironiem。WTM apmācības procedūras convergence visiem turm neironiem tiek nodrošināta, samazinot meklēšanas soli un pastāvīgi sašaurinot kaimiņu funkcijas receptoro lauku, kas sarežgī apmācības procesa realizāciju tāda veida funkcija。Tāpēc par kaimiņu funkciju tradicionālo Gausa funkciju vietā ir piedāvāts izmantot V. epane nikkova funkcijas。Tāpat darbā piedāvāta divdimensionāla neiro-izplūdušās Kohonena kartes modifikācija un tās apmācības adaptīvais算法,kas ļauj novērtēt gan klasteru prototipu (centro_du)参数,gan pieder_bas līmeņus。如parādīts, ka apmācības算法如izplūdušās c-vidējo方法modifikācija。Piedāvātais矩阵算法,atsakoties no vektorizācijas un devektorizācijas operācijām, nodrošina daudzas priekšrocības skaitliskajna realizācijā pār tradicionālajām pieejām, kad tiek apstrādāti divdimensionāli lauki un liela izmēra datu mass . vi。Матричнаянейрон——ечёткаясамоорганизующаясякластеризирующаясетьРассмотреназадачакластеризациимассивовданных,заданныхвматричнойформе。Приэтомпредполагается,чтоданныепоступаютнаобработкупоследовательнов在线режиме,асамикластеры,образуемыеэтимиданными,некоторымобразомпересекаютсятак,чтокаждыйобраз——матрицасразличнымиуровнямипринадлежностиможетодновременнопринадлежатьсразунесколькимклассам。ДлярешениязадачивведенадвумернаямодификациясамоорганизующейсякартыТ。Кохоненаиалгоритмыееобучения,основанныенаправилахпобедительполучаетвсе(WTA),победительполучаетбольше(世界)ибезпобедителя。Есливпроцессесамообученияиспользуетсяэтапконкуренци,инакаждомшагеопределяетсянейрон——победитель,наиболееблизкийвматричнойсферическойметрикекпредъявляемомувходномуобразу,ииспользуетсяWTA -правилообучения。Еслижевпроцессесамообученияиспользуетсяэтапкооперации,врассмотрениевводитсяскалярнаяфункциясоседства,например,гауссиансматричнымаргументом,иприменяетсяWTM——правилообучениядлявсехнейроновсети。СходимостьWTM——процедурыобучениядлявсехнейроновсетиобеспечиваетсяуменьшениемшагапоискаипостояннымсужениемрецепторногополяфункциисоседства,чтоусложняетреализациюпроцессаобучениядляфункциитакоговида。ПоэтомувкачествефункциисоседствавместотрадиционныхгауссиановпредложеноиспользоватьфункцииВЕ。панечникова。Вработетакжепредложенадвумернаямодификациянейрон——ечёткойкартыКохоненаиадаптивныйалгоритмееобучения,позволяющийоцениватькакпараметрыпрототипов(центроидов)кластеров,такиуровнипринадлежностей。,чПоказанотоалгоритмобученияявляетсямодификациейнечёткогометодасс——редних(FCM)。Введенныйматричныйалгоритмобеспечиваетрядпреимуществвчисленнойреализациипередтрадиционнымиподходамиприобработкедвумерныхполейимассивовданныхбольшойразмерности,благодаряотказуотоперацийвекторизаци,идевекторизации。