Development of an imagery representation apparatus for information representation in neyromorphic devices

Texto integral

1. Введение

Нейроморфные системы, включающие искусственные нейронные сети, – это вычислительные устройства, архитектура которых основана на принципах биологических нервных систем и отличается от обычной архитектуры фон Неймана. Структуры из искусственных нейронов и синапсов могут быть реализованы в электронной среде, например, на КМОП технологии (комплементарный металло-оксид-полупроводник) с использованием ячеек статической памяти с произвольным доступом [1] или транзисторов с плавающим затвором [2]. В настоящее время рассматривается перспективным применение в нейроморфных процессорах новых элементов энергонезависимой памяти, таких как, мемристоров и FeFET-транзисторов. Они перспективны для технологии СБИС (сверхбольших интегральных схем), обладают чрезвычайно низкими потерями переключения и более быстрыми операциями чтения/записи [3].

Однако существуют и ограничения для применения мемристоров и FeFET транзисторов в нейроморфных устройствах, и они связаны с тем, что ресурс переключения у этих элементов мал по сравнению с ресурсом для КМОП-транзисторов. Поэтому рассматриваемые элементы памяти не могут заменить классические КМОП-транзисторы, работающие в режиме переключения с частотой нескольких гигагерц. Тем не менее, мемристоры и FeFET могут применяться в качестве энергонезависимых элементов памяти с малой скоростью переключения, предназначенных для создания программируемых КМОП логических ячеек, формируя адаптивную архитектуру нейроморфных процессоров.

Современные глубинные нейронные сети (ГНС) построены на модели нейрона, основанной на применении численных преобразований, а обучение ГНС – на использовании численных оптимизационных стохастических методов. Это, в принципе, неадекватно природе человеческого мышления, которое основано на образном представлении и образно-логической обработке информации с использованием ментальных образов в процессе мышления [4]. Так как численные значения входных и выходных сигналов для традиционных искусственных нейронов не имеют прямой связи с семантикой (смыслом) объектов моделирования, это создает большую проблему современных ГНС: возможность появления ничем не обусловленных, неожиданных (глупых) и неустранимых ошибок при распознавании (классификации) образов [5]. Этим объясняется и особенность природы таких ошибок, когда, даже при наличии четких изображений для нейронных сетей всегда существует вероятность случайных ошибок, что представляет особенную опасность применения ГНС в областях, связанных с безопасностью и здоровьем людей [5]. Другим свидетельством проблемы ГНС является, например, тот факт. что в течение последних четырех лет ошибка классификации изображений базы ImageNet для лучших систем ГНС, обученных на суперкомпьютерах, практически не менялась, оставаясь близкой 10% [6].

Для обеспечения гибкости и надежности работы нейроморфных процессоров необходимо применение методов представления и обработки информации, близкими к восприятию и мышлению, свойственным человеку. Несомненно, это соответствует задаче создания интеллектуальных систем, способных представлять информацию в образном виде и осуществлять ее обработку в форме образного мышления. Область исследований «когнитивное моделирование» направлено на имитацию человеческого интеллекта, и рассматривается как подход к созданию сильного искусственного интеллекта (ИИ) [7]. Несомненно, для этой задачи представляется перспективным применение концепции ментальных образов и разработка специального математического аппарата для представления и обработки семантической информации в образной форме.

Были предложены ряд неклассических, когнитивных логик, которые могли бы быть близки к логике рассуждений человека. Например, В. К. Финном был разработал ДСМ-метод автоматического порождения гипотез, рассуждений и принятия решений [8, 9]. P. Wang [10] предложил модель Non-Axiomatic Reasoning System (NARS).

Ж. Адамар [11] поделился самонаблюдениями о том, что происходит в уме, когда он начинал строить или понимать математическое рассуждение. «Если я должен думать о каком‑нибудь силлогизме, я о нем думаю не словами – слова мне не позволили бы понять, правилен ли силлогизм или ложен, … а с помощью интерпретации какими‑то пятнами неопределенной формы.»

В работе [12] предложена математическая модель пятен, которая является адекватной для моделирования ментальных образов. Математический аппарат пятен описан в работе [13], а в статье [14] показана возможность их применения для представления образов и ментальной активности. Следовательно, предложенный там подход соответствует задаче создания интеллектуальных систем, способных не только представлять информацию в образной форме, но и моделировать образное мышление.

2. Представление ментальных образов с помощью пятен

Ментальные (вторичные) образы – это абстрактное понятие, позволяющее описать структуру семантической информации, хранящейся в памяти человека. Концепция образов применяется в психологии и когнитивистике, и она играет важнейшую роль не только в восприятии, но и в памяти, эмоциях, языке, желаниях и действиях-исполнениях [15].

Ментальные образы обладают элементарными пространственными свойствами [4, 14]. Аппарат пятен позволяет формировать пространственно-структурное представление образов и образной сферы человека в психологии, а также – образного представления семантической информации в области ИИ [14]. В частности, предлагаемая модель позволяет адекватно отображать такие свойства образов как многомерность, многоуровность, полимодальность, а также – внести понимание в сохраняющуюся еще до настоящего времени концептуальную неопределенность трактовки рубежа между образом и мыслью [16].

Поскольку аппарат L4 чисел подробно описан в предыдущих работах, мы кратко изложим основное содержание и раскроем смыслы введенных там понятий. «Пятно» – это математический объект, для которого определено понятие логической связи между пятнами. Для пятен a и b логическая связь ab является булевой величиной и подчиняется двум аксиомам:

 $\forall a\left(aa\right)$ (1)

 $\forall a\forall b\left(ab=ba\right)$  (2)

Вводится понятие нулевого пятна $\varnothing$, которое определяется аксиомой

 $\forall x \left(\neg \varnothing x\right)$ (3)

Для пятен также вводится понятие окружения пятна, которое тоже является пятном. Окружение $\tilde{a}$ пятна a подчиняется трем аксиомам:

 $a\tilde{a}= 0$ (4)

 $\widetilde{\stackrel{~}{a}} = a$ (5)

 $\forall x\ne \varnothing \left(\neg xa\to x\tilde{a}\right)$ (6)

Для пятен, как и для геометрических тел, определены операции объединения $\cup$ и пересечения $\cap$, позволяющие формировать новые пятна. Заметим, что в применении к моделированию образов, операцию объединения $\cup$ можно применять для формирования обобщающего образа, а операцию пересечения $\cap$ – для увеличения фрагментарности и детализации образа. Например, диаграмма рис. 1 иллюстрирует разбиение пятен a и b на части A, B, C при пересечении. Эти части и окружение D можно выразить через операцию пересечения следующим образом:

$A=a\cap \tilde{b}$   $B=\tilde{a}\cap b$

$C=a\cap b$   $D=\tilde{a}\cap \tilde{b}$  (7)

Информация о пятне задается сравнением его с другими пятнами, совокупность которых мы называем базисом пятен. Это сравнение на элементарном уровне можно осуществить, например, с помощью указанных качественных данных как раздельность, пересечение, включение или часть. Совокупность таких качественных данных мы называем элементарными пространственными отношениями пятен (ЭПО) [12, 13]. Следует отметить, что в аппарате пятен ЭПО кодируются не с помощью действительных чисел, а с помощью 2×2 логических матриц, которые мы назвали L4 числами.

Для пятен a, b и их окружений $\tilde{a}$, $\tilde{b}$ L4 число <$a\text{|}b$> определяется как таблица

$<a\text{|}b>\left[\begin{array}{cc}ab& a\tilde{b}\\ \tilde{a}b& \tilde{a}\tilde{b}\end{array}\right]=\left[\begin{array}{cc}C& A\\ B& D\end{array}\right]$

где ab, $a\tilde{b}$… обозначают логические связи, а A, B, C и D обозначают выраженные в логических величинах части пересечений пятен a, b и их окружений (рис. 1). Такие L4 числа, в принципе, позволяют различать 16 различных ЭПО между пятнами. Примеры ЭПО и соответствующие им L4 числа приведены в табл. 1 и проиллюстрированы на рис. 2.

Таблица 1. L4 числа для некоторых ЭПО.

Рис. 2. Диаграмма Эйлера-Венна для пересечений пятен, иллюстрирующая геометрический смысл введенных L4 чисел для ЭПО между двумя пятнами: (а) пересечение пятен a и b; (б) раздельность пятен a и b; (в) включение b в a; (г) включение a в b.

Мы называем эти отношения элементарными пространственными отношениями, так как они несут качественную информацию самого низкого уровня о пятнах. Тем не менее, достаточно большое количество таких качественных данных, полученных сравнением пятна с пятнами базиса, т.е. некоторой совокупности пятен, позволяет извлекать информацию более высокого уровня, включая численную [13]. Базис пятен будем называть структурой пятен, если между всеми пятнами этого базиса заданы ЭПО.

Семантика ЭПО между двумя пятнами определяется объектами, которые моделируют эти пятна (например, образы, гранулы, геометрические тела), а также - диаграммами Эйлера, которые представляют эти ЭПО [14].

Отношение между пятном и каким‑либо базисом пятен назовем отображением пятна на этом базисе. Оно представляется с помощью L4 вектора, в котором координатами являются L4 числа, соответствующие его ЭПО с пятнами базиса [13]. Например, L4 вектор $a_X$ пятна a, представленный на базе $X=\left\{x_i\right\}$, определяется как

   𝒂_𝑋≡[⟨𝑎|𝑥₁⟩; ⟨𝑎|𝑥₂⟩;…; ⟨𝑎|𝑥_𝑛⟩],

где n - количество пятен в базисе X.

Отношение между двумя базисами пятен X и Y определяется с помощью L4 матрицы A = ⟨Y | X⟩, которая имеет в качестве элементов - ЭПО между пятнами базисов $X=\left\{x_i\right\}$ и $Y=\left\{y_j\right\}$ [13]:

⟨𝑌|𝑋⟩≡[⟨𝑦_𝑗|𝑥_𝑖⟩]=[(𝒚₁)_𝑋; (𝒚₂)_𝑋;…; (𝒚_𝑛)_𝑋]

Здесь ${\left(y_j\right)}_X$ - L4 векторы-строки пятен $y_j$, представленные на базисе X.

С помощью L4 матриц можно осуществлять трансформацию отображения пятна из одного базиса на другой. Такая трансформация находится с помощью математической операции произведения L4 матрицы A на L4 вектор а, результатом которого является новый L4 вектор b:

b = A · a (8)

Для пятен были разработаны правила умножения L4 матрицы и L4 вектора [13]. Проверка математического аппарата была проведена на задачах реконструкции изображений исследуемых фигур по данным их ЭПО с базисными фигурами, в качестве которых использовались сканирующие квадраты или круги с малым шагом сканирования (см. [13], рис. 4-12). Пример такой реконструкции формы плохо структурированного изображения звезды приведен на рис. 3.

Рис. 3. Пример реконструкции плохо структурированного изображения звезды: (а) изображение звезды в виде случайным образом расположенных точек внутри ее контура; (б) восстановление формы звезды по данным ЭПО изображения (а) со сканирующим кругом, изображенном на рисунке (б), с малым периодом.

3. Образное представление семантической информации

Пятна позволяют моделировать ментальные образы, которые напрямую связаны с семантикой, то есть со смысловым содержанием информации. Следовательно, с помощью аппарата пятен семантическая информация может быть представлена в образной форме. При этом в модели рассуждений, основанных на аппарате пятен, возможно использование, в частности, немонотонной логики, когда выводы делаются на основе имеющихся знаний, а новые знания могут изменить выводы [14].

Таким путем формируется структура пятен, изоморфнаая системе образов в образной сфере человека [4]. С другой стороны, возможно применение концепции образов за пределами психических процессов человека, например, в областях ИИ и нейроморфных устройств. Следовательно, аппарат пятен позволяет кодировать представление семантической информации в образной форме и создание на этой базе модели абстрактного семантического информационного пространства.

Для моделирования образов необходимо поставить им в соответствие пятна, а отношения между образами представить в форме ЭПО между этими пятнами. Так как смысл образа или понятия определяется системой его отношений с другими образами (понятиями), отображение пятна на базисе представляет смысл образа или суждение о нем. При этом, внутренняя структура пятна представляет степень фрагментарности образа [14]. Аппарат пятен дает возможность многомерного пространственного представления образов [17], что также применимо для формирования семантического пространства в области ИИ.

4. Немонотонная логика и каузальные рассуждения в представлении пятен

Математический аппарат пятен позволяет моделировать различные психологические понятия и процессы, такие как дифференциация и обобщение образов, внимание, апперцепция и дискриминативная способность мозга [17]. Он также позволяет создать вычислительно-когнитивную модель ментальных образов, которая не противоречит ABQT теории (attention-based quantification theory) [18].

Как показано в работе [14], аппарат пятен способен моделировать различные категории рассуждений, включая немонотонные рассуждения. Действительно, для ментальных образов L4 векторы моделируют смыслы или суждение об этих образах, а L4 матрицы - правила вывода, основанные на знании об отношениях между двумя системами образов. Разработанный математический аппарат моделирует рассуждения с помощью произведение L4 матрицы A и L4 вектора a (8) [14]. То есть, рассуждение можно представить в виде

 b = A . a ⇔ a ↼_A b (9)

где a - посылка, L4 матрица A - правило вывода, основанное на знании, а b - следствие или вывод. В частности, (9) соответствует рассуждениям с использованием немонотонной логики, когда выводы делаются на базе существующих знаний, а получение новых знаний может изменить вывод [19].

Однако равенство (9) может описывать и классические категории рассуждений, например, дедуктивные. Чтобы это продемонстрировать, рассмотрим простой пример дедуктивного рассуждения.

a) Правило: все собаки - животные.

b) Посыл: все щенки - собаки.

c) Вывод: все щенки - животные.

Покажем возможность моделирования этого дедуктивного рассуждения с помощью равенства

𝒂_𝑌 = ⟨𝑌|𝑋⟩ 𝒂_𝑋 (10)

Здесь используются следующие обозначения: щенки - пятно a, собаки - базис X, состоящий из одного пятна x, а животные - базис Y, состоящий из одного пятна y. Тогда L4 векторы $a_X$, $a_Y$ и L4 матрица ⟨𝑌|𝑋⟩ будут состоять из одного L4 числа: 𝒂_𝑋=⟨𝑎|𝑥⟩, 𝒂_𝑌=⟨𝑎|𝑦⟩, а L4 матрица ⟨𝑌|𝑋⟩ = ⟨𝑦|𝑥⟩. Из условий a), b), c) следует, что пятно a является частью пятна x, а пятно x является частью пятна y. Тогда из табл. 1 следует:

  $a\text{|}x=\left[\begin{array}{cc}1& 0\\ 1& 1\end{array}\right]$,  $y|x=\left[\begin{array}{cc}1& 0\\ 1& 1\end{array}\right]$

Применяя формулу (11) работы [13], получим null, что соответствует выводу, что a является частью пятна y. Следовательно, мы получили результат дедуктивного вывода: все щенки - животные.

Покажем теперь, что аппарат пятен способен также моделировать индуктивные и абдуктивные рассуждения. Эти категории рассуждений основываются на анализе отдельных случаев и стремлении их обобщения (индукция) или объяснения (абдукция) [20]. На языке аппарата пятен (равенство (10)) эти рассуждения соответствуют следующим задачам.

1) Индукция: по набору данных $\left\{x_i, y_i\right\}$ найти матрицу ⟨𝑌|𝑋⟩, которая удовлетворяет выводу, представленному равенством (10).

2) Абдукция: найти матрицу ⟨𝑋|𝑌⟩, чтобы по данным следствия 𝒂_𝑋 = [⟨𝑎|𝑥_𝑖⟩] определить их причину 𝒂_𝑋 = [⟨𝑎|𝑥_𝑖⟩]. Это соответствует задаче, обратной (10):

𝒂_𝑋 = ⟨𝑋|𝑌⟩ 𝒂_𝑌 (11)

где матрица 𝑨⁻¹ = ⟨𝑋|𝑌⟩ - обратна матрице 𝑨 = ⟨𝑋|𝑌⟩ [13].

Следует отметить, что в рамках модели пятен, в общем случае, индуктивное рассуждение аналогично задаче обучения, а абдуктивное рассуждение - решению задачи, обратной (10), методом обучения [13]. Действительно, индуктивное рассуждение можно записать с помощью равенства (10) c использованием следующего представления [14]:

⟨𝑌|𝑋⟩ = 𝒀^−𝟏∙𝒀∙𝑿⁻¹∙𝑿 (12)

где матрицы X и Y сформированы из L4 векторов $x_i, y_i$, заданных на соответствующих атомарных базисах:

 $X=\left[x_i\right]$  , $Y=\left[y_i\right]$ (13)

Обратная L4 матрица $X^{-1}$ определяется как транспонированная матрица X, у которой элементы в форме L4 чисел тоже транспонированы. Для абдуктивного рассуждения (11) L4 матрица ⟨𝑋|𝑌⟩определяется аналогично (12):

   ⟨𝑌|𝑋⟩ = X⁻¹ .X . Y⁻¹ . Y (14)

где X и Y матрицы также определяются равенствами (13).

Для решения задач (10) и (11) нужно применять общие правила умножения L4 матрицы на L4 вектор. Для уравнения (10) это правило определяется следующим выражением [13]:

   𝒂_𝑌 = ⟨𝑌|𝑉⟩∙⟨𝑉|𝑊⟩∙⟨𝑊|𝑈⟩∙⟨𝑈|𝑋⟩ 𝒂_𝑋 (15)

Здесь базис $U=\left\{u_i\right\}$ состоит из пересечений пятен $x_i$, $V=\left\{v_i\right\}$ - базис пересечений пятен $\left\{y_j\right\}$, а $W=\left\{w_i\right\}$ - базис пересечений пятен базисов U и V. Уравнение (15) следует рассматривать как серию преобразований от одного базиса к другому, а именно:

 а) 𝒂_𝑈 = ⟨𝑈|𝑋⟩ 𝒂_𝑋, б) 𝒂_𝑊 = ⟨𝑊|𝑈⟩ 𝒂_𝑈,

 в) 𝒂_𝑉 = ⟨𝑉|𝑊⟩ 𝒂_𝑊, г) 𝒂_𝑌 = ⟨𝑌|𝑉⟩ 𝒂_𝑉. (16)

Векторы $a_V$ и $a_Y$ вычисляются по формулам (11), (12) работы [13], а векторы $a_U$ и $a_W$ - по формулам (15), (16) той же работы.

Следует отметить, что так как формулы (15), (16) работы [13] являются приближенными, то правило умножения (15) тоже приближенное, но близкое к оптимальному алгоритму обработки качественных данных. Последнее подтверждается примерами реконструкции формы фигур по данным их ЭПО с базисными фигурами (рис. 3, [13], рис. 4-12). Из равенства (15) следует, что для уравнения (11) общее правило умножения для L4 матрицы и вектора можно представить в виде

 𝒂_𝑋 ≅ ⟨𝑋|𝑈⟩∙⟨𝑈|𝑊⟩∙⟨𝑊|𝑉⟩∙⟨𝑉|𝑌⟩ 𝒂_𝑌 (17)

где расчет вектора $a_X$ в (17) является приближенным решением задачи, которая является обратной задаче (15).

Следует напомнить, что равенство (9) описывает более широкий класс рассуждений, не сводится только к перечисленным классическим категориям, а является общей формулой и для рассуждений, относящимся к немонотонным и каузальным (причинно-следственным) рассуждениям [19, 21]. Заметим, что формулы (15) и (17) описывают рассуждения, которые включают этапы анализа и синтеза. Например, равенство а) в (16) моделируют мыслительную операцию анализа, а равенство в) там же - синтеза.

5. Представление аппарата пятен в форме булевых функций для нейроморфных устройств

L4 числа можно кодировать с помощью булевых функций (БФ), если отобразить эти функции с помощью таблицы истинности в форме карты Карно [22]. При этом нужно использовать следующее правило:

L4 число представляется такой логической функцией двух переменных, для которой карта Карно совпадает с 2×2 логической матрицей, соответствующей этому L4 числу.

Аналогичным образом, можно описать и операции матрично-векторного умножения, заменяя формулу (8) на БФ многих переменных. Очевидно, предлагаемый подход позволит значительно упростить применение аппарата пятен для создания нейроморфных систем, способных представлять и обрабатывать семантическую информацию в форме ментальных образов [14, 23]. Такие нейроморфные устройства, которые, будем называть образно-логическими, относятся к категории объяснимого искусственного интеллекта, так как матрично-векторное умножение (8) всегда можно связать с семантикой (смыслом).

Примеры представления L4 чисел ⟨𝑎|𝑏⟩ с помощью БФ F(a,b) логических переменных a · b, приведены в табл. 2. В общем случае, произвольное L4 число $\left[\begin{array}{cc}ab& a\tilde{b}\\ \tilde{a}b& \tilde{a}\tilde{b}\end{array}\right]$ можно кодировать булевой функцией, которую мы обозначим как

L4 (α,a,b): $ab\cdot a\cdot b+a\tilde{b}\cdot a\cdot \overline{b}+\tilde{a}b\cdot \overline{a}\cdot b+\tilde{a}\tilde{b}\cdot \overline{a}\cdot \overline{b}$

где $\alpha =\left(ab,a\tilde{b},\tilde{a}b,\tilde{a}\tilde{b}\right)$ - логический вектор, а символы «.» и «+» обозначают логические операции конъюнкции и («и») дизъюнкции («или»).

Таблица 2. Примеры кодирования L4 чисел булевыми функциями

Как следует из (18), значения элементов L4 числа или, что тоже самое, элементов логического вектора $\alpha =\left(ab,a\tilde{b},\tilde{a}b,\tilde{a}\tilde{b}\right)$ можно определить с помощью таблицы истинности булевой функции L4(α,a,b) (табл. 3).

Таблица 3. Таблица истинности булевой функции L4(α,a,b)

Рассмотрим, например, представление в форме БФ матричного уравнения

𝒂_𝑋 = ⟨𝑋|𝑈⟩∙𝒂_𝑈 (19)

где $X=\left\{x_i\right\}$ - произвольный базис пересекающихся пятен, а $U=\left\{u_k\right\}$ - атомарный базис, в качестве которого можно рассматривать совокупность фрагментов пятен $x_i$. По определению,

𝒂_𝑈 = [⟨𝑎|𝑢₁⟩; ⟨𝑎|𝑢₂⟩…⟨𝑎|𝑢_𝑁⟩],

 𝒂_𝑋 = [⟨𝑎|𝑥₁⟩; ⟨𝑎|𝑥₂⟩…⟨𝑎|𝑥_𝑛⟩] (20)

L4 вектор $a_X$ (20) определяется формулами (11) и (12) работы [13]. В частности, формулу (11) указанной работы для L4 числа ⟨𝑎|𝑥_𝑘⟩_𝑈 можно представить с помощью БФ F_U (α,β_k β,a,b):

⟨a│x_k⟩ _U ⇒ F_U (α,β,a,𝓍)=∑_(i=1)^N L4(α_i,a,1)·L4(β_ki,x,1) (21)

где введены следующие логические векторы:

α = (α₁,α₂,…α_N )  ${\alpha }_i=\left(a{u}_i,a{\tilde{u}}_i,\tilde{a}{u}_i,\tilde{a}{\tilde{u}}_i\right)$  β_k = (β_k1,β_k2,…β_kN )   (22)

${\beta }_{ki}=\left(x_k{u}_i,x_k{\tilde{u}}_i,{\tilde{x}}_k{u}_i,{\tilde{x}}_k{\tilde{u}}_i\right)$

Получим теперь выражения для представления в форме булевых функций матричного уравнения, которое обратное уравнению (19):

 a_U=⟨U│X⟩·a_X (23)

где L4 векторы $a_U$ и $a_X$ представлены равенствами (20), а L4 числа ⟨𝑎|𝑢𝑘⟩ определяются равенством (15) работы [13]. Для этого сначала преобразуем формулу (15) указанной работы в следующее эквивалентное представление:

   $a\text{|}{u}_k=\left[\begin{array}{cc}a{u}_k& a{\tilde{u}}_k\\ \tilde{a}{u}_k& \tilde{a}{\tilde{u}}_k\end{array}\right]$

⟨𝑎|𝑢𝑘⟩ (24)

где

 $\begin{array}{l}a{u}_k=\prod _i(a{x}_i+\overline{\left(x_i{u}_k\right)})\cdot (a{\tilde{x}}_i+x_i{u}_k)\\ a{\tilde{u}}_k=\underset{i}{}(a{\tilde{x}}_i\cdot x_i{u}_k+a{x}_i\cdot \overline{\left(x_i{u}_k\right)})\\ \tilde{a}{u}_k=\underset{i}{}(\tilde{a}{x}_i+\overline{\left(x_i{u}_k\right)})\cdot (\tilde{a}{\tilde{x}}_i+x_i{u}_k)\\ \tilde{a}{\tilde{u}}_k=\underset{i}{}(\tilde{a}{\tilde{x}}_i\cdot x_i{u}_k+\tilde{a}{x}_i\cdot \overline{\left(x_i{u}_k\right)})\end{array}$  (25)

Тогда правило матричного умножения (23)-(25) можно преобразовать в форму следующей БФ

  $\begin{array}{l}\left[\begin{array}{cc}a{u}_k& a{\tilde{u}}_k\\ \tilde{a}{u}_k& \tilde{a}{\tilde{u}}_k\end{array}\right]\Rightarrow a_{k1}\cdot a\cdot u+{\text{ a}}_{k2}\cdot a\cdot \overline{u}+\\ +{\text{a}}_{k3}\cdot \overline{a}\cdot u+{\text{a}}_{k4}\cdot \overline{a}\cdot \overline{u}\end{array}$  (26)

где ${\alpha }_k=\left({\alpha }_{k1},{\alpha }_{k2},{\alpha }_{k3},{\alpha }_{k4}\right)=\left(a{u}_k,a{\tilde{u}}_k,\tilde{a}{u}_k,\tilde{a}{\tilde{u}}_k\right)$ - логический вектор, а логические переменные ${\alpha }_{ki}$ определяются следующими формулами:

 

Логические переменные ${\beta }_i$ и ${\gamma }_{ik}$ в (27) определяются как:

${\beta }_i=\left({\beta }_{i1},{\beta }_{i2},{\beta }_{i3},{\beta }_{i4}\right)=\left(a{x}_i,a{\tilde{x}}_i,\tilde{a}{x}_i,\tilde{a}{\tilde{x}}_i\right)$

 ${\gamma }_{ik}=\left({\gamma }_{ik1},{\gamma }_{ik2},{\gamma }_{ik3},{\gamma }_{ik4}\right)=\left(x_i{u}_k,x_i{\tilde{u}}_k,{\tilde{x}}_i{u}_k,{\tilde{x}}_i{\tilde{u}}_k\right)$  (28)

которые также используются в следующие преобразования L4 чисел с помощью БФ:

$\left[\begin{array}{cc}a{x}_i& a{\tilde{x}}_i\\ \tilde{a}{x}_i& \tilde{a}{\tilde{x}}_i\end{array}\right]\Rightarrow$

L4 (β_i, a, x) = β_i1 · a · x +β_i2· a · x ̅+ β_i3 ·a ̅· x + β_i4· a ̅· x ̅

$\left[\begin{array}{cc}{x}_i{u}_k& x_i{\tilde{u}}_k\\ {\tilde{x}}_i{u}_k& {\tilde{x}}_i{\tilde{u}}_k\end{array}\right]\Rightarrow$

L4 (γ_ik, x, u ) = γ_ik1 · x · u + γ_ik2 · x · u ̅+ γ_ik3 · x ̅ · u + γ_ik4 · x ̅· u ̅

6. Возможность реализации аппарата пятен в нейроморфных устройствах

Реализация образно-логических нейроморфных устройств возможна, например, на программируемых логических матрицах (ПЛМ) или на новых перспективных элементах памяти - мемристорах и FeFET-транзисторах [24, 25]. Указанные элементы обладают энергонезависимой памятью, чрезвычайно низкими потерями переключения и более быстрыми операциями чтения/записи. Мемристоры и FeFET-транзисторы обладают также уникальным свойством, позволяющим хранить и использовать логику в одном устройстве. Нейроморфные устройства, построенные с применением этих перспективных элементах памяти, реализуют концепцию вычислений в памяти, что позволяет значительно ускорить работу систем за счет сокращения передачи данных между вычислениями и памятью, обеспечивая максимальный параллелизм вычислений [24, 25].

При моделировании, например, уравнения (19) с помощью БФ L4 векторы $a_U$ и $a_X$ будут играть роль входных и выходных данных. При этом $a_U$ будет кодироваться с помощью логических векторов α_i , а L4 матрица ⟨𝑿|𝑼⟩ должна храниться в ячейках памяти в форме логических векторов ${\beta }_{ki}=\left(x_k{u}_i,x_k{\tilde{u}}_i,{\tilde{x}}_k{u}_i,{\tilde{x}}_k{\tilde{u}}_i\right)$ (22). Результат матричного умножения вычисляется с помощью БФ F_U (α, β, a, x) (21). Аналогично, для представления уравнения (23) с помощью БФ, L4 матрицу ⟨𝑼|𝑿⟩, ее необходимо хранить в ячейках памяти в форме логических векторов γ_ik (27), а результат матричного умножения вычислять с помощью БФ (26)-(28).

Математический аппарат пятен в форме БФ можно, например, реализовать на прямоугольных логических матрицах элементов памяти, используя метод кодирования, предложенный Акерсом [26], позволяющий формировать любую логическую функцию. В логической матрице Акерса выполнение любой булевой функции осуществляется путем передачи данных через матрицу элементарных логических ячеек, каждая из которых вычисляет одну из четырех простых логических функций. В работе [27] было предложено использовать этот подход для формирования БФ на кроссбарах мемристоров [24], где все ячейки используют только одну из четырех БФ работы [26]:

$f\left(x,y,z\right)=x\cdot \overline{z}+y\cdot z$ (29)

БФ матрицы Акерса формируется с помощью переменных $z_k$, которые сохраняются в элементах памяти и определяют состояние логической матрицы. Тогда входные данные $x_i,y_i$ будут обрабатываться с помощью сформированной БФ, которую можно изменять переключением состояний мемристоров. Такие структуры БФ названы логикой состояний (“stateful logic”) [28].

Реализация этой функции на мемристорах в работе [27] осуществляется следующим образом. Каждая элементарная ячейка Акерса включает два комплиментарно включенных мемристора и четыре КМОП транзистора, играющих роль переключателей, которые используются для изоляции между логическими ячейками и поддержания регулярных операций чтения и записи (см. [27], рис. 6 и рис. 7c). Очевидно, что построение БФ на ячейках Акерса (29) также возможно и на кроссбарах FeFET, играющих роль элементов энергонезависимой памяти. Отметим, что кодирование аппарата пятен в форме БФ на логических матрицах Акерса соответствует компьютерной архитектуре вычислений в памяти [20, 25].

Были предложены и другие архитектуры БФ, построенных на кроссбарах мемристоров. Например, это - логические ячейки, называемые блоками обработки памяти (Memory Processing Unit), включая IMPLY [28], MAGIC [29], and FELIX [30]. Архитектуры указанных логических элементов позволяют формировать, такие операции как NOT/NOR, NAND, OR.

В работах [31, 32] предложена архитектура многослойных мемристорно-диодных матриц для создания нейроморфного процессора. Здесь используются технология интегрирования мемристорного кроссбара с КМОП-транзисторной логикой. Элементарные логические ячейки построены на комплементарных мемристорах и диодах Зенера, включенных последовательно с первыми. Применение диодов Зенера позволяет уменьшить деградацию выходного сигнала при суммировании входных импульсов напряжения. Многослойная логическая матрица, состоящая из КМОП-инверторов и мемристоров, в основном режиме работы реализует БФ, построенную на основе конъюнктивной многовходовой логики с отрицанием типа «И-НЕ», которая предварительно сформирована мемристорными переключателями в режиме обучения [32].

Дальнейшая работа в направлении разработки архитектуры образно-логических нейроморфных устройств предполагает сравнение предложенных разными авторами архитектур логических функций на мемристорах и FeFET, а также выбор их оптимальной архитектуры.

В работе [12] было показано, что аппарат пятен позволяет строить архитектуры глубоких нейронных сетей, где каждый слой производит операцию умножения L4 матрицы на L4 вектор, играющий роль входных сигналов. В результате умножения получается новый L4 вектор, играющий роль выходных сигналов этого слоя и входных сигналов следующего слоя. Формулы умножения работы [13] позволяют рассмотреть это представление более детально и предложить концепцию образно-логических нейронных сетей.

В частности, рис. 4а представляет слой такой нейронной сети, который пересчитывает отображение пятна-образа $a$ на произвольный базис пятен $X=\left\{x_i\right\}$, используя данные об его отображении на базисе $U=\left\{u_k\right\}$ фрагментов (частей) пятен базиса $X$. При этом применяются формулы (11), (12) работы [13]. Этот слой выполняет расчет, который моделирует мыслительную операцию синтеза или обобщения. рис. 4б иллюстрирует работу слоя нейронной сети, который решает задачу, обратную предыдущей: по данным отображения пятна-образа $a$ на произвольном базисе пятен $X=\left\{x_i\right\}$, найти его отображение на базисе $U=\left\{u_k\right\}$ фрагментов (частей) пятен базиса $X$. При этом применяются формулы (15), (16) работы [13]. Этот слой выполняет расчет, моделирующий мыслительную операцию анализа.

 

Рис. 4. Пример архитектуры одного слоя образно-логических нейронных сетей: (а) моделирование обобщения или синтеза; (б) моделирование анализа.

 

Отдельными квадратами на рис. 4 обозначены схемы искусственных нейронов, соответствующих пятнам-образам $\left\{u_k\right\}$ и $\left\{x_i\right\}$. Эти нейроны производят образно-логическую обработку информации, поступающую на их входы, что эквивалентно элементарным актам мышления. Поэтому предложенный тип нейронных сетей мы назвали образно-логическими.

Заключение

В работе рассмотрено применение аппарата пятен для представления информации и рассуждений в форме ментальных образов, а также его реализация для нейроморфных устройств нового типа, которые названы образно-логическими. Особенностью предлагаемых нейроморфных устройств является то, что обработка информации в них аналогична рассуждениям человека, что должно позволить решить серьезную проблему современных глубоких нейронных сетей, связанную с неизбежностью возникновения случайных ошибок. Рассмотрена возможность построения архитектуры образно-логических нейроморфных устройств на базе кроссбаров мемристоров или FeFET, которая соответствует схеме вычислений в памяти. Все это позволяет сформулировать новую парадигму интеллектуальных систем, способных не только представлять информацию в образной форме, но и моделировать образное мышление.

Финансирование

Работа выполнена в рамках Государственного задания ФТИАН им К. А. Валиева РАН Минобрнауки РФ по теме $№$ FFNN-2022-0019 «Фундаментальные и поисковые исследования в области создания перспективной элементной базы наноэлектроники и ее ключевых технологий.

Благодарность

Автор выражает благодарность Лукичеву В. Ф., Руденко К. В., Волковой Е. В. и Гостеву А. А. за поддержку и плодотворные обсуждения.

Конфликт интересов

Автор заявляет об отсутствии конфликта интересов.

Sobre autores

N. Simonov

Autor responsável pela correspondência
Email: nsimonov@ftian.ru
Rússia, Moscow

Bibliografia

Arquivos suplementares

Arquivos suplementares

Ação

1. JATS XML

Baixar

2. Formula 27

Baixar (37KB)

Metadados

3. Fig. 2. Euler-Venn diagram for intersections of spots, illustrating the geometric meaning of the introduced L4 numbers for the EOE between two spots: (a) intersection of spots a and b; (b) separateness of spots a and b; (c) inclusion of b in a; (d) inclusion of a in b.

Baixar (229KB)

Metadados

4. Fig. 3. An example of reconstruction of a poorly structured image of a star: (a) an image of a star in the form of randomly located points inside its contour; (b) reconstruction of the shape of a star based on the EPO data of image (a) with a scanning circle, shown in figure (b), with a small period.

Baixar (178KB)

Metadados

5. Fig. 4. An example of the architecture of one layer of figurative-logical neural networks: (a) modeling of generalization or synthesis; (b) modeling of analysis.

Baixar (195KB)

Metadados