Иерархическая Память Последовательностей
Автор: Олег Александрович Серебренников
Введение
Эта работа опирается на концепцию взаимной встречаемости объектов последовательностей как проявления законов внешнего мира, которые позволяют объектам следовать только в порядке, предопределенном этими законами, а также на гипотезу Джерома Леттвина о кодировании объектов отдельными нейронами коры головного мозга - «бабушкиными клетками».
В рамках проведенного исследования была предложена и изучена математическая модель иерархической памяти ненумерованных последовательностей. Предложены и рассмотрены архитектура нейронной сети нового поколения, а также конструкции искусственных нейронов для сильного искусственного интеллекта, основанные на модели иерархической памяти последовательностей. Проведенное исследование показывает, что такая нейронная сеть может не только запоминать, но и извлекать ненумерованные (не проиндексированные) последовательности из памяти, она также способна предсказывать появление следующих объектов последовательности, что соответствует «расширенному тесту Тьюринга», впервые сформулированному Джеффом Хокинсом. Работа также показала, что процесс генерации предсказаний вызван интерференцией, напоминающей интерференцию волн возбуждения нейронов, наблюдаемую исследователями в коре головного мозга. В работе изучалось изменение контекста последовательностей, и была предложена и изучена модель циклического сжатия исходной последовательности в последовательность контекстов в качестве последовательности следующего уровня иерархии памяти последовательностей. Разработанная нейронная сеть способна одновременно изучать, хранить и извлекать последовательности объектов любой природы (слышимые, видимые, тактильные и любые другие последовательности сенсорных данных), связывая посредством синхронизации такие последовательности друг с другом в любом измерении - во времени, пространстве или в любая другой шкале измерений, в том числе шкале эмоциональных и этических измерений. Синхронизация последовательных контекстов по приблизительной точке формирования и длине в конкретной шкале измерений позволяет объединять последовательности различной природы друг с другом (например, связывать визуальную последовательность появления кошки с слышимой последовательностью мяуканья кошки). В работе также предлагается решение для мониторинга и контроля состояния сознания роботов и его отклонений, позволяющее принудить роботов следовать установленным эмоциональным и этическим стандартам.
Ниже приводится краткое введение в исследование.
Эта работа опирается на концепцию взаимной встречаемости объектов последовательностей как проявления законов внешнего мира, которые позволяют объектам следовать только в порядке, предопределенном этими законами, а также на гипотезу Джерома Леттвина о кодировании объектов отдельными нейронами коры головного мозга - «бабушкиными клетками».
В рамках проведенного исследования была предложена и изучена математическая модель иерархической памяти ненумерованных последовательностей. Предложены и рассмотрены архитектура нейронной сети нового поколения, а также конструкции искусственных нейронов для сильного искусственного интеллекта, основанные на модели иерархической памяти последовательностей. Проведенное исследование показывает, что такая нейронная сеть может не только запоминать, но и извлекать ненумерованные (не проиндексированные) последовательности из памяти, она также способна предсказывать появление следующих объектов последовательности, что соответствует «расширенному тесту Тьюринга», впервые сформулированному Джеффом Хокинсом. Работа также показала, что процесс генерации предсказаний вызван интерференцией, напоминающей интерференцию волн возбуждения нейронов, наблюдаемую исследователями в коре головного мозга. В работе изучалось изменение контекста последовательностей, и была предложена и изучена модель циклического сжатия исходной последовательности в последовательность контекстов в качестве последовательности следующего уровня иерархии памяти последовательностей. Разработанная нейронная сеть способна одновременно изучать, хранить и извлекать последовательности объектов любой природы (слышимые, видимые, тактильные и любые другие последовательности сенсорных данных), связывая посредством синхронизации такие последовательности друг с другом в любом измерении - во времени, пространстве или в любая другой шкале измерений, в том числе шкале эмоциональных и этических измерений. Синхронизация последовательных контекстов по приблизительной точке формирования и длине в конкретной шкале измерений позволяет объединять последовательности различной природы друг с другом (например, связывать визуальную последовательность появления кошки с слышимой последовательностью мяуканья кошки). В работе также предлагается решение для мониторинга и контроля состояния сознания роботов и его отклонений, позволяющее принудить роботов следовать установленным эмоциональным и этическим стандартам.
Ниже приводится краткое введение в исследование.
Память последовательности
Концепция
Мозг - это черный ящик, который получает последовательности сенсорных данных, соответствующих последовательностям объектов и событий, наблюдаемых во внешнем мире, тогда как законы внешнего мира проявляются в частоте и порядке совместного появления таких объектов и событий в последовательностях. Более высокая частота совместного появления объектов означает относительно более высокую вероятность их появления вместе и в будущем, в то время как порядок их следования означает причинно-следственную связь - причина предшествует следствию.
Таким образом, память последовательности представляет собой модель проявления закономерностей построения последовательности, которая учитывает как совместное появление отдельных объектов в последовательностях, так и направление такого возникновения - причинно-следственные связи между объектами. После изучения примеров наблюдаемых последовательностей память последовательности должна иметь возможность предсказывать возможное продолжение последовательности на основе известной части этой последовательности и статистики появления объектов в ранее наблюдаемых последовательностях.
Исходная задача исследования заключалась в разработке такой структуры памяти последовательностей, которая позволяла бы частоте и порядку обеспечивать предсказания.
Модель памяти последовательностей
Поскольку мозг способен работать с последовательностями любого рода, то исследовать работу памяти последовательностей можно на примере текстовых последовательностей.
Воспользуемся гипотезой Джерома Леттвина о кодировании отдельными нейронами коры (так называемые "бабушкины клетки") отдельных объектов действительности. Согласно этой гипотезе различные объекты реальности могут быть представлены отдельными "бабушкиными клетками" - нейронами коры, а встречаемость одного конкретного объекта (фокальный объект) с другими объектами (частотные объекты) будет представлена дендритами и аксонами, связывающими "бабушкину клетку" фокального объекта с "бабушкиной клеткой" конкретного частотного объекта. Вес совместной встречаемости такой пары объектов в последовательностях будет соответствовать "толщине" связывающего эти "бабушкины клетки" дендрита или аксона, в зависимости от направления встречаемости: прямое или обратное.
Давайте теперь построим модель «бабушкиной клетки» для слова «tiger». Для этого расположим слово «TIGER» в центре (фокальный объект), затем найдем все предложения, содержащие слово "tiger" и напишем эти предложения проходящими через слово "tiger" с некоторым угловым смещением так, чтобы из предложений получился «круг»:
Концепция
Мозг - это черный ящик, который получает последовательности сенсорных данных, соответствующих последовательностям объектов и событий, наблюдаемых во внешнем мире, тогда как законы внешнего мира проявляются в частоте и порядке совместного появления таких объектов и событий в последовательностях. Более высокая частота совместного появления объектов означает относительно более высокую вероятность их появления вместе и в будущем, в то время как порядок их следования означает причинно-следственную связь - причина предшествует следствию.
Таким образом, память последовательности представляет собой модель проявления закономерностей построения последовательности, которая учитывает как совместное появление отдельных объектов в последовательностях, так и направление такого возникновения - причинно-следственные связи между объектами. После изучения примеров наблюдаемых последовательностей память последовательности должна иметь возможность предсказывать возможное продолжение последовательности на основе известной части этой последовательности и статистики появления объектов в ранее наблюдаемых последовательностях.
Исходная задача исследования заключалась в разработке такой структуры памяти последовательностей, которая позволяла бы частоте и порядку обеспечивать предсказания.
Модель памяти последовательностей
Поскольку мозг способен работать с последовательностями любого рода, то исследовать работу памяти последовательностей можно на примере текстовых последовательностей.
Воспользуемся гипотезой Джерома Леттвина о кодировании отдельными нейронами коры (так называемые "бабушкины клетки") отдельных объектов действительности. Согласно этой гипотезе различные объекты реальности могут быть представлены отдельными "бабушкиными клетками" - нейронами коры, а встречаемость одного конкретного объекта (фокальный объект) с другими объектами (частотные объекты) будет представлена дендритами и аксонами, связывающими "бабушкину клетку" фокального объекта с "бабушкиной клеткой" конкретного частотного объекта. Вес совместной встречаемости такой пары объектов в последовательностях будет соответствовать "толщине" связывающего эти "бабушкины клетки" дендрита или аксона, в зависимости от направления встречаемости: прямое или обратное.
Давайте теперь построим модель «бабушкиной клетки» для слова «tiger». Для этого расположим слово «TIGER» в центре (фокальный объект), затем найдем все предложения, содержащие слово "tiger" и напишем эти предложения проходящими через слово "tiger" с некоторым угловым смещением так, чтобы из предложений получился «круг»:
Рисунок 1
Как видно рисунок для слова «tiger» напоминает нейрон. Поскольку дендриты играют роль «входов» нейрона, а аксоны роль «выходов», то роль дендритов в нашей модели будут играть связи слова «tiger» со всеми словами, предшествующими слову «tiger», а роль аксонов будут играть связи со всеми словами, находящимися после слова «tiger». Рассматривая модель связей, созданную для слова «тигр», мы вскоре обнаружим, что такие слова, как «cat» (кошка) или «forest» (лес) или «stripedorangefur» (полосатая красная шкура), встречаются чаще, чем другие слова и поэтому вес совместной встречаемости «tiger» с такими частотными словами будет выше, чем с другими словами. Возвращаясь к проявлению причинно-следственных связей в наблюдаемых последовательностях (в визуальных, аудио и др.), можно утверждать, что, например, нападению тигра на жертву в наблюдаемых последовательностях всегда будет предшествовать появление жертвы и тигра.
Уникальное представление объектов памяти последовательностей
Если каждому слову языка (частотное слово) присвоить вес совместной встречаемости с фокальным словом, то множество всех таких весов однозначно идентифицируют фокальное слово, а знак «+» или «-» перед весом может означать направление связи, где «+» означает направление связи с будущее (частотное слово находится после фокального), а «-» - направление в прошлое (частотное слово находится перед фокальным). Поэтому каждое фокальное слово памяти последовательностей может быть уникально представлено множеством весовых коэффициентов (множеством прошлого и множеством будущего), связи фокусного слова со всеми уникальными «частотными» словами языка .
Как мы видим, модель памяти последовательностей имеет преимущество перед моделью перцептрона (искусственный нейрон современных нейронных сетей), поскольку память последовательностей состоит из идентифицированных «бабушкиных клеток», а веса нейронных связей в модели памяти последовательностей соответствуют статистическим весам совместной встречаемости, обеспечивающих "обратную совместимость" с реальностью - возможность восстановить последовательность с использованием памяти. В отличие от памяти последовательностей в модели обучения персептрона нет идентифицированных нейронов, кодирующих конкретный объект или действие, и веса нейронной связи назначаются методом обратного распространения, таким образом, веса нейронов не имеют очевидного отношения к реальности, не гарантируя обратного соответствия реальности и поэтому не гарантирует полной предсказуемости результатов работы нейронной сети.
Нет необходимости добавлять, что создание памяти текстовых последовательностей в качестве статистической модели применения правил составления текстовых предложений позволит правильно составлять предложения и прогнозировать возможное продолжение для них. Для моделирования реального мира, ощущаемого человеческими чувствами, нам нужно будет создать отдельный сегмент памяти последовательностей для каждого доступного человеку чувства и синхронизировать сегменты между собой.
Если каждому слову языка (частотное слово) присвоить вес совместной встречаемости с фокальным словом, то множество всех таких весов однозначно идентифицируют фокальное слово, а знак «+» или «-» перед весом может означать направление связи, где «+» означает направление связи с будущее (частотное слово находится после фокального), а «-» - направление в прошлое (частотное слово находится перед фокальным). Поэтому каждое фокальное слово памяти последовательностей может быть уникально представлено множеством весовых коэффициентов (множеством прошлого и множеством будущего), связи фокусного слова со всеми уникальными «частотными» словами языка .
Как мы видим, модель памяти последовательностей имеет преимущество перед моделью перцептрона (искусственный нейрон современных нейронных сетей), поскольку память последовательностей состоит из идентифицированных «бабушкиных клеток», а веса нейронных связей в модели памяти последовательностей соответствуют статистическим весам совместной встречаемости, обеспечивающих "обратную совместимость" с реальностью - возможность восстановить последовательность с использованием памяти. В отличие от памяти последовательностей в модели обучения персептрона нет идентифицированных нейронов, кодирующих конкретный объект или действие, и веса нейронной связи назначаются методом обратного распространения, таким образом, веса нейронов не имеют очевидного отношения к реальности, не гарантируя обратного соответствия реальности и поэтому не гарантирует полной предсказуемости результатов работы нейронной сети.
Нет необходимости добавлять, что создание памяти текстовых последовательностей в качестве статистической модели применения правил составления текстовых предложений позволит правильно составлять предложения и прогнозировать возможное продолжение для них. Для моделирования реального мира, ощущаемого человеческими чувствами, нам нужно будет создать отдельный сегмент памяти последовательностей для каждого доступного человеку чувства и синхронизировать сегменты между собой.
Трудоемкость анализа в памяти последовательностей
Исследовать веса взаимной встречаемости каждой пары слов языка можно с использованием таблицы (N* N) = N2 всех слов языка. На диагонали такой таблицы будут находиться веса встречаемости соответствующего слова с самим собой, а в ячейках симметричных относительно диагонали будут находиться веса прямой ω1 и обратной ω2 встречаемости каждой пары слов языка. Очевидно, что соотношение ω1 / ω2 позволяет определить инверсию встречаемости и чем больше или меньше значение инверсии по сравнению с 1, чем выше вероятность того, что одно из слов предшествует другому в последовательностях. Это можно считать причинно-следственной связью для правил составления предложений рассматриваемого языка.
Если бы мы захотели исследовать взаимную встречаемость трех слов, то понадобился бы куб (N* N* N) = N3 слов языка и так далее, трудоемкость изучения взаимной встречаемости каждых R слов языка из всех N уникальных слов языка будет пропорциональна Nв степени R, то есть NR.
В то же время вычислительная сложность анализа взаимной встречаемости слов памяти последовательности лишь линейно возрастает с ростом R.
Исследовать веса взаимной встречаемости каждой пары слов языка можно с использованием таблицы (N* N) = N2 всех слов языка. На диагонали такой таблицы будут находиться веса встречаемости соответствующего слова с самим собой, а в ячейках симметричных относительно диагонали будут находиться веса прямой ω1 и обратной ω2 встречаемости каждой пары слов языка. Очевидно, что соотношение ω1 / ω2 позволяет определить инверсию встречаемости и чем больше или меньше значение инверсии по сравнению с 1, чем выше вероятность того, что одно из слов предшествует другому в последовательностях. Это можно считать причинно-следственной связью для правил составления предложений рассматриваемого языка.
Если бы мы захотели исследовать взаимную встречаемость трех слов, то понадобился бы куб (N* N* N) = N3 слов языка и так далее, трудоемкость изучения взаимной встречаемости каждых R слов языка из всех N уникальных слов языка будет пропорциональна Nв степени R, то есть NR.
В то же время вычислительная сложность анализа взаимной встречаемости слов памяти последовательности лишь линейно возрастает с ростом R.
Полный и ранговый кластеры фокального объекта
Давайте теперь обрежем все тексты (Рисунок 1), проходящие через слово «tiger» так, чтобы до слова «tiger» и после него осталось только слов текста, причем каждые +Rслов после слова «tiger» давайте расположим справа от него и каждые - слов до слова «tiger» расположим слева от слова «tiger» (Рисунок 2).
Давайте теперь обрежем все тексты (Рисунок 1), проходящие через слово «tiger» так, чтобы до слова «tiger» и после него осталось только слов текста, причем каждые +Rслов после слова «tiger» давайте расположим справа от него и каждые - слов до слова «tiger» расположим слева от слова «tiger» (Рисунок 2).
Рисунок 2
Как видно из Рисунка 2, мы получили два полукруга радиуса R- полукруг «прошлого» (-R) и полукруг «будущего» (+R). Представленный круг является лишь двухмерной иллюстрацией набора текстовых сегментов, проходящих через слово «тигр» (Рисунок 1). Перейдя к трехмерному представлению, мы можем говорить о сфере, состоящей из двух полушарий - полушария «прошлого» и полушария «будущего» (US9679002B2 и RU2459242). Давайте назовем R-кластером «прошлого» набор частотных слов, включенных в полушарие «прошлого» Ktiger,-R, и, соответственно, R-кластером «будущего» - набор частотных слов, включенных в полушарие "будущего" Ktiger,R. Полный R-кластер будущего/прошлого каждого фокального объекта содержит веса совместной встречаемости фокального объекта с соответствующими уникальными частотными объектами "будущего" или "прошлого", расположенными в R-сфере.
Очевидно что каждый R-кластер KC,R любого фокального объекта CF может быть представлен в виде суммы "ранговых кластеров" объекта CF с рангами от 1 до R:
, где каждый кластер ранга "i" включает все частотные объекты R-кластера равноудаленные от фокального объекта, то есть частотные объекты отделенные от фокального объекта (i- 1) объектами последовательности.
Состояние сознания
Теперь возможно создать «базовый набор» кластеров, связав каждый уникальный объект CFмножества всех Nуникальных объектов последовательностей с его ранговым кластером 1-го ранга. Можно легко показать, что любой R-кластер как будущего KC,R так и прошлого KC,-R для любого уникального объекта CF, может быть представлен как композиция кластеров 1-го ранга из базового набора.
Давайте теперь научим ИИ робота плохому поведению с целью определить подмножества сигнатур базового набора, соответствующие каждому плохому поведению, которому научился ИИ. Это открывает путь для прогнозирования потенциально вредных изменений в сознании робота, позволяя полностью контролировать его разум и вернуть разум робота в «безопасное» состояние сознания в любой момент времени, если обнаружена сигнатура вредного обучения.
Техника прогнозирования
Техника интерференции ранговых кластеров является аналогом интерференции волн возбуждения в коре головного мозга, что позволяет моделировать волновые процессы мышления в коре головного мозга.
Также нетрудно создать способ прогнозирования появления новых объектов некоторой последовательности с использованием интерференции когерентных ранговых кластеров известных объектов такой последовательности. Интерференция параллельных ранговых кластеров позволяет находить параллельные смыслы (синонимию в широком смысле), и так далее, анализ ранговых кластеров позволяет делать гораздо больше.
Иерархическая память последовательностей
Проведенное исследование колебания общего веса кластеров объектов введенной последовательности показывает, что максимум общего веса совпадает с моментом, когда текущий контекст последовательности изменяется. Эти последовательные пики общего веса образуют последовательность, представляющую следующий уровень памяти последовательностей. Создание синтетического уникального объекта и присвоение ему кластера, соответствующего очередному пику, позволяет перейти к последовательности синтетических объектов, представляющих следующий уровень объектов в памяти последовательностей, таким образом создавая сложную иерархию памяти последовательностей.
Назад к коре головного мозга
Проводя аналогию между предложенной моделью памяти последовательностей и корой головного мозга, можно предположить, что объекты исходных последовательностей могут быть закодированы «бабушкиными клетками», расположенными во внутреннем зернистом слое, тогда как указанные искусственные объекты могут быть закодированы посредством клетки внешнего зернистого слоя. Каждый пирамидный нейрон во внешнем слое пирамидных нейронов, по-видимому, может играть роль сумматора весов для определенного набора «бабушкиных клеток», расположенных во внутреннем зернистом слое. и, если он активирован, он посылает спайк определенному нейрону, расположенному во внешнем зернистом слое. Столбец нейронов, состоящий из упомянутых двух взаимосвязанных нейронов внешнего пирамидного слоя и внешнего зернистого слоя, может представлять собой «молчащие клетки», названные так Вячеславом Швырковым в 1986 году, соединенные с кластером «бабушкиных клеток», расположенным во внутреннем зернистом слое. Эта пара «молчащих клеток» активируется только в том случае, если общая активность кластера «бабушкиных клеток» внутреннего зернистого слоя превышает порог активации сумматора пирамидного нейронного внешнего пирамидного слоя.
Дизайн нейроморфного чипа
В рамках исследований была разработана оригинальная архитектура преимущественно аналогового нейрочипа для иерархической памяти последовательностей, энергетическая эффективность которого, как ожидается, превысит существующие нейрочипы на порядки. Микросхема способна одновременно работать с последовательностями объектов разной природы и способна связывать все входящие последовательности независимо от их природы посредством синхронизации измерений, включая, помимо прочего, эмоциональные, этические нормы, линейные и угловые измерения, время, напряженность поля и что угодно еще если его можно измерить. Благодаря этому микросхема может хранить и извлекать "синхронные" последовательности всех видов, которые имеют сопоставимую округленную длину и точку формирования, по меньшей мере, в одном измерении.
Теперь возможно создать «базовый набор» кластеров, связав каждый уникальный объект CFмножества всех Nуникальных объектов последовательностей с его ранговым кластером 1-го ранга. Можно легко показать, что любой R-кластер как будущего KC,R так и прошлого KC,-R для любого уникального объекта CF, может быть представлен как композиция кластеров 1-го ранга из базового набора.
Давайте теперь научим ИИ робота плохому поведению с целью определить подмножества сигнатур базового набора, соответствующие каждому плохому поведению, которому научился ИИ. Это открывает путь для прогнозирования потенциально вредных изменений в сознании робота, позволяя полностью контролировать его разум и вернуть разум робота в «безопасное» состояние сознания в любой момент времени, если обнаружена сигнатура вредного обучения.
Техника прогнозирования
Техника интерференции ранговых кластеров является аналогом интерференции волн возбуждения в коре головного мозга, что позволяет моделировать волновые процессы мышления в коре головного мозга.
Также нетрудно создать способ прогнозирования появления новых объектов некоторой последовательности с использованием интерференции когерентных ранговых кластеров известных объектов такой последовательности. Интерференция параллельных ранговых кластеров позволяет находить параллельные смыслы (синонимию в широком смысле), и так далее, анализ ранговых кластеров позволяет делать гораздо больше.
Иерархическая память последовательностей
Проведенное исследование колебания общего веса кластеров объектов введенной последовательности показывает, что максимум общего веса совпадает с моментом, когда текущий контекст последовательности изменяется. Эти последовательные пики общего веса образуют последовательность, представляющую следующий уровень памяти последовательностей. Создание синтетического уникального объекта и присвоение ему кластера, соответствующего очередному пику, позволяет перейти к последовательности синтетических объектов, представляющих следующий уровень объектов в памяти последовательностей, таким образом создавая сложную иерархию памяти последовательностей.
Назад к коре головного мозга
Проводя аналогию между предложенной моделью памяти последовательностей и корой головного мозга, можно предположить, что объекты исходных последовательностей могут быть закодированы «бабушкиными клетками», расположенными во внутреннем зернистом слое, тогда как указанные искусственные объекты могут быть закодированы посредством клетки внешнего зернистого слоя. Каждый пирамидный нейрон во внешнем слое пирамидных нейронов, по-видимому, может играть роль сумматора весов для определенного набора «бабушкиных клеток», расположенных во внутреннем зернистом слое. и, если он активирован, он посылает спайк определенному нейрону, расположенному во внешнем зернистом слое. Столбец нейронов, состоящий из упомянутых двух взаимосвязанных нейронов внешнего пирамидного слоя и внешнего зернистого слоя, может представлять собой «молчащие клетки», названные так Вячеславом Швырковым в 1986 году, соединенные с кластером «бабушкиных клеток», расположенным во внутреннем зернистом слое. Эта пара «молчащих клеток» активируется только в том случае, если общая активность кластера «бабушкиных клеток» внутреннего зернистого слоя превышает порог активации сумматора пирамидного нейронного внешнего пирамидного слоя.
Дизайн нейроморфного чипа
В рамках исследований была разработана оригинальная архитектура преимущественно аналогового нейрочипа для иерархической памяти последовательностей, энергетическая эффективность которого, как ожидается, превысит существующие нейрочипы на порядки. Микросхема способна одновременно работать с последовательностями объектов разной природы и способна связывать все входящие последовательности независимо от их природы посредством синхронизации измерений, включая, помимо прочего, эмоциональные, этические нормы, линейные и угловые измерения, время, напряженность поля и что угодно еще если его можно измерить. Благодаря этому микросхема может хранить и извлекать "синхронные" последовательности всех видов, которые имеют сопоставимую округленную длину и точку формирования, по меньшей мере, в одном измерении.
Результаты
В любое время базовый набор представляет собой «состояние сознания» памяти последовательности и, следовательно, можно контролировать отклонения «состояния сознания» от эталонного и корректировать сознание роботов, разработанных с использованием памяти последовательностей.
Проведение операций теории множеств и линейной алгебры над ранговыми кластерами позволяет прогнозировать появление новых объектов в последовательностях, определять синонимию и многое другое.
Представленное представление базового набора в конечном итоге подтверждает правильность гипотезы о так называемых «клетках бабушки» (см. «Нейрон Билла Клинтона», «Нейрон Дженнифер Энистон»). Это также доказывает, что «бабушкины клетки» способны формировать память последовательности в коре головного мозга.
Веса совместной встречаемости пар уникальных объектов в последовательностях носят статистический характер и должны представлять веса нейронных звеньев искусственных нейронных сетей. Метод обратного распространения ошибки, широко используемый для определения весов нейронных связей в существующих нейронных сетях, в том числе сверточных, не может поддерживать кодирование «клеток бабушки» для построения памяти последовательности, поэтому существующие нейронные сети могут работать не так, как ожидалось в каждом конкретном случае.
Процесс производства выводов по всей видимости является процессом поиска причинно следственных связей на разных уровнях иерархии памяти последовательностей.
Процесс обучения памяти последовательностей - это процесс обновления весов взаимных вхождений каждой пары уникальных объектов (нейронов), и поэтому память последовательностей является своего рода неограниченной, хотя она подвержена влиянию насыщения. которые люди склонны называть «мудростью».
Изучение взаимных вхождений любых Rуникальных объектов из набора всех Nуникальных объектов последовательностей с использованием традиционных методов может иметь сложность вычисления, пропорциональную , тогда как память последовательности обеспечивает сложность вычисления, пропорциональную R.
Результаты также показывают, что современный дизайн искусственного нейрона полносвязных слоев нейросетей может быть неполным из-за отсутствия обратной связи нейрона с предыдущим слоем нейронов в иерархии памяти последовательностей.
В любое время базовый набор представляет собой «состояние сознания» памяти последовательности и, следовательно, можно контролировать отклонения «состояния сознания» от эталонного и корректировать сознание роботов, разработанных с использованием памяти последовательностей.
Проведение операций теории множеств и линейной алгебры над ранговыми кластерами позволяет прогнозировать появление новых объектов в последовательностях, определять синонимию и многое другое.
Представленное представление базового набора в конечном итоге подтверждает правильность гипотезы о так называемых «клетках бабушки» (см. «Нейрон Билла Клинтона», «Нейрон Дженнифер Энистон»). Это также доказывает, что «бабушкины клетки» способны формировать память последовательности в коре головного мозга.
Веса совместной встречаемости пар уникальных объектов в последовательностях носят статистический характер и должны представлять веса нейронных звеньев искусственных нейронных сетей. Метод обратного распространения ошибки, широко используемый для определения весов нейронных связей в существующих нейронных сетях, в том числе сверточных, не может поддерживать кодирование «клеток бабушки» для построения памяти последовательности, поэтому существующие нейронные сети могут работать не так, как ожидалось в каждом конкретном случае.
Процесс производства выводов по всей видимости является процессом поиска причинно следственных связей на разных уровнях иерархии памяти последовательностей.
Процесс обучения памяти последовательностей - это процесс обновления весов взаимных вхождений каждой пары уникальных объектов (нейронов), и поэтому память последовательностей является своего рода неограниченной, хотя она подвержена влиянию насыщения. которые люди склонны называть «мудростью».
Изучение взаимных вхождений любых Rуникальных объектов из набора всех Nуникальных объектов последовательностей с использованием традиционных методов может иметь сложность вычисления, пропорциональную , тогда как память последовательности обеспечивает сложность вычисления, пропорциональную R.
Результаты также показывают, что современный дизайн искусственного нейрона полносвязных слоев нейросетей может быть неполным из-за отсутствия обратной связи нейрона с предыдущим слоем нейронов в иерархии памяти последовательностей.
Библиография
[1] "On Intelligence", Jeff Hawkins & Sandra Blakeslee, ISBN 0-8050-7456-2
[2] "Hierarchical Temporal Memory", Jeff Hawkins & Dileep George, Numenta Corp.
[3] Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation (https://arxiv.org/abs/1611.04558 и русский вариант https://m.geektimes.ru/post/282976/)
[4] «Why your brain has a Jennifer Aniston cell'»https://www.newscientist.com/article/dn7567-why-your-brain-has-a-jennifer-aniston-cell/
[5] «Compression and Reflection of Visually Evoked Cortical Waves» (https://www.researchgate.net/publication/6226590_Compression_and_Reflection_of_Visually_Evoked_Cortical_Waves)
[6] Christopher Olah, 2014, (http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/)
[7] Luong et al. (2013) (https://nlp.stanford.edu/~lmthang/data/papers/conll13_morpho.pdf)
[8]http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/
[9] Алексей Редозубов, «Логика эмоций»http://www.aboutbrain.ru/wp-content/plugins/download-monitor/download.php?id=6
[1] "On Intelligence", Jeff Hawkins & Sandra Blakeslee, ISBN 0-8050-7456-2
[2] "Hierarchical Temporal Memory", Jeff Hawkins & Dileep George, Numenta Corp.
[3] Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation (https://arxiv.org/abs/1611.04558 и русский вариант https://m.geektimes.ru/post/282976/)
[4] «Why your brain has a Jennifer Aniston cell'»https://www.newscientist.com/article/dn7567-why-your-brain-has-a-jennifer-aniston-cell/
[5] «Compression and Reflection of Visually Evoked Cortical Waves» (https://www.researchgate.net/publication/6226590_Compression_and_Reflection_of_Visually_Evoked_Cortical_Waves)
[6] Christopher Olah, 2014, (http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/)
[7] Luong et al. (2013) (https://nlp.stanford.edu/~lmthang/data/papers/conll13_morpho.pdf)
[8]http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/
[9] Алексей Редозубов, «Логика эмоций»http://www.aboutbrain.ru/wp-content/plugins/download-monitor/download.php?id=6
Автор
Олег Серебренников (https://www.linkedin.com/in/serebrennikov/), серийный предприниматель и изобретатель в области финтех, Интернет и ИИ.
Соответствующими ранними патентами являются US9679002B2, RU2459242,на рассмотрении находится также новая патентная заявка РСТ.
Иерархическая Память Последовательности - это концепция изменяющая правила игры в области разработки нейронных сетей для ИИ следующего поколения - сильного ИИ. Если вас эта перспектива вдохновляет так же как и меня, и видите присоединиться к нашему проекту в качестве профессионального члена команды или инвестора, пожалуйста, не стесняйтесь обращаться ко мне с вашими предложениями и запросами. Спасибо.
Соответствующими ранними патентами являются US9679002B2, RU2459242,на рассмотрении находится также новая патентная заявка РСТ.
Иерархическая Память Последовательности - это концепция изменяющая правила игры в области разработки нейронных сетей для ИИ следующего поколения - сильного ИИ. Если вас эта перспектива вдохновляет так же как и меня, и видите присоединиться к нашему проекту в качестве профессионального члена команды или инвестора, пожалуйста, не стесняйтесь обращаться ко мне с вашими предложениями и запросами. Спасибо.
