用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的方法和设备

背景

领域

本公开的某些方面一般涉及神经系统工程，更具体地涉及用于对初级视皮层 细胞和其他神经电路的输入突触进行无监督训练的方法和设备。

背景

图像识别和运动检测系统可被划分为基于机器视觉（即，人工智能（AI）） 技术的系统以及利用视皮层技术（即，生物学似真系统）的系统。机器视觉系统具 有制定完善的训练方法，但具有较差的识别准确性。例如，对狗与猫进行区分对于 机器视觉系统而言仍然是具有50/50结果的具有挑战性的任务。

另一方面，生物学似真系统使用人类视皮层结构。基于这些系统的各种方法 有望比机器视觉系统更准确。然而，用于生物学似真系统的、导致其自组织的训练 方法并未开发健全。这是由于对视皮层组织和自训练方法的了解贫乏所导致的。

概述

本公开的某些方面提供一种电路。该电路一般包括：多个视网膜神经节细胞 （RGC）电路，其中这些RGC电路中的每一个RGC电路在输出处生成来自与该 RGC电路相关联的各受体电路的加权输入的总和；多个初级视皮层细胞（V1）电 路，其中这些V1电路中的每一个V1电路生成这些RGC电路的子集的加权输出的 另一总和；以及被配置成调节对用以生成该另一总和的各输出施加的权重的电路， 其中对这些权重之一的调节基于以下各项中的至少一者：这些输出之中被施加以该 权重的一个输出或者该另一总和。

本公开的某些方面提供一种用于实现神经系统的方法。该方法一般包括：在 该神经系统中的多个视网膜神经节细胞（RGC）电路中的每一个RGC电路的输出 处，生成来自与该RGC电路相关联的各受体电路的加权输入的总和；由该神经系 统中的多个初级视皮层细胞（V1）电路中的每一个V1电路生成这些RGC电路的 子集的加权输出的另一总和；以及调节对用以生成该另一总和的各输出施加的权重， 其中对这些权重之一的调节基于以下各项中的至少一者：这些输出之中被施加以该 权重的一个输出或者该另一总和。

本公开的某些方面提供了一种设备。该设备一般包括：用于在该设备中的多 个视网膜神经节细胞（RGC）电路中的每一个RGC电路的输出处生成来自与该RGC 电路相关联的各受体电路的加权输入的总和的装置；用于由该设备中的多个初级视 皮层细胞（V1）电路中的每一个V1电路生成这些RGC电路的子集的加权输出的 另一总和的装置；以及用于调节对用以生成该另一总和的各输出施加的权重的装置， 其中对这些权重之一的调节基于以下各项中的至少一者：这些输出中被施加以该权 重的一个输出或者该另一总和。

附图简要说明

为了能详细地理解本公开的上述特征所用的方式，可以参照各方面来对以上 简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意， 附图仅解说了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可以 允许有其他等同有效的方面。

图1解说根据本公开的某些方面的示例神经系统。

图2解说了根据本公开的某些方面的与不同类型的视网膜神经节（RG）细胞 连接的受体的示例模型。

图3解说了根据本公开的某些方面的与RG细胞连接的受体的示例模型，其 中该RG细胞取决于连接该RG细胞和初级视皮层（V1）细胞的突触的符号而可能 为ON（开）细胞或OFF（关）细胞。

图4解说了根据本公开的某些方面的在各受体与RG细胞之间的连接的示例 模型以及在各RG细胞与V1细胞之间的连接的示例模型。

图5解说了根据本公开的某些方面的可在神经系统处执行的用于训练各RG 细胞与V1细胞之间突触权重的示例操作。

图5A解说能够执行图5中解说的操作的示例组件。

详细描述

以下参照附图更全面地描述了本公开的各个方面。然而，本公开可用许多不 同的形式实施并且不应解释为被限定于本公开通篇所给出的任何特定结构或功能。 确切而言，提供这些方面使得本公开将是透彻和完整的，并使得本公开将向本领域 技术人员完全传达本公开的范围。基于本文中的教导，本领域的技术人员应领会， 本公开的范围旨在覆盖本文中所披露的本公开的任何方面，不论其是与本公开的任 何其他方面相独立地还是组合地实现的。例如，可以使用本文所阐述的任何数目的 方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述 的本公开的各种方面的补充或者与之不同的其他结构、功能性、或者结构及功能性 来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何方面可以由权 利要求的一个或更多个元素来实施。

措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述 为“示例性”的任何方面不必被解释为优于或胜过其他方面。

尽管本文中描述了特定方面，但这些方面的众多变体和置换落在本公开的范 围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定 于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、 系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的详细描述 中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权 利要求及其等效技术方案来定义。

示例神经系统

图1解说根据本公开的某些方面的具有多级神经元的示例神经系统100。神经 系统100可包括神经元级102，该级神经元102通过突触连接网络104连接到另一 级神经元106。为简单起见，图1中仅解说两级神经元，但在典型的神经系统中可 以存在更多级神经元。

如图1所解说的，级102中的每一神经元可以接收可由前一级（图1中未示 出）的多个神经元所生成的输入信号108。信号108可以表示级102的神经元的输 入电流。该电流可以在神经元膜上累积以对膜电位进行充电。当膜电位达到其阈值 时，该神经元可以激发并生成输出尖峰，该输出尖峰将被传递到下一级神经元（例 如，级106）。

尖峰从一级神经元到另一级神经元的传递可以通过突触连接（或简称“突触”） 网络104来实现，如图1所解说的。突触104可从级102的神经元接收输出信号 （即，尖峰），根据可调节突触权重，...，来缩放那些信号（其中P是 级102的神经元与级106的神经元之间的突触连接的总数），并且将经缩放的 信号组合为级106中的每一个神经元的输入信号。级106中的每个神经元可以基 于对应的经组合的输入信号来生成输出尖峰110。随后可以使用另一突触连接网 络（图1中未示出）将这些输出尖峰110传递到另一级神经元。

神经系统100可以通过电路来仿真并且可以在大范围的应用中使用，诸如图 像和模式识别、机器学习、电机控制、及类似应用等。神经系统100中的每一神经 元可被实现为神经元电路。被充电至发起输出尖峰的阈值的神经元膜可被实现为例 如对流经其的电流进行积分的电容器。

在一方面，电容器作为神经元电路的电流积分设备可以被除去，并且可以使 用较小的忆阻器（memristor）元件来替代之。这种办法可以应用于神经元电路中， 以及其中大容量电容器被用作电流积分器的各种其他应用中。另外，突触104中的 每一个可以基于忆阻器元件来实现，其中突触权重改变可以与忆阻器电阻的变化相 关。使用纳米特征尺寸的忆阻器，可以显著地减小神经元电路和突触的面积，这可 以使得实现超大规模神经系统硬件实现变得可行。

本公开提出了一种用于彩色视觉的初级视皮层（V1）细胞和视网膜神经节细 胞（RGC）的简化结构，其中这些V1细胞和RGC可被实现为来自图1的神经系 统100的神经元电路。在本公开的一方面，RGC可与神经元102相对应，而V1 细胞可与神经元106相对应。

V1输入突触（例如，神经系统100的突触104）可要求以无监督方式被训练 以实现简单细胞涌现。本公开提出了一种训练V1细胞层和RGC细胞层之间的连 通性的高效方法，该方法可导致在V1层内自主形成特征检测器（简单细胞）。所 提出的办法可使得能对图像识别和运动检测系统进行硬件高效的且生物学似真的 实现。

所提出的无监督训练方法可对RGC层和V1层两者利用简单神经元模型。该 模型简单地加总每一细胞的加权输入，其中这些输入可具有正值或负值。所得的输 入加权总和被称为激活，其中这些激活也可以是正的或负的。在本公开的一方面， 每一个V1细胞的各权重可取决于相对应的RGC输出的符号以及与该V1细胞相关 联的激活的符号在增加该激活的绝对值的方向上来调节。这些V1权重可以是正的 或负的。

所提出的突触权重训练方法可适于用软件和硬件的高效实现。而且，该方法 运行起来可比依赖于尖峰定时的可塑性（STDP）训练办法快得多。

对初级视皮层细胞的输入突触的无监督训练方法

根据某些方面，RG细胞（RGC）可被划分为ON（开）细胞和OFF（关）细 胞。ON细胞可以区分比背景亮的对象。例如，外围视觉全都基于ON细胞，从而 人类能够更好地看见暗背景上的亮点。另一方面，RG OFF细胞可区分比背景暗的 对象。应该注意，点亮包括RG ON细胞和RG OFF细胞两者的整个感受域对RGC 激发速率具有有限影响。

图2解说了根据本公开的某些方面的在光受体202和RG ON细胞204之间的 连接的示例模型200a以及在光受体206和RG OFF细胞208之间的连接的示例模 型200b。受体电路202和206可被组织为图像像素的正交阵列。因此，ON细胞和 OFF细胞的感受域可具有矩形形状（而非圆形）。

在一方面，每一个RGC可从九个受体接收输入，其中与各受体相关联的输入 权重可形成拉普拉斯滤波器（即，可对来自这些受体的信号施加拉普拉斯窗函数）， 如图2中所解说的。这些权重可取决于各受体是连接到ON-RG细胞还是连接到 OFF-RG细胞，如模型200a和200b中所解说的。应该注意到，图2中所解说的 RG细胞204和208可以不与巨神经节细胞相对应，巨神经节细胞能够从多得多的 受体接收输入。

在本公开的一方面，作为在RGC阵列中混合ON细胞和OFF细胞的替代，每 一个RG细胞（例如，图3中所解说的模型300中从受体302接收输入的RG细胞 304）或可为ON细胞或可为OFF细胞。这可取决于与将该RG细胞304连接到 V1简单细胞310的突触308相关联的权重306的符号。

如图3中所解说的，V1细胞310的输入y可通过对来自受体302的、可被输 入到RG细胞304中的输入信号x_i,j施加权重w来获得：

等式(1)可重写为：

其中，如果sgn(w)=+1，则RGC304可用作ON细胞，而如果sgn(w)=-1，则RGC304 可用作OFF细胞。

在本公开的一个方面，可以利用如图4中所解说的那样的神经元模型。在示 例模型400a中，RGC404可对其来自各受体402的加权输入406求和，并且随后 它可将求和结果传递到其输出408，即：

$y=\underset{i,j}{\Sigma }{u}_{i,j}·x_{i,j}.---\left(3\right)$

如图4中的示例模型400b中所解说的，V1细胞414可对其来自各RGC412 的加权输入416求和，即：

$z=\underset{i,j}{\Sigma }{w}_{i,j}·y_{i,j},---\left(4\right)$

其中，来自等式(4)的权重w_i,j中的每一个权重可以是双极性的以用于对ON  RGC和OFF RGC两者建模。在一方面，可将V1细胞414的输出418（激活信号） 与阈值进行比较。如果求和结果418高于该阈值，则V1细胞414被激活（即，激 发）。另一方面，如果结果418低于该阈值，则V1细胞414处于歇止。

在本公开的一方面，可以仅训练RGC到V1连接的权重（即，权重w_i,j）。 来自图4的模型400b可利用以下规则。每一个V1简单细胞的激活可被计算为各 相对应RGC输出的加权总和。如果V1-细胞激活超过阈值，则该V1细胞可激发。 否则，该V1细胞可歇止（即，该V1细胞不生成任何信号）并且其各输入权重可 以不改变。

首先，每一个V1简单细胞的激活可被计算为各相对应的RGC输出的加权总 和。接着，每一个V1细胞的各权重可取决于相对应的RGC输出的符号以及该V1 细胞激活的激活符号来调节。在一方面，如果RGC输出的符号和激活符号相同， 则可以向施加于该RGC输出的权重增加一正增量（即，可以增加该权重）。另一 方面，如果RGC输出的符号和激活符号不同，则可以从相对应的权重减去一正增 量（即，可以减小该权重）。

对于RGC输出y_i,j，V1细胞的激活可按照等式(4)所定义地来确定。接着， 在本公开的一方面，RGC到V1权重可被调节为：

在本公开的另一方面，RGC到V1权重可基于激活的值而非其符号来调节， 即：

来自等式(5)-(6)的|Δw|的值可被预先确定。在一方面，|Δw|的值可以是1/2^N的 形式，其中N可以是整数。由于激活值z可被表示为二进制数，因此来自等式(6) 的积z·|Δw|可通过对值|Δw|执行二进制移位运算来实现。

图5解说了根据本公开的某些方面的可在神经系统处执行的用于训练RG细 胞与V1细胞之间的突触权重的示例操作500。在502，在神经系统中的多个视网 膜神经节细胞（RGC）电路中的每一个RGC电路的输出处，可以生成来自与该RGC 电路相关联的各受体电路的加权输入的总和。在504，神经系统中的多个初级视皮 层细胞（V1）电路中的每一个V1电路可生成这些RGC电路的子集的加权输出的 另一总和。在506，可以调节对用以生成该另一总和的各输出施加的权重，其中对 这些权重之一的调节可基于以下各项中的至少一者：这些输出中被施加以该权重的 一个输出或者该另一总和。

概括言之，作为在RGC层中混合ON细胞和OFF细胞的替代，本公开中提出 使这些细胞全都成为ON/OFF细胞并且通过RGC到V1权重的符号来控制这些细 胞的类型。简单的“加”神经元可被用作RG细胞，而“加并激发”神经元可被用 作V1简单细胞，如图4中所解说的。作为STDP学习规则的替代，可以应用所提 出的由等式(5)-(6)定义的针对RGC到V1权重的学习规则。在本公开的一方面，这 些权重可被允许从正的（对到ON RG细胞的连接进行建模）变为负的（对到OFF RG细胞的连接进行建模），以及相反。

以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执 行。这些装置可包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用 集成电路（ASIC）、或处理器。一般而言，在附图中解说了操作的场合，那些操 作可具有带相似编号的相应配对装置加功能组件。例如，图5中所解说的操作500 对应于图5A中所解说的组件500A。

如本文中所使用的，术语“确定”广泛涵盖各种各样的动作。例如，“确定” 可包括演算、计算、处理、推导、研究、查找（例如，在表、数据库或其他数据结 构中查找）、查明、及类似动作。而且，“确定”可包括接收（例如，接收信息）、 访问（例如，访问存储器中的数据）、及类似动作。而且，“确定”还可包括解析、 选择、选取、建立、及类似动作。

如本文中所使用的，引述一列项目中的“至少一个”的短语是指这些项目的 任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、 c、a-b、a-c、b-c、以及a-b-c。

上面描述的方法的各种操作可由能够执行这些操作的任何合适的装置来执行， 诸如各种硬件和/或软件组件，电路、和/或模块。一般而言，在附图中所解说的任 何操作可由能够执行这些操作的相对应的功能性装置来执行。

结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本 文所描述功能的通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、 现场可编程门阵列信号（FPGA）或其他可编程逻辑器件（PLD）、分立的门或晶 体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处 理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或 状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、 多个微处理器、与DSP核心协同的一个或更多个微处理器或任何其他此类配置。

结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软 件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的 存储介质中。可使用的存储介质的一些示例包括随机存取存储器（RAM）、只读 存储器（ROM）、闪存、EPROM存储器、EEPROM存储器、寄存器、硬盘、可 移动盘、CD-ROM，等等。软件模块可包括单条指令、或许多条指令，且可分布在 若干不同的代码段上，分布在不同的程序间、以及跨多个存储介质分布。存储介质 可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。替换地，存储介 质可以被整合到处理器。

本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这 些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指 定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而 不会脱离权利要求的范围。

所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实 现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行 传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计 算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何 可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、 EEPROM、CD-ROM，或其他光盘存储、磁盘存储或其他磁存储设备或能被用来 携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介 质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、 光纤电缆、双绞线、数字订户线（DSL）、或无线技术（诸如红外（IR）、无线电、 以及微波）从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤 电缆、双绞线、DSL、或无线技术（诸如红外、无线电、以及微波）就被包括在介 质的定义之中。如本文中所使用的盘（disk）和碟（disc）包括压缩碟（CD）、激 光碟、光碟、数字多用碟（DVD）、软盘、碟，其中盘（disk）常常磁性 地再现数据，而碟（disc）用激光来光学地再现数据。因此，在一些方面，计算机 可读介质可包括非瞬态计算机可读介质（例如，有形介质）。另外，对于其他方面， 计算机可读介质可包括瞬态计算机可读介质（例如，信号）。上述的组合也应被包 括在计算机可读介质的范围内。

因而，某些方面可包括用于执行本文中介绍的操作的计算机程序产品。例如， 此类计算机程序产品可包括其上存储（和/或编码）有指令的计算机可读介质，这 些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计 算机程序产品可包括包装材料。

软件或指令还可以在传输介质上传送。例如，如果软件是使用同轴电缆、光 纤电缆、双绞线、数字订户线（DSL）、或诸如红外、无线电、以及微波等无线技 术从web站点、服务器或其它远程源传送而来的，则该同轴电缆、光纤电缆、双 绞线、DSL、或诸如红外、无线电、以及微波等无线技术就被包括在传输介质的定 义里。

此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适 装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类 设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地， 本文中所描述的各种方法能经由存储装置（例如，RAM、ROM、诸如压缩碟（CD） 或软盘之类的物理存储介质等）来提供，以使得一旦将该存储装置耦合到或提供给 用户终端和/或基站，该设备就能获得各种方法。此外，能利用适于向设备提供本 文中所描述的方法和技术的任何其他合适的技术。

应该理解的是，权利要求并不被限定于以上所解说的精确配置和组件。可在 以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会 脱离权利要求的范围。

尽管上述内容针对本公开的各方面，然而可设计出本公开的其他和进一步的 方面而不会脱离其基本范围，且其范围是由所附权利要求来确定的。