在中间件机器环境中利用多播组和分组处理代理中的至少一种来支持泛洪机制的系统与方法

版权声明

本专利文档公开内容的一部分包含受版权保护的素材。版权拥有 者不反对任何人对专利文档或专利公开内容按照在专利商标局的专利 文件或记录中出现那样进行的传真复制，但是除此之外在任何情况下 都保留所有版权。

技术领域

本发明总体上涉及计算机系统与诸如中间件的软件，而且更具体 地说涉及支持中间件机器环境。

背景技术

互连的网络在下一代的超级计算机、集群与数据中心中扮演有益 的角色。高性能网络技术，诸如InfiniBand（IB）技术，在高性能计 算领域中正在代替专有或低性能的解决方案，在这些高性能计算领域 中，高带宽和低等待时间是关键需求。例如，IB安装在诸如Los  Alamos国家实验室的Roadrunner、Texas高级计算中心的Ranger 和Forschungszcntrum Juelich的JuRoPa之类的超级计算机中使 用。

在2000年10月IB首次作为被称为未来I/O（Future I/O）和下 一代I/O（Next Generation I/O）的两种较旧技术的融合被标准化。 由于其低等待时间、高带宽和主机侧处理资源的有效利用，它已经在 高性能计算（HPC）群体中作为建立大型可伸缩计算机集群的解决 方案获得了接受。用于IB的事实软件系统是OpenFabrics企业发布 （OpenFabrics Enterprise Distribution）（OFED），这是由专家们 开发并且由OpenFabrics联盟维护的。OFED是开放源码的而且 GNU/Linux和Microsoft Windows都可以使用。

发明内容

本文所述的是在中间件机器环境中使用多播组来支持泛洪机制的 系统与方法。中间件机器环境可以包括一个网关实例，该网关实例包 括用于从外部网络接收一个或多个数据分组的外部端口。该中间件机 器环境还包括一个或多个主机服务器，每个主机服务器都与可以处理 数据分组的一个或多个虚拟机关联。此外，所述主机服务器可以提供 属于与这个网关实例关联的虚拟集线器的虚拟接口。至少一个所述分 组是在外部端口接收到其时被规定为具有未知目的地地址的泛洪分 组。网关实例操作成把泛洪分组发送到多播组，该多播组操作成把这 个泛洪分组转发到该多播组中的一个或多个所述主机服务器。

本文还描述了在中间件机器环境中使用分组处理代理来支持泛洪 机制的系统与方法。中间件机器环境可以包括一个网关实例，该网关 实例包括用于从外部网络接收数据分组的外部端口。该中间件机器环 境还包括一个或多个主机服务器，每个主机服务器都与一个或多个虚 拟机关联。此外，所述主机服务器可以提供属于与这个网关实例关联 的虚拟集线器的虚拟接口。至少一个所述分组是在外部端口接收到其 时被规定为具有未知目的地地址的泛洪分组。网关实例可以把这个泛 洪分组发送到一主机服务器上的指定虚拟接口，而且该主机服务器上 的分组处理代理可以把该泛洪分组转发到另一个主机服务器上的虚拟 机，以便处理这个分组。

附图说明

图1根据本发明一种实施例示出了中间件机器环境的说明。

图2根据本发明一种实施例示出了在中间件机器环境中包括各种 vNIC的虚拟集线器（vHUB）的说明。

图3根据本发明一种实施例示出了使用多播组支持泛洪机制的中 间件机器环境的说明。

图4根据本发明一种实施例说明了在中间件机器环境中使用多播 组支持泛洪机制的示例性流程图。

图5根据本发明一种实施例示出了在中间件机器环境中分配不同 类型vNIC的说明。

图6根据本发明一种实施例示出了在中间件机器环境中使用分组 处理代理支持泛洪机制的说明。

图7根据本发明一种实施例说明了在中间件机器环境中使用分组 处理代理支持泛洪机制的示例性流程图。

具体实施例

本文所述的是用于提供中间件机器或类似平台的系统与方法。根 据本发明的一种实施例，该系统包括例如64位处理器技术、高性能 大存储器和冗余InfiniBand和以太网联网的高性能硬件与诸如 WebLogic套件之类的应用服务器或中间件环境的组合，以便提供可 以快速供应并且可以按需伸缩的完整Java EE应用服务器联合体， 这种服务器联合体包括大量并行的存储器内网格。根据一种实施例， 该系统可以部署成作为提供应用服务器网格、存储区域网络和 InfiniBand（IB）网络的完全、一半或四分之一机架或者其它配置。 中间件机器软件可以提供应用服务器、中间件和其它功能性，诸如 WebLogic服务器、JRockit或Hotspot JVM、Oracle Linux或 Solaris及Oracle VM。根据一种实施例，该系统可以包括经IB网络 彼此通信的多个计算节点、IB交换机网关和存储节点或单位。当实 现为机架配置时，机架未使用的部分可以空着或者被填充物占据。

根据本发明的一种实施例，在本文中被称为“Sun Oracle  Exalogic”或者“Exalogic”，该系统是用于托管中间件或应用服务器软 件诸如Oracle中间件软件套件或WebLogic的一种容易部署的解决 方案。如本文所描述的，根据一种实施例，该系统是包括一个或多个 服务器、存储单元和用于存储联网的IB架构及托管中间件应用所需 的所有其它组件的“盒子中的网格”。通过充分利用使用例如真正应用 集群（Real Application Clusters）和Exalogic开放式存储（Exalogic  Open storage）的大量并行网络体系结构，可以对所有类型的中间件 应用产生显著的性能。这种系统产生具有线性I/O可伸缩性的改进性 能、使用和管理很简单而且产生任务关键的可用性和可靠性。

中间件机器环境

图1根据本发明一种实施例示出了中间件机器环境的说明。如图 1中所示，中间件机器环境100可以包括利用一个或多个网关实例 102-103连接到外部网络110的IB架构101。该IB架构还包括多个 主机服务器104-107（每个主机服务器本身可以是硬件，或者是在物 理主机服务器之上运行的软件），主机服务器包含多个虚拟机 （VM）131-140。各网关实例A-B102-103可以与外部端口108-109 关联，其中外部端口108-109可以从外部网络110接收数据分组。如 图1中所示，外部端口A108与网关实例A102关联，而外部端口B 109与网关实例B103关联。

此外，主机服务器提供多个虚拟接口，诸如虚拟网络接口卡 （vNIC）121-128，用于经网关实例A-B102-103从外部网络接收数 据分组。网关实例102-103可以定义并维护一个或多个虚拟集线器 （vHUB）111-113，每个vHUB都在IB架构侧上定义包含与相同网 关实例关联的vNIC的逻辑层2（L2）链路。此外，属于相同vHUB 的vNIC和主机可以在不涉及关联的网关实例的情况下彼此通信。

如图1中所示，网关A上的vHUB A111与主机服务器A上的 vNIC a121和vNIC c123及主机服务器B上的vNIC e125关联。而 且，网关A上的vHUB B112与主机服务器A上的vNIC b122和主 机服务器C上的vNIC f126关联；而且网关B上的vHUB C113与 主机服务器B上的vNIC d124及主机服务器D上的vNIC g127和 vNIC h128关联。

图2根据本发明一种实施例示出了包括各种vNIC的虚拟集线器 （vHUB）的说明。如图2中所示，中间件机器环境200包括一个网 关实例201和几个主机服务器204-205或虚拟机管理程序。包括外部 端口220的网关实例201可以维护一个虚拟集线器（vHUB)，vHUB  A211。vHUB A211可以被指定唯一的虚拟LAN ID（VLAN ID） 210。此外，vHUB A211可以包括各种vNIC221、223-225，每个 vNIC都被指定介质访问控制（MAC）地址211-214。每个逻辑vNIC 221、223-225都可以由与一个具体主机通道适配器（HCA）端口关 联的MAC/VLAN ID组合表示。

IB架构中的vNIC可以利用虚拟以太网接口（VIF）唯一识别， 这包括VLAN ID与MAC地址的组合。而且，当VIF在一个网关实 例中的同一个vHub中被并发地使用时，不同的MAC地址被用于不 同的VIF。此外，该系统可以执行从以太网层2MAC地址到使用本 地标识符（LID）/全局标识符（GID）和队列对号（QPN）的IB层 2地址的地址转换。

此外，网关实例201还可以包括硬件vNIC上下文表232，该表 包含各种条目或硬件vNIC上下文。硬件vNIC上下文表232可以存 储在网关实例201的存储器中。当主机驱动器经IB架构与网关201 向外部以太网发送分组时，这个硬件vNIC上下文表232可以用于验 证正确的源地址信息被正确的主机使用。当网关从外部以太网接收到 分组时，硬件vNIC上下文表232还可以用于查找IB架构上的正确 主机HCA端口地址和那个HCA中的QPN。此外，硬件vNIC上下 文可以用于直接把用于一个具体逻辑vNIC的分组指引到指定主机上 下文/存储器中的专用接收队列。

可以是硬件本身或者运行在硬件交换机之上的软件的网关实例 201允许使用网络管理的vNIC分配。网关实例201上的管理接口 203，例如NM2-GW服务处理器，可以用于代表具体的主机 （HCA）端口分配硬件vNIC上下文。

可以或者可以不为IB架构中的单个vNIC分配在硬件vNIC上 下文表232中记录的硬件vNIC上下文。在如图2所示的例子中，可 以为主机服务器A204上的vNIC a221、vNIC b222和vNIC c223 及主机服务器B205上的vNIC d224提供硬件vNIC上下文（即， 网关实例201可以为进入的数据分组获得IB架构上的正确主机HCA 端口地址和那个HCA中的QPN）。此外，主机服务器B205上的 vNIC e225不被分配硬件vNIC上下文232而且只能在桥接以太网上 下文中使用。在一个例子中，如果硬件vNIC上下文表232中的完整 网关硬件vNIC上下文被网络管理的vNIC例如vNIC a-d221-224消 费，则所有基于桥的vNIC例如vNIC e225都可以是基于泛洪的 （即，不具有任何专用的HW vNIC上下文）。

泛洪机制可以用于缩放超过网关HW vNIC上下文表的尺寸的逻 辑vNIC的个数。利用基于泛洪的vNIC，该系统允许（一个或多 个）主机上相同数量的接收队列为大量逻辑vNIC接收分组。此外， 利用泛洪机制，该系统允许在从外部以太网接收到初始分组流量之后 可以在硬件上下文表232中建立硬件vNIC上下文的方案。

利用多播组支持泛洪机制

根据本发明的一种实施例，当具有未知目的地的数据分组在中间 件机器环境中的网络交换机上发布（post）时，多播组可以用于支持 泛洪机制，以便确保数据分组可以被正确处理。

图3根据本发明一种实施例示出了使用多播组在中间件机器环境 中支持泛洪机制的说明。如图3中所示，中间件机器环境300可以包 括连接到外部网络310的网关实例301。

网关实例301可以包括适于从外部网络310接收一个或多个进入 的数据分组311的外部端口307。此外，中间件机器环境300还包括 一个或多个主机服务器A-C304-306，每个主机服务器都可以支持或 托管操作成处理从外部网络接收到的数据分组的一个或多个虚拟机 （VM）341-347。主机服务器A-C304-306可以提供多个虚拟接口a- g321-327，其中虚拟接口a321和c-f323-326属于一个虚拟集线器， 例如网关实例301中的vHUB A303。虚拟集线器A303中的每个虚 拟接口a321和c-f323-326可以分别与不同的MAC地址例如MAC a351和c-f353-356关联。

网关实例301可以确定在外部端口接收到的进入的分组是否规定 了与硬件上下文表302中的上下文关联的虚拟接口。如果在进入的分 组中规定的虚拟接口不与硬件上下文表302中的任何上下文关联，则 网关实例301可以认为在外部端口307接收到的进入的分组具有未知 的目的地地址，在这种情况下，网关实例301可以把这种数据分组作 为泛洪分组312来处理并且依赖泛洪机制准确地处理泛洪分组312。

根据本发明的一种实施例，单个IB分区320中的专用多播 （MC）组317可以用于确保数据分组312可以被正确处理。MC组 317允许与虚拟集线器例如vHUB A303关联的各个主机A-C304- 306和/或虚拟机管理程序向MC组317注册并且变成MC组317的 一员。然后，当在网关实例301接收到泛洪分组312时，网关实例 301可以把泛洪分组312的拷贝发送到MC组317的每个成员，MC 组317的这些成员又可以把泛洪分组312分发到在其之上运行的各个 虚拟机。因而，MC组317可以包括位于不同物理服务器上的一个或 多个主机304-306和/或虚拟机管理程序。例如，MC组317可以包括 共享网关实例301的所有主机和/或虚拟机管理程序，而且泛洪分组 312被复制到所有合作的物理主机服务器304-306。

此外，主机服务器上的虚拟机可以与多个不同的虚拟接口关联。 在如图3所示的例子中，VM D344与vNIC e325和vNIC d324关 联。在这里，vNIC e325是基于泛洪的虚拟接口，而vNIC d324是 基于硬件vNIC上下文的虚拟接口。利用基于MC组317的泛洪机 制，泛洪分组312会两次交付到相同的物理主机即主机服务器B 305，因为在每个具体的接口即vNIC d324和vNIC e325上都接收 到一个拷贝。在这种情况下，VM D344可以过滤掉泛洪分组312的 额外拷贝，而且，以类似于系统如何处理连接到相同逻辑以太网子网 的多个物理NIC的方式，确保只有泛洪分组312的一个拷贝被接收 并且相应地处理该泛洪分组312。

图4根据本发明一种实施例说明了在中间件机器环境中使用多播 组支持泛洪机制的示例性流程图。如图4中所示，在步骤401，处于 一个网关实例的外部端口可以从外部网络接收至少一个分组，其中这 至少一个分组被规定为具有未知的目的地地址。然后，在步骤402， 该网关实例可以把这至少一个分组发送到多播组。此外，在步骤 403，该多播组可以把这至少一个分组转发到该多播组中的一个或多 个所述主机服务器。

分配不同类型的vNIC

图5根据本发明一种实施例示出了在中间件机器环境中分配不同 类型vINC的说明。如图5中所示，中间件机器环境500包括一个网 关实例501和各种主机服务器，和/或虚拟机管理程序，例如具有 VM A-D541-544的主机服务器B505。包括外部端口520的网关实 例501可以维护一个虚拟集线器，vHUB A504。可以为vHUB A504 指定唯一的虚拟LAN ID（VLAN ID）510。此外，vHUB A504可以 包括各种vNIC，例如vNIC a-d521-524，给每个vNIC指定一个 MAC地址，例如a-d511-514。

为了优化性能并且减小处理共享队列的泛洪开销，可以经网关管 理接口503分配父vNIC，例如vNIC a521。此外，可以由指定的主 机驱动器，例如主机服务器505上的桥接以太网驱动器506，经主机 驱动器506与网关控制逻辑507之间的带内控制协议508来创建多个 子vNIC b-d522-524。

基于硬件vNIC上下文表502中的硬件上下文的父vNIC a521 可以通过使用经网关管理接口503规定的属性/元数据来分配。用于 创建父vNIC a521的信息可以作为元数据存储在网关控制逻辑507 中。此外，用于父vNIC a521的元数据可以定义对VLAN和MAC 地址范围强加约束的不同策略，这些策略由子vNIC b-d522-524使 用。

桥接的以太网驱动器506可以为子vNIC，例如vNIC d524，分 配硬件NIC上下文表502中用于具体VIF（MAC/VLAN）例如 MAC d514的专用硬件vNIC上下文。这种决定可以基于明确受控的 高速缓存策略例如每VM SLA策略来作出。此外，当使用泛洪机制 时，用于单个父vNIC a521的硬件上下文可以在不需要源地址验证 的情况下由子vNIC b-d522-524用于发送分组。所有共享的物理主 机/虚拟机管理程序可以彼此信任，而且外部以太网网络可以具有所 要求的VLAN。

此外，以类似于处理常规物理NIC的方式，网关实例501可以 处理不同类型vNIC，例如基于硬件内容的vNIC a521与d524和基 于泛洪的vNIC b-c522-523，的连接性。在一个例子中，网关实例 501可以处理包括每个物理服务器有大量半虚拟化的和/或时间共享的 VM而且还每个VM有大量VLAN的组合的极端用例。此外，该系 统的多租户供应的粒度可以设置成使得只有单个租户可以使用网关实 例中的单个泛洪地址硬件资源。

根据本发明的一种实施例，至少一个虚拟接口例如网关实例501 上的vNIC a521是与一个或多个子虚拟接口例如vNIC b-d522-524 关联的父虚拟接口。父vNIC a521可以配置成具有限制相关子vNIC b-d522-524可以与之关联的MAC地址和VLAN ID集合的不同策略 信息。此外，可以为父vNIC a521提供硬件上下文表502中的一个 上下文，而且至少一个子虚拟接口例如vNIC b-c522-523可以不与硬 件上下文表中的任何上下文关联。

使用分组处理代理支持泛洪机制

根据本发明的一种实施例，当具有未知目的地的数据分组在中间 件机器环境中的网络交换机上发布时，分组处理代理可以用于支持泛 洪机制，以便确保数据分组可以被正确处理。

图6根据本发明一种实施例示出了在中间件机器环境中使用分组 处理代理支持泛洪机制的说明。如图6中所示，中间件机器环境600 可以包括连接到外部网络610的网关实例601。

网关实例601可以包括适于从外部网络610接收一个或多个进入 的数据分组611的外部端口607。此外，中间件机器环境600还包括 一个或多个主机服务器A-C604-606，每个主机服务器都可以与操作 成处理从外部网络接收到的数据分组的一个或多个虚拟机（VM） 641-647关联。主机服务器604-606可以提供多个虚拟接口621-627， 其中虚拟接口a621和c-g623-627属于网关实例中的虚拟集线器 603。虚拟集线器603中虚拟接口a621和c-g623-627中的每一个可 以分别与不同的MAC地址例如MAC a651和c-g623-627关联。

网关实例601可以确定在外部端口接收到的进入的分组是否规定 与硬件上下文表602中的上下文关联的虚拟接口。如果在进入的分组 中规定的虚拟接口不与硬件上下文表602中的任何上下文关联，则网 关实例601可以认为在外部端口607接收到的进入的分组具有未知的 目的地地址，在这种情况下，网关实例601可以把这种数据分组作为 泛洪分组612来处理并且依赖泛洪机制准确地处理泛洪分组612。

根据本发明的一种实施例，分组处理代理609可以用于支持泛洪 机制。分组处理代理609可以驻留在提供每个外部端口单个指定泛洪 目的地的主机服务器例如主机服务器C606上。例如，分组处理代理 609可以存储在主机服务器C606中的存储器中。如图6中所示，主 机服务器C606上的vNIC g627专用于处理在外部端口607接收到 的、在虚拟集线器A603中具有未知目的地的数据分组。在这里，网 关实例601可以经单播或单成员多播把泛洪分组612发送到vNIC g 627。

基于分组处理代理609的泛洪机制可以在具有各种数量虚拟机 （VM）和各种数量虚拟接口的IB分区620中使用。例如，分组处 理代理609可以只把泛洪分组612转发到代表主机服务器606上与目 标VM F646关联的基于泛洪的vNIC626或者不同主机服务器B605 上与目标VM D644关联的基于泛洪的vNIC625的虚拟接口。在这 里，目标VM D644可以与另一个虚拟接口vNIC d624关联，该 vNIC d624与硬件上下文表602中的一个上下文关联。因而，利用 分组处理代理609，网关实例601可以避免有可能混淆不同主机服务 器604-606上标准网络堆栈的不正确的分组复制。

根据本发明的一种实施例，分组处理代理609，一个特定于IB 架构的代理功能，可以用于执行进入的分组611的中间处理，例如实 现防火墙、负载平衡或者其它中间功能。分组处理代理609可以适于 精确地处理它所接收到的分组，并且由此，提高HAC链路的效率。 当使用每个外部端口专用的泛洪地址时，HAC链路的效率可以是 100%。此外，通过利用专用硬件在架构中实现代理功能（即，HCA 端口和处理能力），相对于网络交换机实例的共享来说，对信任任何 特定的虚拟机管理程序集合没有依赖性，而且根据定义没有与其它 I/O或处理任务的带宽/能力冲突。

图7根据本发明一种实施例说明了在中间件机器环境中使用分组 处理代理支持泛洪机制的示例性流程图。如图7中所示，在步骤 701，处于一个网关实例的外部端口从外部网络接收至少一个分组， 其中这至少一个分组被规定为具有未知的目的地地址。然后，在步骤 702，该网关实例可以把这至少一个分组发送到一主机服务器上的指 定虚拟接口。此外，在步骤703，该主机服务器上的分组处理代理可 以把这至少一个分组转发到相同或另一个主机服务器上的虚拟机，用 于处理这至少一个分组。

总的来说，本发明涉及用于在可以在一个或多个微处理器上操作 的中间件机器环境中支持泛洪机制的系统，包括：

用于在网关实例经外部端口从外部网络接收至少一个分组的装 置，其中这至少一个分组被规定为具有未知的目的地地址；及

用于经网关实例把所述至少一个分组发送到多播组的装置；及

用于经该多播组把所述至少一个分组转发到该多播组中的一个或 多个所述主机服务器的装置。

所述系统还包括用于提供硬件上下文表的装置，该硬件上下文表 包含可以与一个或多个所述虚拟接口关联的多个上下文。

所述系统还包括用于经网关实例确定在外部端口接收到的进入的 分组是否规定了与硬件上下文表中的上下文关联的虚拟接口的装置。

所述系统还包括用于在外部端口接收进入的分组的装置，当进入 的分组去往不与硬件上下文表中的任何上下文关联的虚拟接口时，该 进入的分组被认为具有未知的目的地地址。

所述系统还包括用于允许多播组包括共享网关实例的所有主机和 /或虚拟机管理程序的装置，而且所述至少一个分组被复制到所有合 作的主机服务器。

所述系统还包括用于经网关实例允许一个或多个关联的主机和/ 或虚拟机管理程序向该多播组登记的装置。

所述系统还包括用于把一个主机服务器上的至少一个所述虚拟机 与多个虚拟接口关联的装置，而且其中多播组操作成把所述至少一个 分组的多个拷贝转发到至少一个所述虚拟机。

所述系统还包括用于允许至少一个所述虚拟机过滤掉所述至少一 个分组的额外拷贝的装置。

所述系统还包括用于允许至少一个虚拟接口作为与一个或多个子 虚拟接口关联的父虚拟接口的装置，其中父虚拟接口与硬件上下文表 中的上下文关联，而且所述一个或多个子虚拟接口中的每一个都不与 硬件上下文表中的任何上下文关联。

总的来说，本发明还涉及用于在可以在一个或多个微处理器上操 作的中间件机器环境中支持泛洪机制的系统，包括：

用于在网关实例经外部端口从外部网络接收至少一个分组的装 置，其中所述至少一个分组被规定为具有未知的目的地地址；

用于经该网关实例把所述至少一个分组发送到主机服务器上的指 定虚拟接口的装置；及

用于经该主机服务器上的分组处理代理把所述至少一个分组转发 到目标虚拟机以便处理所述至少一个分组的装置。

所述系统还包括用于提供硬件上下文表的装置，该硬件上下文表 包含可以与一个或多个所述虚拟接口关联的多个上下文。

所述系统还包括用于经该网关实例确定在外部端口接收到的进入 的分组是否规定了与硬件上下文表中的上下文关联的虚拟接口的装 置。

所述系统还包括用于当在外部端口接收到的进入的分组去往不与 硬件上下文表中的任何上下文关联的虚拟接口时认为所述进入的分组 具有未知的目的地地址的装置。

所述系统还包括在具有各种数量的虚拟机（VM）和各种数量的 虚拟接口的网络分区中使用无不正确分组复制的分组处理代理的装 置。

所述系统还包括允许目标虚拟机驻留在该主机服务器上的装置。

所述系统还包括允许目标虚拟机驻留在另一个主机服务器上的装 置。

所述系统还包括经该网关实例把这至少一个分组经单播或单成员 多播发送到指定虚拟接口的装置。

所述系统还包括允许至少一个虚拟接口作为与一个或多个子虚拟 接口关联的父虚拟接口的装置，而且其中父虚拟接口与硬件上下文表 中的一个上下文关联，而且一个或多个子虚拟接口中的每一个都不与 硬件上下文表中的任何上下文关联。

本发明可以利用一种或多种常规的通用或专用数字计算机、计算 设备、机器或微处理器，包括根据本公开内容的教义编程的一个或多 个处理器、存储器和/或计算机可读存储介质，来常规地实现。如对 软件领域的技术人员很显然的，适当的软件编码可以很容易地由熟练 程序员基于本公开内容的教义来准备。

在有些实施例中，本发明包括作为其上/其中存储了指令的存储 介质或计算机可读介质的计算机程序产品，其中指令可以用于编程计 算机，以便执行本发明的任何处理。存储介质可以包括，但不限于， 任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微驱动器和磁 光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存 存储器设备、磁或光卡、纳米系统（包括分子存储器IC）或者适于 存储指令和/或数据的任何类型的介质或设备。

本发明的以上描述是为了说明和描述的目的而给出的。它不是详 尽的或者要把本发明限定到所公开的精确形式。对本领域的普通技术 实践者来说，许多修改与变体都是显而易见的。实施例的选择与描述 是为了最好地解释本发明的原理及其实践应用，由此使本领域的其他 技术人员能够理解本发明具有各种实施例和适于预期特定用途的各种 修改例。本发明的范围要由以下权利要求及其等效物来定义。