应用流量统计方法及装置和应用流量统计系统

具体实施方式

本发明的核心思想是：通过预先配置每种应用的特征序列，所述特征序列是各种应用的唯一标识特征，属于应用层上的信息，，进而根据特征序列判断接收的数据包所属应用并对数据包进行计数统计，从而得到各类应用的流量统计结果。

请参阅图一，其为本发明公开的一种应用流量统计方法第一实施例流程图。

110：预先配置各种所需应用的区别特征以及统计输出方式。

所述应用的区别特征是指能够将一种应用区别于其他种类应用的内容信息，其内容主要包括特征序列、匹配参数提取方式、匹配参数编码方式以及建流特性等内容。其中，特征序列是必需项，其它均为可选项，可选项有缺省处理方式。

所述特征序列，指能够唯一标识某种应用的特征，包括协议特征域和应用特征序列。协议特征域指明本应用采用的协议类型，比如IP、TCP以及UDP等等，该项内容为可选，其默认缺省值通常是最常用的TCP协议类型；应用特征序列，用来指明协议数据区中能够表征某种应用的特征内容，通常存在于数据包的数据域中，为网络应用层上的信息。例如可以通过配置数据域的第一行最后几个字符是“HTTP/？？”(？？是通配符，表示两个任意字符)来表征HTTP应用。特征序列无需存在于所属应用的每一个数据包中，该种应用的每个数据流中至少有一个数据包包含所述特征序列即可。通常一种应用的每个数据流的初始几个数据包之中，至少会有一个数据包具有所属应用的特征序列。

所述匹配参数，是表征一个数据流的基本参数。数据流，指具有相同的源地址和目的地址的一串连续的数据包序列。通常一种应用由数个数据流构成。属于3层IP的同一数据流的所有数据包，具有相同的源IP和目的IP；属于4层IP的同一数据流的所有数据包，则具有相同的源IP、目的IP、源端口、目的端口和协议类型。对于非IP协议的情况也类似。因此表征一个数据流的基本参数，就是其包含的数据包所具有的参数项内容，将一个数据流的所有数据包具有的相同参数项称为匹配参数。如源IP、源端口、协议类型、目的IP、目的端口等等。但是不限于上述几项，具体匹配参数的内容与采用的协议类型有关。

所述匹配参数提取方式指如何在接收的数据包中提取上述匹配参数，其内容可以由用户根据需要进行设置，也可以根据缺省处理方式自行提取。该项内容的缺省处理方式是根据数据包本身采用的协议类型提取对应的匹配参数。例如，特征协议域为IP，则匹配参数就为源IP和目的IP；特征协议域为TCP，则匹配参数就为源IP、源端口、协议类型、目的IP以及目的端口。实际应用中，在匹配参数提取方式为缺省情况下，不仅可以将协议类型作为提取依据，也可以将数据包的其他固有参数作为提取依据。

所述匹配参数编码方式，用于指明匹配参数值如何正确运算，比如在某种应用的控制包数据域中的信息为PORT 1，1，1，2，4，88，则从数据域提取对应的业务数据包匹配参数时，即可通过预先配置的匹配参数编码方式运算得到：源IP1.1.1.2，源端口为4×256+88＝1112，与目的IP 2.2.2.2。

所述建流特性，指明所述应用是按正向、反向或双向的方式建立统计流表。正向建流，指按照当前接收到的数据包的方向建立统计流表内容，只有和该数据包到达方向一致的后续数据包才能命中该统计流表；反向建流，指按照当前接收到的数据包的反方向建立统计流表内容，只有与该数据包到达方向相反的后续数据包才能命中该统计流表；双向建流，指按照当前收到的数据包两个方向同时建立统计流表内容，这样来自两个方向的后续数据包都能命中该统计流表。建流特性的缺省处理方式为双向建立统计流表内容。

例如，提取的数据包匹配参数为源IP1.1.1.1、源端口1111、目的IP2.2.2.2以及目的端口2222，如果正向建流，则只有源IP为1.1.1.1、源端口为1111、目的IP为2.2.2.2以及目的端口为2222的后续数据包能够命中所述统计流表；如果反相建流，则只有源IP为2.2.2.2、源端口为2222、目的IP为1.1.1.1以及目的端口为1111的后续数据包能够命中该统计流表；如果是双向建流，则源IP1.1.1.1、源端口为1111、目的IP为2.2.2.2以及目的端口2222的后续包和源IP2.2.2.2、源端口2222、目的IP1.1.1.1以及目的端口为1111的后续数据包都可以命中该统计流表。

所述统计输出方式，指明各种应用流量统计完毕后，其统计结果是何时以及以何种方式上报至所需设备或数据库。

何时，指在应用流量统计的过程中多长时间上报一次统计结果，通常包括以下几种情况：定时上报，按预先设置的一定时间间隔定上报统计结果；固定流量上报，收到固定的包数或字节数上报统计结果；流量老化上报，流量超时老化、连接终止老化以及计数器溢出老化时上报数据结果。

何种方式，指各个统计结果在输出之前是否进行聚合以及如何聚合运算等。所述聚合指将每个统计结果按照一定的规则合并处理。依据本发明的技术方案可以同时统计多种应用的流量，每种应用通常又表现为多个数据流。例如，假设有5个用户同时使用BT应用，那么BT应用就表现为5个BT数据流的形式。上述5个数据流的特征序列是相同的，但由于不同数据流的源和目的是不同的，因而上述5个数据流的匹配参数是不同的，于是在进行BT应用流量统计时，会依据5组不同的匹配参数建立5个BT数据流的统计流表。在输出统计结果时可以将这5个统计结果累加后一同输出，也可以分别输出。将属于同一应用的所有数据流统计结果累加输出即为一种聚合的情况，有利于整体把握该种应用的使用情况；分别输出，有利于把握不同用户对同一种应用的使用情况。用户可以根据实际所需设置聚合项目，比如源IP、应用ID等等，进而在输出各项统计结果之前按照聚合项进行合并处理。

120：提取接收的数据包匹配参数，并以匹配参数为基础建立统计流表。

需要同时统计多种应用的流量或者需要统计的应用表现为多个数据流时，系统中会同时存在多个数据流的统计流表。当一个数据包到达时，其可能命中系统中已经存在的某个统计流表，也可能没有相匹配的统计流表可以命中。

为此，数据包到达时，首先以其自身的参数为依据，查询是否已经存在某个统计流表可以被命中。命中是指数据包本身具有的参数信息与统计流表中记载的匹配参数信息相同。如果存在可以被命中的统计流表，则表明该数据包属于其命中的统计流表所对应的数据流，至于该数据流是否已经被识别出所属应用，则需要识别命中上述统计流表的数据包中是否具有配置的某个特征序列；如果没有可以被命中的统计流表，则表明该数据包所属数据流是一种新出现的数据流，进而根据该数据包采用的协议类型，提取数据包对应的匹配参数并以匹配参数为基础建立统计流表。下表是一个具体的统计流表示例

                                 表1统计流表

由上述表格可以看出，统计流表基本分为两个区域：项目区和结果区。项目区是以提取的匹配参数为基础、结合建流特性记载的内容。本表格示例中，提取的匹配参数是源IP1.1.1.1、源端口1111、目的IP2.2.2.2、目的端口2222以及TCP协议类型，同时配置的建流特性是双向建流，因此在项目区中记载方向相反的两组匹配参数内容；结果区记载统计结果的内容。此外，统计流表的结果区还可以记载起始统计时段、结束统计时段、应用ID以及数据包的包数和字节数等内容。

130：将命中统计流表的数据包进行计数。

首先，将用于提取匹配参数进而建立统计流表的初始数据包计数为1；

然后，将命中统计流表的后续数据包依次计数为2、3、4......。

140：根据区别特征判断被计数的数据包所属应用。

根据在步骤110中配置的各种应用的特征序列，查找命中各个统计流表的数据包。如果发现命中统计流表的一个数据包含有配置的特征序列，则可知该数据包所属应用，进而所有与其命中同一统计流表的数据包都可判定同属于一种应用。同时将该种应用的应用ID添加至统计流表的结果区。应用ID是表征应用类别的标识，比如上文中提过可以通过配置特征序列为“数据域的第一行最后几个字符是HTTP/？？”来识别HTTP应用，那么识别出具有上述特征序列的数据包之后，就会在其命中的统计流表结果区中添加应用ID：HTTP，用以表明该命中统计流表的数据包属于HTTP应用，即该流表输出的统计结果是HTTP应用的流量统计结果。

上述步骤130和步骤140交互进行。步骤130计数完毕一个数据包之后，随即对该数据包通过步骤140进行特征识别，然后再计数再识别，直至识别出一个数据包含有配置的特征序列，将对应的应用ID添加至统计流表的结果区。在此之后只执行步骤130，而无需再执行步骤140的特征识别。当然也可以对命中流表的数据包先通过140进行特征识别再进行步骤130的计数，或者步骤130和步骤140同时进行均可。

150：按照步骤110配置的统计输出方式，将流量统计结果输出至所需终端或数据库。

第一步，将不同统计流表的统计结果按照配置的聚合项进行合并运算；

在步骤110中介绍过配置的统计输出方式是根据用户需要设置的。比如有些网络经营者需要分析各种应用的总体使用情况，那么上报的统计结果最好为各种应用的总体统计值。但有些应用会表现为多个不同的数据流，每个数据流的统计流表的结果区会记载所属应用的应用ID和各自实时的统计数值。此时以应用ID为聚合项，将应用ID相同的统计结果区合并处理，即将应用ID相同的统计值累加，这样输出的统计结果即为该项ID对应的应用总流量值；有些网络经营者不需要了解某种应用的使用情况，而是想了解一个特定用户在某个时段的上网总流量情况，于是配置以特定用户的IP地址为聚合项，将所有IP地址为上述特定用户IP地址的应用流量统计值累加，这样输出的统计结果即为该特定用户一定时段的上网总流量。以统计流表的特定项目为聚合项，将各个统计结果进行聚合后再输出，不但可以降低统计输出数据量，而且方便于应用流量统计的进一步分析使用，比如实时分析，流量计费等等。

第二步，按照配置的上报方式，将聚合后的统计结果输出至所需终端或数据库；

上报的方式很多，例如定时上报，即按照一定的时间间隔上报。固定流量上报，即收到固定的包数或字节数时上报统计结果。或者流量老化上报，包括流量超时老化上报，连接终止老化以及计数器溢出老化上报。

通过执行上述步骤110至步骤150，各种应用的流量统计即可实现。

需要注意的是：有些应用的控制信息和业务数据信息不在同一数据流中。控制信息在控制数据流中，业务数据信息在业务数据流中，想要统计业务数据流的流量必须首先识别出对应的控制数据流，然后再根据控制流中的控制信息找到对应的业务数据流。此种情况的提取匹配参数以及计数略为复杂。

控制数据流中的数据包称为控制包，业务数据流中的数据包称为业务包。控制包的包头信息是本数据包的控制信息，指明该控制包的源IP、源端口、目的IP、目的端口以及采用的协议类型等。控制包的数据域信息则是其对应的业务包的控制信息，指明业务包的源IP、源端口、目的IP、目的端口以及采用的协议类型等。

因此，在步骤120中提取接收的数据包匹配参数时，提取的只能是控制包包头中的信息，进而建立所属应用的控制统计流表。此后进入步骤130，如果在命中控制流表的数据包中发现一个具有所配置的特征序列的数据包，即确定该数据包所属应用后，将该种应用的应用ID记入控制统计流表的结果区，同时提取控制包数据域的信息。因为此时已经知道该控制包的所属应用，所以可以按照该种应用预先配置的匹配参数提取方式以及匹配参数编码方式，提取控制包数据域信息并进行相应计算，得到业务包的匹配参数值。同时以提取的业务包匹配参数为基础建立所属应用的业务统计流表，并将所属应用的ID也记入业务统计流表的结果区，可以在其后注明是业务数据包。命中上述业务统计流表的数据包即为所属应用的业务数据包，此后通过步骤130对业务包进行计数统计。至此，控制信息和业务数据信息不在同一数据流的应用便可实现流量统计，该种应用有两种统计值，控制包计数值和业务数据包统计值，输出时既可分别输出也可合并输出总数值。

请参阅图2，其为本发明公开的一种应用流量统计方法第二实施例流程图。本实施例与上述第一实施例的区别之处主要在于根据特征序列进行应用类型判断的时间不同。

210：预先配置各种所需应用的区别特征以及统计输出方式。

此步骤与第一实施例中的步骤110相同，因而在此不再赘述。

220：过滤接收的数据包，找到具有配置的特征序列的数据包并判断其所属应用。

一种应用通常体现为多个数据流，每个数据流又表现为一系列传输中的数据包。因此，某种应用的流量统计实质就是统计该种应用的所有数据个数。表征一种应用的特征序列，不一定会存在于该种应用的每个数据包之中，但该种应用的每个数据流中至少会存在一个数据包具有所属应用的特征序列。这种具有特征序列的数据包通常为数据流起始传输的几个数据包之一。因此可以先过滤接收的数据包，找到具有所配置的特征序列的数据包，从而确定该数据包的所属应用。

230：提取具有特征序列的数据包匹配参数，并以匹配参数为基础建立统计流表。

如果在步骤210中配置了匹配参数提取方式，则按照配置的方式从具有特征序列的数据包中提取对应参数。如果没有配置匹配参数提取方式，则按照缺省处理。提取匹配参数后同样以匹配参数为基础，结合建流特性建立该数据包所属数据流的统计流表。与表1类似，统计流表分为项目区和结果区。需要注意的是，因为建立统计流表的数据包选取的是具有所属应用特征序列的初始数据包，因此流表建立后已经知道该数据包的所属应用，因而在将匹配参数记入项目区的同时，也将应用ID记载入结果区。

240：将命中统计流表的数据包进行计数。

后续命中步骤230中建立的统计流表的数据包，与用以建立流表的初始数据包同属于一个数据流，进而属于同种应用。因此将建立流表的初始数据包计数为1，后续命中上述流表的数据包依次计数2、3、4、5......

250：按照步骤210配置的统计输出方式，将流量统计结果输出至所需终端或数据库。

此步骤与第一实施例的步骤150相同，因而在此不再赘述。

通过上述步骤210至250，可以对各种应用进行流量统计。

与第一实施例一样，当遇到控制信息和业务数据信息不在同一数据流的应用时，在提取匹配参数和计数方式部分略为复杂。

在步骤210中配置的匹配参数提取方式为从数据包包头和数据域分别提取对应参数。在步骤220中查找到的具有特征序列的数据包是所属应用的控制包。在步骤230从具有特征序列的数据包中提取的匹配参数共两组，一组是控制包本身的匹配参数(即控制信息)，存在于上述控制包的包头中，另一组是业务数据包的匹配参数，存在于上述控制包的数据域中。进而根据上述两组匹配参数分别建立控制统计流表和业务统计流表，由于提取匹配参数的数据包选取的是具有所属应用特征序列的数据包，因此可知该数据包的所属应用，于是在两个统计流表的结果区均加入所属应用的应用ID，同时在其后分别注明是控制数据包还是业务数据包。步骤240分别对命中控制统计流表和业务统计流表的数据包依次计数，至于在步骤250中如何输出，则可根据需要进行设置，既可以将控制包的统计值和业务数据包的统计值分别输出，也可将两者聚合后输出所需应用的流量总数。

本发明还公开一种应用流量统计装置。请参看图3，其为应用流量统计装置的一种结构示例图。所述装置包括第一配置模块1、第二配置模块2、建流识别模块3、统计模块4以及输出模块5。第一配置模块1与识别模块3相连，统计模块连接于识别模块3和输出模块5之间，输出模块5还与第二配置模块2相连。

第一配置模块1，用于预先为各种应用配置区别特征。所述区别特征包括特征序列、匹配参数提取方式以及建流特性等内容。其中，特征序列通常存在于数据包的数据域中，是唯一标识所属应用的特征信息。每种应用通常具有多个数据流，每个数据流又体现为一系列的传输中的数据包。上述每种应用的唯一标识信息即特征序列，不需要存在于所属应用的每一个数据包之中，只要该种应用的每个数据流中包含一个具有所属应用特征序列的数据包即可；匹配参数提取方式以及建流特性等内容为可选项，均有缺省处理方式。区别特征部分的具体内容在上文中已经详细介绍过，因而在此不再赘述。

第二配置模块2，用于配置各种应用的统计输出方式。所述统计输出方式指明各种应用的统计结果的上报时间以及上报方式。上报时间主要有几种：定时上报，固定流量上报以及流量老化上报等。上报方式主要是指将各个统计流表中的统计值按照一定的聚合项进行聚合运算后再上报，或者直接将各个统计结果上报。经过聚合后再输出统计结果可以大大降低统计输出数据量。

建流识别模块3，是识别模块的一种。该模块3可以根据数据包的协议类型提取接收的数据包匹配参数，并以匹配参数为基础建立统计流表，随即根据特征序列判断命中统计流表的数据包所属应用，同时将应用ID添加至统计流表的结果区。如果控制信息和业务数据信息不在同一数据流，还需要调用第一配置模块1中配置的匹配参数提取方式提取控制数据包的数据域信息，用以建立业务数据流表。此外，也可以先调用第一配置模块1，根据其配置的特征序列过滤接收的数据包，从具有特征序列的数据包中提取匹配参数，然后根据匹配参数为基础建立统计流表，同时将所属应用的应用ID添加至流表结果区。如果某种应用的每个数据包都合有所属应用的特征序列，则无需使用建流识别模块3进行建流识别，可以直接使用特征序列识别。识别模块直接依据配置的特征序列查找接收的数据包，进而判断数据包所属应用即可。

统计模块4，用于将命中统计流表的数据包进行计数统计。被提取匹配参数数据包计数为1，随后命中统计流表的数据包依次计数2、3、4、5......

输出模块5，可以调用第二配置模块，按照其配置的统计输出方式输出统计流表中记载的统计结果。

本发明还公开一种应用流量统计系统，所述系统包括交换路由设备，还包括一种应用流量统计装置。请参阅图4，其为本发明公开的应用流量统计体统的一种结构示例图。所述系统包括交换路由设备、第一配置模块1、第二配置模块2、识别模块3、统计模块4以及输出模块5。

第一配置模块1与识别模块3相连，统计模块4连接于识别模块3和输出模块5之间，输出模块5还与第二配置模块2相连。统计模块4的端口A11与交换路由设备6的端口B12相连。网络上传输的原始数据包由交换路由设备6的端口C13进入，并从交换路由设备6的端口D14输出至个网络服务器或终端用户。端口C13和端口B12之间可以实现简单的镜像功能，这是目前许多交换路由设备都具有的功能。所谓镜像的简单含义就是将端口C13进入的原始数据包完全复制到端口B12，然后传送给统计模块4，进而通过应用流量统计装置将镜像过来的数据包进行应用流量统计，并将统计结果上报至所需终端或数据库进一步分析使用。原始数据包被镜像到端口B12后，并不影响原始数据包在交换路由设备6中的正常路径选择以及信息传输。应用流量统计装置的各部分内容上文中已有详细介绍，因而在此不再赘述。

上述应用流量统计系统中的应用流量统计装置通过从交换路由设备中镜像的方式获得网络上传输的各种应用的数据包。此外，还可以将所述的应用流量统计装置直接串接在交换路由设备的链路上，从而获得各种应用的数据包。这种结构的应用流量统计系统，原始数据包进入交换路由设备后，直接进入应用流量统计装置进行流量统计，统计过后的原始数据包通过交换路由设备进行常规的路由选择和信息传输，此后输出至各个网络服务器。应用流量统计装置中的统计结果上报至所需终端或数据库进行分析使用。

以上对本发明所提供的应用流量统计方法及装置和应用流量统计系统进行了详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，但本发明并不局限于此。

例如，对于某些应用的每个数据包都具有特征序列的情况，就无需提取匹配参数和建立业务流表的步骤，只要找到每个具有配置的特征序列的数据包，然后依次计数统计即可实现该种应用的流量统计。

再例如，提取匹配参数之后，不一定必须用列表的方式承载匹配参数信息，也可以采用其它的承载体或者直接存储这些信息。即使建立统计流表，也不仅限于每个数据流建立一个流表，实际运用时可以建立一张总列表，将所需各种应用的统计流表内容都依次记载进去，相当于总列表的各个栏目。这样既方便接收的数据包查找相匹配的应用栏目，又节省系统资源。

同时，对于本领域的一般方法人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。