大规模实时交通数据的并行处理系统和并行处理方法

技术领域

本发明涉及交通信息处理领域的智能交通系统，特别涉及一种大规模实时交通数据的并行处理系统和并行处理方法。

背景技术

智能交通系统是将先进的信息技术、数据通讯传输技术、电子传感技术、电子控制技术以及计算机处理技术等有效地集成运用于整个交通运输管理体系，而建立起的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合运输和管理系统。智能交通系统主要由交通数据采集设备、远程通信网络、交通数据中心、交通信息服务及应用四大部分构成。其中，承担交通数据汇聚与处理的交通数据中心，一方面通过通信网络接收来自众多不同监测设备（如车载GPS、路口感应装置、视频摄像头等）采集的实时交通数据，另一方面通过对交通数据的分析处理为交通信息服务提供支撑，是整个智能交通系统的核心。

目前的交通数据中心在数据通信及数据处理方面大都基于单机的系统，面向单一采集手段获得的交通数据，同时由于一般采用阻塞式的数据通信及串行化的处理技术，在满足大量采集设备与交通数据中心间实时数据通信及大规模交通数据高速处理等需求方面暴露出诸多不足，人们往往只好通过采购昂贵的高配置服务器、甚至小型机来提升性能以完成处理任务。此外，当前交通数据中心大都是面向特定的交通业务处理需求而建，当处理需求发生变化以及增加新的处理需求后难以扩展，有时甚至需要推到重建，从而造成交通数据中心建设在计算资源和数据资源等方面的巨大浪费。

随着城市道路建设及监测技术等的不断发展，监测的交通覆盖范围、采集的交通数据类型及交通数据数量都在不断的扩大；同时，随着交通业务的发展和对交通研究的不断深入，对交通数据的处理需求（如实时路况测算、交通流分析、交通诱导、违法车辆自动识别、特定车辆管控、交通数据挖掘等）也将不断增加，需要更加强大的交通数据处理能力和计算速度。为此，系统将不得不频繁的进行软硬件升级，从而使得交通数据中心的建设及维护成本不断加剧，也必将极大地阻碍智能交通系统的建设与发展。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

为了满足大规模、流式交通数据的不间断通信及实时处理需求，解决相应系统在通信容量、处理性能及系统扩展性等方面的问题，本发明提供一种大规模实时交通数据的并行处理系统和并行处理方法。

为了上述目的，本发明提供如下技术方案：

根据本发明的一方面，一种大规模实时交通数据的并行处理系统，包括：

通信服务器组，用于通过网络长连接并行地接收前端监测设备采集的实时交通数据，对接收到的所述实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发；

交通数据发布/订阅器，与所述通信服务器组连接，用于按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由所述通信服务器组转发的所述实时交通数据，向订阅所述实时交通数据的不同的所述分发目的地进行所述实时交通数据的分发。

根据本发明的另一方面，一种大规模实时交通数据的并行处理方法，其特征在于，包括：

通信服务器组通过网络长连接并行地接收前端监测设备采集的实时交通数据，对接收到的所述实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发；

交通数据发布/订阅器按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由所述通信服务器组转发的所述实时交通数据，向订阅所述实时交通数据的不同的所述分发目的地进行所述实时交通数据的分发。

本发明的大规模实时交通数据的并行处理系统和处理方法能够实时接收及分发来自大量前端交通监测设备采集的交通数据，满足大规模、流式交通数据的不间断通信及实时处理需求，并适应前端设备数量的扩展；能够满足交通管理业务中基于交通数据进行业务计算的多样化需求，以并行处理方式进行基于实时交通数据和历史交通数据的多业务计算，支持通过服务器扩展方式提高处理性能；能够存储海量历史交通数据并提供查询访问接口，便于其他交通应用系统使用。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1表示本发明的大规模实时交通数据的并行处理系统的一种实施方式的结构图；

图2表示本发明中通信服务器模块结构图

图3表示本发明中计算服务器集群模块结构图；

图4表示本发明的大规模实时交通数据的并行处理方法的一种实施方式的流程图；

图5表示本发明中通信服务器的处理流程图；

图6表示本发明中计算服务器集群的处理流程图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

参见附图1所示，为本发明的大规模实时交通数据的并行处理系统的一种实施方式的结构图。

本实施方式的大规模实时交通数据的并行处理系统20通信服务器组21和交通数据发布/订阅器22。其中，通信服务器组21用于通过网络长连接并行地接收前端监测设备10采集的实时交通数据，对接收到的实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器22进行转发。前端设备10例如可以包括感应线圈、摄像头、车载GPS、RFID标签的一种或多种。

交通数据发布/订阅器22，与通信服务器组21连接，用于按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由通信服务器组21转发的实时交通数据，向订阅实时交通数据的不同的分发目的地进行实时交通数据的分发。

通过通信服务器组21与交通数据发布/订阅器22之间的数据交互，能够接收及分发来自大量前端交通监测设备采集的数据。

作为一种优选方案，大规模实时交通数据的并行处理系统20还可以包括计算机服务集群24和历史交通数据存储装置23。其中，计算服务器集群24与交通数据发布/订阅器22连接，用于并行执行基于交通数据发布/订阅器的实时交通数据及历史交通数据存储装置24存储的历史交通数据的多个业务计算，每个业务计算以多线程并行计算的方式执行。多个业务计算实现相应的交通管理业务逻辑，如实时路况统计的计算、套牌车分析的计算等，计算结果将直接发送到相关的交通业务应用系统中。

历史交通数据存储装置23与交通数据发布/订阅器22连接，用于接收交通数据发布/订阅器22的实时交通数据并集中进行持久化存储。

在该优选方案中，交通数据发布/订阅器22实现了通信服务器组21和计算服务器集群24及历史交通数据存储装置23间的交通数据中转传输，使得通信服务器组21不必考虑交通数据的多目的地分发问题，从而减轻其负担；交通数据发布/订阅器22同时负责交通数据的可靠传递，从而解决因网络故障或计算服务器242或历史交通数据存储装置23故障而不能按时接收数据的问题。计算服务器集群24以并行方式运行基于实时交通数据及海量历史交通数据的多个业务计算程序，从而实现大规模交通数据高速处理，并可通过增加计算服务器数量方式满足新的交通业务计算需求以及适应由于数据规模增大带来的计算量增大的情况；历史交通数据存储装置23可实现海量的结构化数据和相关文件（如车辆图片文件等）的管理并满足计算服务器集群中业务计算程序对历史交通数据的快速查询及提取的需求。

在一种实施方式中，通信服务器组21可以包括两台以上具有相同功能的通信服务器211，如图2所示，每个通信服务器211可以包括连接管理器2111和数据收发器2112。其中，连接管理器2111用于监听前端监测设备10的连接请求，建立长连接，并且将新建立的长连接分派给不同的数据收发器2112进行处理。

在一种实施方式中，连接管理器2111可以包括连接监听模块、连接建立模块和连接分派模块。

连接监听模块负责以非阻塞异步通知的方式监听前端监测设备10的长连接请求；连接建立模块负责接收连接请求和建立长连接；连接分派模块负责根据数据收发器的已分派情况选取待分派的数据收发器，将新建立的连接分派给该数据收发器。

数据收发器2112用于接收前端监测设备10发送的实时交通数据，检验接收到的实时交通数据的正确性，并从不同类型的实时交通数据中提取需要参与业务计算和持久化存储的数据，重新组装成交通数据包，转发给交通数据发布/订阅器22，同时组装应答数据包，发送给前端监测设备10。

在一种实施方式中，数据收发器2112可以包括连接接收模块、数据接收模块、数据转发模块和故障处理模块。

连接接收模块负责接收连接管理器分派的与前端监测设备的长连接；数据接收模块负责接收和校验数据，从不同类型的交通数据中提取需要参与业务计算和持久化存储的数据，重新组装成交通数据包，并向前端监测设备返回应答信息；数据转发模块负责将交通数据包发送给交通数据发布/订阅器；故障处理模块负责对与前端监测设备和交通数据发布/订阅器的连接故障进行处理，记录日志，并进行数据缓冲和重连重传。

在一种实施方式中，大规模实时交通数据的并行处理系统20中的计算服务器集群24可以包括业务计算管理调度服务器241和业务计算服务器242，如图3所示。其中，业务计算管理调度服务器242用于管理业务计算服务器242，接收及加载不同业务计算程序到业务计算服务器242并记录加载日志，存储业务计算程序文件，监控业务计算程序的执行状态及其所在的并行计算节点的资源消耗情况，捕获计算服务器的故障并加载业务计算程序到其他可用计算服务器，管理集群中计算服务器242的加入与退出。

业务计算服务器242用于接收业务计算管理调度服务器241的用于部署及控制业务计算程序运行状态的控制指令，部署及控制业务计算程序运行，接收来自交通数据发布/订阅器22的实时交通数据以及从历史交通数据存储装置23读取的历史交通数据，采用多线程并行处理方式运行基于大规模交通数据的业务计算程序，向业务计算管理调度服务器241汇报业务计算程序的运行状态及所述业务计算服务器的资源占用情况。作为一种优选方案，业务计算服务器242可以根据其CPU的核数来决定采用的多线程处理并行处理方式。

作为一种实施方式，大规模实时交通数据的并行处理系统20中的历史交通数据存储装置23可以包括存储服务器和磁盘阵列。其中，存储服务器可以包括数据库服务模块和文件服务模块。

数据库服务模块采用数据库软件分区功能存储实时交通数据中的海量结构化交通数据并提供用于结构化交通数据查询与提取的第一应用程序接口。文件服务模块存储实时交通数据包含的相关文件数据，并提供第二应用程序接口用于文件查找。

磁盘阵列用于持久化存储交通数据。

参见附图4所示，为本发明的大规模实时交通数据的并行处理方法的一种实施方式的流程图。

该实施方式的大规模实时交通数据的并行处理方法包括：

S10：通信服务器组21通过网络长连接并行地接收前端监测设备10采集的实时交通数据，对接收到的实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器22进行转发。

S20：交通数据发布/订阅器22按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由通信服务器组21转发的实时交通数据，向订阅实时交通数据的不同的分发目的地进行实时交通数据的分发。

作为一种优选方案，大规模实时交通数据的并行处理方法还可以包括：

S30：计算服务器集群24并行执行基于交通数据发布/订阅器的实时交通数据及历史交通数据存储装置23存储的历史交通数据的多个业务计算，每个业务计算以多线程并行计算的方式执行；

S40：历史交通数据存储装置23接收交通数据发布/订阅器22的实时交通数据并集中进行持久化存储。

参见图5所示，作为一种实施方式，大规模实时交通数据的并行处理方法中，步骤S10可以具体包括：

S11：通信服务器组21中每个通信服务器211的连接管理器2111监听前端监测设备10的连接请求，建立长连接，并且将新建立的长连接分派给不同的数据收发器2112进行处理；

S12：通信服务器组21中每个通信服务器211的数据收发器2112接收前端监测设备10发送的实时交通数据，检验接收到的实时交通数据的正确性，并从不同类型的实时交通数据中提取需要参与业务计算和持久化存储的数据，重新组装成交通数据包，转发给交通数据发布/订阅器22，同时组装应答数据包，发送给前端监测设备10。

参见图6所示，作为一种实施方式，大规模实时交通数据的并行处理方法中，步骤S30可以具体包括：

S31：业务计算管理调度服务器241管理业务计算服务器接收及加载不同业务计算程序到业务计算服务器242并记录加载日志，存储业务计算程序文件，监控业务计算程序的执行状态及其所在的并行计算节点的资源消耗情况，捕获计算服务器的故障并加载业务计算程序到其他可用的计算服务器，管理集群中计算服务器的加入与退出；

S31：业务计算服务器242接收业务计算管理调度服务器241的用于部署及控制业务计算程序运行状态的控制指令，部署及控制业务计算程序运行，接收来自交通数据发布/订阅器22的实时交通数据以及从历史交通数据存储装置23读取历史交通数据，采用多线程并行处理方式运行基于大规模交通数据的业务计算程序，向业务计算管理调度服务器241汇报业务计算程序的运行状态及业务计算服务器242的资源占用情况。

作为一种实施方式，大规模实时交通数据的并行处理方法中的步骤S40还可以包括：

S41：历史交通数据存储装置23的存储服务器中的数据库服务模块采用数据库软件分区功能存储实时交通数据中的海量结构化交通数据并提供用于结构化交通数据查询与提取的第一应用程序接口；历史交通数据存储装置的存储服务器中的文件服务模块存储实时交通数据包含的相关文件数据，并提供第二应用程序接口用于文件查找。例如，文件服务模块可以采用合并存储与多级索引方式来存储实时交通数据包含的相关文件数据，并提供REST(REpresentation State Transfer)形式的第二应用程序接口。

S42：历史交通数据存储装置23的磁盘阵列持久化存储交通数据。

采用本发明的大规模实时交通数据的并行处理系统和大规模实时交通数据的并行处理方法能够产生如下的有益技术效果：

（1）本发明能够接收及分发来自大量前端交通监测设备采集的数据，并支持对海量交通数据进行实时处理及持久化存储与访问，满足智能交通系统中交通数据中心在数据通信及数据处理方面的技术需求。

（2）本发明能够面向不同的交通业务计算需求，以并行处理方式进行基于实时交通数据和历史交通数据的多业务计算，从而促进交通数据的共享，提高交通业务计算的处理性能并降低处理成本。

（3）本发明能够通过扩展通信服务器和计算服务器的方式增强交通数据通信及实时处理能力，从而快速适应交通监测设备及交通数据种类及规模的不断发展。

上面对本发明的一些实施方式进行了详细的描述。如本领域的普通技术人员所能理解的，本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算设备（包括处理器、存储介质等）或者计算设备的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在了解本发明的内容的情况下运用他们的基本编程技能就能实现的，因此不需在此具体说明。

此外，显而易见的是，在上面的说明中涉及到可能的外部操作的时候，无疑要使用与任何计算设备相连的任何显示设备和任何输入设备、相应的接口和控制程序。总而言之，计算机、计算机系统或者计算机网络中的相关硬件、软件和实现本发明的前述方法中的各种操作的硬件、固件、软件或者它们的组合，即构成本发明的设备及其各组成部件。

因此，基于上述理解，本发明的目的还可以通过在任何信息处理设备上运行一个程序或者一组程序来实现。所述信息处理设备可以是公知的通用设备。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者设备的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储或者传输这样的程序产品的介质也构成本发明。显然，所述存储或者传输介质可以是本领域技术人员已知的，或者将来所开发出来的任何类型的存储或者传输介质，因此也没有必要在此对各种存储或者传输介质一一列举。

在本发明的设备和方法中，显然，各部件或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本发明的等效方案。还需要指出的是，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。同时，在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

虽然已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本申请的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。