数据并行

摘要： 伴随着互联网科技的持续进步,网络系统内的数据量呈现出爆炸式的增长。应用数据处理进行大数据价值的挖掘工作成为现阶段数据研究领域的焦点内容。现行的大数据并行聚类搜索类型的算法采用的技术相对比较落后,数据处理过程的同步率比较低。本文基于云计算的大数据并行搜索的聚类模式算法。在数据搜索过程中应用分词词典。借助数据矩阵的模式处理网络系统中的原始数据信息,采用相似度的计算方法,实现数据的聚类过程。

摘要： 为了提升飞行试验数据处理效率,设计了一种数据并行实时处理模块,能够通过机载嵌入式软件实现数据并行实时处理。该模块主要具备配置接收、数据接收和实时处理功能。首先,该模块能够通过配置软件接受实时处理逻辑,根据试飞科目灵活配置实时处理的参数列表;其次,能够分流网络和PCM数据流、解析参数和提供数据源接口;最后,基于一种嵌入式操作系统的计算模块,能够对数据进行实时处理和分类存储。总之,数据并行实时处理模块能够缩短数据处理时间、提高数据处理效率。

摘要： 分子可视化工作中高质量的分子渲染效果对研究人员观察生物分子结构尤为重要。主流分子可视化工具中常用的光栅化方法渲染效果不佳,不利于研究人员观察分子结构。先进的光线追踪渲染技术可以实现高质量的渲染效果,但目前工具中支持光线追踪的分子渲染方法存在使用平台限制、实时性能不足以及渲染质量不佳的问题。文中提出一种动态低采样环境光遮蔽的实时光线追踪分子渲染方法,其中提出了光线追踪中简易的重投影方法,用于实现动态低采样环境光遮蔽的时间性降噪;以及提出了阴影光线包装策略,改进了光线遍历场景时的计算并行度。实验结果表明,所提方法在个人电脑上可达到实时交互渲染性能,并且在"天河二号"平台上与先进的VMD-OSPRay方法相比,该方法获得了1.40~1.64倍的性能加速,同时改善了动态图像严重的噪点问题。

摘要： 面向大规模数据的知识约简是近年来粗糙集理论的研究热点.传统的知识约简算法通常将小规模数据一次性装入内存中进行约简,因此无法处理海量数据.此外,采用不同的属性不确定性度量会导致并行知识约简算法效率上的差异.为此,从知识粒度视角研究这些不确定性度量的差异和联系,设计了数据和任务同时并行的Map和Reduce函数来计算不同候选属性子集导出的等价类和属性子集的不确定性,构建了一种知识粒度框架下并行知识约简算法模型来获取一个约简,并在Hadoop平台上进行了相关实验.实验结果表明,这些并行知识约简算法可以有效处理海量数据集.

摘要： 深度学习并行化在加速模型训练、提高预测精度等方面具有重要作用.文章从数据并行、梯度累积算法两方面对深度交通时间预测模型(Travel Time Estimation Based on Deep Neural Networks,Deep TTE)进行了并行优化.实验以成都出租车数据作为数据集进行了并行模式的训练与评估,实验效果相较于Deep TTE,收敛速度有明显提升,RMSE降低了50.12％,MAPE降低了62.3％,MAE降低了56.02％.

摘要： 深度神经网络DNN模型是人工神经网络ANN模型的重要分支,是深度学习的基础.近年来,由于计算机算力的提升和高性能计算技术的发展,使得通过增加DNN网络深度和模型复杂度来提高其特征提取和数据拟合的能力成为可能,从而使DN N在自然语言处理、自动驾驶和人脸识别等问题上显现了优势.然而海量的数据和复杂的模型大大提高了深度神经网络的训练开销,因此加速其训练过程成为了一项关键任务,其技术范围涵盖从底层电路设计到分布式算法设计等多个方面.国产天河三号原型机峰值速度的设计目标为百亿亿级,巨大的计算能力为DN N训练提供了潜在的契机.针对天河三号原型机ARM架构特点,采用PyTorch框架与MPI技术,针对单个MT-2000+计算节点、单个FT-2000+计算节点,以及通过拓展的多节点集群设计CNN训练策略,并对上述处理器在神经网络分布式训练的性能做出了评测和优化,为进一步提升和改进天河三号原型机在神经网络大规模分布式训练方面的表现提供了实验数据和理论依据.

摘要： 决策树是机器学习中最流行、应用最广泛的分类模型之一.针对Spark-MLlib决策树算法(MLDT)训练树模型效率较低的问题,提出了一种基于Spark平台的并行CART决策树算法(SPC-DT).首先从数据并行优化的角度出发,采用数据垂直划分,该方法使每次参与基尼值计算的都是一个完整的属性列,以减少数据节点之间信息交流造成的网络资源占用;其次采用Fayyad算法对连续属性进行离散化,以降低决策树训练过程中基尼值的计算频次;最后使用基尼指数来训练决策树模型以降低计算复杂度.实验结果表明,在分类精度方面,SPC-DT和MLDT差距不大,在树的训练效率上优于MLDT算法.

摘要： 随着我国遥感仿真技术的快速发展,不仅遥感信息模型趋于复杂化,卫星遥感的数据量也呈指数级形式的快速增长,在全链路遥感卫星仿真的各个环节中,大气辐射传输仿真作为成像的重要环节,其过程复杂度和海量数据处理的特性一直客观存在,其仿真速度的快慢直接影响到全链路仿真效率的高低,本文从算法和大数据并行的角度对这一问题进行处理,取得了一定的实际效果。0引言在可见光近红外波段,考虑光谱成像仿真中大气对地物辐射的影响,利用大气辐射模拟计算模型MODTRAN,并结合简化的大气辐射传输辐射亮度计算方程.

摘要： 随机配置网络(Stochastic configuration networks,SCNs)在增量构建过程引入监督机制来分配隐含层参数以确保其无限逼近特性,具有易于实现、收敛速度快、泛化性能好等优点.然而,随着数据量的不断扩大,SCNs的建模任务面临一定的挑战性.为了提高神经网络算法在大数据建模中的综合性能,本文提出了一种混合并行随机配置网络(Hybrid parallel stochastic configuration networks,HPSCNs)架构,即:模型与数据混合并行的增量学习方法.所提方法由不同构建方式的左右两个SCNs模型组成,以快速准确地确定最佳隐含层节点,其中左侧采用点增量网络(PSCN),右侧采用块增量网络(BSCN);同时每个模型建立样本数据的动态分块方法,从而加快候选"节点池"的建立、降低计算量.所提方法首先通过大规模基准数据集进行了对比实验,然后应用在一个实际工业案例上,表明其有效性.

摘要： cqvip:随着我国遥感仿真技术的快速发展,不仅遥感信息模型趋于复杂化,卫星遥感的数据量也呈指数级形式的快速增长,在全链路遥感卫星仿真的各个环节中,大气辐射传输仿真作为成像的重要环节,其过程复杂度和海量数据处理的特性一直客观存在,其仿真速度的快慢直接影响到全链路仿真效率的高低,本文从算法和大数据并行的角度对这一问题进行处理,取得了一定的实际效果。0引言在可见光近红外波段,考虑光谱成像仿真中大气对地物辐射的影响,利用大气辐射模拟计算模型MODTRAN,并结合简化的大气辐射传输辐射亮度计算方程.

摘要： 科学计算规模的不断增长使得对科学数据的可视化也必须采用并行处理技术.针对可视化应用的特点,一方面,分类建立了可视化并行处理模型,给出了形式化描述,并对其并行性进行了定量的分析;另一方面,提出了一种可扩展的可视化数据并行体系结构,并深入探讨了实现该结构的数据划分技术和并行绘制方法;最后基于上述理论实现了一个数据并行可视化处理软件原型系统YH-PView,并通过实验验证了理论分析的正确性。

摘要： 基于局部线性滤波函数的大多数图像处理操作,都可以表示成图像数据与一个权值样板的卷积.对于N×M(MM)时间.显然它应当采用数据并行的处理方法来实现.本文较详细地讨论了卷积算法在局部寄存器个数受限与不受限情况下的两维处理元阵列的数据并行实现方法,提出了一种适用于具有有限局部寄存器的一维处理元阵列的卷积并行算法,并对算法的复杂度进行了分析.

摘要： 随着电力系统的复杂性日益增加，电网安全稳定分析对计算速度要求越来越高，对于系统的可扩展性和可维护性要求也越来越高。本文将分布式计算技术与电网安全稳定分析相结合，根据电力系统计算的特点，采用数据并行技术，实现了电网安全稳定分布式计算系统，提高了电网安全稳定计算速度。同时借鉴了工作流的技术，提出了一种协调组织各种应用功能的方法。该方法通过将应用功能封装成规范的过程、将这些过程进行组织以及将应用功能与其对应的软件和数据进行匹配三个步骤来实现，提高了系统的可扩展性和可维护性。

摘要： 基于普通PC机的计算和图形处理性能已十分强大,提出了基于PC机群构建并行可视化服务器的方法,为一般用户实现大规模数据可视化提供了途径。基于PC机群构建并行可视化服务器,即使用高速互联网络将节点PC互连,使用MPI实现消息传递,使用VTK提供可视化并行编程环境。服务器可以综合PC机群的计算能力实现大规模可视化运算,且具有良好的可扩展性。文中具体实现的并行可视化服务器包含4个节点,并分别对数据并行、任务并行和流水线并行三种并行方式进行了测试,结果表明,加速比最高达2.16,并行效果明显。

摘要： 波前处理机是自适应光学系统中数据处理和控制运算的核心,它的运算量大,实时性要求高.针对波前传感器输出信号和波前算法的特点,本文研究了自适应光学系统波前处理机中采用的并行处理技术,并以中科院光电所研制的61单元波前处理机为例,从时间和空间方面分析了流水线和数据并行技术在保证系统的实时性要求中的应用.

摘要： 根据WaveCluster算法和并行理论,采用数据并行和MPI消息传递机制相结合的思想,本文提出了一个基于集群系统的并行WaveCluster算法.实验结果表明,通过本文的并行WaveCluster算法可以个获得较高的加速比,因此该算法是有效的.

摘要： 本文设计实现了一个面向对象的数据并行和任务并行相结合的分布式并行,从而为用户提供了更为广泛的科学计算支持,并且系统所提供的并行编程接口易于掌握,用户不需考虑底层通讯细节.

摘要： 本文提出了一种新的面向科学计算的构件技术--编译指导的构件并行技术,旨在提高构件间的并行度和数据的局部性,避免通信瓶颈.该技术分为两个阶段:域划分和子构件组合.其中域划分利用了编译时的数据依赖分析技术,子构件组合利用了所设计的基于区间数据的模糊聚类算法.

摘要： 本文提出了一种新的面向科学计算的构件技术--编译指导的构件并行技术,旨在提高构件间的并行度和数据的局部性,避免通信瓶颈.该技术分为两个阶段:域划分和子构件组合.其中域划分利用了编译时的数据依赖分析技术,子构件组合利用了所设计的基于区间数据的模糊聚类算法.

摘要： 本文提出了一种新的面向科学计算的构件技术--编译指导的构件并行技术,旨在提高构件间的并行度和数据的局部性,避免通信瓶颈.该技术分为两个阶段:域划分和子构件组合.其中域划分利用了编译时的数据依赖分析技术,子构件组合利用了所设计的基于区间数据的模糊聚类算法.

摘要： 本发明公开了一种并行数据通讯中间设备及并行数据通讯方法，涉及数据传输领域，旨在提供一种能把数据同时发送到下位机，而且把下位机接收到的数据一次性发送到上位机的数据传输中间设备及方法。本发明技术要点包括：上位机接口电路、N+1个数据下行缓存器、N+1个数据上行缓存器、数据交换中心、N个下位机接口电路及逻辑控制电路。所述上位机接口电路分别与数据下行第N+1缓存器、数据上行第N+1缓存器具有信号连接。数据交换中心与所有的缓存器具有信号连接。每个下位机接口电路分别与接有一个数据下行缓存器及一个数据上行缓存器。逻辑控制电路分别与上位机接口电路、数据交换中心及16个下位机接口电路具有信号连接等。

摘要： 本申请实施例公开了一种并行的数据处理方法、装置和一种并行的数据处理系统。其中，所述方法包括：主设备从数据源处获知需要进行处理的待处理数据，为每个待处理数据创建一个任务；主设备在接收到从设备发送的获取任务的请求消息时，为发送请求的从设备分配任务，对从设备返回的执行结果进行合并，并，动态记录每个任务的执行状态，所述执行状态包括未执行、执行中、已执行和已合并；主设备输出被合并任务的执行结果。根据本申请实施例，可以支持系统在资源不足或者资源浪费的情况下快速调整集群规模。

摘要： 一种用于第一计算机系统与第二计算机系统之间的并行数据流的方法，包括：发送用于在所述第一计算机系统上的处理作业与所述第二计算机系统上的过程之间建立已认证连接的请求；在所述已认证连接上将查询发送到所述第二计算机系统上的所述过程；在所述第一计算机系统上创建被配置为从所述第二计算机系统并行地接收数据的一个或多个任务；以及由所述第一计算机系统上的所述处理作业读取由所述一个或多个任务接收的数据。

摘要： 本发明属于粒子模拟方法并行技术领域，具体为在粒子模拟算法并行中去除数据竞争的线分配并行方法。本发明通过设定求解：一维粒子模拟算法中一个网格的数据竞争影响范围Ns＝2×nMax+1网格,nMax为一维粒子模拟算法中一个网格的数据竞争影响范围的最大值；然后对所有网格新增一个为后续应用去除数据竞争方法的编号，编号规则以长度为Ns数目的网格集合为单元，依次编号为1‑Ns，并以此循环，直至遍历所有网格为止；再将编号相同的网格提取出来放入一个集合中，产生Ns个集合，这Ns个集合中的每一个集合，其中的所有网格均不存在数据竞争；最后将Ns个集合串行执行。本发明使得对粒子模拟算法并行的效率因去除数据竞争而明显提高。

摘要： 本发明属于粒子模拟方法并行技术领域，具体为一种在粒子模拟算法并行中去除数据竞争的体分配并行方法。本发明通过设定：三维粒子模拟算法中一个网格的数据竞争影响范围Nc＝Ns×Ns×Ns,其中Ns＝2×nMax+1,nMax为三维粒子模拟算法中一个网格的数据竞争影响范围的最大值；然后对所有网格新增一个为后续应用去除数据竞争方法的编号，编号规则以长宽高均为Ns数目的网格集合为单元，依次编号为1‑Ns，并以此循环，直至遍历所有网格为止；再将编号相同的网格提取出来放入一个集合中，产生Nc个集合；最后将Nc个集合串行执行。本发明使得对粒子模拟算法并行的效率因去除数据竞争而明显提高。

摘要： 本发明涉及一种具备并行处理基础设施、管理分散配置的系列数据的分散系列数据管理部的系列数据分散处理系统，上述并行处理基础设施具备：按照每个计算设备，将系列数据中的一个顺序标签所对应的一个值通过多个顺序标签进行分组化而得的数据组；数据组处理服务器，其针对数据组进行处理；以及组处理集约服务器，其处理数据组处理服务器的结果，上述分散系列数据管理部具备用于管理数据组的分散信息管理数据库，在该分散信息管理数据库中保持管理数据，该管理数据由表示数据组的顺序标签的范围的顺序标签范围、与数据组的值名对应的系列ID以及用于确定配置了数据组的上述计算设备的元信息而构成。

摘要： 本发明提供了一种有效消除数据访问延迟的并行数据处理方法，包括如下步骤：把可并行处理数据分成若干工作组，针对每个工作组设置参数；启动多线程进行处理，每个线程处理一个工作项；若遇需到外部存储器访问的数据，则保存上下文，当前线程进行休眠等待，硬件切换到下一个线程并开展运算；等数据返回后通知休眠等待的线程进入随时切换等待，只要硬件资源释放出来，便可立即重新运算。本发明还提供了一种并行处理器。本发明的有益效果是：能较好的降低任务切换代价以及分支跳转代价，降低计算资源的浪费及能量的消耗。

摘要： 本发明公开了一种并行数据通讯中间设备及并行数据通讯方法，涉及数据传输领域，旨在提供一种能把数据同时发送到下位机，而且把下位机接收到的数据一次性发送到上位机的数据传输中间设备及方法。本发明技术要点包括：上位机接口电路、N+1个数据下行缓存器、N+1个数据上行缓存器、数据交换中心、N个下位机接口电路及逻辑控制电路。所述上位机接口电路分别与数据下行第N+1缓存器、数据上行第N+1缓存器具有信号连接。数据交换中心与所有的缓存器具有信号连接。每个下位机接口电路分别与接有一个数据下行缓存器及一个数据上行缓存器。逻辑控制电路分别与上位机接口电路、数据交换中心及16个下位机接口电路具有信号连接等。

摘要： 本申请实施例公开了一种并行的数据处理方法、装置和一种并行的数据处理系统。其中，所述方法包括：主设备从数据源处获知需要进行处理的待处理数据，为每个待处理数据创建一个任务；主设备在接收到从设备发送的获取任务的请求消息时，为发送请求的从设备分配任务，对从设备返回的执行结果进行合并，并，动态记录每个任务的执行状态，所述执行状态包括未执行、执行中、已执行和已合并；主设备输出被合并任务的执行结果。根据本申请实施例，可以支持系统在资源不足或者资源浪费的情况下快速调整集群规模。

摘要： 本发明公开了一种数字岩心数据体并行压缩编码方法、一种数字岩心数据编码的存储方法、以及一种数字岩心数据并行解压解码方法。本发明不仅可以大大降低数字岩心数据体的体积，而且可以有效提高数字岩心数据体的写入速度和读取速度。此外，本发明还能够使存储的数字岩心数据更加全面，而且在打开文件时可以正常解析数字岩心数据，具有很好的应用前景。