数据处理流程

摘要： 强震动记录一直以来被用于工程结构弹塑性时程分析的地震动输入,其由仪器观测获得,需在使用前进行必要的数据处理工作。中国台网目前已累积了大量强震动观测记录,但始终缺乏标准化的数据处理流程,给使用者造成了诸多不便,不能最大程度发挥其科学应用价值。该文针对我国观测数据现状,提出了一套完整的面向工程应用的强震动记录数据处理流程,给出了高通滤波截止频率的选取原则,包括:记录的傅里叶振幅谱低频段须符合w^(2)震源模型、信噪比须大于3、确保与物理分辨率一致。研究了因果滤波与非因果滤波对记录时程的影响,结果表明:这两种滤波方式具有各自特性,因果滤波会引起记录相变、而非因果滤波则会引起信号前干扰震动;针对芦山地震数据集及2017年部分观测记录,研究了这两种滤波方式对伪加速度反应谱(PSA)的影响,结果表明因果滤波引起的相变会对有效周期范围内的PSA造成计算偏差,因此建议面向工程应用的强震动记录选用非因果滤波方式。此项工作有助于指导和规范强震动记录的合理使用。

摘要： 本研究旨在介绍一种适用于肠道厌氧真菌扩增子测序数据的处理流程,并比较肉牛瘤胃和直肠中厌氧真菌区系结构差异。6头具永久性瘤胃瘘管的晋南牛饲喂相同的试验饲粮15 d后,于次日晨饲前分别经瘤胃瘘管和直肠采集肠道内容物样品,提取全基因组DNA后进行内转录间隔区1(ITS1)扩增子测序。结果表明:直肠粪便中厌氧真菌费氏系统发育学多样性指数显著高于瘤胃内容物(P0.05);beta多样性的组间差异分析表明厌氧真菌群落结构在肉牛瘤胃和直肠内容物之间具有显著差异(P<0.05);菌群差异丰度分析表明,相较于瘤胃内容物,直肠粪便中盲肠真菌属(Caecomyces)和未归类真菌(unclassified fungi)的相对丰度有升高的趋势(0.05≤P<0.10)。由此可见,厌氧真菌群落在肉牛瘤胃和直肠之间产生了生态位分化,这可能是由盲肠真菌属等单中心厌氧真菌导致的。

摘要： 随着基于性能的导航(PBN)的全面推广,航空数据成为保障机载导航系统整体效能的重要依据,准确、完好的航空数据成为保障飞行和运行安全的关键因素.航空数据处理流程的标准化管理是满足机载设备系统应用需求的必要条件.为此,在阐述航空数据链路的基础上,研究如何制定航空数据处理标准,建立质量管理体系,提升质量管理水平,保证数据质量,加快机载导航数据库的应用研究,是实现飞行安全和飞行品质的有效保障.

摘要： 随着基于性能的导航(PBN)的全面推广,航空数据成为保障机载导航系统整体效能的重要依据,准确、完好的航空数据成为保障飞行和运行安全的关键因素。航空数据处理流程的标准化管理是满足机载设备系统应用需求的必要条件。为此,在阐述航空数据链路的基础上,研究如何制定航空数据处理标准,建立质量管理体系,提升质量管理水平,保证数据质量,加快机载导航数据库的应用研究,是实现飞行安全和飞行品质的有效保障。

摘要： 依托船舶数据实时监控平台对营运数据进行采集,通过对大量数据的分析及筛选,建立对营运数据的长期监测与分析流程.对某万箱级集装箱船营运数据进行采集、处理及分析验证,结果表明,该方法可用于实船能效分析的长期监控.

摘要： 广播电视行业要逐步转变传统理念和运营模式,通过构建大数据平台对媒体内容数据、用户服务数据进行全方位分析挖掘,提升内容制作能力和行业竞争力,同时大数据技术的日益成熟也为媒体融合提供了新的机遇.本文分析广电应用大数据技术的必要性,并探讨广电大数据的数据分类、平台架构分析和数据处理流程等关键问题,并分析大数据平台对媒体融合的应用前景.

摘要： 广播电视行业要逐步转变传统理念和运营模式,通过构建大数据平台对媒体内容数据、用户服务数据进行全方位分析挖掘,提升内容制作能力和行业竞争力,同时大数据技术的日益成熟也为媒体融合提供了新的机遇。本文分析广电应用大数据技术的必要性,并探讨广电大数据的数据分类、平台架构分析和数据处理流程等关键问题,并分析大数据平台对媒体融合的应用前景。

摘要： 重庆两江新区誉存科技总部大厅里,最醒目的便是那块巨大的电子显示屏。那是公司的数字可视化系统,上面不停地显示着当天的数据处理流程和产品核心功能在全国的应用情况,在常人看来生涩的数据和图表不停地跳跃、变化着,显得科技而硬核。这是陈玮每天都要驻足的地方。

摘要： 风云三号D气象卫星搭载10个载荷:中分辨率光谱成像仪Ⅱ、微波成像仪、微波温度计Ⅱ、微波湿度计Ⅱ、红外高光谱大气探测仪、近红外高光谱温室气体监测仪、广角极光成像仪、电离层光度计、空间环境监测器和全球导航卫星掩星探测仪.这10个载荷每天连续对地球探测,并获取数据,卫星将载荷探测数据经过实时空对地广播链路向全球用户广播;同时,通过延时空对地广播链路将全球延时数据对国内的广州、乌鲁木齐、佳木斯、喀什,北极及南极站进行数据下传,这四个国内站及两个极地站收到全球数据后,在45 min内,通过地面商用通信链路将数据传送到数据处理中心,数据处理中心对收到的数据进行汇集、分包、质量判断、预处理、产品生成等处理后,通过专线或互联网将数据发送给用户;同时,各气象、海洋及其他用户还可以通过用户利用站进行数据的接收及应用.

摘要： 风云三号D气象卫星搭载10个载荷：中分辨率光谱成像仪Ⅱ、微波成像仪、微波温度计Ⅱ、微波湿度计Ⅱ、红外高光谱大气探测仪、近红外高光谱温室气体监测仪、广角极光成像仪、电离层光度计、空间环境监测器和全球导航卫星掩星探测仪。这10个载荷每天连续对地球探测,并获取数据,卫星将载荷探测数据经过实时空对地广播链路向全球用户广播;同时,通过延时空对地广播链路将全球延时数据对国内的广州、乌鲁木齐、佳木斯、喀什,北极及南极站进行数据下传,这四个国内站及两个极地站收到全球数据后,在45 min内,通过地面商用通信链路将数据传送到数据处理中心,数据处理中心对收到的数据进行汇集、分包、质量判断、预处理、产品生成等处理后,通过专线或互联网将数据发送给用户;同时,各气象、海洋及其他用户还可以通过用户利用站进行数据的接收及应用。

摘要： 数据处理流程在信息爆炸的今天应用广泛并呈现出海量和并行的特点,MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理,但是MapReduce不支持多数据源的数据处理,不能直接应用于具有多个处理操作、多个数据流分支的数据处理流程.本文提出一种模型驱动的面向MapReduee计算模型的数据处理流程快速开发方法,先定义数据处理流程的逻辑模型和物理模型,组件模型,然后使用模型转换算法和代码生成算法将逻辑模型转化为物理模型,再转换为能直接在Hadoop平台上运行的MapReduce程序,基于该方法本文实现了一个开发工具CloudDataFlow,实验表明本方法可以有效提高数据流程的处理效率.

摘要： 简述了友盟移动分析平台以及基本架构思路，分析了数据处理流程，包括数据采集，数据传输，数据处理，数据存储，数据分析。

摘要： 对Leica ADS80的原理、数据处理流程以及应用中的一些关键技术及解决方案进行阐述和分析,并就其在我国摄影测量领域内的应用进行展望.

摘要： 本文结合越南昆江水电站工程的特点，叙述了利用GPS技术应用于越南昆江水电站首级施工控制网的布设与施测，并详细介绍了GPS数据处理流程、关键技术及质量控制指标。

摘要： 在隧道施工监测数据的处理和应用方面进行了新的探索,采用VB6.0语言和EXCEL数据库,开发了隧道监控量测数据分析处理系统。文中阐述了开发隧道监控量测数据分析处理系统的原理、方法,介绍了系统的功能和技术路线,软件集数据输入、数据管理、数据应用等功能于一体,实现了计算的前台可视化界面与监测信息存储的Excel数据库的连接,划分为数据管理、图形绘制、回归计算、预测分析、围岩稳定性及支护效果的判别等五大模块,并通过秦岭终南山公路隧道工程中的应用实践,软件能方便、快捷地对隧道监测数据进行处理、分析,对围岩和支护结构的稳定性进行了评价,验证了程序数据处理流程的合理性,对指导施工、确定支护方式具有较高的应用价值。

摘要： 在介绍iButton Thermochron(R)应用现状的基础上,重点对基于1-Wire网络的iButton Thermochron(R)温度监测系统及其应用进行了研究,提出了系统设计思想,并给出了其数据处理流程和DS1921G数据读写算法,最后给出了此系统在某仪器温度监测中的应用示例.本系统对温度监测系统的研究和应用具有重要参考意义。

摘要： 标准化的概念由来已久，古语“没有规矩，不能成方圆”涉及的就是标准化的问题。标准化的方法是工业化的基本方法，工业化是在标准化的基础上发展起来的。在信息化建设中也有一个备受关注的问题——信息标准化的问题。在信息化建设的起步阶段统一标准，可以避免低水平的重复开发建设，有效地降低开发费用，为信息化工作提供技术支撑和保证。对于信息化建设来说，假若原有的数据处理流程是规范的系统开发推广的效果就比较好；假若原有的数据处理流程是不规范的，系统开发推广的效果往往不够理想。rn 这充分说明了标准化同样是信息化建设的基础，标准化的方法也是信息化过程的基本方法。所不同的是：工业化过程中、标准化的对象主要是产品本身；而信息化过程中，标准化的对象主要是实际的数据处理过程。二者仅仅是作用的范围和对象不同而已。从这个意义上说，信息化和工业化的基本原则是一致的，信息化是工业化的继续和发展，不能不称作人类文明的第三次浪潮。rn 信息化标准化是当今世界经济和社会发展的大趋势，也是我国产业优化升级和实现工业化、现代化的关键环节:标准化研究与应用对信息化建设有着重要的意义。

摘要： 本文主要以吉林西部洪积扇区砾石层厚度的地质雷达调查为例,讨论了工作方法和数据处理流程等相关技术问题.

摘要： 随着移动互联网技术的迅猛发展,尤其是近年来移动智能终端的快速普及成为移动互联网时代的重要标志.移动互联网时代每天都会产生海量的数据,传统的数据存储及处理技术已经难以适应海量数据,海量数据的产生给信息技术的处理带来了严峻挑战.为了更全面的了解大数据的内涵及处理技术,本文对当前的大数据技术和利用大数据技术解决信息安全的问题进行了深入探究.首先,阐述了大数据的基本特征和处理的流程;其次,介绍了大数据处理过程中的关键技术;再次,介绍了大数据在重点领域的应用,尤其是在解决信息安全问题方向的应用;最后,分析当前大数据技术发展所面临的问题及挑战.

摘要： 随着移动互联网技术的迅猛发展,尤其是近年来移动智能终端的快速普及成为移动互联网时代的重要标志.移动互联网时代每天都会产生海量的数据,传统的数据存储及处理技术已经难以适应海量数据,海量数据的产生给信息技术的处理带来了严峻挑战.为了更全面的了解大数据的内涵及处理技术,本文对当前的大数据技术和利用大数据技术解决信息安全的问题进行了深入探究.首先,阐述了大数据的基本特征和处理的流程;其次,介绍了大数据处理过程中的关键技术;再次,介绍了大数据在重点领域的应用,尤其是在解决信息安全问题方向的应用;最后,分析当前大数据技术发展所面临的问题及挑战.

摘要： 在智能身体扫描仪中实施的处理流程、算法和方法，该智能身体扫描仪具有用于线上服装零售以及健康和医疗应用的规模。这样的智能身体扫描仪是由大量的深度传感器建立起来的，以创建身体的3D深度图像。该智能身体扫描仪具有硬件处理，该硬件处理可以记录具有饱和的明亮区域的部分图像和具有丢失的黑暗区域的部分图像，这些部分图像将在预处理中结合。预处理用可靠、有效、经缩放的深度数据支持算法，作为高动态范围（HDR）处理，接着模型融合以从一连串3D深度图像建立单个明确的3D身体模型。

摘要： 本发明提供了一种数据处理流程调试方法、装置及电子设备，涉及数据调试技术领域，该方法包括：获取所述数据处理流程的作业信息，所述作业信息包括作业特征信息和从输入数据到输出数据之间的处理逻辑；根据所述作业特征信息，确定与所述作业特征信息相匹配的离线调试数据；按照所述处理逻辑对所述离线调试数据进行处理，得到所述数据处理流程的调试输出数据。由于调试的输入数据是离线数据，从而可以实现对数据处理流程的离线调试，避免干扰线上运行环境以及挤占线上作业的资源。

摘要： 本说明书实施例公开了一种数据处理流程设定方法和装置，所述方法包括：获取所述数据处理流程的语言描述，其中，所述语言描述包括，所述数据处理流程的输入数据集的名称、在所述数据处理流程中获取的各个中间数据集的名称、所述数据处理流程的输出数据集的名称、各个数据集之间的处理逻辑、以及与所述各个数据集分别对应的多个算子，其中所述多个算子用于施加与所述各个数据集分别对应的数据处理；获取配置信息，所述配置信息中包括对所述各个数据集和所述多个算子的配置；基于所述语言描述和所述配置信息，对用于实施所述数据处理流程的计算模块进行设定。

摘要： 本发明提供了一种空间数据处理流程控制方法，包括：工艺设计,根据用户下发的空间数据处理订单，将所述订单需要完成的处理工作利用专业知识和实际情况进行整体的规划，划分为若干工序；完成当前工序对应的任务，由对应工序处理人员或者机器人程序自动完成；上传符合所述当前工序定义的处理结果，当前工序完成时将符合所述当前工序设计时定义的所述数据类型和所述数据配置的所述当前工序对应任务的处理结果上传；实时查看所述工艺的完成进度。该发明使得空间数据处理过程具有以下三个方面的优点：其一，可规模化部署生产，节约人力成本、提高效率；其二，可全程监管，保证数据质量；其三，可积累生产过程数据，分析该数据可用于改进工艺、提高生产自动化和智能化程度。

摘要： 本发明公开了一种测序数据处理流程的监控方法以及装置。其中，该方法包括：获取测序数据处理流程的目标标签，其中，目标标签用于标识测序数据在预定处理流程中的运行状态；根据目标标签执行预定处理流程，生成预定处理流程的执行结果；根据执行结果对预定处理流程进行监控。该方法利用目标标签来标识测序数据在预定处理流程中的运行状态，并根据目标标签来执行预定处理流程，可以将预定处理流程执行过程中运营经理与信息人员的沟通降低到最低，进而解决了现有技术中采用运营经理与信息人员互动的测序数据分析模式，存在人工时间长，人效低，周期长的技术问题。

摘要： 本申请提供一种数据处理流程部署方法、装置和服务器。该方法包括：服务器可以根据该拖动操作，触发第一拖拽指令。服务器可以根据该目标位置，确定与该目标计算单元最接近的计算单元。服务器可以根据该目标计算单元与该最接近的计算单元将目标计算单元插入编辑区域中的单元链表中。服务器可以更新单元链表。服务器可以根据该点击操作触发构建指令。服务器可以根据该构建指令和该编辑区域中的单元链表，构建得到数据处理函数。该数据处理函数中包括至少一个顺序连接的计算单元对应的匿名函数。本申请的方法，提高了在线计算流程部署灵活性，提高了数据处理效率。

摘要： 本发明提供一种数据处理流程的生成方法、装置和电子设备，其中方法包括：确定处理待处理数据所需的多个节点；基于多个节点构造数据处理流程结构；其中，所述数据处理流程结构中节点之间的顺序用于指示节点之间的连接关系；基于所述数据处理流程结构中节点之间的顺序，对所述数据处理流程结构进行解析，得到解析数据；基于所述解析数据生成数据处理流程。本发明提供的数据处理流程的生成方法、装置和电子设备，无需逐个连接每个节点，从而提高了数据处理流程的生成效率。

摘要： 本发明公开一种遥感数据处理流程的自动形式化建模方法及系统，本发明通过设计一种遥感数据处理流程统一表达语言，以Petri网为基础，借鉴UniNet部分思想并进一步改进，构建遥感数据处理流程的形式化描述模型，并提出该模型到PNML的规范化扩展，针对遥感数据处理流程统一表达语言设计该语言转换工具，自动将其描述的遥感数据处理流程解析成形式化模型。本发明为遥感数据处理流程自动化形式建模做出了有力的探索。

摘要： 本发明提供了一种砂岩型铀矿CSAMT数据处理流程及资料解释方法，该方法通过收集、统计、分析钻孔及测井电阻率资料，然后建立初始地电模型；根据地电模型进行正演计算，之后进行数据反演处理，最终确定反演模型和反演系数，之后对实测原始数据进行编辑，并完成静态位移校正、过渡区校正、地形改正，最终反演成图，根据已知地质资料建立地层、岩性、断裂构造解译标志，最后根据解译标志完成资料解释和综合分析。本发明建立了系统的砂岩型铀矿CSAMT处理流程和资料解释方法，可以精确的确定反演初始模型和反演系数，实现精细化数据处理，并根据已知地质资料建立解译标志，对资料进行精细解译，从而精确的指导砂岩型铀矿钻探工程部署。

摘要： 本申请实施例提供一种算法调度方法、数据处理流程驱动方法及装置，涉及遥感数据处理技术领域。该方法包括轮询动态队列服务，以获取动态任务队列中待执行的算法任务；执行所述算法任务；将所述算法任务的执行结果发送至状态机服务，以使所述状态机服务根据所述执行结果更新算法执行状态，并根据流程定义调整动态任务队列中待执行的算法任务；基于状态机服务和动态队列的业务流程驱动和监控技术以及基于轮询的算法任务执行模型，解决了现有方法无法管理更新大量的遥感影像处理算法，方便灵活的进行流程编排和调度监控各种遥感影像数据处理任务的问题。