多源数据

摘要： 文章基于“统计数据+大数据”的多源数据,从人居环境科学视角构建城市群碳中和潜力评价体系,测度长三角城市群碳中和潜力指数,分析碳中和潜力空间格局与聚类特征,结果发现:长三角城市群碳中和潜力呈现出明显的核心—边缘结构,与城市经济发展水平、行政层级呈现明显的空间一致性,并且存在明显的省域空间差异;空间聚类表现为城镇化主导、产业主导、生态主导、交通主导4种类型,呈现出典型的地域集聚特征。在此基础上,文章提出构建“碳排权—发展权”区域协调机制、实施“以碳定人”的城市规模管控及开展“因城治碳”的国土空间规划等策略建议。

摘要： 树种多样性是生态学研究的重要内容,树木的种类和空间分布信息可有效服务于可持续森林管理。但在复杂林分条件下,获取高精度分类结果的难度大。而无人机遥感可获取局域超精细数据,为树种分类精度的提高提供了可能。基于可见光、高光谱、激光雷达等多源无人机遥感数据,探究其在亚热带林分条件下的树种分类潜力。研究发现:(1)随机森林分类器总体精度和各树种的F1分数最高,适合亚热带多树种的分类制图,其区分13种类别(8乔木,4草本)的总体精度为95.63%,Kappa系数为0.948;(2)多源数据的使用可以显著提高分类精度,全特征模型精度最高,且高光谱和激光雷达数据显著影响全特征模型分类精度,可见光纹理数据作用较小;(3)分类特征重要性从大到小排序为结构信息,植被指数,纹理信息,最小噪声变换分量。

摘要： 大数据时代道路数据来源日益增多,跨数据源的道路选取面临巨大挑战。本文针对数据语义不一致问题,提出一种基于本体知识推理的多源道路选取方法。首先,将1∶5万基本比例尺地形图道路数据作为基础案例,将四维图新导航电子地图和开放街道地图中的道路数据作为试验数据,基于stroke计算道路等级、长度、连通度、接近度、中介度特征项,提取特征项概念并构建本体;然后,从语义特征项和数值特征项两方面计算本体概念相似性,建立基础案例与试验数据间的关联关系;最后,基于本体和语义网规则语言定义本体通用、语义特征、数值特征三类选取规则,实现跨数据源道路选取的过程性知识推理。试验表明,本文方法可基于本体概念相似性度量消除语义差异,同时利用语义网规则语言进行知识推理,可实现多源道路数据向基本比例尺数据的智能选取。

摘要： [研究目的]对近几年多源多维数据融合相关文献进行梳理和分析,为我国数据融合领域后续的理论与实践研究提供参考。[研究方法]在对多源多维数据融合概念进行界定的基础上,借助VOSviewer软件,从理论、方法与应用三个层面进行文献回顾,重点阐述了数据融合在图情领域的应用情况,最后总结研究不足和展望发展方向。[研究结论]当前多源多维数据融合研究存在如下不足:理论体系缺乏系统性、融合技术解决问题片面化、忽视“软数据”融合研究等,未来可以从这些方面加以突破。

摘要： 非常规油气储层矿物成分复杂,流体赋存形式多样,孔隙度、渗透率和饱和度等储层参数与测井响应呈非线性关系,难以构建理论模型或经验公式。近年发展迅速的机器学习为测井解释提供了新思路。综述了机器学习在测井解释中的应用现状,概述了集成机器学习的概念、框架和工作机制,指出机器学习包括同质集成与异质集成(委员会机器)两种,简述了两者的差异。重点介绍了委员会机器的基本原理和工作机制。委员会机器是一种结合神经网络和决策树等多种智能算法构建的集成机器学习系统,采用特定的组合策略实现多专家共同决策,对改善训练模型和预测结果具有显著优势。在测井解释中,针对分类、回归问题分别发展了分类委员会机器和回归委员会机器。测井流体识别和储层参数预测的应用表明,委员会机器预测结果比单个智能算法具有更好的精度和鲁棒性,尤其适用于测井解释中的小样本问题。针对有机页岩生烃能力测井评价问题,引入门网络预学习技术构建动态委员会机器,实现了总有机碳含量的智能预测,其预测精度高于传统委员会机器。此外,为了进一步提升预测结果的准确性和可靠性,在委员会机器训练中又引入了地球物理模型约束项,提出了物理模型与委员会机器联合驱动的思路,使致密砂岩孔隙度、渗透率和饱和度的预测精度得到进一步提高。可以看出,基于多元测井数据及其它多源的录井、测试和岩石物理实验数据,利用委员会机器学习算法可以有效地实现储层特征定性判别和定量评价,是测井解释发展的必然趋势。

摘要： 人类活动对流域蒸散发的干扰日益显著,然而实测蒸散发数据稀少,且尺度差异与空间异质性等问题限制了大尺度陆面模型与遥感产品在人为蒸散发评估中的适用性与可靠性。本文提出了一种基于多源数据与贝叶斯模型平均的人为蒸散发变异评估框架,并应用于珠江流域。结果表明,通过综合利用地面观测(降水、径流、潜热通量)、社会统计(水资源开发利用)、卫星遥感(GRACE卫星)、与陆面模型(Noah、CLSM、VIC、ERA-Interim)等数据集,并以概率方式集成多个优选模型的模拟结果,可有效提高评估结果的可靠性。2003—2016年,人类活动导致珠江流域蒸散发增大21%(137 mm/a),人为变异的年内最大值与最小值分别出现在5月(+38 mm/月)和7月(-27 mm/月),月际振荡可能主要受灌溉耗水、水库调蓄等因素影响。

摘要： 针对现有城市现状容积率获取过程中大多仅考虑建筑物高度反演等单一因素,缺乏整体设计,难以大范围推广与应用的问题,提出了一种多源数据融合的快速提取城市现状容积率的方法。采用面向对象技术从GF-2影像上提取建筑物阴影;结合阴影测高法、建筑物侧边线测高法反演建筑物高度,进而求取建筑层数。从天地图平台提取研究区建筑物矢量,并以GF-2影像为底图,对建筑物矢量进行更新,进而求取建筑面积。采用OSM路网数据对研究区进行地块划分,获得容积率提取的评价单元。以全站仪建筑物高度观测数据和小区实际容积率为参考,进行精度验证。结果表明:①建筑物基底面积的平均相对误差为-6%;②阴影测高法的平均相对误差为2.889%,建筑物侧边线测高法的平均相对误差为5.193%,阴影测高法精度优于建筑物侧边线测高法;③反演所得现状容积率与实际容积率相比,准确度为95.52%,证明了所提方法的可行性和可靠性。

摘要： 本文提出了特色资料全流程和业务系统快速统一接入“天镜”系统的规范化流程,从资源类监视、数据全流程监视、业务系统监视、告警监视四个方面研究详细的接入流程,为全省市用户提供数据全流程及业务系统接入的规范化方案,将实现特色数据全流程和业务系统的快速统一接入及重要指标的实时监控和告警。

摘要： 为更好地开发利用江苏省休闲农业资源,基于多源数据采集,利用Python软件抓取休闲农业地图导航兴趣点(points of interest, POI),同时和传统统计数据相结合,将江苏省内休闲农业园区分为自然资源型、农业资源型和人文资源型,用ArcGIS 10.2软件对数据分类并进行地理空间可视化处理,分析其空间分布规律,综合评价江苏省休闲农业资源的利用情况。结果表明,江苏省休闲农业空间分布总体符合"三区五带"的产业发展格局;自然资源禀赋是休闲农业发展的基础;良好的经济基础是休闲农业发展的支撑;而后续科学的管理运营是休闲农业可持续发展的基石。基于多源数据的评价结果,提出5点优化策略:政府引导,整合资源;合理布局,优化配套;科创引领,多元融合;生态优先,绿色发展;发展人才,科学运营。

摘要： 针对北斗卫星导航系统健康管理过程中数据融合程度有待提高、星上和地面产品研制和试验数据未得到充分利用的现状,文章结合数据驱动健康管理技术发展基础,提出了涵盖星上产品生产过程数据、在轨遥测数据、可靠性试验数据、服务性能监测评估数据的多源数据融合北斗卫星导航系统健康管理体系,研究了北斗卫星导航系统多源数据融合框架,并按照单机级、系统级、星座级多层次阐述了健康管理的内容和流程,可为北斗卫星导航系统的精细化健康管理提供借鉴。

摘要： 传统的交通承载力计算方法存在着模型参数难以标定、求解较为困难等不足,提出一种利用城市交通多源数据计算交通承载力的方法.通过SQLServer+Python获取车辆运行速度、路段与路口流量等基础数据,采用历史数据法与箱型图法等方法对缺失与异常数据进行清洗,获得符合要求的交通流数据.利用Kmeans++聚类算法克服传统聚类算法中心选取的随机性问题,对道路处于畅通、缓行与拥堵不同的运行状态进行识别.将路段处于拥堵状态时的在驶车辆数定义为该路段的最大承载力,结合交通流理论与路段长度获得单条路段承载力在此基础上获得整个片区交通承载力.最后本文以广州市中心城区越秀区为例,对算法进行全面的说明.

摘要： 城镇体系结构是一定地域范围内城镇群发展的战略构思与顶层设计.近年来,国内涌现了一系列基于手机信令、POI等多源大数据视角的城镇体系结构量化分析方法,能够更精准地判别出城镇体系结构特征,但主要侧重于现状层面的识别问题,对未来城镇发展的结构模拟探讨较少.本研究以湖南省为例,按照“识别—模拟—构建”的研究思路开展城镇体系结构系列分析,利用多源数据模拟出符合城镇发展需要的城镇体系结构方案.

摘要： 随着城市规模的扩大、机动车保有量的提升,很多大城市出现了不同程度的职住问题,一些专家学者也进行了诸多研究,提出了很多解决方案,但规模较小的三四线城市却很少有人去研究.从实际感受来看,很多三四线城市的职住问题也较严重,且与很多大城市呈现出不同的特征,同时,由于各种限制,其解决策略也远没有大城市丰富.本文基于百度慧眼平台、统计年鉴、网络问卷调查等多源数据,分析得出鞍山市中心区居民的职住空间和职住状况,通过空间分布、职住联系、通勤距离、通勤时长、通勤满意度等指标,分析了鞍山市中心区居民职住特征,研究其形成的原因并提出应对对策,以期能够对三四线城市的职住问题的缓解或解决提供思路.

摘要： 当前学术界主要将城市中历史较为久远、具有相对稳定的社会经济结构和特定的地域风俗文化区域作为城市旧城范围,从地块层面对其研究较少.研究结合多源数据,首先制定旧城判别标准,识别旧城范围并划分建设年代;其次,构建街道-社区-地块多层次指标体系,从物质空间-社会人口-经济活力多角度对旧城地块进行评价.最终将研究结果上溯到社区层面,对武汉市主城区440个社区旧城更新提供量化依据.

摘要： 共享单车作为一种便捷、高效、绿色的新型出行方式,是解决城市短距离出行和"最后一公里"难题的重要工具.但共享单车短期内爆发式增长、饱和式投放、无序竞争的发展态势,也对城市交通运行管理和规划发展带来了严峻压力和挑战.本文基于共享单车数据、百度热力图数据等多源数据,以南京市主城区为研究范围,借助ArcGIS、Excel等工具从城市总体范围、主要道路沿线、地铁站周边三个层次对共享单车分布状况进行剖析,得出南京市主城区的共享单车分布呈现一定的时空规律和分布不均衡现象,并在此基础上提出初步建议,以对城市的共享单车运营公司、城市的规划者和管理者提供借鉴.

摘要： 商业中心与人们生活密切相关,其合理布局对发展城市经济、合理配置流通资源、满足居民消费需求等发挥着重要作用.本文融合使用POI数据、重庆移动手机信令数据、轨迹数据和出租车行车数据等多种数据源,将与设施相关的静态数据和与人行为相关的动态数据相结合,探索商业中心识别和优化的方法.首先基于POI数据通过构建商业设施综合评价指标体系识别重庆主城区商业中心体系;其次通过手机信令数据识别居民人口的空间分布,并和商业设施的空间分布进行叠加分析,获取设施和人口不匹配区域;然后融合使用手机轨迹数据和出租车行车数据,重点监测休闲时间居民出行链中终点为成熟商圈的起点分布;最后综合分析主城区商业洼地的空间分布,针对重庆主城区商业中心的空间布局提出优化建议.通过提升优化成熟商圈,扩大其辐射范围,并大力续建新兴商圈,完善功能配套设施,促进主城区商业中心的合理布局,增强城市聚集辐射能力.

摘要： 行政区划调整对于区域发展具有重要意义,科学合理的区划调整能够促进经济发展、解决空间发展限制瓶颈、提升行政管理效能、强化区域极化作用.本文以湖南省撤县(市)并区区划调整为研究对象,利用POI、交通网络、人口、经济等多源数据,结合密度分析、势力圈划分模型,分析各市县的交通融合、建设融合及空间竞合关系,判断各市县与市区的融合关系,并以地方需求为修正参数,为湖南省新一轮撤县(市)并区区划调整提供量化支撑.

摘要： 轨道站客流时空分布特征与城市空间结构、土地利用、轨道网络、接驳设施等因素紧密相关.本文借助轨道刷卡数据、手机信令数据及问卷调查数据,从乘客出行全链条三个阶段:轨道进出站客流、轨道站内上下客流、轨道站接驳客流三个方面分析了轨道客流的时间和空间分布特征.结果表明:轨道一二期线路原特区内段客流增长相对较缓,但主要就业点在已经实行客流管制的情形下,客流仍然持续增加,反映职住分离加剧;站点高峰系数与土地利用及站点区位紧密相关,原特区外城中村类站点及中心区就业集聚站点单向高峰系数超过30%;轨道接驳范围分析发现对外枢纽类型站点客流吸引范围最大,其次是居住,最后是就业集中地;共享单车扩大了轨道站的客流吸引范围,但70%客流接驳范围在10分钟范围内.研究成果为深圳及其他城市的轨道规划、建设、管理和运营提供了数据支撑和经验借鉴.

摘要： 空间结构合理性对城市群效益发挥有着直接影响.在已有研究上,主要从网络联系、城市职能等单一视角对城市群空间结构进行剖析,而城市群空间结构其内涵应包括内部各城市发展状况、职能状况以及彼此之间联系程度.因此,本文以环长株潭城市群为实证对象,结合统计数据及网络开源数据,应用主成分分析、层次分析法等方法从城市职能、网络联系两个方面综合展开其空间结构特征研究,并将本文分析结果与该城市群规划进行对比发现两者差异点,以期为环长株潭城市群空间结构优化提供参考.

摘要： 在国内外城市广泛应用的智慧交通信号控制系统,大部分需要通过人工开展配时方案设计或控制参数的配置以获得较理想的控制效果,在前端交通流采集信息并不完善的情况下对方案的依赖性更强,配时方案设计的效率和能力直接影响着交通信号控制的水平.本文结合日益丰富的交通多源大数据资源,从基础数据管理、控制效果诊断与评价、管控策略和方案辅助优化等三个方面构建了交通信号管控辅助决策支持系统,实现路口信号控制问题快速诊断、控制方案辅助优化的闭环管控,支撑现阶段城市交通信号人机协同环境下的人工精准干预,提升城市交通管控水平.

摘要： 本申请实施例提供了一种基于多源异构数据源的数据质量检测方法、装置、电子设备及存储介质，通过对多源异构数据进行字段识别，区分包含分组变量、时间日期变量以及不包含前述两种变量的数据指标，根据不同的数据类型自动选择合适的异常值检测算法，使得对多源异构数据源的数据治理无需如传统的数据治理方案一般严重依赖业务规则或者专家知识库，且对于异常值检验颗粒度更加精细，同时满足了复杂业务场景中的多源异构数据质量的检测要求。

摘要： 本发明公开了一种多源异构数据融合和量测数据多源互校验方法及系统，从各调度层级多源业务系统抽取海量量测数据，融合以电网运行设备为中心的模型数据，通过分析不同系统间的数据结构、类型、变化频率等差异，获取多源量测数据时序关联关系及变化趋势特征，利用优化的距离模型进行多源关联分析，实现多源不一致数据的快速研判，基于调控云整合的各级调度量测数据进行全局范围综合分析，解决了由于各区域调度分析局部数据造成的异常数据检出率不高的问题，从整体上提升了电网调度数据质量，为实现电网一体化特征的数据采集、融合、校验、修正的全链路闭环管理提供技术支持。

摘要： 面向多源异构数据融合的数据源选择方法，属于大数据分析技术领域。解决了现有大数据分析采用人工采集的方式，存在分析效率低且存在大量的资源浪费的问题。基于异构数据源集合实现，建立数据分析任务目标数据集的属性集在属性集A中随机抽取了一个目标属性作为搜索属性，在数据源中搜索获得数据源集合P；将数据源集合P中每个元素Pi均构建为一个集合{Pi}，构成集合T；计算集合T中每个子集合的分数；获取分数最大的子集合Tmax；判断集合Tmax的属性是否包含所有目标属性，若是，再判断是否包含多余的属性，包含多余属性进行重新选择，若是不包含所有目标属性，继续搜索，利用计算目标数据源集合的判别函数值，若函数值变大则继续搜索，否则停止搜索获得目标数据源集合。

摘要： 本申请公开了一种多数据源数据的处理系统以及多数据源数据的处理方法，涉及计算技术领域，可实现对多数据源数据的统一处理，降低数据维护成本。所述系统采用分时、分布式设计，所述系统包括：任务管理模块、采集引擎模块、数据处理模块；所述采集引擎模块，一端与所述任务管理模块连接，另一端与不同数据源会话连接，用于接收所述任务管理模块下发的数据采集指令，并响应于所述数据采集指令采集目标数据；所述数据处理模块，一端与所述任务管理模块连接，另一端与所述采集引擎模块连接，用于在所述采集引擎模块提取所述目标数据，在所述任务管理模块拉取与所述目标数据匹配的数据处理规则，并利用所述数据处理规则格式化处理所述目标数据。

摘要： 本发明公开一种多源异构数据源与图数据库导入导出的方法及装置，其中，该方法包括：读取各种类型存储的数据源，并进行数据关联，生成一个统一列格式的分布式数据集；对统一列格式的分布式数据集进行转换处理后，生成一个新的统一列格式的分布式数据集；从新的统一列格式的分布式数据集中提取图数据库的点和边的信息，分别写入图数据库的顶点和边；读取图数据库，将图数据库的顶点和边进行转换，并将顶点和边的数据进行关联，生成一个统一列格式的分布式数据集，进行后续的转换处理后，将数据写入目标存储。该方法及装置解决了目前基于工具的数据导入/导出时的技术问题。

摘要： 本申请实施例提供了一种基于多源异构数据源的数据质量检测方法、装置、电子设备及存储介质，通过对多源异构数据进行字段识别，区分包含分组变量、时间日期变量以及不包含前述两种变量的数据指标，根据不同的数据类型自动选择合适的异常值检测算法，使得对多源异构数据源的数据治理无需如传统的数据治理方案一般严重依赖业务规则或者专家知识库，且对于异常值检验颗粒度更加精细，同时满足了复杂业务场景中的多源异构数据质量的检测要求。

摘要： 本发明涉及图数据库图存储技术领域，提供一种多源异构数据源导入Janusgraph图数据库的方法和装置，本发明的方法，包括：获取待导入数据的数据源类型，通过匹配获取所述数据源的Datax的读插件；根据待导入数据的数据量，计算Datax的读插件的并行读通道数量，将数据分批次读入读通道内；扩展Datax的写插件，初始化写通道并将初始化的写通道与读通道匹配，将读通道中的数据持续获取至对应的写通道；对写插件的写通道中的数据进行数据去重校验，将通过去重校验的数据写入图数据库。根据本发明示例性实施例的多源异构数据源导入Janusgraph图数据库的方法和装置，可以适配多种异构数据源的数据，实现数据的快速导入。

摘要： 本发明提供一种基于多数据源配置的动态切换数据源方法及系统，首先创建目标数据库，并初始化目标数据；修改配置文件，并自定义配置项，控制多数据源配置的开闭；根据设置的配置文件动态切换数据源。本发明在面对多数据源的时候，可以分别为每个数据源写一个mybatis的config类，使其每个DataSource都拥有一个只属于自己的SessionFactory，这样就可以根据各自的mapper(dao)映射目录找到对应的mybaits实例，具体的数据源的切换是通过在service层自定义的注解选择需要的数据源，并且通过MultiSourceExAop类切换需要使用的数据源。

摘要： 本发明公开了一种多源异构数据融合和量测数据多源互校验方法及系统，从各调度层级多源业务系统抽取海量量测数据，融合以电网运行设备为中心的模型数据，通过分析不同系统间的数据结构、类型、变化频率等差异，获取多源量测数据时序关联关系及变化趋势特征，利用优化的距离模型进行多源关联分析，实现多源不一致数据的快速研判，基于调控云整合的各级调度量测数据进行全局范围综合分析，解决了由于各区域调度分析局部数据造成的异常数据检出率不高的问题，从整体上提升了电网调度数据质量，为实现电网一体化特征的数据采集、融合、校验、修正的全链路闭环管理提供技术支持。

摘要： 本申请提供了一种数据源对接的方法、装置、处理器和数据源对接的系统。该方法包括：建立可视化的数据源模型，数据源模型为采用XML描述语言描述数据源的模型，数据源模型具有数据源的设计参数，设计参数包括接入协议、接入地址、连接参数、适配类型以及数据类型；控制规则引擎对数据源模型进行解析，并根据解析结果调用对应的适配器；控制规则引擎确定待对接的计算机系统的访问信息，访问信息为访问计算机系统所需的信息；根据适配器和访问信息，完成数据源模型与计算机系统的对接。该方法实现了对各种不同类型的数据源的统一的定义，较好地避免了现有技术中不同类型的数据源对接需要不同的适配器的问题。