数据加载

摘要： 伴随着综合化模块化航空电子系统技术的突破与发展,对航电系统中的数据管理功能的要求也是日益增高。提出了一种数据管理软件,分析了航电任务系统中需要的数据管理类的功能及要求,用高效合理的软件设计策略,设计数据管理软件的体系架构,将航电系统中所有基本组件LRM里有关数据管理类的功能进行整合,以达到高内聚、低耦合,使数据传输路径短、控制流数据流分开,减轻航电任务系统的信息传输负担。

摘要： 为了解决航空机载设备参数加载耗费CPU资源严重而导致系统运行低效的问题,文章描述了一种串口直接存储访问(Direct Memory Access,DMA)方式的数据加载方案。在设计方案中,我们提出了一种串口加载数据通信协议用来保证串口加载数据的完整性和可靠性,解决了传统轮询或读数据寄存器非空(Read Data Register Not Empty,RXNE)中断方式可能导致的数据丢失以及处理器时间占用较多的问题。通过研究DMA和空闲(IDLE)中断结合的串口接收模式,可以有效降低CPU的资源占有率,提高系统的运行效率,为机载设备进行大量数据的加载提供新的参考。

摘要： 目前,随着各高职院校"智慧校园"的建设,学校内各业务系统越来越丰富和完善,但是各部门进行业务操作时,业务系统产生了海量的多源异构数据,这些数据具有来源多、数据类型杂、格式不统一、数据分散等特征,使得业务人员操作困难、工作效率低下,为充分利用这些数据,深入融合挖掘数据潜在的价值,实现各部门、各业务系统间的数据共享,提高教学部门和行政部门的工作效率,本文设计了一套支持不同业务系统间数据抽取、转化融合的ETLA系统,为高校各部门业务数据共享提供技术手段支撑.

摘要： 为了提升车辆管理系统的应用效果及用户满意度,设计一种基于Hadoop的车辆管理系统.该系统是以Hadoop为核心的三层架构,数据存储层利用数据采集接口接收交警侧采集终端传输的车辆数据,经数据加载、查询、存储后,通过数据访问服务接口将数据传输至服务层.服务层利用Min-Max方法获取车辆移动近似节点和车辆短时位置信息,获取最终的车辆节点定位结果,可实现车辆历史信息查看和预警信息发送,同时将逻辑处理结果经服务通信接口传输至显示层显示.实验结果表明,该系统的吞吐量较高,可允许大批量用户同时访问;车辆定位结果的均方根误差较低,定位较为精确;系统执行时间低,可快速响应用户需求,且用户满意度较高.

摘要： 为了提升车辆管理系统的应用效果及用户满意度,设计一种基于Hadoop的车辆管理系统.该系统是以Hadoop为核心的三层架构,数据存储层利用数据采集接口接收交警侧采集终端传输的车辆数据,经数据加载、查询、存储后,通过数据访问服务接口将数据传输至服务层.服务层利用Min-Max方法获取车辆移动近似节点和车辆短时位置信息,获取最终的车辆节点定位结果,可实现车辆历史信息查看和预警信息发送,同时将逻辑处理结果经服务通信接口传输至显示层显示.实验结果表明,该系统的吞吐量较高,可允许大批量用户同时访问;车辆定位结果的均方根误差较低,定位较为精确;系统执行时间低,可快速响应用户需求,且用户满意度较高.

摘要： 航电系统的综合化和模块化程度越来越高,机载网络技术也日趋复杂,一方面这使得航电系统中的加载数据的数量急剧增多,另一方面,对数据加载的质量提出了更高的要求,目前的数据加载软件已无法满足要求.通过分析数据加载工具软件的需求,采用分层设计的方法设计了系统的总体结构逻辑.阐述了主机端软件和目标机端软件的设计思路,并且进行了软件实现和验证.结果表明,该机载通用数据加载工具具有良好的配置性和通用性,且能够保证数据一致性和安全性.

摘要： 阐述一种基于大规模集成电路FGPA来实现Flash数据加载的系统设计方法,该数据加载系统设计新颖、充分利用了FPGA资源、具有实用性,已经在工程中得到了很好的应用.

摘要： 甲骨文提升MySQL Heatwave服务的性能和可扩展性甲骨文推出My SQL Heatwave服务的最新组件My SQL Autopilot,可在My SQL数据库服务的内存中查询加速引擎。My SQL Autopilot可自动执行和高查询性能相关的许多功能,包括配置、数据加载、查询执行和故障处理。它使用相关技术来提取数据样本,采集和查询统计数据,使用Oracle Auto ML构建机器学习模型,可构建内存使用、网络负载和执行时间模型。

摘要： 针对现代航空电子数据加载功能需求,设计并实现了一种支持复用的数据加载中间件软件,集成加载管理和加载代理两种服务功能模块,可作为公共服务提供于相应功能角色的数据加载应用软件使用.加载管理服务以非阻塞接口设计和异步回调方式为应用软件提供多个代理端并行加载数据的能力.加载代理服务集成虚拟内存文件系统,可部署运行于不同的嵌入式平台,为加载代理端应用软件提供服务.实际型号应用表明,数据加载中间件具备较高的数据加载效率和良好的移植性,标准统一的公共服务设计有效减少了加载应用软件的开发工作量,并有助于提高数据加载系统的可靠性.

摘要： 针对采用基于时间和空间分区的ARINC653软件架构中的设备加载端(任务加卸载设备)向应用软件(飞行管理软件维护分区)加载数据文件效率低速度慢的问题,文章通过改进设备加载端的时间延时、改进AFDX网络配置的数据包间隔时间、改进数据接收端的任务属性和主时间框架分配,实现了加载效率的有效提升.经过理论分析和实际测试,改进后的网络传输效率较之前提高3倍,满足了现阶段的系统需求.

摘要： 国内现有的基于ARINC615A的数据加载系统在可靠性、加载效率和安全性等方面难以满足民用航空电子系统适航要求,为此本文提出了一种基于有限状态自动机的模型,使得复杂的加载流程易于控制;且引入了短加载机制和兼容性验证机制等,提高了航电数据加载系统的加载效率和安全性.

摘要： 本文提出了一种增量加载算法,可以有效地降低业务数据的下载压力和加载压力,其实现思路对于数据仓库数据加载的设计提供了很好的参考价值。

摘要： 介绍了Pivotal Greenplum 5.0开放源代码数据库的高速数据加载、多态存储、并行执行、敏捷开发方法学等内容。

摘要： 从民用飞机机载维护系统发展趋势的角度对机载维护系统的技术发展以及应用进行了说明,对空客公司大型客机A380与波音公司新型宽体客机B787机型的机载维护系统的主体功能以及实施方式进行了研究,并针对两型飞机在数据加载、安保策略以及维护信息人机接口三个方面的差异进行了对比,以提取机载维护系统新技术应用的基本思路.

摘要： 通过分析航电综合技术面临的挑战,介绍了运8飞机综合航电系统现状和发展的必要性,提出了新型综合航电系统设计技术方案,包括顶层要求、功能组成、系统构型和关键技术等.综合航电系统按功能划分为：通信导航功能、综合信息感知功能、综合显示与控制功能、综合信息处理功能、自卫电子对抗系统，综合信息记录功能。通过对运8飞机航电系统功能需求分析．建立新型综合航电系统构型．采用AFDX总线技术。综合数据加载技术、飞行管理技术和机载中央维护技术，有效利用已有资源，开发新的综合处理平台，解决了新旧设备交替问题。又能满足新一代航空电子发展需求，为运8飞机航电系统发展提出新的设计思路，可以达到航电系统设计平台20年不落后、40年可用的设计目的。

摘要： 该文针对iOS开发过程中使用视图UITableView加载大批量数据时出现的内存占用量过大和用户体验差等问题,分别从数据的加载、存储、展示3个方面入手,提出了相关的优化方法.测试结果表明,在使用UITableView加载大批量数据时,该方法成功地提升了系统性能和用户体验.

摘要： 针对在电子信息仿真系统中传统数据加载方法的不足,结合XML技术和面向对象思想,提出一种由数据驱动基于角色的数据加载方法,有效地解决了传统方法的不足,并为类似问题提供了一种可借鉴的解决方案.

摘要： 随着网络和通信技术的不断发展，在大规模科学计算中间结果的保存和处理、基于Internet信息的分析和研究、实时监控系统信息的存储和处理等诸多应用领域，都产生了TB级的海量数据.数据规模的不断增加以及实时的海量数据加载要求对传统的数据库技术提出了新的挑战.设计并实现了一个面向实时Internet监控信息的海量数据实时加栽系统IMIL(Internet monitoring informationloader)，包括可扩展、高度容错的硬件体系结构，使用SQL*Loader以及交换分区机制的高效批量加栽算法以及优化的并行调度机制.性能测试显示，这些海量数据加栽及优化技术使得数据加载速度由每天2.2亿条提高到12亿条，10个Cluster同时工作时峰值数据加载速度达到每天6TB.IMIL系统对需要实时加栽TB级海量数据的大规模复杂数据库系统具有重要的参考和借鉴价值.

摘要： 本文将在介绍整个海量信息事务处理系统结构的基础上,着重介绍该系统中海量数据高速并行加载服务中间件的实现,并阐述如何解决关键问题.

摘要： 本文简要介绍了数据仓库抽取、转换、加载(Extract、Transact、Load)处理的作用、意义,分析了航运统计分析系统的ETL的处理要求,利用SQL Server 2005的ETL工具,对数据进行了ETL处理的设计与实现,说明了ETL在开发数据仓库应用系统中的作用——可以使源数据按照用户的要求成功转换成用于决策的数据.

摘要： 本发明涉及数据加载系统和对应的方法（10），用于将软件配置（12）加载到飞机（30）的电子组件（38，39，40，41，…），所述数据加载系统包括数据库系统（11）和至少一个数据加载装置（14）。在所述数据库系统（11）上存储用于飞机（30）的至少一个机队的软件配置（12），并且所述数据加载装置（14）被配置为通过接口将已经从所述数据库系统（11）获取的分配的软件配置（12）加载到对应于该软件配置（12）的飞机（30）的数据总线（33）。所述数据加载装置（14）被配置为从数据库系统（11）中加载机队的所有飞机（30）的最新各个软件配置（12）并将这些存储在所述数据加载装置（14）上，该加载过程借助数据连接（16）发生在基于地面的存储位置（13）。

摘要： 本发明提供了一种数据加载装置，包括：数据查询单元，用于启动前台查询线程，根据接收到的查询条件，从ERP系统中获取对应的数据记录；预加载单元，用于在所述前台查询线程完成对指定页/屏的加载后，当数据记录无法在所述指定页/屏中完整显示时，开启后台预加载线程预加载预设数据量的后页/屏的数据记录；异步加载单元，用于根据接收到的翻页/屏命令，由所述前台查询线程从后页/屏的数据记录中获取用于下一页/屏的数据记录，以进行加载。本发明还提出了一种数据加载方法。通过本发明的技术方案，可以使得用户在进行翻页或滚屏浏览查询到的数据记录时，减少用户的等待时间，给用户带来更好、更流畅的操作体验。

摘要： 本发明公开了一种数据加载方法，包括：将要加载数据按照设置的数据划分策略划分成多个数据部分，并为所述多个数据部分分配不同的数据库节点；基于为所述多个数据部分分配的数据库节点将所述多个数据部分分别存储到多个本地缓存部分中，其中，所述多个本地缓存部分相互独立且每个本地缓存部分对应一个数据库节点；以及检测到所述多个本地缓存部分中的一个本地缓存部分存储的数据量达到或超过第一数据量阈值时，将该本地缓存部分中的数据加载到与该本地缓存对应的数据库节点中。本发明还公开了一种数据加载装置。采用本发明，可提高数据库集群系统中数据加载到数据库节点的性能。

摘要： 本发明提供了一种界面数据加载装置，包括：使用记录模块，统计使用者在界面上使用不同查询条件的记录；偏好管理模块，根据统计的记录，确定所述使用者使用所述不同查询条件的偏好程度；数据加载模块，在所述使用者启用所述界面时，选择所述偏好程度较高的一个或多个查询条件，按所选择的查询条件在所述界面上加载数据。相应地，本发明还提供了一种界面数据加载方法。通过本发明的技术方案，能够保证用户界面数据按照用户在该工作地点的上次偏好执行加载，以满足用户的偏好工作要求，在保证内存占用的前提下提高界面数据加载的效率，从而提升查询系统的使用效率。

摘要： 本发明涉及数据加载系统和对应的方法（10），用于将软件配置（12）加载到飞机（30）的电子组件（38，39，40，41，…），所述数据加载系统包括数据库系统（11）和至少一个数据加载装置（14）。在所述数据库系统（11）上存储用于飞机（30）的至少一个机队的软件配置（12），并且所述数据加载装置（14）被配置为通过接口将已经从所述数据库系统（11）获取的分配的软件配置（12）加载到对应于该软件配置（12）的飞机（30）的数据总线（33）。所述数据加载装置（14）被配置为从数据库系统（11）中加载机队的所有飞机（30）的最新各个软件配置（12）并将这些存储在所述数据加载装置（14）上，该加载过程借助数据连接（16）发生在基于地面的存储位置（13）。

摘要： 本发明公开了一种Hive海量数据导入Hbase的数据加载系统及数据加载方法，所述数据加载方法包括如下步骤：步骤1，通过配制在大数据离线调度系统上的Spark‑HFile生成模块读取Hive表中的待加载数据，然后采用Apache Spark分布式计算引擎将Hive表中待加载数据根据Hive表字段与Hbase表的映射配置，生成Hbase表所需的底层HFile文件，并写入指定的HDFS目录；步骤2，通过配制在大数据离线调度系统上的HFile在线数据加载模块将步骤1中HDFS目录中的HFile文件在线加载到Hbase表中，提供面向用户的业务查询服务。

摘要： 本发明提供一种数据加载的优化方法、系统及数据库和页面数据加载系统，该方法包括：将数据库中的数据根据功能模块进行划分；在加载一个功能页面时，在页面中添加对应的功能模块，根据对应的功能模块的ID，获取功能模块中的所有参数；通过CGI处理将获取的所有参数封装成javascript中的一个数组对象；利用页面中的DOM对象访问数组对象，根据数组对象中的参数的ID完成页面的数据加载。本发明摒弃了现有页面碎片化的数据获取方式，将参数集中获取并封装成二维javascript数组对象，有效减少了遍历数据库获取数据的次数，在更改数据模型时只需更改数据库中的数据模型，有效降低了代码维护的复杂度，具有良好的可扩展性。

摘要： 本发明提供了一种数据加载装置和数据加载方法，该数据加载装置包括：指令解析模块，用于接收来自上位机的数据加载指令；数据分发模块，用于根据数据加载指令，将读取到的用于描述特征图的源数据分发给至少两个数据通道，以通过至少两个数据通道将源数据发送给数据整形模块；数据整形模块，用于根据数据加载指令对接收到的源数据进行整形处理获得整形数据，并将整形数据发送给乒乓读写控制模块；乒乓读写控制模块，用于针对每一个随机存取存储器，在与该随机存取存储器相对应的神经网络计算单元进行计算时，向该随机存取存储器中加载神经网络计算单元下次计算时所使用的整形数据。本方案能够提升神经网络计算的速度。

摘要： 本发明实施例涉及计算机技术领域，公开了一种数据加载方法、系统和工业控制计算机。其中，该方法包括：运行基本输入输出系统BIOS程序初始化系统；从第一存储器读取系统文件并把系统文件存储到内存中；读取统一装入引导器GRUB程序，引导系统内核；从内存中加载所述系统文件。采用本发明可以用于防止设备在突然断电、中病毒或用户误操作时，可能会导致磁盘上数据丢失或出错的问题，避免了文件系统损坏或数据丢失。

摘要： 本实用新型涉及数据传输电路设计领域，尤其是涉及一种数据加载装置及基于数据加载装置的航空电子装置。本装置针对现有技术中存在的问题，提供一种数据加载装置及基于数据加载装置的航空电子装置，用于安全启动航空电子装置正常工作，保证航空电子装置的安全性，使用灵活方便，具有很强的实用性。本装置包括数据加载装置、DSP芯片、FPGA芯片、第三总线接口芯片、第二存储器，所述数据加载装置与第三总线接口芯片一端双向通讯连接，所述第三总线接口芯片另一端、FPGA芯片、第二存储器分别与DSP芯片双向通讯连接。本装置主要应用于航空电子装置设计领域。