大容量数据

摘要： 我国北斗三号卫星导航系统的建立,解决了北斗一号和北斗二号报文通信功能存在的局限性,不仅通信速率得到了极大提升,而且通信容量扩充了近10倍,可支持语音、图片等大容量信息的传输,但是由于语音等信息容量较大,在传输之前需要经过压缩编码和数据分包重组,由于北斗卫星链路容易受到大气条件、电磁干扰等因素影响,容易出现数据丢包,因此,为了保证信息传输完全以及用户体验,需要丢包重传。基于此提出了一种新的北斗大容量通信丢包重传机制,不依赖于终端设备的存储容量,经试验验证成功率可达98.2%,适用于各行各业使用北斗发送大容量数据的应用。

摘要： 装甲车辆测试中经常产生大量测试数据用于反映车辆设备或子系统的运行状态,传统车载测试系统在处理大容量数据时存在数据处理耗时较长和不能反映数据整体变化趋势等问题.针对上述问题,在分析传统大容量测试数据处理过程的基础上,提出Max-Min抽样、内存拷贝和多线程并行处理等改进方法.经过实际测试验证,使用改进后的方法在预处理大容量数据时耗时减少达60％以上,程序的运行效率得到极大提高,并且在显示大容量测试数据时能够准确反映数据的整体变化趋势,具有较高的实际应用价值.

摘要： 数据挖掘过程中,对数据文件进行数据抽取是构建数据仓库的重要过程.目前在抽取大容量数据文件时会出现很多局限性问题,如抽取操作出错、数据量无法自动匹配获取及数据库写入速度较低等.为了解决这些局限性问题,对大容量数据文件抽取算法进行了优化研究,提出并设计了一种大容量数据文件抽取算法.实验结果表明,该算法能够优化常规算法的效率,并具有数据容量自适应抽取及数据库快速写入等特点.

摘要： 当今，互联网已渗透到风电的各个环节，并深刻地改变着行业。借助先进的传感器、高速的传输线路和大容量数据存储装置等，可以在微观选址中实现低成本、快速、精准寻找最优质的风能资源，风电运行中则实现了设备的智能监测和智能控制，大大提高了机组的发电效率和可靠性。一些风电企业将互联网创新基因与产业需求相结合产生了非常好的效果。

摘要： 为了满足现代高速通信领域中高速大容量传输的要求，利用光纤进行数据传输成为了一种发展趋势，而SFP光电模块又是光纤通信中的一种必不可少的关键器件。设计了以Spartan－6 FPGA作为主控核心的、以高速串行技术作为支撑的、以SFP光电模块作为光纤通信接口的具有高速数据传输和大容量数据存储能力的数据存储器。实现了高速串行收发器的控制且使用误码率测试器对其进行了测试，并定制了SFP光纤链路通信的自定义协议。最后通过光纤链路测试和存储模块测试，该存储器以不低于1Gb／s的光纤数据能够进行高速存储。%In order to meet the requirements of high speed and large capacity transmission in the field of modern high speed communication ,the use of optical fiber to carry out data transmission is an inevitable trend of development .SFP optical module is an essential key device in optical fiber communication .A data memory with high speed data transmission and large capacity data storage capacity was designed ,which took Spartan-6 FPGA as the core of the main control ,the high speed serial technology as the support , and SFP optoelectronic module as the optical fiber communication interface .It achieved the high-speed serial transceiver (GTP)con-trol and the test with the use of error rate tester (IBERT),and customized custom protocol SFP optical fiber communication link .Fi-nally,though the fiber link test and storage module test ,the optical fiber data can be stored in high speed of no less than 1 Gb/s.

摘要： The link of the high-frequency above GHz or laser will lead to the data capacity increases of the link over DTN (Delay Tolerant Network),and the intermittent interruption of large-capacity data link will affect the data transmission efficiency seriously.To cope with the problems of that large-capacity data link occur interruption frequently and the remaining buffer space of nodes changes acutely,the congestion prediction mechanism and the interrupted node determination mechanism are added to DTN routing algorithms,and define the penalty function by the congestion degree and the result of the determination to relieve the congestion caused by link interruption. Simulation results show that this mechanism can improve the transmission performance of DTN network effectively.%激光或GHz以上的高频链路的应用将导致DTN(Delay Tolerant Network)网络链路数据容量的增大，大容量数据链路的间歇性中断将严重影响数据的传输效率。针对DTN网络中大容量数据链路频繁中断和节点的剩余缓存空间剧烈变化的问题，提出在DTN路由算法上增加拥塞状态预测机制和易中断链路判定机制，根据节点的拥塞程度定义惩罚函数，缓解链路中断和节点资源受限导致的拥塞。仿真结果表明，该机制可以有效提高DTN网络的传输性能。

摘要： 针对大容量数据曲线绘制中的数据提取问题,提出“逐块读取”→“拼接数据”→“提取数据”,最后达到“完整提取”的方式,可以实现对超过4 GB数据文件的处理.当数据量较大时,常规的绘图方法会暴露出效率低、绘图区域闪烁的问题.利用Polyline函数优化绘图程序,提高了绘图效率;采用双缓冲法解决绘图区域闪烁的问题,并进一步缩短了绘图时间.

摘要： 借鉴了云存储的的基本思想与技术平台，针对大容量数据的海量和访问频度不同的特点，提出多层块区概念，并研究基于此的数据存储方法。对数据访问性能的定量分析表明，合理划分块区能够得到比传统存储方法更好的访问效率。最后阐述了块区设置的思路和方法。研究结果可为存储系统的设计提供参考。%Based on the ideology and technical platform of cloud -storage, aiming at the characteristics of mass data which are quite large and are accessed with different frequency,the concept of multi -level block is brought up and the storage method is put forward as well.The quantitative analysis for access performance of the data shows that dividing blocks reasonably can get better access efficiency than classic method does.Some principles are demonstrated over block setup and the conclusions can provide reference for the design of storage system.

摘要： 有道是“有备无患”，及时对身边的重要数据进行备份，可以在最大程度上保护数据自身的安全。但绝大多数用户在过去都习惯于按照常规方法，对一些大容量数据进行简单复制备份，不但操作效率低下，而且在长时间的备份过程中，还面临着突发因素干扰引起的数据丢失风险。

摘要： 本文主要介绍了数据高频繁访问优化处理在大坝安全信息系统中的应用。在大多数的数据库查询中存在着大量高频繁使用的SQL语句,仅仅只是查询的值不同而已。但对于数据库来说,这些语句将被逐条解析后执行,如果采用参数化查询将大大提高数据库缓冲执行效率,加速系统与数据库交互的速度。文章提出在大坝安全系统中使用参数化优化高频繁处理数据的方案，并进行讨论和验证，最后对数据库参数化模块设计及实施,得到了满意的优化解决方案。

摘要： 本文主要介绍了数据高频繁访问优化处理在大坝安全信息系统中的应用。在大多数的数据库查询中存在着大量高频繁使用的SQL语句,仅仅只是查询的值不同而已。但对于数据库来说,这些语句将被逐条解析后执行,如果采用参数化查询将大大提高数据库缓冲执行效率,加速系统与数据库交互的速度。文章提出在大坝安全系统中使用参数化优化高频繁处理数据的方案，并进行讨论和验证，最后对数据库参数化模块设计及实施,得到了满意的优化解决方案。

摘要： 本文主要介绍了数据高频繁访问优化处理在大坝安全信息系统中的应用。在大多数的数据库查询中存在着大量高频繁使用的SQL语句,仅仅只是查询的值不同而已。但对于数据库来说,这些语句将被逐条解析后执行,如果采用参数化查询将大大提高数据库缓冲执行效率,加速系统与数据库交互的速度。文章提出在大坝安全系统中使用参数化优化高频繁处理数据的方案，并进行讨论和验证，最后对数据库参数化模块设计及实施,得到了满意的优化解决方案。

摘要： 本文主要介绍了数据高频繁访问优化处理在大坝安全信息系统中的应用。在大多数的数据库查询中存在着大量高频繁使用的SQL语句,仅仅只是查询的值不同而已。但对于数据库来说,这些语句将被逐条解析后执行,如果采用参数化查询将大大提高数据库缓冲执行效率,加速系统与数据库交互的速度。文章提出在大坝安全系统中使用参数化优化高频繁处理数据的方案，并进行讨论和验证，最后对数据库参数化模块设计及实施,得到了满意的优化解决方案。

摘要： 本文主要介绍了数据高频繁访问优化处理在大坝安全信息系统中的应用。在大多数的数据库查询中存在着大量高频繁使用的SQL语句,仅仅只是查询的值不同而已。但对于数据库来说,这些语句将被逐条解析后执行,如果采用参数化查询将大大提高数据库缓冲执行效率,加速系统与数据库交互的速度。文章提出在大坝安全系统中使用参数化优化高频繁处理数据的方案，并进行讨论和验证，最后对数据库参数化模块设计及实施,得到了满意的优化解决方案。

摘要： 本文主要介绍了数据高频繁访问优化处理在大坝安全信息系统中的应用。在大多数的数据库查询中存在着大量高频繁使用的SQL语句,仅仅只是查询的值不同而已。但对于数据库来说,这些语句将被逐条解析后执行,如果采用参数化查询将大大提高数据库缓冲执行效率,加速系统与数据库交互的速度。文章提出在大坝安全系统中使用参数化优化高频繁处理数据的方案，并进行讨论和验证，最后对数据库参数化模块设计及实施,得到了满意的优化解决方案。

摘要： 本发明公开了一种磁盘数据同步过程中的数据缓存方法及系统，涉及磁盘数据缓存领域。本发明系统包括：数据块索引模块，将磁盘数据划分为多个数据块，并根据所划分的数据块的位置为各数据块分配唯一的块索引；数据块比对模块，判断当前变化的数据块的块索引是否处于已经同步的数据块的块索引范围内，若当前变化的数据块的块索引处于已经同步的数据块的块索引范围内，则确定当前变化的数据块为有效变化的数据块；数据缓存模块，以磁盘数据块信息方式缓存所述数据块比对模块确定的有效变化的数据块。本发明技术方案在磁盘上大数据量变化时，可以在有效数据不流失的基础上，提高数据管理系统中数据保护的效率，提高数据保护的可靠性，保证数据完整性。

摘要： 本发明实施例公开了一种大容量数据库卡的事务管理方法、大容量数据库卡及系统，涉及智能卡技术领域，解决了现有技术中由于事务管理过程中出现频繁的读写操作，对内存和外存分别进行备份，占用大量的内存与外存资源的问题。所述大容量数据库卡事务管理方法包括：在进行事务中一系列操作时，如果出现更新动作，判断更新动作是否为所述一系列操作的最后操作，如果所述更新动作为所述一系列操作的最后操作，完成所述更新动作后将内存中的内存数据回写到外存，否则继续执行所述一系列操作中未执行的操作。本发明适用于内外存资源有限的智能卡。

摘要： 本发明公开了一种大容量数据记录器数据回读设备，包括：通过总线底板连接3U标准接口的主控板、CPCIe接口适配板、10Gb以太网接口板、PCIe切换板以及电源模块，CPCIe接口适配板与外部存储体连接，10Gb以太网接口板连接万兆以太网，PCIe切换板实现多路PCIe接口板的切换工作，电源模块为整个数据回读设备供电；主控板通过对应CPCIe接口适配板加载存储体，生成可以被席位终端用户访问的数据文件系统，最终通过10Gb以太网接口板的万兆以太网接口连接存储网络将数据文件保存到存储服务器中。本发明可以满足多种存储体单元的连接与处理，并提供用户交互与高速数据传输功能，将数据文件转存到存储服务器以便后续处理。

摘要： 本发明公开了一种内存数据库的大容量数据存取方法及装置，其中，所述方法包括：建立数据存盘所需的参数标识；分配存盘注册表，将所述参数标识注册到分配的磁盘注册表中；根据所述存盘注册表，将数据记录加载到指定位置的内存数据表中；所述装置包括：参数标识建立单元、分配注册单元和数据记录加载单元；本发明所述方法及装置通过内存数据库的序列，使得内存数据的检索定位快速方便，能够满足系统的实时性，大量数据的要求，提高了内存数据库的存取性能和可靠性。

摘要： 本发明实施例公开了一种大容量数据库卡的事务管理方法、大容量数据库卡及系统，涉及智能卡技术领域，解决了现有技术中由于事务管理过程中出现频繁的读写操作，对内存和外存分别进行备份，占用大量的内存与外存资源的问题。所述大容量数据库卡事务管理方法包括：在进行事务中一系列操作时，如果出现更新动作，判断更新动作是否为所述一系列操作的最后操作，如果所述更新动作为所述一系列操作的最后操作，完成所述更新动作后将内存中的内存数据回写到外存，否则继续执行所述一系列操作中未执行的操作。本发明适用于内外存资源有限的智能卡。

摘要： 高精度高速数据采集模块，采集短时间或瞬时的信号数据（即高占空比的数据采集，大多数时间是不采集数据的），高速采集模块能在短时间内产生大量数据，本发明公开了一种低速网络通讯方法传输数据采集模块高占空比高速数据采集的大容量数据不丢失到服务器的方法。包括：高速数据采集模块、低速网络通讯模块，所述高速数据采集模块包括调理/滤波电路、高精度模数转换器、中央处理器和复杂的嵌入式软件。所述传感器将接收到的信号转化为电信号，并进行放大后传送给所述高速数据采集模块，所述高速数据采集模块完成信号调理、滤波、模数转换、信号提取，进而中央处理器和复杂的嵌入式软件进行计算和处理。数据存储在所述缓冲存储器或所述主存储器，进而发送到所述低速网络通讯模块，在网络畅通时，通过Lora、NB‑IOT、Zigbee、CAT1、WiFi等低速网络通讯方式持续不断上传到服务器。

摘要： 本发明公开了一种大容量数据存储设备及其数据销毁方法，包括接口模块、易失性存储模块和非易失性存储模块、触发模块、处理器以及电源模块，其中所述接口模块传输的数据主要由非易失性存储模块存储，剩余部分数据由所述易失性存储模块存储；通过接收触发模块发出的触发信号，处理器控制内置电源模块中断对易失性存储模块的供电，这样即使非易失性存储介质中的数据被恶意恢复，由于数据缺失也是很难被破解出来的，这样就可以很好地解决安全性和容量限制的问题。

摘要： 本发明公开了一种大容量数据记录器数据回读设备，包括：通过总线底板连接3U标准接口的主控板、CPCIe接口适配板、10Gb以太网接口板、PCIe切换板以及电源模块，CPCIe接口适配板与外部存储体连接，10Gb以太网接口板连接万兆以太网，PCIe切换板实现多路PCIe接口板的切换工作，电源模块为整个数据回读设备供电；主控板通过对应CPCIe接口适配板加载存储体，生成可以被席位终端用户访问的数据文件系统，最终通过10Gb以太网接口板的万兆以太网接口连接存储网络将数据文件保存到存储服务器中。本发明可以满足多种存储体单元的连接与处理，并提供用户交互与高速数据传输功能，将数据文件转存到存储服务器以便后续处理。

摘要： 本发明实施例公开了一种大容量数据库卡及其数据通信方法，涉及智能卡技术领域，解决了现有技术中由于大容量数据库卡仅实现对数据库信息进行插入、删除、修改、查询等基本功能操作，而缺少特殊的功能，使得对数据库信息管理不灵活的问题。所述大容量数据库卡的数据通信方法包括：获取应用系统发送的基于SQL的控制指令，所述控制指令包括控制关键字和控制内容；根据所述控制关键字调用与所述控制指令相对应的函数；根据所述控制指令中的控制内容以及所述控制指令相对应的函数对大容量数据库卡进行管理。本发明适用于智能卡领域。

摘要： 一种大容量数据采集装置及其数据传输方法，涉及板间数据传输技术领域，所解决的是在简化电磁兼容设计的同时，提高数据实时性的技术问题。该装置包括一块数据采集主板和多块扩展子板，所述数据采集主板上设有CPU和FPGA，每块扩展子板均设有一三线串行通信接口，所述FPGA设有对应各扩展子板的多个串并转换模块及多个存储模块；FPGA定时向各扩展子板的三线串行通信接口发送使能信号和时钟信号，各扩展子板按照时钟信号的时序将数据发送给对应的串并转换模块，由串并转换模块转换为并行数据后存入对应的存储模块中；CPU通过访问各存储模块读取各扩展子板的数据。本发明提供的装置及方法，能简化电磁兼容设计，且数据实时性高。