Hadoop

摘要： 学生行为数据能够全面、系统地反映大学生的行为规律和特征,对高校教育管理、学生自身发展具有重要的意义。面对海量的校园数据,如何从中有效挖掘有价值的信息已成为提升学生信息管理水平的重要内容。基于此,本文运用大数据处理和分析技术,针对高校当前海量数据进行采集、分析,并结合高校学生行为特征构建基于Hadoop的分布式计算平台。

摘要： 针对现有命名实体识别存在数据处理效率低的问题,该文提出了一种并行化Block-BAC模型。提出了前处理中的数据分块优化算法,并基于Hadoop实现并行化的运作机制;采用局部注意力优化机制,有效减少模型的隐层节点。与已有的BERT-BAC模型相比,在确保较高F;值(精确率和召回率的调和平均数)的情况下,该模型训练时间和实体识别时间分别缩短60.36%、39.43%,具有更广泛的实用性。

摘要： 校园安全关系到学生的健康成长,与每个师生、家长和社会都有着密切的关系,保证校园的安全是每个学校及教育工作者应有的责任。校园的出入口作为校园的第一道防护关卡,需要无时无刻地记录每一位出入人员的动向,但如果依靠人力去实现,实施起来会带来极大的困难,如果借助于人脸识别技术,则能极大地减少校园安保人员的工作量,同时提高对出入人员身份验证的工作效率。基于已经发展并且成熟的人脸识别技术,结合大数据的主流框架——Hadoop来提升人脸识别的效率,使用大数据技术进行大范围人脸数据的管理,从而更好地将其应用到校园安保工作,对校园安全管理的优化具有十分重要的意义。

摘要： 针对现代信息技术如何与具体课堂融合提升传统课堂教学问题,提出基于SPOC与对分课堂构建一种新型线上线下混合式教学模式,该教学模式取各种典型传统教学模式优点并结合互联网信息技术,以超星学习通平台为工具,实现在"以教为中心"和"以学为中心"之间的平衡。并以Hadoop大数据技术课程"社交网站日志大数据的处理与分析专题"为例开展实践,实施结果表明能够从线上和线下两方面增强学生接受度和认可度,加强大学生学习驱动力,提高课堂教学质量。

摘要： 为解决传统的关系型数据库系统中农业数据的存储能力不足及管理困难的问题,本文提出一种基于微服务架构的农业数据云存储平台,系统基于SpringCloud微服务架构设计,服务模块功能单一,边界明确,服务之间相互解耦,可扩展性强,提升了开发和维护效率。采用Hadoop分布式集群,可实现海量农业数据的存储。该系统测试的结果表明,所构建的云存储平台性能稳定,可对农业大数据的存储和管理方法提供参考。

摘要： 针对长时间序列、多站点和多气象要素的大数据量查询需求,现有的CIMISS(China Integrated Meteorological Information Sharing System)存在支撑能力严重不足的问题。本研究使用广西气象站点建站至今的历史地面气象记录月报表数据资料和现有Hadoop集群物理资源,重新设计数据ETL流程,构建Parquet格式数据集并完成HDFS转换存储;嵌入Spark的Broadcast广播变量,优化Spark集群执行参数,提高了集群的处理并行度和SparkSql的关联查询效率。结果表明,Parquet格式数据集的最高压缩比超过95%,一次性大数据量的查询效率比原来提升了1~5倍,并支持高并发访问,为各类相关预报预测业务的开展提供了有效的技术支撑。

摘要： 随着现代人越来越喜欢用图像记录生活,每日上传至互联网的图像都呈爆炸式增长。公安部门可以利用海量的图像数据实现网络追凶,但现实中摄像头采集到的图像以及上传至网络的图像,并非都是统一状态的图像,而是包含各种状态的图像,例如不同表情、不同动作、不同角度、不同程度的角度偏斜,不同年龄,以及有背景干扰的图像,其中部分图像会因使用的设备不同,导致上传至网络的图像既有灰白图像又有彩色图像。这些多模态图像为人脸的准确识别增加了难度,要将实际中采集到的图像从如此复杂且规模庞大的数据集中匹配与识别出来,是一件十分困难的事。针对以上问题,提出将改进后的开源人脸识别库,即face_recognition库与Hadoop平台中的MapReduce进行结合,在确保识别准确率的前提下提升人脸检测速度,实现对大规模、多模态图像的有效识别。实验证明,本文的方法能够有效解决大规模多模态图像的识别问题,实时性高,实用性强。

摘要： 随着互联网技术与建筑技术的发展,需监测与采集的建筑数据量越来越大、类型也越来越复杂,传统的数据存储与分析方式正面临着挑战。利用大数据技术构建建筑能耗大数据平台对建筑能耗相关数据进行存储,并基于建筑能耗大数据平台利用R语言建立多元线性回归模型、时间序列模型、神经网络模型对不同类型的建筑能耗数据进行分析研究。

摘要： 针对无人船测试过程中数据量大、数据源多、数据记录分散等问题,提出一种面向无人船测试的多源数据HDFS存储优化方法。首先设计基于Hadoop的无人船测试云平台架构,分析无人船测试云平台的信息流;接着提出无人船测试多源数据容错机制及重复数据删除策略,优化无人船测试多源数据HDFS存储;最后对无人船测试多源数据进行HDFS存储实验。结果表明,Hadoop集群优化后比默认系统存储效率提升约20%,可满足无人船测试多源数据的存储需求。

摘要： 近年来,随着我国网络信息技术的快速发展,个性化推荐系统的应用范围也越来越广,为人们的工作和生活也带来了很多的便捷。许多公司都开始在网上发布招聘信息,人们也在网络上发布各种各样的求职信息,招聘求职的信息出现了大幅度增长,单一的岗位搜索功能已经没有办法满足招聘公司和求职者多元化的需求。该文对于岗位平台推荐系统进行深入分析,针对传统职位推荐系统中存在的问题,引入全新的过滤推荐技术,设计出个性化岗位推荐系统,以供借鉴。

摘要： 地震层析是利用大量地震观测数据反演研究区域三维结构的一种方法.菲涅耳带层析成像考虑波频率的影响,具有较 高的分辨率,但所需的存储空间和计算量很大.本文基于MapReduce 编程模型,利用开源hadoop 软件设计并实现了具备高扩 展性、可容错的菲涅耳带地震层析成像并行算法.实验表明,在集群系统上,此算法可靠稳定,节点数较多时仍能保持较高的 加速比.

摘要： 针对传统的相似度计算方法在海量信息处理过程中暴露出的数据处理规模限制和性能不足等方面的瓶颈问题，本文以非结构化文档为研究对象，提出一种基于HADOOP 分布式环境，结合Hive数据处理平台和POSTGRESQL 关系型数据库的文档相似度计算方法，并给出关键技术思路、具体实现步骤和实证研究，通过研究证明Hive SQL 语言可有效简化分布式数据处理复杂性但实时性有待改进。

摘要： 针对传统的相似度计算方法在海量信息处理过程中暴露出的数据处理规模限制和性能不足等方面的瓶颈问题，本文以非结构化文档为研究对象，提出一种基于HADOOP 分布式环境，结合Hive数据处理平台和POSTGRESQL 关系型数据库的文档相似度计算方法，并给出关键技术思路、具体实现步骤和实证研究，通过研究证明Hive SQL 语言可有效简化分布式数据处理复杂性但实时性有待改进。

摘要： 针对传统的相似度计算方法在海量信息处理过程中暴露出的数据处理规模限制和性能不足等方面的瓶颈问题，本文以非结构化文档为研究对象，提出一种基于HADOOP 分布式环境，结合Hive数据处理平台和POSTGRESQL 关系型数据库的文档相似度计算方法，并给出关键技术思路、具体实现步骤和实证研究，通过研究证明Hive SQL 语言可有效简化分布式数据处理复杂性但实时性有待改进。

摘要： 针对传统的相似度计算方法在海量信息处理过程中暴露出的数据处理规模限制和性能不足等方面的瓶颈问题，本文以非结构化文档为研究对象，提出一种基于HADOOP 分布式环境，结合Hive数据处理平台和POSTGRESQL 关系型数据库的文档相似度计算方法，并给出关键技术思路、具体实现步骤和实证研究，通过研究证明Hive SQL 语言可有效简化分布式数据处理复杂性但实时性有待改进。

摘要： 为有效地应用各类先进的信息技术进行气象信息化建设，加强气象信息的收集和传输能力，加强气象资源共享能力，本文提出在气象信息网络中构建云计算平台。通过对气象信息系统的现状进行分析，以及对云计算技术的研究，我们得出了气象信息系统应用云计算技术的可行性以及可获得的改进，提出了构建云计算气象信息系统的方法以及气象信息系统应用云计算之后的新功能和特性，分析使用开源云计算平台Hadoop 架设私有云系统的关键技术和步骤，最后对以后云计算在气象信息系统中的实际应用进行了展望。

摘要： 为有效地应用各类先进的信息技术进行气象信息化建设，加强气象信息的收集和传输能力，加强气象资源共享能力，本文提出在气象信息网络中构建云计算平台。通过对气象信息系统的现状进行分析，以及对云计算技术的研究，我们得出了气象信息系统应用云计算技术的可行性以及可获得的改进，提出了构建云计算气象信息系统的方法以及气象信息系统应用云计算之后的新功能和特性，分析使用开源云计算平台Hadoop 架设私有云系统的关键技术和步骤，最后对以后云计算在气象信息系统中的实际应用进行了展望。

摘要： 为有效地应用各类先进的信息技术进行气象信息化建设，加强气象信息的收集和传输能力，加强气象资源共享能力，本文提出在气象信息网络中构建云计算平台。通过对气象信息系统的现状进行分析，以及对云计算技术的研究，我们得出了气象信息系统应用云计算技术的可行性以及可获得的改进，提出了构建云计算气象信息系统的方法以及气象信息系统应用云计算之后的新功能和特性，分析使用开源云计算平台Hadoop 架设私有云系统的关键技术和步骤，最后对以后云计算在气象信息系统中的实际应用进行了展望。

摘要： 为有效地应用各类先进的信息技术进行气象信息化建设，加强气象信息的收集和传输能力，加强气象资源共享能力，本文提出在气象信息网络中构建云计算平台。通过对气象信息系统的现状进行分析，以及对云计算技术的研究，我们得出了气象信息系统应用云计算技术的可行性以及可获得的改进，提出了构建云计算气象信息系统的方法以及气象信息系统应用云计算之后的新功能和特性，分析使用开源云计算平台Hadoop 架设私有云系统的关键技术和步骤，最后对以后云计算在气象信息系统中的实际应用进行了展望。

摘要： 为有效地应用各类先进的信息技术进行气象信息化建设，加强气象信息的收集和传输能力，加强气象资源共享能力，本文提出在气象信息网络中构建云计算平台。通过对气象信息系统的现状进行分析，以及对云计算技术的研究，我们得出了气象信息系统应用云计算技术的可行性以及可获得的改进，提出了构建云计算气象信息系统的方法以及气象信息系统应用云计算之后的新功能和特性，分析使用开源云计算平台Hadoop 架设私有云系统的关键技术和步骤，最后对以后云计算在气象信息系统中的实际应用进行了展望。

摘要： 本发明公开了一种Hadoop分布式文件系统的副本存取方法、装置和Hadoop分布式文件系统，以均衡系统负载从而提高读/写性能。所述方法包括：获取Hadoop分布式文件系统中数据节点的节点负载信息；在存放副本时，根据所述节点负载信息，将同一数据块的副本存放在客户端所在数据节点或者负载最低的数据节点；在读取所述副本时，从负载最低的数据节点和/或与客户端距离最小的数据节点读取。本发明提供的方法充分考虑到了各个数据节点的节点负载信息，因而能够均衡系统负载，提升读写操作的性能。

摘要： 本发明公开了一种基于Hadoop集群的数据处理方法、装置、设备及存储介质，所述基于Hadoop集群的数据处理方法，包括：基于相同的软硬件资源和配置规则，对至少两个Hadoop集群进行部署；其中，至少两个Hadoop集群异地部署，且两个Hadoop集群之间的距离大于距离阈值；使用调度平台对至少两个Hadoop集群同步完成数据导入和数据加工；对至少两个Hadoop集群的运行状态进行监测，确定可用Hadoop集群；从可用Hadoop集群中确定目标Hadoop集群，以对数据需求方提供数据服务。通过上述技术方案，提升了Hadoop集群对外部环境变化的适应能力，增强了Hadoop集群对外提供数据服务的稳定性。

摘要： 本申请实施例属于大数据领域，涉及一种针对Hadoop的存储清理方法、装置、计算机设备及存储介质，方法包括：获取SQL执行日志；对SQL执行日志进行解析，得到Hadoop中各数据表的历史访问信息；基于历史访问信息生成清理策略，其中，清理策略为Hadoop中各类数据表所对应的清理策略；根据清理策略对Hadoop中的各数据表分别进行清理，以对Hadoop进行存储清理；基于历史访问信息生成清理反馈信息，并将清理反馈信息发送至预设终端，其中，清理反馈信息用于对Hadoop进行存储优化。此外，本申请还涉及区块链技术，SQL执行日志可存储于区块链中。本申请对Hadoop进行全面的存储清理，减小了Hadoop存储资源的浪费。

摘要： 本发明公开了一种基于Hadoop的并行化BP神经网络的能耗预测方法，该方法将现在主流的集成学习相关算法与Hadoop分布式平台结合，通过并行计算的方式提高模型建立速度，通过建立多个模型甚至多种不同模型组合的方法来提高算法的泛化能力。本发明能够实现地铁未来能耗的精确预测，提高预测算法的处理能力、计算速度和泛化能力，通过对未来周期的能耗进行预测，优化地铁的控制策略和日常运行，对地铁能效管理、能源分配提供可靠的数据支持。

摘要： 本申请实施例提供了一种Hadoop集群的资源分配方法、装置、设备及介质，涉及人工智能技术领域，包括：分别对Hadoop集群的每个任务队列的任务队列信息进行特征提取，得到每个任务队列的特征向量，调用资源预测模型分别对每个任务队列的特征向量进行预测处理，得到每个任务队列的资源预测结果，根据每个任务队列的资源预测结果确定每个任务队列的目标资源，并根据每个任务队列的目标资源进行资源分配。可以快速精准的对Hadoop集群中各个任务队列进行资源分配。本申请可以涉及区块链技术，如可将任务队列的目标资源写入区块链中。本申请还可以涉及数字医疗技术领域，如可将Hadoop集群用于执行医疗领域的任务。

摘要： 本发明公开了一种基于Hadoop的无人艇自主航行性能测试系统与方法，包括：智能浮标，搭载传感设备和通信设备，环境信息感知及与岸基端通信，即无人艇的航行数据通过携带的传感设备采集，经通信设备将数据传输至岸基端；上位机，本地数据的存储以及通过Flume将测试场监测数据和无人艇航行数据上传至Hadoop集群；Hadoop平台，通过数据写入功能将测试场检测数据和无人艇航行数据写入Hbase数据库，并利用Map/Reduce框架完成数据处理和评估，实现大量数据的存储和处理，为无人艇自主航行质量评估提供数据存储和算力保障；虚拟仿真平台，将无人艇虚拟模型导入已创建的海洋环境，输入无人艇的航迹规划信息，通过监测无人艇在虚拟海洋环境中的航迹偏移量来评估该无人艇的自主航行性能；后端显示和控制设备，对评价结果的可视化和控制指令的下达。

摘要： 本发明公开了一种基于Hadoop的车辆大数据处理方法和系统，涉及车联网技术领域，本发明包括车辆大数据处理方法和车辆大数据处理系统。本发明通过算法的改进，通过提出的算法对样本集的更新策略进行改进，并且利用样本集与当前帧的对比获取掩码，采用算法求出前景提取的动态阈值，用该阈值通过当前帧与背景帧做差分获取前景图像，提出的算法能够有效改善运动车辆中出现的阴影，并且较好的适应光照突变和图像抖动，使得对车辆的状态识别效果更好，方便人员根据Hadoop云平台显示的信息对车辆进行智能辅助控制，提高了整个系统对数据处理的准确性，便于人员使用；本发明通过系统的设置，提升了整个系统的鲁棒性、智能性、灵活性、伸缩性和高效性。

摘要： 本发明公开了基于Hadoop大数据平台分布式电源自动告警方法及装置，涉及分布式电源告警技术领域，包括以下步骤：S1，获取分布式电源数据，通过告警分析算法得到分布式电源的告警数据；S2，通过告警决策分析算法判断告警数据为异常告警数据还是正常告警数据，将告警决策分析算法的计算结果发送至客户端；通过此种设计达到对一系列电能质量标准自动进行校验、校准，并将告警分析结果再次通过告警决策分析模块，目的是决策自动告警的正确性，最终生成自动告警结果，并将自动告警结果主动推送到分布式客户端进行可视化展示，达到依托Hadoop大数据平台，为用户自动分析、自动生成异常告警信息的目的。

摘要： 本发明公开了一种批量启动hadoop集群的方法、系统及介质，该方法包括：接收启动命令，并将启动命令并行发送到多个hadoop集群，对各个hadoop集群中的namenode节点进行启动；监测多个hadoop集群中的namenode节点中是否存在启动失败的异常节点，若存在则输出异常提示信息；在异常排除后，若接收到再次启动命令，则基于再次启动命令，对异常节点进行启动，直到多个hadoop集群中的namenode节点均启动成功。本发明确保各个hadoop集群中的各个namenode优先启动，节省了等待各个hadoop集群中所有节点的启动时间，有利于各个hadoop集群整体上处理效率的提高。

摘要： 本发明涉及大数据hadoop及相关内容领域，具体提供了一种Hadoop大数据集群的升级方法，先将每台服务器上的HDP Hadoop的已安装部分备份，再通过嵌入版本较高的社区Hadoop程序，在保留原有HDFS中的数据情况下，实现Hadoop版本升级和其中数据存储的稳定过度。与现有技术相比，本发明的可以使使用者无需操作具体步骤，仅需配置简单参数，即可执行使用；在不影响Hadoop集群中的数据的情况下，平稳的实现Hadoop版本的升级；无需安装额外工具，在Linux环境下即可使用，提供的备份功能，可以防止因为升级失败而无法恢复的影响。