基于人工智能的区域温室气体排放清单核算系统与方法

技术领域

本发明涉及环境保护技术领域，具体涉及基于人工智能的区域温室气体排放清单核算系统与方法。

背景技术

以区域为单位计算其在社会和生产活动中各环节直接或者间接排放的温室气体，称作编制温室气体排放清单。通过编制温室气体排放清单可以达到以下目的：1.有利于对温室气体排放进行全面掌握与管理；2.提高社会形象；3.对于确认减排机会及应对气候变化决策起重要参考作用；4.发掘潜在的节能减排项目及CDM项目；5.积极应对国家政策及履行社会责任；6.为参与国内自愿减排交易做准备。

目前，以区域为单位的温室气体排放清单的编制方法是区域清单编制机构人员根据年度温室气体排放清单编制要求，依据《IPCC国家温室气体清单指南》采用手工统计填报的方法编制本区域的温室气体排放清单。编制过程主要依赖于统计局、企业温室气体排放报送数据等相关填报数据，通过温室气体清单核算方法，对能源活动、工业生产过程、农业活动、土地利用变化与林业、废弃物处理五大领域的温室气体排放情况进行编制。

温室气体排放清单编制工作尚未利用信息化手段进行编制主要有两点，一方面，温室气体排放清单编制方法起始于2014年，当时的人工智能技术发展还不够成熟。另一方面，温室气体编制具有很强的跨专业融合特性，具备环保专业知识和人工智能技术为一体的融合性人才极为稀缺。

所以现阶段编制方法还是主要停留在手工统计填报和编制的阶段，需要耗费大量人力物力并且效率低。且温室气体排放清单数据仅有年度数据，数据时效性差，导致无法及时根据碳排放清单现状进行碳考核任务规划与战略调整。

发明内容

本发明意在提供基于人工智能的区域温室气体排放清单核算系统，能够取代手工统计填报和编制温室气体排放清单的方式，提高了效率，节省了人力物力，编制即时更新的月度区域温室气体排放清单，时效性高，并基于人工智能技术进行预测，准确率高，具有参考价值。

本发明提供的技术方案为：基于人工智能的区域温室气体排放清单核算系统，包括数据采集模块、数据存储模块、数据处理模块、数据核算模块、结果校正模块、查询统计模块、分析预警模块；所述数据采集模块用于采集原始统计数据，所述数据存储模块用于对数据采集模块获取的数据进行存储；所述数据处理模块用于对数据采集模块存储的原始统计数据进行规整处理；所述数据核算模块用于对数据处理模块处理后的数据，根据公式对数据按照月份进行碳排放计算；所述结果校正模块用于对数据核算模块计算的碳排放温室气体数据结果进行结果校正；所述查询统计模块用于对数据处理的结果，提供结果查询功能，并按照不同维度统计排放情况；所述分析预警模块用于根据碳排放预测模型对未来月份碳排放量预测，对预测超出碳考核目标的区域进行预警。

本发明的工作原理及优点在于：数据采集模块对需要的原始统计数据进行采集；数据存储模块存储采集的统计数据；数据处理模块将原始统计数据按照规范进行规整处理，使其适合进行下一步计算；数据核算模块对处理后的数据按照公式进行碳排放计算，得出计算结果；结果校正模块对计算结果进一步校正，防止出现异常计算结果的情况；查询统计模块则对数据处理的结果提供查询功能，方便使用者快速查找需要的数据，并按照不同维度统计排放情况，生成直观的排放数据；分析预警模块对计算数据根据碳排放预测模型对未来月份碳排放量预测，对预测超出碳考核目标的区域进行预警。首先通过数据采集模块、数据存储模块和数据处理模块对原始统计数据进行了采集、存储、规范化处理的步骤，取代了手工统计和填报的方式，效率高，节省了人力物力。数据核算模块、结果校正模块和查询统计模块分月份对碳排放数据结果进行计算，并进行校正，比人工计算效率高，不会出错，减小了工作量，并且分月度核算相比于人工只能按照固定年度进行核算时效性更高，查询统计模块对计算结果进行统计汇总，使用者能够直观了解到区域的碳排放情况。分析预警模块基于人工智能进行对未来碳排放量预测和预警，实现了较高的准确率，供管理者做决策支持。

进一步，所述数据采集模块采集的原始统计数据包括各行业统计年鉴和各地区统计年鉴。

根据《省级温室气体清单编制指南(试行)》中规定的活动水平数据源，采集五大领域各个领域所需的原始数据，主要来源于统计局的各行业统计年鉴和各地区统计年鉴。

进一步，所述数据采集模块包括首批全量采集单元和定期增量采集单元，所述首批全量采集单元用于对统计数据进行首次全批量采集，所述定期增量采集单元用于对统计数据进行定期批量采集。

数据采集方式主要通过爬虫技术实现，分为首批全量采集和定期增量采集，对统计数据先进行首次全批量采集，在统计局更新数据后再对统计数据进行定期批量采集，实现了统计资料的同步更新。

进一步，所述数据存储模块包括非结构化数据存储单元和结构化数据存储单元，所述非结构化数据存储单元采用分布式文件存储技术对非结构化数据进行存储，所述结构化存储单元采用关系型数据库对结构化数据进行存储。

采用分布式文件存储技术对非结构化数据进行存储，通过存储数据的原始格式保持数据的完整性、准确性、可溯性。采用关系型数据库对结构化数据进行存储，便于保持数据一致性，方便查询，易于维护。

进一步，所述数据处理模块包括OCR文字识别单元、NLP识别分类单元、数据整合单元；所述OCR文字识别单元用于将图片数据识别转化为表格数据，并存入关系型数据库；所述NLP识别分类单元用于将关系型数据库中表格数据按照编制指南格式进行归类整理；所述数据整合单元用于将数据整合统一存储到结构化数据表中，并对异常数据进行清洗，对缺失数据进行填补，对数据的格式类别及单位按照编制指南进行规整。

统计局发布的数据大多数为图片数据展示表格数据非结构化数据，获取存储端各统计局数据，包含表格图片数据、文本图片数据、结构化表数据。利用OCR文字识别各统计局表格数据、文本数据，将图片转化为表格数据，存入关系型数据库中。利用NLP进行识别与分类，将关系型数据库各表数据按照编制指南格式进行归类整理。再对数据进行整合和处理，包括数据清洗、缺失填补、格式规整。

进一步，所述OCR文字识别单元识别的图片数据包括表格图片数据和文字图片数据，OCR文字识别单元采用CTPN算法对表格图片数据进行文字检测，采用CRNN算法识别模型得到文字结果，OCR文字识别单元将识别后的表格数据和文本数据分别存储入数据库；所述NLP识别分类单元采用Text-CNN算法将文本数据、表格数据、结构化表数据归类到对应的数据源。

OCR文字识别单元采用CTPN算法对表格图片进行单行文字检测，获得坐标。采用CRNN算法，识别模型得到文字结果，第一层卷积层使用CNN，作用是从输入图像中提取特征序列，第二层循环层，使用RNN，作用是预测从卷积层获取的特征序列的标签(真实值)分布。第三层转录层使用CTC，作用是把从循环层获取的标签分布通过去重整合等操作转换成最终的识别结果。NLP识别与分类采用Text-CNN算法,网络结构简单,计算量少,训练速度快。

进一步，所述结果校正模块包括数据异常校正单元和手工校正单元，所述数据异常校正单元通过数据异常校验代码对计算结果进行校正，所述手工校正单元通过手工校验结果录入程序进行校正。

结果校正过程中可以通过系统的数据异常校验代码自动运行校正，或者手工录入校正程序运行校正，方式选择灵活。

进一步，所述查询统计模块包括查询单元和统计分析单元，所述查询单元用于对数据处理的结果，提供查询历史温室气体清单数据功能，所述统计分析单元用于按照时间、领域、温室气体种类的维度统计排放情况，生成排放清单。

使用者可以对规整处理后的数据和各项计算结果进行查询，方便了使用者对历史数据的快速查找。并对排放情况按照时间、领域、温室气体种类的维度进行统计和分析，生成排放清单供使用者了解排放情况。

进一步，所述分析预警模块包括智能预测单元和预警单元；所述智能预测单元采用人工智能算法对各月份碳排放趋势数据进行训练，根据碳排放预测模型对剩余月份碳排放量预测；所述预警单元用于对预测超出碳考核目标的区域和超出当前季度或月份排放阈值的区域进行预警。

针对设定的区域碳考核目标，主要采用Python语言的Pytorch框架中时间序列分析算法对历年各月份碳排放趋势数据进行训练，根据碳排放预测模型对剩余月份碳排放量预测，得出预测结果，对预测超出碳考核目标的区域进行预警。同时人工对不同季度、月份碳排放量设置阈值，对超出当前季度、月份阈值的区域进行报警。

本发明还提供基于人工智能的区域温室气体排放清单核算方法，其特征在于：包括以下步骤：

S1：根据编制指南需要的数据来源，从统计局发布的官方数据采集统计数据，所述统计数据包括各行业统计年鉴和各地区统计年鉴，对统计数据先进行首次全批量采集，在统计局后续更新中再对统计数据进行定期批量采集；

S2：对采集的数据进行存储，对非结构化数据采用分布式文件存储技术对进行存储，对结构化数据采用关系型数据库对进行存储；

S3：根据编制指南对统计数据进行规整处理，通过OCR文字识别对图片数据转化为表格数据，通过NLP识别分类将关系型数据库中表格数据按照编制指南格式进行归类整理，然后将数据整合统一存储到结构化数据表中，并对异常数据进行清洗，对缺失数据进行填补，对数据的格式类别及单位按照编制指南进行规整；

S4：对数据规整处理后的数据，根据公式对数据按照月份进行碳排放计算；

S5：对计算的碳排放温室气体数据结果进行结果校正，并按月份生成排放清单；

S6：通过人工智能算法对各月份碳排放趋势数据进行训练，根据碳排放预测模型对剩余月份碳排放量预测。

附图说明

图1为本发明基于人工智能的区域温室气体排放清单核算系统实施例的模块框图；

图2为本发明基于人工智能的区域温室气体排放清单核算方法实施例的逻辑框图；

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例：

如图1所示，本实施例公开了基于人工智能的区域温室气体排放清单核算系统，包括数据采集模块、数据存储模块、数据处理模块、数据核算模块、结果校正模块、查询统计模块、分析预警模块。

所述数据采集模块包括首批全量采集单元和定期增量采集单元，所述首批全量采集单元用于对统计数据进行首次全批量采集，所述定期增量采集单元用于对统计数据进行定期批量采集。数据采集模块采用爬虫技术，对浏览器定期抓取数据，通过消息队列传递给数据存储端，具体流程如下：1、配置五大领域活动水平数据来源URL地址加入调度器；2、引擎从调度器中循环链接(URL)放入列表；3、引擎把URL列表封装成请求(Request)传给下载器；4、下载器把资源下载下来，并封装成应答包(Response)；5、爬虫解析应答包(Response)，将应答包按照数据类型数值、文本、图片分类；6、解析出实体(Item)组装数据包，利用Kaffa传输给消费者。

所述数据存储模块包括非结构化数据存储单元和结构化数据存储单元，所述非结构化数据存储单元采用Ceph分布式文件存储技术对非结构化数据进行存储，所述结构化存储单元采用Mysql关系型数据库对结构化数据进行存储。

所述数据处理模块对数据存储模块的数据，依据《省级温室气体清单编制指南(试行)》编制方法，对原始数据进行处理。包括OCR文字识别单元、NLP识别分类单元、数据整合单元；所述OCR文字识别单元用于将图片数据识别转化为表格数据，并存入关系型数据库；所述NLP识别分类单元用于将关系型数据库中表格数据按照编制指南格式进行归类整理；所述数据整合单元用于将数据整合统一存储到结构化数据表中，并对异常数据进行清洗，对缺失数据进行填补，对数据的格式类别及单位按照编制指南进行规整。以上过程主要采用基于深度学习、人工智能的方式对数据进行处理，技术主要采用Pytorch的Tensorflow、Keras框架，将非结构化数据处理后统一存储到结构化数据库Mysql中。

所述数据核算模块对数据处理模块处理后的编制指南清单表格碳排放源数据，根据《省级温室气体清单编制指南(试行)》公式对数据按照月度进行碳排放量计算。主要采用Java语言实现，通过编制数学公式保存入核算公式数据库，对数据调用数学公式进行计算。

所述结果校正模块包括数据异常校正单元和手工校正单元，所述数据异常校正单元通过数据异常校验代码对计算结果进行校正，所述手工校正单元通过手工校验结果录入程序进行校正。结果校正模块通过Java语言的Springboot实现，提供两种校正方式，通过系统的数据异常校验代码自动运行校正，或者手工录入校正程序运行校正。

所述查询统计模块包括查询单元和统计分析单元，所述查询单元用于对数据处理的结果，提供查询历史温室气体清单数据功能，所述统计分析单元用于按照时间、领域、温室气体种类的维度统计排放情况，生成排放清单。

所述分析预警模块包括智能预测单元和预警单元；所述智能预测单元采用Python语言的Pytorch框架中时间序列分析算法对历年各月份碳排放趋势数据进行训练，根据碳排放预测模型对剩余月份碳排放量预测，得出预测结果；所述预警单元用于对预测超出碳考核目标的区域进行预警，或者人工对不同季度、月份碳排放量设置阈值，预警单元对超出当前季度、月份阈值的区域进行报警。

本实施例中还公开了与上述基于人工智能的区域温室气体排放清单核算系统配套的方法，逻辑流程如图2所示，该方法包括以下内容：

本实施例为基于人工智能的区域温室气体排放清单核算方法的应用，该方法包括以下内容：

S1：根据编制指南需要的数据来源，从统计局发布的官方数据采集统计数据，根据《省级温室气体清单编制指南(试行)》中规定的活动水平数据源，采集五大领域各个领域所需的原始数据，包括《中国能源统计年鉴》、《中国海关统计年鉴》、《中国化工统计年鉴》、《中国农业统计年鉴》、《中国农村能源统计年鉴》、《中国林业年鉴》等行业统计资料，以及省/市统计年鉴及相关统计资料，对统计数据先进行首次全批量采集，在统计局后续更新中再对统计数据进行定期批量采集。

S2：对采集的数据进行存储，对非结构化数据采用Ceph分布式文件存储技术对进行存储，对结构化数据采用Mysql关系型数据库对进行存储。

S3：对数据存储模块的数据，依据《省级温室气体清单编制指南(试行)》编制方法，对原始数据进行处理。

通过OCR文字识别将表格图片数据和文字图片数据识别转化为表格数据，具体过程如下：1、获取各类别统计局统计图片数据。2、文本检测：文本检测模块对表格图片进行单行文字检测，获得坐标，主要采用CTPN算法，算法流程思想如下：第一步：输入3×600(h)×900(w)的图像，使用VGG16进行特征的提取，得到conv5_3(VGG第5个block的第三个卷积层)的特征作为feature map，大小为512×38×57；第二步：在这个feature map上做滑窗，窗口大小是3×3，即512×38×57变为4608×38×57(512按3×3卷积展开)；第三步：将每一行的所有窗口对应的特征输入到RNN(BLSTM，双向LSTM)中，每个LSTM层是128个隐层，即57×38×4608变为57×38×128，Reverse-LSTM同样得到的是57×38×128，合并后最终得到结果为256×38×57；第四步：将RNN的结果输入到FC层(全连接层)，FC层是一个256×512的矩阵参数，得到512×38×57的结果；第五步：FC层特征输入到三个分类或者回归层中。第一个2kvertical coordinate和第三个k side-refinement是用来回归k个anchor的位置信息(可以简单理解为是要确定字符位置的小的矩形框，上面示意图中的红色小长框，宽度固定，默认为16)，第二个2k scores表示的是k个anchor的类别信息(是字符或不是字符)；第六步：使用文本构造的算法，将得到的细长的矩形框，将其合并成文本的序列框。其中文本构造算法的主要的思路为：每两个相近的候选区组成一个pair，合并不同的pair直到无法再合并为止。3、文本识别：识别模型得到文字结果，文本识别采用CRNN算法，具体流程如下：第一层卷积层，使用CNN，作用是从输入图像中提取特征序列。CRNN卷积层采用CNN模型中的卷积层和最大池化层组成，自动提取出输入图像的特征序列。第二层循环层，使用RNN，作用是预测从卷积层获取的特征序列的标签(真实值)分布。采用双向LSTM循环神经网络，预测特征序列中的每一个特征向量的标签分布(真实结果的概率列表)，循环层的误差被反向传播，最后会转换成特征序列，再把特征序列反馈到卷积层。第三层转录层，使用CTC，作用是把从循环层获取的标签分布通过去重整合等操作转换成最终的识别结果。4、表格结构还原：获得每个Excel单元格的四点坐标与表格结构信息。结合黑色支路文本检测获得的单行文字文本框4点坐标。5、Cell文本聚合与导出：将属于同一单元格的文本拼接在一起，将数据组合为excel内容并导出。6、将表格数据、文本分类别存储入数据库。

通过NLP识别分类将关系型数据库中表格数据按照编制指南格式进行归类整理，其过程采用Text-CNN算法实现，主要包括以下流程：第一步：处理指南样例表形成多级分类结构作为目标类别。第二步：循环读取文本数据库、表格数据库、结构化表数据库提取名称及关键文本信息作为输入矩阵。第三步：对输入矩阵进行卷积操作。使用不同大小的卷积核，每种类型的卷积核可以有多个。假设卷积核的大小是(f,d),f可以是不同的取值(如f＝2，3，4),而d是固定的，是词向量的维度，并且假设总共使用了k个卷积核，步长为1。第四步：对卷积操作的输出进行max-pooling操作。作用于k个长度为n-f+1的向量上，最每个向量整体取最大值，得到k个标量数字。第五步：把k个标量数字拼接起来，组成一个向量表示最后提取的特征。向量长度取决于不同大小的卷积核的总数。第六步：接一个全联接层作为输出层，根据目标类别则使用softmax激活函数，得到模型的输出。第七步：根据模型的输出类别，将文本数据、表格数据、结构化表数据归类到对应的数据源。

最后将数据整合统一存储到结构化数据表中，对异常数据进行清洗，对缺失数据进行填补，对数据的格式类别及单位按照编制指南进行规整。

S4：对数据处理模块处理后的编制指南清单表格碳排放源数据，根据《省级温室气体清单编制指南(试行)》公式对数据按照月度进行碳排放量计算，得出计算结果。

S5：对计算的碳排放温室气体数据结果进行结果校正后，按照年度、月度、行业领域、温室气体种类的维度统计排放情况，并按月份生成以区域为单位的排放清单；

S6：通过人工智能算法对各区域历年各月份碳排放趋势数据进行训练，根据碳排放预测模型对各区域剩余月份碳排放量预测，得出预测结果，对预测超出碳考核目标的区域进行预警。

以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请得出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。