首页> 中国专利> 基于Spark的极大无关多元逻辑回归模型对文本情感分类方法

基于Spark的极大无关多元逻辑回归模型对文本情感分类方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明提供了一种基于Spark的极大无关多元逻辑回归模型对文本情感分类方法，包括：将训练样本数据集存储于HDFS中；Spark平台从HDFS中读取数据生成RDD；Spark平台将数据的预处理任务分为多个任务组，对每个任务组中存储有读取数据的RDD进行预处理，将预处理的结果存入HDFS中；训练极大无关多元逻辑回归模型，经过求解得到极大无关多元逻辑回归分类器；将分类器输出到HDFS中；从HDFS中读取经过预处理的待预测文本的数据和训练得到的分类器；获取待预测文本的情感分类。本发明在Spark计算框架下并行方法求解，模型训练更加快速，更适合大数据场景下的文本情感分类；降低了传统多元逻辑回归模型的复杂度，具有更强的泛化能力；能够对待预测样本数据进行精确情感分类。

著录项

公开/公告号CN108536838A

专利类型发明专利
公开/公告日2018-09-14

原文格式PDF
申请/专利权人重庆邮电大学;
展开▼

申请/专利号CN201810330888.3
发明设计人雷大江;张红宇;陈浩;张莉萍;吴渝;杨杰;程克非;
展开▼

申请日2018-04-13
分类号
代理机构广州三环专利商标代理有限公司;
代理人贾允
地址 400065 重庆市南岸区崇文路2号
入库时间 2023-06-19 06:28:31

法律信息

法律状态公告日

法律状态信息

法律状态
2018-10-16

实质审查的生效 IPC(主分类):G06F17/30 申请日:20180413

实质审查的生效
2018-09-14

公开

公开

相似文献

专利
中文文献
外文文献

1. 基于Spark的极大无关多元逻辑回归模型对文本情感分类方法 [P] . 中国专利： CN108536838B . 2021.10.19
2. 一种基于极大无关多元逻辑回归的文本情感分类方法 [P] . 中国专利： CN108595568A . 2018-09-28
3. EMOTION-BASED TEXT CLASSIFICATION METHOD AND DEVICE, AND COMPUTER APPARATUS [P] . 世界知识产权组织专利： WO2020147395A1 . 2020-07-23

机译：基于情感的文本分类方法，装置及计算机装置
4. METHOD OF CLASSIFICATION OF A TOBACCO SAMPLE, APPLIANCE FOR CLASSIFYING A TOBACCO SAMPLE, GENERATING A MULTI-VARIANT STATISTICAL REGRESSION MODEL AND ESTIMATE AT LEAST ONE PROPERTY OF A TOBACCO SAMPLE [P] . BR102017007458A2 . 2018-01-16

机译：烟草样品的分类方法，烟草样品的分类，生成多元统计回归模型并估计至少一个属性的方法
5. LSTM Emotional Classification Method in Dialogue using Word-level Emotion Embedding based on Semi-Supervised Learning and LSTM model [P] . KR20210083986A . 2021-07-07

机译：基于半监督学习和LSTM模型的词语级情感嵌入对话的LSTM情感分类方法