一种应用面部表情情绪识别软件量化评价食品感官质量与消费者喜好度的方法及应用

技术领域

本专利是针对消费者对食品产品的感官质量与喜好度评价，涉及一种应用面部表情与感官分析结合的评价方法及在食品感官评价中的应用。

背景技术

体验式消费正在成为未来中国消费行业的导向，消费需求将引导食品消费品相关行业的产品创新和营销模式，因此，了解消费者的需求和偏好就变得至关重要。消费者对产品的态度、喜爱和购买行为是一个复杂的过程，受产品质量和外部环境、消费者个人差异的影响。

大量消费者调查、市场研究及心理学研究表明，情绪包含的主观感情影响消费者的态度形成和最终购买行为，对消费决策过程有非常重要的影响。同时，由知识与经验而形成的认知同样重要。因此，基于消费情绪和认知行为的分析研究能够有效促进商品品牌或产品与消费者成功的交流沟通，增强消费者对于产品的喜好度、促进购买行为，从而达成产品成功推广营销的目的。

消费者感官和喜好测试是企业了解消费者喜好的主要手段和途径。通过探索消费者对于产品的外观、气味、味道、质地等方面的感官评价和喜好度，以及对产品的品牌认知、价格期待、购买欲望等方面的信息，全面了解消费者喜好，准确指导产品研发和营销，助力企业发展。

对消费者的情感和喜好度研究方法通常可分为直接（显式）和间接（隐式）两种。直接方法，例如自我报告调查表、采访等，依赖于被试者个人的认知和沟通能力来表达自己的喜好反应，接受或偏爱可以通过量表方法进行量化。但是通过直接方法获取的数据是主观的，并且容易受到许多影响因素的影响。此外，对喜好的程度和术语的理解不一致可能会导致结果的差异。

近年来，间接方法引起了人们越来越多的兴趣，它能够测量并客观地反映个人的情绪状态，以减少合理化的偏见。大量的间接方法可用于情感测试，包括面部表情，身体行为以及生理方法，例如肌电图，心率，瞳孔测量和大脑成像等。间接测量方法更适合以自发的方式识别消费者的情绪，能够合理地解释测量结果，因为消费者的选择主要是由无意识的机制而不是有意识和理性的机制驱动的。

调查显示，在消费者研究中，仍然少有应用间接方法进行研究，更少有研究能够将直接和间接方法相结合。本专利将填补国内消费者研究领域的空白。

本专利采用间接消费者情感研究方法与直接感官测定方法，即面部表情与调查问卷相结合的方法，通过建立多元线性回归模型，预测消费者对食品的喜好度。

发明内容

本发明首要目的在于改进消费者喜好度评价方法，填补直接与间接方法相结合的评价方法的空缺，通过收集消费者感官及情感评价数据，建立消费者对产品喜好度的多元线性回归模型。

本发明次要目的在于将新型消费者情感反应测评方法面部表情分析纳入食品产品的消费者喜好度评价体系。

本发明主要通过以下手段实现：面部表情识别、九点感官强度标度、九点喜好度标度、多元线性回归模型。

1、实验参与人员招募及实验设计

实验参与者通过社交平台、内部人员等渠道招募。参与者年龄在18到50岁之间，性别不限，对样品不过敏，且是样品的定期消费者（至少每两周/每月一次）。感兴趣的消费者报名后，需填写事前网上调查问卷。符合标准的消费者将被通知参与实验。消费者根据实验时间，与实验人员沟通，选择合适的时间，确认参与实验。

在实验前，参与者需要被告知实验内容、可能的风险等，并签署《知情同意书》。

实验采用面部表情测试与调查问卷相结合的方式，调查问卷通过9点强度标记和9点喜好度评价的方法收集参与者对样品的感官品评数据和喜好度评价，同时通过高清摄像头捕捉消费者在品评过程中的面部表情信息，并对收集到的参与者在品评过程中的情感数据进行识别分析。数据通过多元线性回归模型，得到感官、情感数据与喜好度的相关参数，并以此建立消费者喜好度预测模型，达到通过感官和情感数据准确预测消费者喜好度的目的。

2、实验酒样品选取及准备

选取5个样品，分别装入标有3位随机数字代码的容器中。

3、感官品评及面部表情测试过程

①消费者逐个品评样品，首先观察样品外观、闻气味、品尝味道、吞咽或吐出，感受后味，同时摄像头记录消费者在进行感官评测过程中的面部表情情绪数据；

②消费者对样品的感官特性，使用9点强度标记进行打分：即参与者选取感知到的感官特性，并对其强度进行打分（9点），其中1代表非常低，9代表非常高；

③消费者对样品的喜好度，使用9点喜好度标记进行打分：即参与者选取符合的描述分数值，其中1代表非常不喜欢，5代表中立，9代表非常喜欢；

④样品品尝间隔，休息2分钟，并用纯净水，无盐苏打饼干清口。

4、数据分析

1）面部表情数据处理：

首先，对面部表情情绪数据按照情绪进行分类，计算平均值和标准差，并对各个样品的情绪分类制作饼图进行比较，确定不同产品间的情绪占比和主导情绪（占比最大的情绪）；

2）感官特性评测数据分析：

对感官特性数据进行整理，计算均值和标准差，并对不同感官特性，针对不同样品间的比较进行方差分析，方差分析模型如下：Y=α+β+α*β，其中，将样品感官特性得分设为因变量Y，将样品和实验参与者设为自变量α，β，样品和实验参与者的相互影响为α*β，当

3）喜好度数据处理：计算各个产品的喜好度均分，并制作柱图进行比较；

4）消费者喜好度模型建立多元线性回归模型：

假设共有m个感官特性维度，n个情感维度，将感官特性维度、情感维度定义为x，将总体喜好度得分定义为Y，得到喜好度的多元线性回归模型如下：

附图说明

图1：实验设计过程；

图2：实施例1：啤酒样品品评的感官品评数据；

图3：实施例1：啤酒样品品评的面部表情分析数据；

图4：实施例1：啤酒样品品评的消费者喜好度数据；

图5：实施例2：酸奶样品品评的感官品评数据；

图6：实施例2：酸奶样品品评的面部表情分析数据；

图7：实施例2：酸奶样品品评的消费者喜好度数据

具体实施方式

下面对本发明的具体实施方式做进一步详细描述，但本发明的实施方式不限于此；

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同与在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似推广，因此本发明不受下列公开具体实施例的限制；

实施例1：啤酒的消费者喜好度预测

实验共招募23名志愿者（女性10名（43.5%），男性13名（56.5%））。参与者年龄在24至40岁之间（平均年龄30.6±7.9），对酒精不过敏，定期饮用啤酒（频率不少于一个月一次）。实验参与者在实验前需填写《知情同意书》。此次实验参与者品评5款不同工艺的啤酒产品，每款酒置于标有三位随机数字码的透明酒杯中。参与者逐个品尝啤酒样品，并对其感官特性、和喜好度进行评价，同时面部表情分析软件分析并记录实验参与者在品评过程中的面部表情信息。

1、实验过程

实验在标准感官实验室内进行。每位被试者面前放置一个高清摄像头，用于记录面部表情数据；每位被试者配备一台电脑用于回答问卷问题，问卷采用在线问卷形式。

参与者按照看酒体、闻香、品尝、吞咽4个步骤，逐个品评5个酒样。每个样品品评之间有2分钟休息时间，参与者被要求喝水，吃无盐苏打饼干清口。具体品评步骤如下：

1)看酒体：端起样品，举杯对光，持续15秒观察杯中酒的色调、透明度及气泡。 15秒后回答酒体相关感官评价问题及酒体喜好度评价。

2)闻香：端起酒杯置于鼻下，并轻轻转动酒杯，持续闻香15秒，感受酒的香气。15秒后回答酒香气相关感官问题并评价喜好度。

3)品尝：端起酒杯，喝一口（不要吞咽），舌头在口腔里搅动一圈，感受酒的质地和味道10秒。

4) 吞咽：把酒咽下去，在接下来的10秒，请安静品味该酒带给您的整体感受。吞咽10秒后对酒样的味道、质地、后味、整体感受及喜好度进行打分。

2、数据处理与分析。

1）感官品评数据：参与者对样品感官特性的打分汇总，计算平均分如下表，并制作 雷达图，进行不同样品间感官特性比较，感官评价结果见下表。

*代表

对感官特性品评数据进行方差分析，将样品感官特性得分设为因变量Y，将样品和实验参与者设为自变量α，β，得出模型如下：

Y=α+β+α*β

结果表明，5款啤酒样品在颜色、质地、味道和后味4个维度有显著差异（

2）面部表情数据（0-100）。

参与者在品评过程中，不同阶段的面部表情数据，计算平均分如下表，对不同样品 间面部表情进行比较，面部表情情绪类型评价结果见下表。

3）样品喜好度打分。

计算参与者对啤酒样品的喜好度评分，并计算平均分，制作柱形图比较不同样品 的喜好度情况，喜好度评价结果见下表。

4）喜好度模型多元线性回归模型。

共有5个感官特性维度，7个情感维度，将感官特性维度、情感维度定义为X，将总体喜好度得分定义为Y，得到喜好度的多元线性回归模型如下：

实施例2：发酵乳的消费者喜好度模型

实验共招募24名参与者，年龄在23至38岁之间，对乳制品不过敏，定期饮用酸奶（频率不少于两周一次）。实验参与者在实验前需填写《知情同意书》。此次实验参与者品评3款不同品牌的果味酸奶。每款酸奶样品置于标有三位随机数字码的100ml透明带盖塑料杯中。参与者需依次逐个品尝并对其感官和喜好度进行评价，同时面部表情分析软件记录和分析实验参与者在品评过程中的面部表情。

1、实验过程。

实验在标准感官实验室内进行。每位体验者面前放置一个高清摄像头，用于记录面部表情数据。

参与者逐个品评3个酸奶样品，对其感官特性进行打分并评价喜好度。每个样品品评之间有2分钟休息时间，参与者被要求喝水，吃无盐苏打饼干清口。

2、数据处理与分析。

1）感官品评数据：参与者对样品感官特性的打分汇总，计算平均分如下表，并制作 雷达图，进行不同样品间感官特性比较，感官评价结果见下表。

*代表

对感官特性品评数据进行方差分析，将样品感官特性得分设为因变量Y，将样品和实验参与者设为自变量α，β，得出方差模型如下：

Y=α+β+α*β

结果得出，3款酸奶样品在厚度、拉丝感、爽口度、黏度、细腻度、甜味、酸味、奶香味、果香味、青苹果味、乳粉味和乳脂味这12个维度存在显著差异（p<0.05）。

2）面部表情数据。

参与者在品评过程中，不同阶段的面部表情数据，计算平均分如下表，并制作饼 图，对不同样品间面部表情进行比较，面部表情情绪类型评价结果见下表。

3）样品喜好度打分。

计算参与者对酸奶样品的喜好度评分，并计算平均分，制作柱形图比较不同样品 的喜好度情况。

4）消费者喜好度模型建立-多元线性回归模型。

本测评共有16个感官特性维度，7个情感维度，将感官特性维度、情感维度定义为X,将总体喜好度得分定义为Y，得到喜好度的多元线性回归模型如下：