基于情绪识别的客户回访方法、装置及计算机设备

技术领域

本发明涉及人工智能技术领域，属于智慧城市中对客户进行回访以获取满意程度信息的应用场景，尤其涉及一种基于情绪识别的客户回访方法、装置及计算机设备。

背景技术

企业为客户办理业务之后，可对客户进行回访以获取客户对业务办理过程的满意程度，可基于客户在回访时的满意程度作为后续对客户推送相关内容的基础。传统的客户回访过程均是采用电话问询方式进行，企业通过人工或智能语音平台拨打客户的电话，以获取客户反馈的按键信息作为对应的满意程度，然而客户反馈的按键信息有可能并不符合客户的真实想法，导致企业难以获取得到客户对业务办理的真实满意程度，导致所得到的客户满意程度的准确率不高。因此，现有的回访方法存在无法准确获取客户满意程度的问题。

发明内容

本发明实施例提供了一种基于情绪识别的客户回访方法、装置、计算机设备及存储介质，旨在解决现有的回访方法所存在的无法准确获取客户满意程度的问题。

第一方面，本发明实施例提供了一种基于情绪识别的客户回访方法，其包括：

根据预存的业务办理信息表中每一客户的业务记录信息生成业务回访信息并发送至与所述客户对应的客户端；

接收所述客户端根据所述业务回访信息反馈的回访视频信息，根据预置的截取规则从所述回访视频信息中截取得到客户图像信息及客户音频信息；

判断所述客户图像信息是否满足预设的检测条件；

若所述客户图像信息满足所述检测条件，根据预置的面部特征获取模型从所述客户图像信息中获取对应的特征点集合；

根据预置的音频特征量化模型从所述客户音频信息中获取得到对应的音频特征量化信息；

将所述特征点集合及所述音频特征量化信息输入所述预置的满意度分类模型以获取与所述回访视频信息对应的满意程度信息。

第二方面，本发明实施例提供了一种基于情绪识别的客户回访装置，其包括：

业务回访信息发送单元，用于根据预存的业务办理信息表中每一客户的业务记录信息生成业务回访信息并发送至与所述客户对应的客户端；

回访视频信息截取单元，用于接收所述客户端根据所述业务回访信息反馈的回访视频信息，根据预置的截取规则从所述回访视频信息中截取得到客户图像信息及客户音频信息；

检测条件判断单元，用于判断所述客户图像信息是否满足预设的检测条件；

特征点集合获取单元，用于若所述客户图像信息满足所述检测条件，根据预置的面部特征获取模型从所述客户图像信息中获取对应的特征点集合；

音频特征量化信息获取单元，用于根据预置的音频特征量化模型从所述客户音频信息中获取得到对应的音频特征量化信息；

满意程度信息获取单元，用于将所述特征点集合及所述音频特征量化信息输入所述预置的满意度分类模型以获取与所述回访视频信息对应的满意程度信息。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于情绪识别的客户回访方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于情绪识别的客户回访方法。

本发明实施例提供了一种基于情绪识别的客户回访方法、装置、计算机设备及存储介质。根据业务记录信息生成业务回访信息发送至客户端并获取回访视频信息，从回访视频信息中获取客户图像信息及客户音频信息，判断客户图像信息是否满足检测条件，若满足则从客户图像信息中获取特征点集合并从客户音频信息中获取音频特征量化信息，根据满意度分类模型获取与特征点集合及音频特征量化信息相匹配的满意程度信息。通过上述方法，从客户图像信息中获取包含客户面部情绪特征的特征点集合，通过语音分析获取取音频特征量化信息，通过客户面部情绪特征与音频特征量化信息相结合的方式获取客户的满意程度信息，可大幅提高所得到的满意程度信息的真实性，并可实现准确地获取客户满意程度。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于情绪识别的客户回访方法的流程示意图；

图2为本发明实施例提供的基于情绪识别的客户回访方法的应用场景示意图；

图3为本发明实施例提供的基于情绪识别的客户回访方法的子流程示意图；

图4为本发明实施例提供的基于情绪识别的客户回访方法的另一子流程示意图；

图5为本发明实施例提供的基于情绪识别的客户回访方法的另一子流程示意图；

图6为本发明实施例提供的基于情绪识别的客户回访方法的另一子流程示意图；

图7为本发明实施例提供的基于情绪识别的客户回访方法的另一流程示意图；

图8为本发明实施例提供的基于情绪识别的客户回访方法的另一流程示意图；

图9为本发明实施例提供的基于情绪识别的客户回访装置的示意性框图；

图10为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1及图2，图1是本发明实施例提供的基于情绪识别的客户回访方法的流程示意图，图2为本发明实施例提供的基于情绪识别的客户回访方法的应用场景示意图，该基于情绪识别的客户回访方法应用于管理服务器10中，该方法通过安装于管理服务器10中的应用软件进行执行，管理服务器10与至少一台客户端20通过网络进行连接以实现数据信息的传输，管理服务器10即是用于执行基于情绪识别的客户回访方法并对对客户进行回访以获取满意程度信息的服务器端，管理服务器可以是企业服务器，客户端20即是与管理服务器10进行网络连接以接收业务回访信息并反馈回访视频信息的终端设备，例如台式电脑、笔记本电脑、平板电脑或手机等。图2中仅仅示意出管理服务器10与一台客户端20进行信息传输，在实际应用中，该管理服务器10也可同时与多台客户端20建立通信连接以实现数据信息的传输。如图1所示，该方法包括步骤S110～S160。

S110、根据预存的业务办理信息表中每一客户的业务记录信息生成业务回访信息并发送至与所述客户对应的客户端。

业务办理信息表即为管理服务器中预先存储的用于对客户办理业务过程进行记录的数据信息表，客户每办理一项业务，则对该项业务的办理过程进行记录即可得到业务记录信息，根据业务办理信息表中每一客户的一条业务记录信息即可对应生成一条业务回访信息，业务回访信息即为针对某一条业务记录信息对客户进行回访的信息，业务回访信息可采用文字信息、语音信息或视频信息的方式进行呈现。具体的，业务记录信息中包括客户姓名、联系方式、业务名称、业务类型、业务办理时间等信息，可获取业务记录信息中的客户姓名、业务名称、业务类型、业务办理时间并填充至回访模板中，以生成与客户姓名、业务名称、业务类型、业务办理时间对应的业务回访信息，并根据联系方式将所生成的业务回访信息发送至与联系方式对应的客户端。

例如，业务记录信息中客户姓名为刘XX，业务名称为A业务，业务类型为理财产品，业务办理时间为2020年5月1日，对应生成的业务回访信息为“刘XX您好，您于2020年5月1日办理了业务名称为A业务的理财产品，请您就上述业务的办理流程提出您的意见或建议”。联系方式可以是手机号或电子邮箱地址。

S120、接收所述客户端根据所述业务回访信息反馈的回访视频信息，根据预置的截取规则从所述回访视频信息中截取得到客户图像信息及客户音频信息。

客户使用客户端接收到业务回访信息后，可对应输入回访视频信息并反馈至管理服务器，则可根据预置的截取规则从所接收到的回访视频信息中截取得到客户图像信息及客户音频信息。其中，截取规则即是用于从回访视频信息中截取得到客户图像信息及客户音频信息的规则信息，从客户端所反馈的客户视频信息中截取到的客户图像信息中包含至少一张客户图像，每一客户的客户音频信息中包含该段视频信息中所对应的语音信息。具体的，截取规则包括多个图像截取时间点。

在一实施例中，如图3所示，步骤S120包括子步骤S121和S122。

S121、获取所述客户视频信息中的语音信息作为客户音频信息。

客户视频信息中包含一段语音信息及对应的图像画面，获取客户视频信息中所包含的语音信息即可得到客户音频信息。

S122、根据所述图像截取时间点从所述客户视频信息中获取对应的客户图像得到客户图像信息。

图像截取时间点即为对客户视频信息中的图像画面进行截取的时间点信息，截取规则中包含多个图像截取时间点，每一图像截取时间点可从客户视频信息中对应截取得到一张客户图像，所截取得到的所有客户图像组合成为该客户的客户图像信息。

S130、判断所述客户图像信息是否满足预设的检测条件。

具体的，检测条件可以是活体检测及客户匹配度检测，检测条件包括人像轮廓信息及SIFT特征提取规则。则可判断客户图像信息中的每一客户图像中是否均包含单个活体，并判断每一客户图像是否与预存的客户照片相匹配。

在一实施例中，如图4所示，步骤S130包括子步骤S131、S132、S133和S134。

S131、判断所述客户图像信息的每一客户图像是否与所述人像轮廓信息相匹配，以获取每一所述客户图像中是否均包含单个活体的判断结果。

则可判断客户图像信息中的每一客户图像中是否均包含单个活体。具体的，检测条件中可设置人像轮廓信息，人像轮廓信息可以是人像的外部轮廓对应的轮廓区域，可获取客户图像信息中的每一张客户图像，并判断客户图像中的客户轮廓是否与人像轮廓信息相匹配，也即是判断客户轮廓与人像轮廓信息中的轮廓区域的重合度是否大于预设的重合度阈值，若大于，则表明该客户图像中客户轮廓与人像轮廓信息相匹配，该客户图像中包含单个活体；若不大于，则表明该客户图像中客户轮廓与人像轮廓信息不相匹配，该客户图像中不包含单个活体，可根据依次判断客户图像信息中每一客户图像的是否均包含单个活体，得到每一客户图像是否均包含单个活体的判断结果。

S132、若每一所述客户图像中均包含单个活体，根据所述SIFT特征提取规则分别提取每一所述客户图像的客户图像特征；S133、根据所述SIFT特征提取规则获取预存客户资料中与所述客户相匹配的客户照片的照片特征；S34、判断每一所述客户图像特征是否均与所述照片特征相匹配，若相匹配则判定所述客户图像信息满足所述检测条件。

可判断每一客户图像是否与预存的客户照片相匹配，管理服务器中还存储有已办理业务的所有客户的客户资料，客户资料中包含客户照片，则可在进行活体检测的基础上进一步进行客户匹配度检测。具体的，检测条件中还包括SIFT特征提取规则、匹配度计算公式及预设匹配度阈值，可根据所述SIFT特征提取规则从所述客户图像信息的每一客户图像中获取得到对应的人脸特征向量。人脸特征向量即为该客户的一张客户图像所对应的SIFT特征，SIFT特征为基于SIFT(Scale-invariant feature transform，尺度不变特征变换)算法提取的图像的局部特征，根据SIFT特征提取规则从预存的客户照片中获取得到对应的照片特征向量，根据匹配度计算公式获取人脸特征向量与照片特征向量之间的匹配度，并判断计算得到的匹配度是否大于预设匹配度阈值，即可对每一客户图像是否与客户照片相匹配进行判断。若客户图像信息中每一客户图像均包含单个活体且每一客户图像均与客户照片相匹配，则客户图像信息满足预设的检测条件；否则客户图像信息不满足检测条件。

S140、若所述客户图像信息满足所述检测条件，根据预置的面部特征获取模型从所述客户图像信息中获取对应的特征点集合。

客户图像信息中包含该客户的多张客户图像，为对该客户的满意程度进行精确分析，可根据面部特征获取模型从客户图像信息中获取对应的特征点集合，特征点集合可用于体现客户图像信息的整体特征，特征点集合即可即为客户图像信息中相应特征点的相对位置进行记录的集合，其中，所述面部特征获取模型包括像素对比度获取规则，像素溶解比例值、特征点采集规则。像素对比度获取规则即为获取客户图像中每一像素点的对比度的具体规则，可根据像素对比度获取规则获取客户图像中每一像素点与周围若干个像素点之间的对比度，像素溶解比例值即为根据像素点的对比度进行像素溶解以得到轮廓信息的比例值，并通过像素对比度结合像素溶解的方法，获取得到一张客户图像的左眼轮廓、右眼轮廓、左眉毛轮廓、右眉毛轮廓、鼻子轮廓、嘴唇轮廓等轮廓信息，根据特征点采集规则可从上述轮廓信息中对应采集得到相应面部特征点的相对位置信息，得到与客户图像信息相对应的特征点集合，特征点集合中包含多个特征点的坐标位置信息，其中，特征点集合中至少包括眼部特征点、嘴唇特征点、眉毛特征点、鼻子特征点。

在一实施例中，如图5所示，步骤S140包括子步骤S141、S142和S143。

S141、根据所述像素对比度获取规则获取客户图像信息中的每一张客户图像的像素对比度信息。

具体的，获取一张客户图像并确定其中的一个像素点为目标像素点，可获取目标像素点外围第一层的八个像素点及外围第二层的十六个像素点，获取目标像素点的RGB值(目标像素点在红、绿、蓝三个通道分别对应的像素值)，以及外围第一层的八个像素点及外围第二层的十六个像素点分别对应的RGB值，计算外围第一层的八个像素点的RGB值与目标像素点之间的第一差值，计算外围第二层的十六个像素点的RGB值与目标像素点之间的第二差值，根据对比度获取规则对第一差值及第二差值进行加权相加得到该目标像素点的对比度，根据上述获取规则可依次获取一张客户图像中每一像素点的对比度，获取客户图像信息中每一张客户图像的像素点对比度得到像素对比度信息。

例如，根据像素对比度获取规则，某一目标像素点的对比度可采用以下公式计算得到：

S142、根据所述像素对比度信息及所述像素溶解比例值对每一所述张客户图像进行像素溶解以获取图像轮廓信息。

具体的，根据像素对比度信息中与某一客户图像相匹配的对比度信息，对该客户图像中每一像素点的对比度进行排序，获取排序结果中与像素溶解比例值相匹配的排序靠前的像素点作为该客户图像的溶解像素点，根据溶解像素点对该客户图像进行像素溶解，得到该客户图像的图像轮廓信息。其中，每一张客户图像的图像轮廓信息中均包括左眼轮廓、右眼轮廓、左眉毛轮廓、右眉毛轮廓、鼻子轮廓、嘴唇轮廓。

例如，在对左眼轮廓进行提取时，由于左眼与面部的结合处像素的差异最大，也即是左眼轮廓处像素点的对比度值越大，根据像素溶解比例将像素对比度较小的区域依次进行像素溶解，最终剩余对比度最大的一部分像素即为左眼的轮廓。

S143、根据特征点采集规则从每一面部特征图像中获取得到面部特征点以组合得到特征点集合。

根据特征点采集规则从每一面部特征图像中获取得到面部特征点，并面部特征点对应进行组合即可得到特征点集合。特征点采集规则中包括与眼部轮廓对应的眼部采集点、与嘴唇轮廓对应的嘴唇采集点、与眉毛轮廓对比的眉毛采集点以及与鼻子轮廓对应的鼻子采集点；通过特征点采集规则可分别采集得到图像轮廓信息对应的多个面部特征点，计算每一面部特征点在多个图像轮廓信息中的平均值并组合为特征点集合。

例如，嘴唇采集点为嘴唇区域图像的最左侧的一个像素点、最右侧的一个像素点及嘴唇中央的一个像素点，则根据嘴唇采集点分别获取嘴唇区域图像中最左侧一个像素点在面部特征图像中的坐标位置、最后侧一个像素点的坐标位置及中央像素点的坐标位置，作为该嘴唇区域图像相对应的三个面部特征点。

S150、根据预置的音频特征量化模型从所述客户音频信息中获取得到对应的音频特征量化信息。

获取预置的音频特征量化模型从所述客户音频信息中获取得到对应的音频特征量化信息。音频特征量化模型即为对客户音频信息的特征进行提取的模型，所得到的音频特征量化信息即可对客户音频信息中的特征采用数值形式进行量化表示。具体的，音频特征量化模型中包括声学模型、特征词典及音量特征计算公式。所得到的音频特征量化信息中包括语速特征值及音量特征值，语速特征值用于对客户音频信息中的语速特征进行量化表示，音量特征值用于对客户音频信息中的音量大小特征进行量化表示。

在一实施例中，如图6所示，步骤S150还可以包括子步骤S151、S152、S153和S154。

S151、根据所述声学模型对所述客户音频信息进行切分以得到所述客户音频信息中所包含的多个音素。

根据所述声学模型对所述客户音频信息进行切分以得到所述客户音频信息中所包含的多个音素。具体的，客户音频信息均是由多个字符发音的音素而组成，一个字符的音素包括该字符发音的频率和音色。声学模型中包含所有字符发音的音素，通过将客户音频信息中包含的音素与声学模型中所有的音素进行匹配，即可对语音信息中单个字符的音素进行切分，通过切分最终得到语音信息中所包含的多个音素。

S152、根据所述特征词典对所述音素进行匹配以将所述音素转换为拼音信息。

根据所述特征词典对所述音素进行匹配以将所述音素转换为拼音信息。特征词典中包含所有字符拼音对应的音素信息，通过将所得到的音素与字符拼音对应的音素信息进行匹配，即可将单个字符的音素转换为特征词典中与该音素相匹配的字符拼音，以实现将客户音频信息中所包含的所有音素转换为拼音信息，每一音素所对应的拼音信息中均包含拼音字母及声调。

S153、根据所述拼音信息中所包含字符拼音的数量及所述客户音频信息的时长计算得到语速特征值。

根据所述拼音信息中所包含字符拼音的数量及所述客户音频信息的时长计算得到语速特征值。具体的，将字符拼音的数量除以客户音频信息的时长即可得到语速特征值，语速特征值可采用一个数值进行表示，数值越大则表明讲师客户的语速越快，数值越小则表明讲师客户的语速越慢。

例如，拼音信息中包含15个拼音字符，客户音频信息的时长为10秒，则计算得到对应的语速特征值为15/10＝1.5。

S154、根据所述音量特征计算公式及所述客户音频信息的平均音量计算得到对应的音量特征值。

客户音量过大或者过小，都可间接反映客户的满意程度较低，因此可先获取客户音频信息的平均音量，并通过音量特征计算公式对客户平均音量进行计算得到音量特征值，音量大小采用dB作为单位。

例如，音量特征计算公式可表示为

S160、将所述特征点集合及所述音频特征量化信息输入所述预置的满意度分类模型以获取与所述回访视频信息对应的满意程度信息。

将获取得到的特征点集合及音频特征量化信息输入满意度分类模型，即可得到与回访视频信息相对应的满意程度信息。具体的，满意度分类模型即为对客户在进行回访过程中的满意程序进行分类的神经网络，满意度分类模型包括多个输入节点、一个或多个中间层及多个输出节点，回访视频信息对应的满意程度可以分为厌恶、冷漠、正常、认可及兴奋五个类别；其中，每一中间层中均包含多个特征单元，每一特征单元均通过输入公式与输入节点或其他特征单元相连接，每一特征单元还通过输出公式与输出节点相连接，其中，输入公式或输出公式可表示为：y＝a×

在一实施例中，如图7所示，步骤S160之前还可以包括步骤S160a。

S160a、若接收到所输入的训练数据集，根据预置的梯度下降训练模型及所述训练数据集对所述满意度分类模型进行迭代训练以得到训练后的满意度分类模型。

若接收到所输入的训练数据集，根据预置的梯度下降训练模型及所述训练数据集对所述满意度分类模型进行迭代训练以得到训练后的满意度分类模型。其中输入训练数据集的可以是管理服务器的管理员，为使满意度分类模型在对回访视频信息进行满意度分类时具有更高的准确率，可在使用满意度分类模型之前对满意度分类模型进行迭代训练，也即是对满意度分类模型的输入公式及输出公式中的参数值进行调整，训练后所得到的满意度分类模型可以对发送回访视频信息对应的客户进行更精准的满意度分类。梯度下降训练模型即为对满意度分类模型进行训练的模型，梯度下降训练模型中包括损失值计算公式及梯度计算公式，训练数据集中包含多条训练数据，每一条训练数据对应一个样本客户，每一训练数据中均包含一个样本客户的特征点集合、音频特征量化信息及该客户的满意度分类标签；将一条训练数据的特征点集合及音频特征量化信息输入满意度分类模型得到多个输出节点对应的匹配概率，根据损失值计算公式及满意度分类标签对多个输出节点对应的匹配概率进行计算即可得到对应的损失值，根据损失值及梯度计算公式即可计算得到输入公式及输出公式中每一参数对应的更新值，通过更新值即可对每一参数对应的参数值进行更新，这一对参数值进行更新的过程即为对满意度分类模型进行训练的具体过程。

例如，损失值计算公式可表示为

根据所述梯度计算公式、所述损失值及所述满意度分类模型的计算值计算得到所述满意度分类模型中每一参数的更新值。具体的，将满意度分类模型中一个参数对特征点集合及音频特征量化信息进行计算所得到的计算值输入梯度计算公式，并结合上述损失值，即可计算得到与该参数对应的更新值，这一计算过程也即为梯度下降计算。

具体的，梯度计算公式可表示为：

根据每一所述参数的更新值对所述满意度分类模型中对应参数的参数值进行更新，以对所述满意度分类模型进行训练。基于所计算得到更新值对满意度分类模型中每一参数的参数值对应更新，即完成对满意度分类模型的一次训练过程。基于一次训练后所得到的满意度分类模型对训练数据集中另一条训练数据再次进行计算处理，并重复上述训练过程，即可实现对满意度分类模型进行迭代训练；当所计算得到的损失值小于预设的损失阈值或训练数据集中条训练数据均被用于训练后，即终止训练过程得到训练后的满意度分类模型。

在一实施例中，如图8所示，步骤S160之后还可以包括步骤S170。

S170、将所述满意程度信息及所述客户音频信息作为所述客户的回访偏好信息上传至区块链中进行存储。

将所得到的满意程度信息及客户音频信息作为与发送回访视频信息相对应的客户的回访偏好信息存储于管理服务器中，并可基于回访偏好信息得到对应的摘要信息，具体来说，摘要信息由文本检测结果进行散列处理得到，比如利用sha256s算法处理得到。企业在进行业务扩展过程中可依据所存储的与任一客户相匹配的回访偏好信息进行相关内容的后续推送，具体的，可通过语音识别将客户音频信息转换为文字信息，并将文字信息与满意程度信息组合后作为客户的回访偏好信息进行存储。

将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。管理员可通过管理服务器从区块链中下载得该摘要信息，以便查证文本检测结果是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本申请中的技术方法可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通等包含对客户进行回访以获取满意程度信息的应用场景中，从而推动智慧城市的建设。

在本发明实施例所提供的基于情绪识别的客户回访方法中，根据业务记录信息生成业务回访信息发送至客户端并获取回访视频信息，从回访视频信息中获取客户图像信息及客户音频信息，判断客户图像信息是否满足检测条件，若满足则从客户图像信息中获取特征点集合并从客户音频信息中获取音频特征量化信息，根据满意度分类模型获取与特征点集合及音频特征量化信息相匹配的满意程度信息。通过上述方法，从客户图像信息中获取包含客户面部情绪特征的特征点集合，通过语音分析获取取音频特征量化信息，通过客户面部情绪特征与音频特征量化信息相结合的方式获取客户的满意程度信息，可大幅提高所得到的满意程度信息的真实性，并可实现准确地获取客户满意程度。

本发明实施例还提供一种基于情绪识别的客户回访装置，该基于情绪识别的客户回访装置用于执行前述基于情绪识别的客户回访方法的任一实施例。具体地，请参阅图9，图9是本发明实施例提供的基于情绪识别的客户回访装置的示意性框图。该基于情绪识别的客户回访装置可以配置于管理服务器中。

如图9所示，基于情绪识别的客户回访装置100包括业务回访信息发送单元110、回访视频信息截取单元120、检测条件判断单元130、特征点集合获取单元140、音频特征量化信息获取单元150和满意程度信息获取单元160。

业务回访信息发送单元110，用于根据预存的业务办理信息表中每一客户的业务记录信息生成业务回访信息并发送至与所述客户对应的客户端。

回访视频信息截取单元120，用于接收所述客户端根据所述业务回访信息反馈的回访视频信息，根据预置的截取规则从所述回访视频信息中截取得到客户图像信息及客户音频信息。

在一实施例中，所述回访视频信息截取单元120包括子单元：客户音频信息获取单元及客户图像信息获取单元。

客户音频信息获取单元，用于获取所述客户视频信息中的语音信息作为客户音频信息；客户图像信息获取单元，用于根据所述图像截取时间点从所述客户视频信息中获取对应的客户图像得到客户图像信息。

检测条件判断单元130，用于判断所述客户图像信息是否满足预设的检测条件。

在一实施例中，所述检测条件判断单元130包括子单元：活体判断单元、客户图像特征获取单元、照片特征获取单元及匹配判断单元。

活体判断单元，用于判断所述客户图像信息的每一客户图像是否与所述人像轮廓信息相匹配，以获取每一所述客户图像中是否均包含单个活体的判断结果；客户图像特征获取单元，用于若每一所述客户图像中均包含单个活体，根据所述SIFT特征提取规则分别提取每一所述客户图像的客户图像特征；照片特征获取单元，用于根据所述SIFT特征提取规则获取预存客户资料中与所述客户相匹配的客户照片的照片特征；匹配判断单元，用于判断每一所述客户图像特征是否均与所述照片特征相匹配，若相匹配则判定所述客户图像信息满足所述检测条件。

特征点集合获取单元140，用于若所述客户图像信息满足所述检测条件，根据预置的面部特征获取模型从所述客户图像信息中获取对应的特征点集合。

在一实施例中，所述特征点集合获取单元140包括子单元：像素对比度信息获取单元、图像轮廓信息获取单元及面部特征点采集单元。

像素对比度信息获取单元，用于根据所述像素对比度获取规则获取客户图像信息中的每一张客户图像的像素对比度信息；图像轮廓信息获取单元，用于根据所述像素对比度信息及所述像素溶解比例值对每一所述张客户图像进行像素溶解以获取图像轮廓信息；面部特征点采集单元，用于根据特征点采集规则从每一面部特征图像中获取得到面部特征点以组合得到特征点集合。

音频特征量化信息获取单元150，用于根据预置的音频特征量化模型从所述客户音频信息中获取得到对应的音频特征量化信息。

在一实施例中，所述音频特征量化信息获取单元150包括子单元：音素切分单元、拼音信息获取单元、语速特征值获取单元及音量特征值获取单元。

音素切分单元，用于根据所述声学模型对所述客户音频信息进行切分以得到所述客户音频信息中所包含的多个音素；拼音信息获取单元，用于根据所述特征词典对所述音素进行匹配以将所述音素转换为拼音信息；语速特征值获取单元，用于根据所述拼音信息中所包含字符拼音的数量及所述客户音频信息的时长计算得到语速特征值；音量特征值获取单元，用于根据所述音量特征计算公式及所述客户音频信息的平均音量计算得到对应的音量特征值。

满意程度信息获取单元160，用于将所述特征点集合及所述音频特征量化信息输入所述预置的满意度分类模型以获取与所述回访视频信息对应的满意程度信息。

在一实施例中，所述基于情绪识别的客户回访装置100还包括子单元：分类模型训练单元。

分类模型训练单元，用于若接收到所输入的训练数据集，根据预置的梯度下降训练模型及所述训练数据集对所述满意度分类模型进行迭代训练以得到训练后的满意度分类模型。

在一实施例中，所述基于情绪识别的客户回访装置100还包括子单元：回访偏好信息存储单元。

回访偏好信息存储单元，用于将所述满意程度信息及所述客户音频信息作为所述客户的回访偏好信息上传至区块链中进行存储。

在本发明实施例所提供的基于情绪识别的客户回访装置应用上述基于情绪识别的客户回访方法，根据业务记录信息生成业务回访信息发送至客户端并获取回访视频信息，从回访视频信息中获取客户图像信息及客户音频信息，判断客户图像信息是否满足检测条件，若满足则从客户图像信息中获取特征点集合并从客户音频信息中获取音频特征量化信息，根据满意度分类模型获取与特征点集合及音频特征量化信息相匹配的满意程度信息。通过上述方法，从客户图像信息中获取包含客户面部情绪特征的特征点集合，通过语音分析获取取音频特征量化信息，通过客户面部情绪特征与音频特征量化信息相结合的方式获取客户的满意程度信息，可大幅提高所得到的满意程度信息的真实性，并可实现准确地获取客户满意程度。

上述基于情绪识别的客户回访装置可以实现为计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。

请参阅图10，图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行基于情绪识别的客户回访方法以对客户进行回访以获取满意程度信息的管理服务器。

参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于情绪识别的客户回访方法。

该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于情绪识别的客户回访方法。

该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上述的基于情绪识别的客户回访方法中对应的功能。

本领域技术人员可以理解，图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现上述的基于情绪识别的客户回访方法中所包含的步骤。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。