用于确定主观层级聚类中的每个特征的权重的信息处理装置、方法和程序

技术领域

本发明涉及层级聚类技术，尤其涉及用于确定可能对被表达为 物理特征的组合的内容进行层级聚类以使得主观相似性的程度得以 反映的每个特征的权重的信息处理装置、方法和程序。

背景技术

需要对诸如语音、图像、语句和网站之类的多媒体内容进行聚 类，以使得人们从内容所感觉到的情感内容之间的主观相似性程度 能够有所反映。这里，情感内容不仅意味着诸如愤怒和喜悦之类的 人们明确表达出的感情，而且还有那些能够被人们所感觉但是无法 必然地以词语进行归类的，包括微秒的精神状态。情感内容是主观 相似还是不同取决于接收一侧的人们准备对其加以区分的敏感程 度。因此，为了满足以上需求，期望使用其中聚类数量并未事先确 定的层级聚类。通常，多媒体内容通过物理特征的组合进行表达。 然而，所有物理特征并非必然具有等同的重要性。因此，有必要学 习每个物理特征的权重以便在聚类结果上反映主观相似性的程度。

作为其中从用户观点来看的主观相似性程度得以反映的一种 常规聚类技术，存在有非专利文献1。在非专利文献1所公开的约束 聚类之中，必然包括在相同聚类中的配对（ML：must-link）以及必 然包括在不同聚类中的配对（CL：connot-link）被用作训练数据。 如图1(a)所示，在学习时，训练数据（ML/CL配对）100被输入监 督聚类部110，并且对监督聚类算法进行调整以满足ML/CL配对的 约束。在操作时，测试数据105被输入到监督聚类部110，并且通过 使用经调整的算法而获得聚类结果115。

作为其中从用户观点来看主观相似性程度得以反映的另一种 常规聚类技术，存在有非专利文献2。在非专利文献2所公开的半监 督聚类中，对于训练数据的每个集合（X,A和B），由用户指定X 与A和B中的哪一个更为接近（此后，这样的训练数据被称作XAB 型相似性数据）。如图1(b)所示，在学习时，包括用户指定的训练 数据（XAB型相似性数据）120被输入到监督权重学习部125，并且 确定每个物理特征的权重130以使得训练数据120所指示的关系得 以满足。在操作时，测试数据135被输入到非监督聚类部140，并且 通过使用每个物理特征的权重130执行非监督聚类并且获得聚类结 果145。

以下将对针对本发明而在现有技术检索中找到的其它常规技 术进行描述。

在专利文献1中，所要解决的问题是使得可能以高准确性将人 们感到彼此类似的文档一起放入到相同聚类之中并且获得用户意图 在其上得以反映的聚类结果。专利文献1公开了一种聚类方法，其 中获取用户所指定的多个聚类中的文档中共同出现的共用词语；在 所述共用词语中，选择与用户所没有指定的聚类中的出现频率相比 在用户所指定的聚类中出现频率相对高的共用词语；所述共用词语 在关键词存储装置中被记录为关键词；并且，在对相同或另一组文 档进行聚类时，执行聚类，其中记录在关键词存储装置中的关键词 的影响得以被强调。

专利文献2公开了一种图像处理装置，其通过基于训练数据所 学习的分类器对图像信息进行区分，所述图像处理装置包括：特征 提取装置，其从图像信息提取特征；组合特征计算装置，其计算作 为特征提取装置所提取的特征的组合的组合特征；学习装置，其通 过组合特征计算装置所计算的特征和特征提取装置所提取的特征对 分类器进行学习；校准装置，其将训练数据应用于由学习装置所学 习的鉴别器以利用从外界所给出的理想分类结果对鉴别结果进行校 准；和优化装置，其基于校准装置的结果而改变组合特征计算装置 用于特征组合的方法。

专利文献3公开了一种模式识别装置，其包括：用于参考事先 准备的识别空间以通过最近邻法执行样本模式的模式识别的装置； 用于基于模式识别所获得的识别距离顺序确定识别置信度的装置； 以及用于判断所参考的识别空间是否是用于样本模式识别的良好识 别空间。专利文献3还公开了用于针对样本模式可能所属的类别准 备识别空间的装置；控制装置，用于在接收到识别装置基于通过参 考事先准备的识别空间并且对已知样本模式执行模式识别而获得的 识别置信度所给出的识别结果，并且所述判断结果指示所述识别空 间并非良好识别空间时，对创建装置进行控制以使得对已知样本模 式的类别准备新的识别空间的装置，所述新的识别空间使用与事先 准备的识别空间的特征不同的特征；以及用于将事先准备的识别空 间和新准备的识别空间进行累加的装置，所述识别空间相互层级关 联。

在专利文献4中，所要解决的问题是提供一种能够根据聚类目 标将文档数据归类为多个聚类的文档聚类系统。专利文献4公开了 一种文档聚类系统，其对特征矢量创建装置103所创建的文档的特 征矢量集合执行单数数值分解；从单数数值分解结果106创建文档 相似性矢量108以便计算文档之间的相似性程度；由聚类创建装置 110针对目标文档使用文档相似性矢量来计算文档和聚类中心之间 的距离；增加用于第一分类的文档相似性矢量的维度数量以对相同 目标文档再执行第二分类；将两个分类的结果进行比较并且将几乎 没有变化的聚类设置为稳定聚类；由数据选择装置109从目标中排 除稳定聚类的文档并且选择由聚类创建装置进行下一次分类的目标 文档；并且重复所述试验。

非专利文献3公开了一种半监督的聚类方法，其中整合了常规 的基于约束的方法以及基于距离的方法（距离函数学习方法）。

[引用列表]

[专利文献]

[专利文献1]

[专利文献1]JP2007-334388A

[专利文献2]JP2006-127446A

[专利文献3]JP07-121709A

[专利文献4]JP2002-183171A

[非专利文献]

[非专利文献1]Eric P.Xing,Andrew Y.Nq,Michael I.Jordan, Stuart Russell,"Distance metric learning,with application to clustering  with side information",In Advances in Neural Information Processing  Systems15,Vol.15(2002),pp.505-512

[非专利文献2]Matthew Schultz,Torsten Joachims,"Learning a  distance metric from relative comparisons",In Advances in Neural  Information Processing Systems16,MIT Press,Cambridge,MA,(2004)

[非专利文献3]Mikhail Bilenko,Sugato Basu,Raymond J. Mooney,"Integrating Constraints and Metric Learning in  Semi-Supervised Clustering",Proceedings of the21st International  Conference on Machine Learning,Banff,Canada,July,pp.81-88

发明内容

[本发明所要解决的问题]

如以上所描述的，非专利文献1所公开的约束聚类需要准备 ML/CL型约束作为训练数据。然而，是否将某些数据配对的要素分 类为相同聚类取决于分类聚类的数量。例如，即使数据配对在分类 为四个聚类的情况下应当为ML，所述数据配对在更为详细地分类为 八个聚类的情况下应当是CL也可能是适宜的。因此，除非事先确定 了分类聚类的数量，否则无法创建ML/CL型的训练数据，并且非专 利文献1的技术无法被应用于其中并不事先确定聚类数量的层级聚 类。

另一方面，在非专利文献2所公开的半监督聚类中，准备指示 X与A和B中的哪一个更为接近的训练数据足矣，并且因此即使在 没有首先确定分类聚类的数量的情况下也能够创建训练数据。然而， 非专利文献2所公开的训练数据所存在的问题在于，大约1/3的训练 数据对于评估聚类结果而言是无效的。例如，假设作为三个内容X、 A和B的层级聚类的结果，如图3(a)所示，A和B在与X组合之前 首先进行组合。随后，无法从聚类结果判断X与A和B中的哪一个 更为接近，并且因此不可能使用训练数据对聚类结果进行评估。虽 然可能通过增加训练数据的数量来学习特征的权重，但是权重的学 习是在增加无效数据的方向中执行，这是因为其导致了更高的得分。 终究，有必要对学习算法进行设计，并且需要复杂的处理。

在专利文献1的技术中，当多次执行聚类时，由用户给出有关 之前的聚类结果中的正确配对和错误配对的反馈。然而，由于所述 反馈可以被认为是ML/CL型的训练数据，所以由于关于非专利文献 1所描述的相同原因，专利文献1的技术无法被应用于其中并不首先 确定聚类数量的层级聚类。

在专利文献2中，给出k均值（k-means）方法和k最近邻点 方法作为聚类方法。也就是说，专利文献2的技术要被应用于非层 级聚类方法，并且不可能将专利文献2的技术应用于其中并不首先 确定聚类数量的层级聚类。

在专利文献3的技术中，通过针对无法被模式识别所识别的类 别反复继续进行模式识别处理，能够获得作为结果的层级结构。然 而，这样的层级结构并不指示数据之间的相似性程度。专利文献3 所公开的聚类是其中首先确定聚类数量的聚类。如以上所描述的， 即使使用专利文献3的技术，也不可能满足对多媒体内容进行聚类 的要求而使得人们从内容所感觉到的情感内容之间的主观相似性的 程度能够得以反映。

在专利文献4的技术中，两种特征矢量中的每一个被用来执行 聚类，并且从两个结果所获得的这种聚类被采用作为稳定聚类。结 果，并不需要训练数据。因此，在专利文献4的技术中，不可能对 特征的权重进行学习以使得能够执行对人们所感到的情感内容之间 的主观相似性的程度有所反映的聚类。

在非专利文献3的技术中，使用ML/CL型约束数据和XAB型 相对相似性数据作为训练数据。因此，非专利文献3的技术包括关 于非专利文献1的技术所描述的问题以及关于非专利文献2的技术 所描述的问题。

已经考虑到常规技术中的上述问题而做出了本发明，并且本发 明的目标是提供一种信息处理装置、方法和程序，其可能学习物理 特征的权重并且根据聚类数量采用特征的权重以使得能够针对被表 达为物理特征组合的内容执行反映主观相似性程度的层级聚类，并 且因此能够实现执行所述层级聚类而使得人们从内容所感觉到的情 感内容之间的主观相似性的程度能够得以反映。

[用于解决问题的手段]

为了解决常规技术的上述问题，本发明提供了一种信息处理装 置，其确定每个特征在被表达为物理特征组合的内容的主观层级聚 类中的权重并且具有以下所描述的特性。本发明的信息处理装置获 取在三条内容的集合（此后称作三元组）中间隔开来的多条内容和 标签信息作为训练数据，所述标签信息指示在所述三元组的三条内 容中被用户指定为具有最高相似性程度的配对。所述信息处理装置 使用训练数据中的每条内容的特征矢量以及每个特征的权重执行层 级聚类以确定所述训练数据的层级结构。所述信息处理装置对每个 特征的权重进行更新以使得作为所确定层级结构中的三元组中的三 条内容中的相同聚类的首先组合的配对和对应于所述三元组的标签 信息所指示的配对之间的一致程度有所增加。

优选地，所述信息处理装置计算错误率，这是层级聚类结果和 标签信息并不彼此一致的这种三元组的数量与三元组总数的比率。 所述信息处理装置使用每个特征的更新权重对训练数据反复执行层 级聚类，并且响应于收敛至预定数值的错误率而输出每个特征的更 新权重。

更为优选地，所述信息处理装置针对每个层级聚类结果和标签 信息并不彼此一致这样的三元组确定被假定为所述不一致的原因的 特征，并且通过降低被确定为不一致的原因的特征的权重而使其小 于未被确定为不一致的原因的特征的权重而对每个特征的权重进行 更新。这里，如果对应于不一致的三元组的标签信息所指示的配对 的特征的数值之间的差异与处于不一致的三元组的其它配对的相对 应特征的数值之间的差异相比时相对大，则所述信息装置可以推定 所述特征为不一致的原因。

优选地，所述信息处理装置向每个三元组附加以权重。所述信 息处理装置针对每个特征而仅使用所述特征对加权三元组执行层级 聚类，并且在考虑每个三元组的权重的情况下针对每个特征确定层 级聚类的错误率。所述信息处理装置使用最低错误率对具有最低错 误率的特征的权重进行更新，并且利用经更新的特征权重对每个三 元组的权重进行更新。所述信息处理装置响应于层级聚类结果不再 有所改进或者更新处理已经执行了与总特征数相对应的次数而输出 每个特征的更新权重。更优选地，所述信息处理装置利用特征的更 新权重更新每个三元组的权重，以使得层级聚类结果和标签信息并 不彼此一致的三元组的权重大于层级聚类结果和标签信息彼此一致 的三元组的权重。

优选地，所述信息处理装置向每个三元组附加以权重。所述信 息处理装置针对每个特征而仅使用所述特征对加权三元组执行层级 聚类，并且在考虑每个三元组的权重的情况下针对每个特征确定层 级聚类的错误率。所述信息处理装置使用最低错误率确定具有最低 错误率的特征的临时权重，并且利用所述临时权重更新每个三元组 的权重。所述信息处理装置重复以上一系列处理，并且响应于层级 聚类结果不再有所改进或者更新处理已经执行的次数大于总特征数 而针对每个特征输出针对所述特征所确定的临时权重之和而作为所 述特征的权重。更为优选地，所述信息处理装置利用特征的临时权 重更新每个三元组的权重，以使得层级聚类结果和标签信息并不彼 此一致的三元组的权重大于层级聚类结果和标签信息彼此一致的三 元组的权重。

优选地，所述信息处理装置获取每个特征的权重要针对其进行 切换的一个或多个级别1以及每个级别1的聚类上限数量N₁。所述 信息处理装置使用针对级别1-1所确定的每个特征的权重以从下向 上的方法执行层级聚类直至聚类的上限数量达到N_1-1，所述级别1-1 是低于要针对其切换权重的级别1的一个级别。所述信息处理装置 利用N_1-1个聚类作为新的训练数据执行用于确定权重的一系列处理， 并且输出每个特征所确定的权重作为级别1每个特征的权重。

优选地，所述信息处理装置获取测试数据以及所要显示的层级 层的规范，并且响应于测试数据的获取使用所学习的每个特征的权 重对测试数据执行层级聚类。所述信息处理装置从作为层级聚类的 结果而获得的层级结构中取出被分类为指定层级层的多个聚类的测 试数据，并且将其在显示部上进行显示。

本发明已经被描述为一种确定主观层级聚类中的每个特征的 权重的信息处理装置。然而，本发明也可以被掌握为一种由这样的 信息处理装置所执行的用于确定主观层级聚类中每个特征的权重的 方法，以及安装在这样的信息处理装置中并由其执行的用于确定主 观层级聚类中每个特征的权重的程序。

[本发明的优势]

根据本发明，通过使用指示由用户指定为在三元组的三条内容 之中具有最高相似性的配对的标签信息来对作为层级聚类的结果的 层级结构进行评估，并且基于所述评估的结果对每个特征的权重进 行更新。因此，可能有效且准确地学习每个物理特征的权重以使得 能够在聚类结果上反映出主观相似性的程度。此外，通过使用所学 习的每个特征的权重，可能执行聚类以使得人们所感觉到的多条情 感内容之间的主观相似性的程度能够得以反映。此外，有可能根据 聚类的数量改变每个特征的权重，并且可能在人们对执行粗糙分类 的情形和执行详细分类的情形之间的不同特征加以关注的类别中对 人类特性进行模拟。

附图说明

图1(a)是图示作为常规技术的约束聚类的概况的示图；

图1(b)是图示作为常规技术的基于距离的半监督聚类的概况 的示图；

图2是根据本发明实施例的权重学习装置200的功能框图；

图3(a)是图示作为常规技术的基于距离的半监督聚类的结果 的示图；

图3(b)是图示根据本发明实施例的聚类的结果的示图；

图4是示出根据本发明实施例的权重计算处理在学习时的整 体流程的流程图；

图5是示出根据本发明实施例的聚类结果评估处理的流程的 流程图；

图6是示出根据本发明实施例的聚类处理在操作时的整体流 程的流程图；

图7是示出根据本发明第一示例的权重计算处理在学习时的 流程的流程图；

图8是示出根据本发明第二示例的权重计算处理在学习时的 流程的流程图；

图9是示出根据本发明第三示例的权重计算处理在学习时的 流程的流程图；

图10是图示本发明实施例中的层级编号以及每个层级的聚类 数量的上限的示图；

图11是示出根据本发明实施例的针对每个层级改变特征权重 的处理的流程的流程图；

图12是图示根据本发明实施例的聚类结果显示方法的示图；

图13是示出多个实验示例的结果以及常规方法的比较示例的 结果的错误率表格；和

图14示出了如所涉及的申请中请求保护的优选地用于实现根 据本发明实施例的学习装置200的信息处理装置的硬件配置示例。

具体实施方式

以下将基于附图对用于实践如所涉及申请中请求保护的发明 的实施例进行详细描述。然而，以下实施例并不对根据权利要求的 本发明进行限制，并且实施例中所描述特征的所有组合对于本发明 的解决方案而言并非是必然要求的。贯穿对实施例的整体描述，相 同组件被给予相同的附图标记。

1.新格式的训练数据

将对用于表达根据本发明实施例的聚类将其作为目标的多媒 体内容的方法进行描述。总体上，诸如声音、图像、语句和网站之 类的多媒体内容通过物理特征的组合进行表达，所述物理特征也就 是特征矢量V_i，它是多个特征X_i,k在其中进行设置的矢量。这里，i 表示内容的索引，而k则表示矢量的维度。当维度的数量由D表示 时，V_i=[X_i,1,X_i,2,X_i,3,...,X_i,D]^T被满足。这里，T指示所述矩阵是转置 矩阵。例如，在声音的情况下，可以使用基本频率[Hz]、持续时间长 度[msec]等作为特征X_i,k。然而，由于特征X_i,k的变化针对每个维度 k有所不同，所以期望对特征X_i,k进行归一化以使得平均值和变化中 的每一个分别变为0，如以下公式（1）所示。

[公式1]

${X^{\prime }}_{i,k}=\frac{(X_{i,k}-{\mu }_k)}{{\sigma }_k}···\left(1\right)$

μ_k:第k维度的特征量X_i,k的平均值

σ_k:第k维度的特征量X_i,k的标准偏差

然而，所有特征对于表示某条内容而言并非必然具有等同的重 要性。也就是说，在判断人们从内容所感觉到的情感内容是否主观 上相似时特征X_i,k对于主观相似性程度的贡献程度根据每个特征X_i,k而有所不同。因此，为了对内容进行聚类以使得能够反映出主观相 似性的程度，优选地并非立即使用归一化特征X_i,k而是将其乘以权重 系数w_k，其指示如以下公式（2）中所示的贡献程度。因此，在本发 明中，学习每个特征X_i,k的权重w_k以示出对主观相似性程度的贡献 程度。

[公式2]

${X^{\prime \prime }}_{i,k}=\frac{w_k\times (X_{i,k}-{\mu }_k)}{{\sigma }_k}···\left(2\right)$

W_k:第k维度的特征量的权重

μ_k:第k维度的特征量X_i,k的平均值

σ_k:第k维度的特征量X_i,k的标准偏差

然而，常规技术中所公开的用于学习的训练数据的格式并不适 合如以上所描述的本发明的目的。其中并不确定聚类数量的层级聚 类适于表示主观相似性的程度。然而，为了准备作为训练数据的两 种约束数据，ML数据和CL数据，必须要首先确定分类聚类的数量。 另一方面，在使用XAB型相似性数据作为训练数据的情况下，不必 首先确定聚类数量。然而，例如在内容X与内容A更为相似时，从 XAB型相似性数据所获得的信息仅是信息Sim(X,A)>Sim(X,B)（假 设Sim(m,n)是返回内容m和内容n之间的相似性程度的函数）。因 此，如图3(a)所示，当内容A和内容B在作为聚类结果而获得的层 级结构中的内容X、A和B之间首次结合时，不可能使用AB型相 似性数据对层级结构进行评估。毕竟，1/3的AB型相似性数据对于 聚类结果的评估而言是无效的。

因此，在本发明中，引入了新的训练数据格式，其使得可能对 每个特征的权重进行学习以使得主观相似性的程度在聚类结果上有 所反映。这样的用于学习特征权重的新格式是附加有标签信息的三 元组，所述标签信息指示被用户指定为具有所述三元组中的三条内 容（或者三元组中的三个配对）之间的最高相似度程度的配对。能 够创建这种新格式的训练数据而无需首先确定聚类数量。例如，当 内容A和内容B之间的相似性最高时，从附加有标签信息的三元组 所获得的信息是指示Sim(A,B)>Sim(B,C)且Sim(A,B)>Sim(C,A)的信 息。因此，即使在作为如图3(b)所示的聚类结果而获得的层级结构 中的内容A、B和C之间首先将内容A和内容B相结合，也可能使 用附加有标签信息的三元组对所述层级结构进行评估。更具体地， 对于作为聚类结果的层级结构而言，在计算内容A、B和C之间首 次结合的配对并且所述配对与标签信息所指示的配对一致时，能够 将所述层级结构评估为正确答案，否则就评估为错误答案。从三元 组中选择具有最高相似性程度的配对的工作等同于选择三元组中最 不相似的一条内容的工作，并且因此所述工作的负荷几乎与XAB格 式的训练数据的情况相同。

2.整体发明的概述

将参考图2对根据本发明实施例的使用以上所描述的附加有 标签信息的三元组的权重学习方法进行描述。图2是根据本发明实 施例的权重学习装置200的功能框图。权重学习装置200被提供以 获取部205、标签信息存储部210、层级聚类部215、评估部220、 权重更新部225以及权重数据存储部230。

在学习时，获取部205连同标签信息一起获取多个三元组作为 训练数据，所述标签信息指示被用户指定为三元组的三条内容之间 具有最高相似性程度的配对。对于学习所需的三元组的数量和组合 并没有条件，并且三元组的选择可以随机执行。然而，与一般的训 练数据相类似，训练数据的数量越大，就越期望如此。要作为训练 数据的内容要求近似于要作为操作时所使用的测试数据的内容的属 性。在操作时，获取部205获取作为测试数据的内容。获取部205 可以从用户获取层级分层的规范以便作为聚类结果进行显示。以上 获取可以由用户经由输入设备直接执行，或者在数据事先准备于存 储设备中的情况下可以从存储设备读取和获取数据。当然，可以经 由网络从另一计算机获取数据。

标签信息存储部210以这样的格式存储获取单元205所获取的 每个三元组的标签信息使得找出标签信息与哪个三元组一致。标签 信息存储部210中所存储的标签信息被随后描述的评估部220用来 进行评估。

在学习时，层级聚类部215使用训练数据的每条内容的特征矢 量以及每个特征的权重执行层级聚类来确定训练数据的层级结构。 所述层级聚类可以是其中聚类以从下向上的方向顺序结合的凝聚型 聚类，或者可以是其中聚类以从上向下的方向进行顺序划分的分区 型聚类。在所述实施例中，采用凝聚型聚类。以下示出了用于凝聚 型聚类的过程。

1.将每条内容设置为由一个要素所构成的聚类。

2.针对所有聚类配对，计算聚类之间的距离。

3.将具有最短距离的聚类配对进行结合。

4.如果有两个或更多聚类，则流程返回至2。

另一方面，如果有一个聚类，输出生成所述聚类的处理作为所 要确定的层级结构。

根据如何确定聚类配对的距离具有四种方法，最近邻点法、最 远邻点法、群组平均法和离差平方和法（Ward’s法）。由于在随后 所要描述的实验中使用离差平方和法，因此以下将对离差平方和法 中计算距离的方法进行描述。

离差平方和法中的距离由以下公式（3）所定义。

[公式3]

$\mathrm{ESS}=\underset{j}{\Sigma }\underset{i\in C_j}{\Sigma }\underset{k}{\Sigma }{w}_k\times {|X{i}_{,j,k}-{\mu }_{j,k}|}^2···\left(3\right)$

W_k:第k维度的特征量的权重

C_j：第j聚类

X_i,j,k:属于第j聚类的第i内容的第k维度的特征量

μ_j,k:属于第j聚类的内容的第k维度的特征量的平均值

离差平方和法中的距离ESS（误差平方和）定义了聚类的不良性 （badness），并且其针对聚类C_j中所包括的所有内容被表达为与聚 类C_j的中心μ_j,k的加权平方和误差。在离差平方和法中，这种使得指 示聚类不良性的所述ESS最小的聚类组合得以被选择，并且聚类被 融合。针对离差平方和法的进一步的细节例如参见Joe H.Ward的 "Hierarchical grouping to optimize an objective function",Journal of the  American Statistical Association,vol.58.no.301,pp.236-244,March 1963。

每个特征的权重被随后所要描述的权重更新部225所更新，并 且层级聚类部215使用每个特征的更新权重对学习数据反复执行层 级聚类。作为层级聚类的结果的层级结构被移交至随后所要描述的 评估部220和权重更新部225。

在操作时，响应于由获取部205获取测试数据，层级聚类部 215使用由权重更新部225针对每个特征最新更新的权重对测试数 据执行层级聚类。所要采用的层级聚类方法与学习时所使用的方法 相同。层级聚类部215可以将层级聚类结果存储到权重学习装置200 的存储部（未示出）之中。在此之后，层级聚类的结果由权重学习 装置200的显示部（未示出）进行显示。在所要显示的层级分层的 规范由获取部205所获取的情况下，基于存储部中所存储的层级结 构确定被归类为所指定层级层的多个聚类中的测试数据并且在显示 部上进行显示。

评估部220计算错误率，这是层级聚类结果并不与标签信息一 致的这种三元组的数量与三元组总数的比率。层级聚类结果和标签 信息之间的比较如以下所示出的那样执行。首先，在作为聚类结果 的层级结构中，计算三元组中首先结合的配对。例如，如果假设三 元组为(A,B,C)，并且所获取的层级结构如图3(b)所示，则评估部 220所确定的配对为(A,B)。随后，从标签信息存储部210中读出与 所述三元组相对应的标签信息。如果所读出的标签信息所指示的配 对与所计算的配对一致，则正确答案计数C_s加一。如果所述标签信 息所指示的配对与所计算的配对不一致，则错误答案计数C_f加一。 所述比较处理针对所有三元组结束，通过以下公式（4）确定错误率 ε。

[公式4]

$ϵ=\frac{C_f}{C_s+C_f}···\left(4\right)$

针对由层级聚类部215所进行的每个层级聚类执行由评估部220对 聚类结果所进行的评估。

权重更新部225对每个特征的权重进行更新以使得作为聚类 结果的层级结构中的三元组中的相同聚类而首先结合的配对和相对 应标签信息所指示的配对之间的一致程度有所增加。具体更新方法 随后参考图7至9进行描述。如以上所描述的，层级聚类部215使 用权重更新部225所更新的每个特征的权重对训练数据反复执行层 级聚类。权重更新部225也基于作为层级聚类部215所进行的层级 聚类的结果的层级结构而对所有或部分特征的权重反复进行更新。 随后，权重更新部225响应于层级聚类结果不再有所改善，例如响 应于评估部220所计算的错误率ε收敛至预定数值，而输出针对每个 特征最后更新的权重。

权重数据存储部230存储每个特征的权重。权重数据存储部 230中所存储的每个特征的权重在其被学习时由权重更新部225进 行更新。随后，权重数据存储部230中最后更新的每个特征的权重 在操作时被层级聚类部215所读出而作为所述特征的确定权重。

接下来，将参考图4至6对根据本发明实施例的用于学习每个 特征的权重的方法的处理流程进行描述。图4是示出根据本发明实 施例的用于学习每个特征的权重的处理的整体流程的流程图。图5 是示出根据本发明实施例的聚类结果评估处理的流程的流程图。图6 是示出根据本发明实施例的聚类处理在操作时的整体流程的流程 图。

图4所示的学习处理在步骤400开始，并且获取部205连同标 签信息一起获取多个三元组作为训练数据，所述标签信息指示由用 户指定为在三元组中具有最高相似性程度的配对。随后，重复从步 骤402至步骤408的一系列处理作为循环1。假设迭代数t以1开始。 层级聚类部215使用每个特征的当前权重对训练数据执行层级聚类 （步骤402）。随后，评估部220使用与三元组相关的标签信息对作 为聚类结果的层级结构进行评估并且确定错误率ε（步骤S404）。随 后将参考图5对评估处理的细节进行描述。

接着，权重更新部225参考标签信息以更新每个特征的权重， 以使得作为聚类结果的层级结构中的三元组中的作为相同聚类首先 结合的配对和相对应标签信息所指示的配对之间的一致程度有所增 加（步骤S406）。随后，通过将评估部220所确定的错误率ε与之前 迭代t中所确定的错误率ε相比较，权重更新部225判断聚类结果是 否有所改善，也就是说，聚类结果是否已经收敛（步骤408）。

如果判断处聚类结果还未收敛（步骤408：否），并且迭代编 号t低于T，则所述处理返回至步骤402，并且继续通过循环1学习 每个特征的权重。这里，T表示迭代编号的最大值，并且通常其可以 是特征的总数。然而，虽然这将在随后详细进行描述，但是T可以 是等于或大于特征总数的数值，例如在考虑相同特征被选择两次的 情况下是特征总数的两倍。另一方面，如果判断出聚类结果已经收 敛（步骤408：是），或者如果迭代编号t等于T，则所述处理退出 循环1并且进行至步骤410。随后，权重更新部225输出最后所确定 的每个特征的权重作为所述特征的学习权重。随后，所述处理结束。 每个特征的权重的输出目的地可以是权重数据存储部230。

图5所示的评估处理在步骤500开始，并且评估部220从层级 聚类部215获取作为聚类结果的层级结构。随后，评估部220针对 所有训练数据重复从步骤502至步骤506/508的一系列处理作为循环 1。评估部220在作为评估目标的训练数据的三元组中确定在所获取 的层级结构中被判断为最为相似的配对（步骤502）。

接下来，评估部220判断在步骤502所确定的配对是否与标签 信息存储部210中所存储的相对应标签信息指示的配对一致（步骤 504）。如果配对彼此相对应（步骤504：是），则评估部将正确答 案计数C_s加一，作出正确答案的判断（步骤506）。另一方面，如 果配对并不彼此对应（步骤504：否），则评估部将错误答案计数 C_f加一，作出错误答案的判断（步骤508）。两个计数均被假设在评 估处理开始时初始化为0。

当循环1的重复结束时，评估部220随后使用以上所描述的公 式（4）计算错误率ε并且将其输出（步骤510和512）。随后，所述 处理结束。

图6所示的操作时的聚类处理在步骤600开始，并且获取部 205在操作时获取测试数据。随后，层级聚类部215从权重数据存储 部230获取所学习的每个特征的权重（步骤602）。随后，层级聚类 部215使用已经读出的每个特征的权重对测试数据执行与学习时相 同的层级聚类（步骤604）。最后，层级聚类部215输出作为聚类结 果的层级结构。随后，所述处理结束。所述层级结构的输出目的地 可以是图2中并未示出的诸如打印机和权重学习装置200的显示器 之类的输出设备或者可以是存储部。

层级聚类部215、评估部220和权重更新部225所进行的一系 列处理是图4中的矩形420所指示的反馈循环。在本发明中，对每 个特征的权重进行学习，其中将整体层级结构是好是坏作为评估标 准。作为用于对每个特征的权重进行更新以使得标签信息和聚类结 果层级结构之间的一致程度有所增加的方法，可想到多种实施方法。 这些多种实施方法将在以下作为第一示例、第二示例和第三示例进 行描述。在所有示例中，三元组的总数由N所表示。特征的总数（维 度数量）由F所表示，并且它们的索引的集合S_F由以下公式（5） 所表示。

[公式5]

S_f={f|1≤f≤F}...(5)

索引f的特征随后为了方便将被称之为特征f。

3.学习方法

3-1.第一示例

在根据第一示例对每个特征的权重进行更新时，确定导致标签 信息和聚类结果的层级结构之间不一致的特征，并且基于所述确定 对所述特征的权重进行更新。具体过程如下所示。重复以下所示出 的2.至6.的处理直至聚类结果不再有所改善。回合t指示每次重复的 编号。

1.利用1/F对所有特征的权重w_f进行初始化。

2.在当前回合t中使用特征的权重w_f对三条内容的集合执行 层级聚类。这里，可以使用公式（3）以离差平方和法执行层级聚类。

3.针对每个三元组对聚类结果进行评估。特别地，针对每个 三元组判断聚类结果和标签信息是否彼此相对应，并且通过使用以 上所描述的公式（4）计算错误率ε。

4.对于在3.的评估中被判断为聚类结果和标签信息并非彼此 相对应的每个这样的三元组（此后为了方便称之为不一致的三元 组），确定被假定为不一致的原因的特征。作为示例，被假定为不 一致的原因是对应于不一致的三元组的标签信息所指示的配对的特 征数值之间的差异与相同的不一致三元组中的其它配对的相对应特 征的数值之间的差异相比较时相对大的特征。可能有多个被假定为 不一致原因的特征。

5.对每个特征的权重进行更新以使得被确定为不一致原因的 特征的权重小于其它特征的权重。作为示例，可以仅对被确定为不 一致原因的特征的权重进行恒定倍数的减小。与之相反，可以仅对 并未被确定为不一致原因的特征的权重进行恒定倍数的增大。可替 换地，可以执行更新以使得被确定为不一致原因的特征的权重有所 减小，而其它特征的权重有所增大。

6.执行归一化以使得所有特征的权重之和为1。

1.和4.至6.的处理、2.的处理以及3.的处理分别由权重更新部 225、层级聚类部215和评估部220执行。

接下来，将参考图7对根据第一示例的学习时的权重计算处理 的流程进行描述。图7所示的权重计算处理在步骤700开始，并且 获取部205获取三条内容的集合的训练数据。随后，权重更新部225 将所有特征的权重W_f初始化为1/F（步骤702）。随后，重复从步 骤704至步骤716的一系列处理作为循环1。假设迭代数t以1开始。 层级聚类部215使用每个特征的当前权重w_f对训练数据执行层级聚 类（步骤704）。

随后，针对所有训练数据重复从步骤706至步骤712的一系列 处理作为循环2。评估部220对聚类结果进行评估（步骤706）。由 于已经参考图5对评估处理的细节进行了描述，所以在此将省略其 描述。接下来，针对所有特征f重复从步骤708至步骤712的一系列 处理作为循环3。对于作为评估结果而被视为不一致三元组的每个三 元组，权重更新部225确定被假定为不一致原因的特征，并且判断 当前特征f是否为被假定为不一致原因的错误特征（步骤708）。如 果当前特征f并不是错误特征（步骤708：否），则权重更新部225 增加特征f的权重W_f（步骤710）。另一方面，如果当前特征f是错 误特征（步骤708：是），则权重更新部225降低特征f的权重w_f（步骤712）。

接着，当循环3和循环2的重复结束时，所述处理进行至步骤 714，并且权重更新部225对每个特征的权重w_f进行归一化。随后， 权重更新部225判断聚类结构是否已经收敛。如以上所描述的，这 样的判断可以通过确认评估部220所计算的错误率ε已经收敛至预定 数值来完成。如果聚类结果还未收敛（步骤714：否）并且迭代编号 t低于T，则所述处理返回至步骤704，并且重复循环1的一系列处 理。这里，T表示迭代编号的最大值，并且作为示例，其可以是特征 总数F。另一方面，如果聚类结果已经收敛（步骤714：是）或者如 果迭代编号t等于T，则所述处理退出循环1并且进行至步骤718， 并且权重更新部225输出每个特征的权重w_f。随后，所述处理结束。

3-2.第二示例

在根据第二示例更新每个特征的权重时，所述权重被附加到每 个三元组，并且通过对作为弱分类器的特征使用AdaBoost数据权重 计算公式对权重进行更新。具体过程如以下所示。对从2.至5.的一 系列处理重复与特征数量F相对应的次数。回合t指示每次重复的编 号。

1.每个三元组的权重D_i被初始化为1/N。这里，D_i表示第i 个三元组的权重。

2.对于每个特征f，通过仅使用所述特征f对加权三元组执行 层级聚类。这里，所述层级聚类可以使用公式（3）以离差平方和法 来执行。然而，仅特征f的权重w_f取1，而所有其它权重的数值均 为0。第i个三元组中的每条内容的特征的数值被乘以权重D_i。

3.通过使用每个三元组及其权重对每个特征f的聚类结果进 行评估。特别地，如以下公式（6）所定义的，在考虑每个三元组的 权重D_i的情况下计算每个特征f的加权错误率ε_f。

[公式6]

${ϵ}_f=\underset{i}{\Sigma }{D}_i\times I_i\left(\mathrm{fail}\right)···\left(6\right)$

I_i(fail):函数，其在三条内容的第i个集合为错误答案时取数值1并 且在其为正确答案时取数值0

第i个三元组是正确答案意味着，在作为通过仅使用特征f而执行的 聚类的结果的层级结构中，在第i个三元组中首先结合的配对和关于 第i个三元组的标签信息所指示的配对彼此相对应。相反地，第i个 三元组是错误答案意味着，在第i个三元组中首先结合的配对和关于 第i个三元组的标签信息所指示的配对彼此不相对应。

4.在公式3中具有最低加权错误率ε_f的特征f被用作当前回合 t中的弱分类器f_t。随后，如以下公式（7）所示，通过使用最低加权 错误率ε_ft计算特征f_t的权重w_ft。

[公式7]

$w_{f_t}=\frac{1}{2}\log \left\{\frac{1-{ϵ}_{f_t}}{{ϵ}_{f_t}}\right\}···\left(7\right)$

5.每个三元组的权重D_i基于其聚类结果正确还是错误而通过 AdaBoost数据权重计算公式进行更新。具体地，如以下公式（8）和 （9）所示，每个三元组的权重D_i利用被确定为弱分类器f_t的特征f_t的权重w_ft进行更新，以使得聚类结果和标签信息并不彼此相对应的 这种三元组的权重大于聚类结果和标签信息彼此相对应的三元组的 权重。

[公式8]

$d_i=\left(\begin{array}{cc}{D}_i\times \exp (+w_{f_t})& \mathrm{if}{I}_i\left(\mathrm{fail}\right)>0\\ D_i\times \exp (-w_{f_t})& \mathrm{otherwise}\end{array}\right)···\left(8\right)$

[公式9]

$D_i\leftarrow \frac{d_i}{\underset{i}{\Sigma }{d}_i}···\left(9\right)$

1.、4.和5.的处理、2.的处理以及3.的处理分别由权重更新部 225、层级聚类部215和评估部220所执行。对于AdaBoost算法的 细节，例如参见Yoav Freund和Robert E Schapire的"A  decision-theoretic generalization of on-line learning and an application  to boosting",Journal of the Computer and System Sciences,pp.119-139, 1997。

接下来，将参考图8对根据第二示例的学习时的权重计算处理 的流程进行描述。图8所示的权重计算处理在步骤800开始，并且 获取部205获取三条内容的集合的训练数据。随后，权重更新部225 将所有三元组的权重D_i初始化为1/N（步骤802）。随后，将从步骤 804到步骤814的一系列处理重复与特征数量F相对应的次数作为循 环1。假设循环1的迭代编号t以1开始。在循环1中，步骤804和 步骤806的处理被重复与特征数量F相对应的次数作为循环2。假设 当前特征的索引f以1开始。

层级聚类部215仅使用当前特征f对加权训练数据执行层级聚 类（步骤804）。随后，评估部220对步骤804的聚类结果进行评估 并且通过以上公式（6）计算特征f的加权错误率ε_f（步骤806）。

当循环2的重复结束时，所述处理进行至步骤808，其中权重 更新部225确定其加权错误率ε_f最低的特征f为当前回合t中的弱分 类器f_t。随后，权重更新部225通过以上公式（7）确定在步骤808 中被确定为弱分类器的特征f_t的权重w_ft（步骤810）。随后，权重 更新部225通过以上公式（8）和（9）对每个三元组的权重D_i进行 更新（步骤812）。随后，权重更新部225通过判断步骤808所确定 的最低加权错误率ε_f是否收敛至预定数值来判断聚类结果是否已经 收敛（步骤814）。更具体地，如果最低加权错误率ε_f并不处于预定 数值之内，则判断聚类结果已经收敛。其原因在于，由于认为随后 被选择为弱分类器f_t的特征f的准确性会更差，所以在超出预定数值 时退出循环1。取而代之的，也可能使用在之前迭代（(1,...,t）中所 获得的所有特征f_t以及它们的权重w_ft来执行层级聚类，对所述层级 聚类的准确性进行评估，并且响应于所述准确性不再有所改善而退 出循环1。所述判断方法是有利的，原因在于其为了收敛确定而使用 了要实际输出的特征的权重的组合。

如果聚类结果并不收敛（步骤814：否）或者如果循环1还没 有重复与特征数量F相对应的次数，则所述处理返回至步骤804，并 且继续循环1的权重学习处理。另一方面，如果聚类结果已经收敛 （步骤814：是）或者如果循环1已经重复与特征数量F相对应的次 数，则所述处理退出循环1并进行至步骤816。权重更新部225输出 在每个回合t的步骤810所确定的特征f_t的权重w_ft作为每个特征的 学习权重w_f。随后，所述处理结束。

3-3.第三示例

根据第三示例的每个特征的权重的更新是已经有所改进的根 据第二示例的每个特征的权重的更新。在根据第二示例的每个特征 的权重的更新中，仅被确定为弱分类器的特征f_t的权重w_ft被在重复 对应于特征数量F的次数的学习的每个回合t中计算。然而，并非必 然是不同的特征f在每个回合t中被确定为弱分类器。也就是说，相 同的特征f可能被多次确认为弱分类器。在这种情况下，在之前回合 t所计算的数值被重写，并且所述信息丢失。因此，在第三示例中， 重复次数并不局限于特征的数量F，并且作为最终确定的每个特征的 权重，使用每个回合t中所计算的特征的权重之和。具体过程如下所 示。重复以下所示出的从2.至5.的一系列处理直至聚类结果不再有 所改进。回合t指示每次重复的编号。

1.每个三元组的权重D_i被初始化为1/N。这里，D_i表示第i 个三元组的权重。

2.对于每个特征f，通过仅使用所述特征f对加权三元组执行 层级聚类。这里，使用公式（3）的离差平方和法能够用于层级聚类。 然而，仅特征f的权重w_f取1，而所有其它权重的数值均为0。第i 个三元组中的每条内容的特征的数值被乘以所述三元组的权重D_i。

3.通过使用每个三元组及其权重对每个特征f的聚类结果进 行评估。具体地，如以上公式（6）所定义的，在考虑每个三元组的 权重D_i的情况下计算每个特征f的加权错误率ε_f。第i个三元组是正 确答案意味着，在作为仅使用特征f而执行的聚类的结果的层级结构 中，在第i个三元组中首先结合的配对和关于第i个三元组的标签信 息所指示的配对彼此相对应。相反地，第i个三元组是错误答案意味 着，在第i个三元组中首先结合的配对和关于第i个三元组的标签信 息所指示的配对彼此不相对应。

4.在公式3中具有最低加权错误率ε_f的特征f被用作当前回合 t中的弱分类器f_t。随后，如以下公式（10）所示，通过使用最低加 权错误率ε_ft针对特征f_t计算其临时权重α_t。

[公式10]

${\alpha }_t=\frac{1}{2}\log \left\{\frac{1-{ϵ}_{f_t}}{{ϵ}_{f_t}}\right\}···\left(10\right)$

5.每个三元组的权重D_i基于其聚类结果正确还是错误而通过 AdaBoost数据权重计算公式进行更新。具体地，如以下公式（11） 和（12）所示，每个三元组的权重D_i利用被确定为弱分类器f_t的特 征f_t的临时权重α_t进行更新，以使得聚类结果和标签信息并不彼此相 对应的这种三元组的权重大于聚类结果和标签信息彼此相对应的三 元组的权重。

[公式11]

$d_i=\left(\begin{array}{cc}{D}_i\times \exp (+{\alpha }_t)& \mathrm{if}{I}_i\left(\mathrm{fail}\right)>0\\ D_i\times \exp (-{\alpha }_t)& \mathrm{otherwise}\end{array}\right)···\left(11\right)$

[公式12]

$D_i\leftarrow \frac{d_i}{\underset{i}{\Sigma }{d}_i}···\left(12\right)$

6.当聚类结果不再有所改进并且从2.至5.的一系列处理结束 时，通过以下公式（13）确定每个特征f的权重w_f。

[公式13]

$w_f=\underset{t}{\Sigma }{\alpha }_t{\delta }_{f_t,f}···\left(13\right)$

这是在满足δ_ft,f:f_t=f的情况下返回1否则返回0的函数。

1.、4.、5.和6.的处理、2.的处理以及3.的处理分别由权重更新 部225、层级聚类部215和评估部220所执行。

接下来，将参考图9对根据第三示例的学习时的权重计算处理 的流程进行描述。在图9中，被矩形920和930所包围的部分指示 与根据第二示例的学习有所不同的部分。图9所示的权重计算处理 在步骤900开始，并且获取部205获取三条内容的集合的训练数据。 随后，权重更新部225将所有三元组的权重D_i初始化为1/N（步骤 902）。随后，重复从步骤904至914的一系列处理作为循环1。假 设循环1的迭代编号t以1开始。在循环1中，将步骤904和906 的处理重复与特征数量F相对应的次数作为循环2。假设当前特征的 索引f以1开始。

层级聚类部215使用当前特征f对加权训练数据执行层级聚类 （步骤904）。接着，评估部220对步骤904的聚类结果进行评估并 且通过以上公式（6）计算所述特征f的加权错误率ε_f（步骤906）。

当循环2的重复结束时，所述处理进行至步骤908，其中权重 更新部225确定其加权错误率ε_f在当前回合t中最低而作为弱分类器 f_t的特征f。随后，权重更新部225通过以上公式（10）确定在步骤 908中被确定为弱分类器的特征f_t的临时权重α_t（步骤910）。随后， 权重更新部225通过以上公式（11）和（12）利用临时权重α_t对每 个三元组的权重D_i进行更新（步骤912）。随后，权重更新部225 通过判断在步骤908所确定的最低加权错误率ε_f是否收敛至预定数 值来判断聚类结果是否已经收敛（步骤914）。更具体地，如果最低 加权错误率ε_f并不处于预定数值之内，则判断聚类结果已经收敛。如 以上关于第二示例所描述的，其原因在于，由于认为随后被选择为 弱分类器f_t的特征f的准确性会更差，所以在超出预定数值时退出循 环1。取而代之的，也可能针对在之前迭代（(1,...,t）中所获得的所 有特征f_t中的每一个，使用作为特征f_t的权重的所述特征的临时权重 α_t之和来执行层级聚类，对所述层级聚类的准确性进行评估，并且 响应于所述准确性不再有所改善而退出循环1。所述判断方法是有利 的，原因在于其为了收敛确定而使用了要实际输出的特征的权重的 组合。

如果聚类结果并不收敛（步骤914：否）或者如果迭代编号低 于T，则所述处理返回步骤904，并且重复循环1的权重学习处理。 这里，T是迭代编号的最大值，并且其取大于特征总数F的数值， 诸如特征总数F的两倍2F。另一方面，如果聚类结果已经收敛（步 骤914：是）或者如果迭代编号等于T，则所述处理退出循环1并且 进行至步骤916，并且权重更新部225通过以上公式（13）确定并输 出每个特征f的权重w_f。随后，所述处理结束。

4.根据聚类数量的特征权重的计算

接下来，将对用于根据聚类数量改变特征权重的处理进行描 述。人们所关注的特征在层级分层具有大量聚类的情况和层级分层 具有很少聚类的情况之间有所不同。也就是说，在执行粗糙分类的 情况下（对应于层级分层具有很少聚类），人们执行仅关注少量特 征的分类。例如，仅基于基本频率在这种情况下是高还是低而判断 语音的亮度的情形。另一方面，在执行详细分类的情况下（对应于 层级分层具有大量聚类），人们通过基于各种特征进行整体判断来 执行分类。例如，基于通过这种情况下的基本频率、功率和在其间 的整个长度中微妙表达的说话者的自信而执行分类的情况。

在本发明中，仅对对应于抽象性程度级别的特征的权重进行计 算以便反映相似性程度的属性。将首先对所要使用的符号进行描述。 级别总数由N_L表示，并且第一级别上端的聚类数量由N₁表示。在这 种情况下，满足N₀=N（N表示所有学习数据并且不指示三元组数量 而是个体样本的数量）和N_l<N_l-1。级别1被定义为其中下端的聚类数 量为N_l-1且上端的聚类数量为N_l的范围。图10示出了具有三个级别的 层级结构中的上述符号的具体示例。以下将对具体过程进行描述。

1.获取每个级别的上端的训练数据数量N₀和聚类数量N_l（1≤l≤N_L）。对应于每个级别的迭代编号l以1开始，并且在3的处理 之后加1。

2.利用聚类数量N_l-1作为训练数据以以上所描述的第一至第三示 例的任意方法对每个特征的权重进行学习。所述权重是层级分层l（聚 类数量：从N_l-1至N_l）的特征的权重。

3.使用紧接的之前确定的每个特征的权重以从下至上的方法执 行与2.中所使用的相同的层级聚类直至聚类数量达到N_l。

4.将以上2.和3.重复与要切换其权重的级别的数量N_l相对应的 次数。

1.的处理、2.的一部分处理、2.的一部分处理以及3.的处理，和 2.的一部分处理分别由获取部205、权重更新部225、层级聚类部215 和评估部220来执行。

接下来，将参考图11对用于改变每个层级分层的特征的权重 的处理的流程进行描述。图11所示的权重计算处理在步骤1100开 始，并且获取部205获取包括内容的数量N₀和在每个级别的上端的 聚类数量N_l(1≤l≤N_L)的训练数据。这里，N_L表示级别的总数。

随后，重复从步骤1102至步骤1108的一系列处理作为循环1。 假设循环1的迭代编号l以1开始。权重更新部225、层级聚类部215 和评估部220将N_l-1个聚类设置为训练数据（步骤1102），以以上 所描述的第一至第三示例的任意方法学习每个特征的权重（步骤 1104），并且将每个特征的所确定权重w_l,f设置为级别l的每个特征 的权重（步骤1106）。

随后，层级聚类部215使用紧接之前确定的每个特征的权重 w_l,f以从下向上的方法执行与步骤1104所使用的相同的层级聚类， 直至聚类数量达到N_l（步骤1108）。当以上的一系列处理针对迭代 数量l=N_L而结束时，所述处理退出循环1并结束。

5.应用示例

根据本发明的学习方法，通过使用每个特征的学习权重，可能 执行聚类以使得人们所感觉到的情感内容之间的主观相似性程度能 够被反映。作为示例，这样的聚类在呼叫中心进行监视时是有效的。 在这种情况下，可能检测到代理（操作人员）和呼叫方（顾客）的 感觉变化。此外，可以想到应用本发明来检测诸如欺诈之类的犯罪 并且应用于精神护理领域，但是并不是说本发明就局限于此。

图12图示了根据本发明实施例的用于显示电话语音聚类结果 的方法。图12所示的聚类结果1210作为在呼吸或静音位置将电话 语音（一个长的WAV文件）1200划分为多个句子或短语的分段1205 并利用多个分段1205作为测试数据而使用本发明的学习方法所学习 的每个特征的权重执行层级聚类的结果而获得。

作为聚类结果1210的层级结构能够被立即输出至诸如显示器 和打印机之类的输出设备。此外，还可能从用户获取所要显示的层 级分层的规范并且显示被分类为所指定层级分层的多个聚类的测试 数据。例如，如果用户在聚类结果1210中指定了具有两个聚类的层 级分层，则显示聚类结果1215。类似地，当用户指定了具有四个聚 类的层级分层时，显示聚类结果1220，并且当指定了具有11个聚类 的层级分层时，显示聚类结果1225。当选择了多个层级分层时，可 以同时显示与它们相对应的分类结果以使得它们能够互相进行比 较。

在图12所示的聚类结果1215、1210和1225中，具有相同模 式的分段以相似的感觉进行表达。通过关注作为感觉变化的时间位 置的模式在那里发生变化的边界，可能找到感觉变化的触发点。通 过采用以上的显示方法，用户能够观察讲话者的感觉转换，交互性 地改变情感分析的粒度程度。

6.实验结果

将参考图13对本发明的实验结果进行描述。实验条件如下：

1.测试数据

-由一个女性讲话者表达的“So-desu-ne（我明白）”；34个 样本

-(三个评估器)×(ABC格式的250个集合)=750个集合

2.训练数据

-由相同讲话者表达的“So-desu-ne（我明白）”；与测试数 据不同的33个样本

-(三个评估器)×(ABC格式的100个集合)=300个集合

3.特征

表达“So-desu-ne”被划分为“So”、“desu”和“ne”，并 且针对每个分段计算持续时间的长度。

使用“So”和“ne”中的每一个的基本频率、功率、HNR（谐 波噪声比）及其增量的平均值。由于“desu”的基本频率不稳定，所 以不使用“desu”。

4.比较方法

A.没有每个特征的权重的无监督层级聚类

B.使用PCA（主成分分析）的层级聚类

并不使用训练数据。

通过PCA从训练数据创建投影矩阵以对测试数据进行投影。

C.正向选择方法

使用训练数据。

以第0维度的特征矢量开始，仅顺序添加使得聚类结果有所改 进的特征直至准确性不再有所改进。

D.本发明的第三示例

使用训练数据。

在以上方法之中的方法C和D中，通过使用基于层级结构的 评估所确定的每个特征的权重来执行层级聚类，所述层级结构是层 级聚类的结果，并且两种方法都对应于本发明的层级聚类。至于方 法C和D，以使用共用于所有数量的聚类的每个特征的权重的方法 以及根据聚类数量改变特征权重的方法进行两个实验。每个特征的 权重的切换通过试错法来确定。在方法C中，在具有五个聚类的层 级分层执行一次切换。在方法D中，分别在具有七个聚类和三个聚 类的层级分层中执行两次切换。

图13中的表格中所示出的数值是错误率（%），并且较小的 数值指示更好的结果。在正向选择方法的方法C中，错误率高于使 用PCA的常规层级聚类的错误率。然而，通过切换每个特征的权重， 实现了错误率降低9%。在根据第三示例的方法的方法D中，与使用 PCA的常规层级聚类相比，实现了9.6%的错误率下降，并且通过切 换每个特征的权重而实现了15.2%的错误率下降。

从以上实验结果所知的是，通过根据层级分层的聚类数量切换 每个特征的权重，能够预见到高的错误率降低。另外所知的是，在 根据第三示例的方法中，可能实现足够高的错误率降低而并不执行 这样的切换。应当注意的是，根据层级分层的聚类的数量对每个特 征的权重的切换能够通过采用其中基于作为层级聚类结果的层级结 构的评估对每个特征的权重进行更新的配置而实现，并且另外，作 为层级聚类结果的层级结构的评估通过使得三元组中具有最高相似 性程度的配对得以被指定的格式的训练数据而实现。

图14是示出如根据本发明实施例的权重学习装置200的计算 机50的硬件配置示例的示图。计算机50包括连接至总线2的主CPU （中央处理器）1和主存储器4。硬盘设备13和30和可移动存储器 （其记录可交换的媒体的外部存储系统），诸如CD-ROM设备26 和29、软盘设备20、MO设备28和DVD设备31经由软盘控制器 19、IDE控制器25和SCSI控制器27连接至总线2。

诸如软盘、MO、CD-ROM和DVD-ROM的存储媒介被插入可 移动存储器之中。在硬盘设备13和30以及ROM14这些存储媒介中 可以存储计算机程序代码，其与操作系统协作向CPU1给出指令以 实践本发明。也就是说，在以上所描述的各种存储设备中，能够记 录用于确定每个特征的权重的程序，所述程序安装在计算机50中并 且使得计算机50用作根据本发明实施例的权重学习装置200，以及 记录诸如标签信息和每个特征的权重的数据。

以上用于确定每个特征的权重的程序包括获取模块、层级聚类 模块、评估模块和权重更新模块。这些模块令CPU1进行工作而使 得计算机50用作获取部205、层级聚类部215、评估部220和权重 更新部225中的每一个。计算机程序能够被压缩并划分为多个部分 以便记录到多个媒体上。

计算机经由键盘/鼠标控制器5从诸如键盘6和鼠标7之类的 输入设备接收输入。计算机50经由音频控制器21从麦克风24接收 输入并且从扬声器23输出声音。计算机50经由图形控制器10连接 至显示设备11以便向用户呈现视觉数据。计算机50能够经由网络 适配器18（诸如以太网（R）卡和令牌环卡）等连接至网络并且与 其它计算机等进行通信。

从以上描述将轻易理解的是，计算机50能够由诸如通用个人 计算机、工作站和大型机或者其组合的信息处理装置来实现。以上 所描述的组件被示为示例，并且它们全部都并非本发明所要求的必 然不可或缺的组件。

以上已经通过使用实施例对本发明进行了描述。然而，本发明 的技术范围并不局限于以上实施例所描述的范围。对本领域技术人 员而言显而易见的是，能够在以上实施例中进行各种修改或改进。 因此，这样修改或改进的实施例自然包括在本发明的技术范围之内。

应当注意的是，权利要求、说明书和附图中所示的设备、系统、 程序和方法中的每个处理的操作、过程、步骤和阶段的执行顺序并 不通过使用“之前”、“先于”等而特别规定，并且除非之前处理 的输出被用于后续的处理，否则所述处理能够以任意顺序来实现。 还应当注意的是，即使在之前处理的输出被用于后续处理的情况下， 在一些情况下也可能在之前处理和后续处理之间插入不同处理，并 且即使描述了插入不同处理，在一些情况下也可能进行改变以使得 之前的处理直接在后续处理之前执行。即使为了方便而通过使用“第 一”、“接下来”、“随后”等对权利要求、说明书和附图中的操 作流程进行了描述，但是这并非必然意味着所述操作流程被要求为 所述顺序。