通知控制系统、通知控制装置、通知控制方法及存储介质

技术领域

本发明涉及通知控制系统、通知控制方法及存储介质。

背景技术

以往，公开了在导航装置中以使驾驶员容易目视确认的方式使显示简洁的技术(例如，参照专利文献1(日本特开2002-188929号公报))。

发明内容

发明要解决的课题

在此，近年来，已知有一边与车辆的乘员进行对话一边提供与乘员的要求相应的与驾驶支援相关的信息、车辆的控制、其他应用程序等的响应功能。然而，在以往的技术中，难以对简洁化的乘员的讲话内容进行响应。

本发明的目的之一在于，提供能够对简洁化的乘员的讲话内容进行响应的通知控制系统、通知控制方法及存储介质。

用于解决课题的手段

本发明的通知控制系统、通知控制方法及存储介质采用了以下的结构。

(1)本发明的一方案的通知控制系统是为了通知视觉信息和听觉信息的至少任一方而连接于声音输出部及显示部的通知控制装置，其中，具备：取得部，其取得表示利用者的讲话的声音的数据；讲话内容解释部，其基于由所述取得部取得的所述数据来解释所述利用者的讲话内容；响应内容生成部，其生成针对所述讲话内容的响应内容并使所述显示部输出；确定部，其基于正式名称与包括该正式名称的简称、略语、省略语及缩写语在内的别称建立了对应关系的词典信息，确定与由所述讲话内容解释部解释出的所述讲话内容中包含的所述别称对应的正式名称；以及显示控制部，其使所述显示部显示由所述确定部确定出的正式名称。

(2)本发明的另一方案的通知控制系统是为了通知视觉信息和听觉信息中的至少任一方而连接于声音输出部及显示部的通知控制装置，其中，具备：取得部，其取得表示利用者的讲话的声音的数据；讲话内容解释部，其基于由所述取得部取得的所述数据来解释所述利用者的讲话内容；响应内容生成部，其生成针对所述讲话内容的响应内容并使所述声音输出部输出；确定部，其基于正式名称与包括该正式名称的简称、略语、省略语及缩写语在内的别称建立了对应关系的词典信息，确定与由所述讲话内容解释部解释出的所述讲话内容中包含的所述别称对应的正式名称；以及声音控制部，其使所述声音输出部输出由所述确定部确定出的正式名称。

(3)的方案根据上述(1)或(2)的方案的通知控制系统，所述响应内容生成部使用所述别称来生成针对所述讲话内容的响应内容。

(4)本发明的另一方案的通知控制系统是为了通知视觉信息和听觉信息中的至少任一方而连接于声音输出部及显示部的通知控制装置，其中，具备：取得部，其取得表示利用者的讲话的声音的数据；讲话内容解释部，其基于由所述取得部取得的所述数据来解释所述利用者的讲话内容；响应内容生成部，其生成针对所述讲话内容的响应内容并使所述通知部输出；确定部，其基于正式名称与包括该正式名称的简称、略语、省略语及缩写语在内的别称建立了对应关系的词典信息，确定与由所述讲话内容解释部解释出的所述讲话内容中包含的所述别称对应的正式名称；显示控制部，其使所述显示部显示由所述确定部确定出的所述正式名称；以及声音控制部，其使所述声音输出部输出由所述确定部确定出的所述别称。

(5)的方案根据上述(4)的方案的通知控制系统，所述响应内容生成部将使所述声音输出部输出的所述响应内容的音拍数和与使该声音输出部输出的响应内容的音拍数对应的使所述显示部显示的该响应内容中的文字数进行比较，以使该文字数比该音拍数多的方式生成使该显示部显示的该响应内容。

(6)的方案根据上述(1)～(5)的任一方案的通知控制系统，所述通知控制系统还具备使表示由所述确定部确定了所述别称的履历的履历信息向存储部存储的履历管理部，所述响应内容生成部基于所述履历信息来生成所述响应内容。

(7)的方案根据上述(6)的方案的通知控制系统，所述响应内容生成部参照所述履历信息，在所述别称被反复使用的情况下，使用所述别称来生成响应内容。

(8)的方案根据上述(1)～(7)的任一方案的通知控制系统，由所述确定部确定到所述别称的频率越高，则所述响应内容生成部使所述响应内容越简洁。

(9)的方案根据上述(1)～(8)的任一方案的通知控制系统，在所述词典信息中，进一步将表示使用所述别称的地域的信息相对于所述别称建立了对应关系，所述取得部进一步取得表示所述利用者的位置的位置信息，在所述词典信息中表示所述地域的信息相对于由所述讲话内容解释部解释出的所述讲话内容中包含的所述别称建立了对应关系且所述位置信息符合表示所述地域的信息的情况下，所述确定部确定与所述别称对应的所述正式名称。

(10)的方案根据上述(1)～(9)的任一方案的通知控制系统，所述响应内容生成部使用所述别称或所述正式名称来生成针对所述讲话内容的响应内容，所述响应内容生成部在由所述讲话内容解释部解释出在所述响应内容的响应中产生了所述利用者的讲话的情况下，优先使用所述别称。

(11)本发明的另一方案的通知控制装置为了通知视觉信息和听觉信息的至少任一方而连接于声音输出部及显示部，其中，具备：取得部，其取得表示利用者的讲话的声音的数据；讲话内容解释部，其基于由所述取得部取得的所述数据来解释所述利用者的讲话内容；响应内容生成部，其生成针对所述讲话内容的响应内容并使所述声音输出部输出；确定部，其基于正式名称与包括该正式名称的简称、略语、省略语及缩写语在内的别称建立了对应关系的词典信息，确定与由所述讲话内容解释部解释出的所述讲话内容中包含的所述别称对应的正式名称；以及声音控制部，其使所述声音输出部输出由所述确定部确定出的正式名称。

(12)本发明的另一方案的通知控制方法使单个或多个计算机执行的步骤包括：取得表示利用者的讲话的声音的声音数据；基于声音数据来解释所述利用者的讲话内容；基于正式名称与包括该正式名称的简称、略语、省略语及缩写语在内的别称建立了对应关系的词典信息，确定与解释出的所述讲话内容中包含的所述别称对应的正式名称；生成针对所述讲话内容的响应内容并使通知部输出；以及将确定出的所述正式名称向所述通知部输出。

(13)本发明的另一方案的存储介质存储有程序，该程序是用于向单个或多个计算机安装的通知控制程序，使所述计算机执行以下处理：取得表示利用者的讲话的声音的声音数据；基于声音数据来解释所述利用者的讲话内容；基于正式名称与包括该正式名称的简称、略语、省略语及缩写语在内的别称建立了对应关系的词典信息，确定与解释出的所述讲话内容中包含的所述别称对应的正式名称；生成针对所述讲话内容的响应内容并使通知部输出；以及将确定出的所述正式名称向所述通知部输出。

发明效果

根据(1)～(13)，能够对简洁化的乘员的讲话内容进行响应。

根据(3)，能够对乘员的讲话内容简洁地进行响应。

根据(6)～(8)，能够进行适合于乘员的目前的讲话内容的响应。

根据(9)～(10)，能够进行与乘员的特征相应的响应。

附图说明

图1是包括智能体装置100的智能体系统1的结构图。

图2是示出实施方式的智能体装置100的结构和搭载于车辆M的设备的图。

图3是示出实施方式的智能体服务器200的结构和智能体装置100的结构的一部分的图。

图4是示出别称词典252C的内容的一例的图。

图5是示出个人简介254的内容的一例的图。

图6是示出由显示·操作装置20输出的响应内容的一例(其1)的图。

图7是示出由显示·操作装置20输出的响应内容的一例(其2)的图。

图8是示出由显示·操作装置20输出的响应内容的一例(其3)的图。

图9是示出由显示·操作装置20输出的响应内容的一例(其4)的图。

图10是示出智能体系统1的一系列动作的一例的流程图。

图11是示出响应文RC的生成处理的一例的流程图。

图12是示出具备智能体服务器200的功能的智能体装置100A的结构的一例的图。

附图标记说明：

1…智能体系统，10…话筒，20…显示·操作装置，30…扬声器，40…导航装置，50…车载通信装置，70…通用通信装置，100…智能体装置，110…管理部，112…声响处理部，114…智能体唤醒判定部，116…通信控制部，120…输出控制部，122…显示控制部，124…声音控制部，130…智能体功能部，140…车载通信部，150…存储部，172…通信量信息，174…履历信息，200…智能体服务器，210…通信部，220…声音识别部，221…自然语言处理部，222…确定部，223…对话管理部，224…网络检索部，225…履历管理部，226…响应内容生成部，250…存储部，252A…功能词典，252B…通用词典，252C…别称词典，254…个人简介，300…各种网页服务器，252…词典数据库，256…知识库数据库，258…响应规则数据库、abb1、abb2…别称，fn1、fn2、fn3…正式名称，IMa、IMa1、IMa2、IMa3、IMa4…通知图像，RC、RC1、RC2、RC3、RC4、RC5…响应文，UC1、UC2…讲话内容。

具体实施方式

以下，参照附图，对本发明的通知控制系统、通知控制方法及存储介质的实施方式进行说明。

<实施方式>

智能体装置是实现包括本实施方式的通知控制系统的智能体系统1的一部分或全部的装置。以下，作为智能体装置的一例，对搭载于乘员(利用者的一例)搭乘的车辆(以下，记为车辆M)且具备智能体功能的智能体装置进行说明。需要说明的是，在本发明的适用上，未必需要是智能体装置具有智能体功能。另外，智能体装置也可以是智能手机等可移动型终端装置(通用终端)，但以下以搭载于车辆的具备智能体功能的智能体装置为前提来说明。智能体功能例如是一边与车辆M的乘员对话一边进行基于乘员的讲话中包含的要求(指令)的各种信息提供、各种设备控制或者对网络服务进行中介的功能。在智能体装置具有多个智能体功能的情况下，智能体功能分别起到的功能、处理工序、控制、输出形态·内容也可以分别不同。另外，在智能体功能中，可以存在具有进行车辆内的设备(例如驾驶控制、车身控制所涉及的设备)的控制等的功能的智能体功能。

智能体功能例如除了识别乘员的声音的声音识别功能(将声音文本化的功能)之外还综合地利用自然语言处理功能(理解文本的构造、含义的功能)、对话管理功能、经由网络而检索其他装置或者检索本装置所持有的规定的数据库的网络检索功能等而实现。这些功能的一部分或全部可以由AI(Artificial Intelligence)技术实现。另外，用于进行这些功能的结构的一部分(尤其是，声音识别功能、自然语言处理解释功能)也可以搭载于能够与车辆M的车载通信装置或带进车辆M的通用通信装置通信的智能体服务器(外部装置)。在以下的说明中，以结构的一部分搭载于智能体服务器且智能体装置和智能体服务器协同配合而实现智能体系统为前提。另外，将智能体装置和智能体服务器协同配合而虚拟地出现的服务提供主体(服务实体)称作智能体。

<整体结构>

图1是包括智能体装置100的智能体系统1的结构图。智能体系统1例如具备智能体装置100和一个以上的智能体服务器200。关于提供本实施方式中的智能体系统1的提供者，例如可举出机动车厂商、网络服务运营商、电子商贸运营商、便携终端的销售者、制造者等，任意的主体(法人、团体、个人等)能够成为智能体系统1的提供者。需要说明的是，在图1中，对智能体服务器200是一个的情况进行了说明，但不限定于此，智能体系统1也可以具备两个以上的智能体服务器200。在该情况下，各智能体服务器200也可以由互不相同的任意的主体提供。

智能体装置100经由网络NW而与智能体服务器200通信。网络NW例如包括互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(Local Area Network)、公用线路、电话线路、无线基站等通信网中的一部分或全部。在网络NW上连接有各种网页服务器300，智能体服务器200或智能体装置100能够经由网络NW而从各种网页服务器300取得网页。

智能体装置100与车辆M的乘员进行对话，将来自乘员的声音向智能体服务器200发送，将从智能体服务器200得到的回答以声音输出、图像显示的形式向乘员提示。

[车辆]

图2是示出实施方式的智能体装置100的结构和搭载于车辆M的设备的图。在车辆M例如搭载有一个以上的话筒10、显示·操作装置20、扬声器30、导航装置40、车载通信装置50及智能体装置100。这些装置通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而互相连接。需要说明的是，图2所示的结构只不过是一例，也可以省略结构的一部分，还可以进一步追加别的结构。

话筒10是收集在车室内发出的声音的收音部。显示·操作装置20是能够显示图像并且接受输入操作的装置(或装置群)。显示·操作装置20例如包括构成为触摸面板的显示器装置。显示·操作装置20也可以进一步包括HUD(Head Up Display)、机械式的输入装置。扬声器30例如包括配设于车室内的扬声器(声音输出部)。显示·操作装置20也可以由智能体装置100和导航装置40共用。扬声器30是“声音输出部”的一例。

导航装置40具备导航HMI(Human Machine Interface)、GPS(Global PositioningSystem)等位置测定装置、存储有地图信息的存储装置及进行路径搜索等的控制装置(导航控制器)。话筒10、显示·操作装置20及扬声器30中的一部分或全部也可以作为导航HMI来使用。导航装置40根据由位置测定装置确定出的车辆M的位置来搜索用于移动至由乘员输入的目的地的路径(导航路径)，以使车辆M能够沿着路径行驶的方式，使用导航HMI来输出引导信息。路径搜索功能也可以存在于能够经由网络NW而访问的导航服务器。在该情况下，导航装置40从导航服务器取得路径并输出引导信息。

需要说明的是，智能体装置100也可以以导航控制器为基础而构筑。在该情况下，导航控制器和智能体装置100在硬件上一体构成。显示·操作装置20的显示器装置和导航装置40的导航HMI是“显示部”的一例。

车载通信装置50例如是能够利用蜂窝网、Wi-Fi网来访问网络NW的无线通信装置。

[智能体装置]

智能体装置100具备管理部110、智能体功能部130、车载通信部140及存储部150。管理部110例如具备声响处理部112、智能体唤醒判定部114、通信控制部116及输出控制部120。图2所示的软件配置为了说明而简易地示出，实际上，例如，能够以也可以在智能体功能部130与车载通信装置50之间存在管理部110的方式任意改变。另外，以下，有时将智能体功能部130和智能体服务器200协同配合而出现的智能体简称作“智能体”。

智能体装置100的各构成要素例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)而实现。这些构成要素中的一部分或全部也可以由LSI(Large ScaleIntegration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部：circuitry)实现，还可以通过软件与硬件的协同配合来实现。存储部150可以由HDD(HardDisk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)实现，也可以由DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)实现，还可以是向驱动装置装配的存储介质。另外，存储部150的一部分或全部也可以是NAS、外部的存储服务器等智能体装置100能够访问的外部装置。在存储部150中例如存储在智能体装置100中执行的程序等信息。

管理部110通过执行OS(Operating System)、中间件等程序而发挥功能。

管理部110的声响处理部112接受从话筒10收集的声音，对接受到的声音进行识别针对每个智能体预先设定的唤醒词或者使得成为适合于识别其他讲话内容的状态的声响处理。唤醒词例如是用于使对象的智能体起动的词(单词)、短句等。唤醒词可以使单个智能体起动，也可以使多个智能体起动。声响处理例如是基于带通滤波器等的滤波的噪声去除、声音的放大等。另外，声响处理部112将声响处理后的声音向智能体唤醒判定部114、起动中的智能体功能部130输出。

智能体唤醒判定部114识别对智能体预先设定的唤醒词。智能体唤醒判定部114根据进行了声响处理后的声音(声音流)来识别讲话的声音。首先，智能体唤醒判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。智能体唤醒判定部114也可以进行基于以混合高斯分布模型(GMM；Gaussian mixture model)为基础的帧单位的声音辨识及非声音辨识的区间检测。

接着，智能体唤醒判定部114将检测到的声音区间中的声音文本化，设为文字信息。然后，智能体唤醒判定部114判定文本化的文字信息是否符合唤醒词。在判定为是唤醒词的情况下，智能体唤醒判定部114使与唤醒词对应的智能体功能部130起动。需要说明的是，相当于智能体唤醒判定部114的功能也可以搭载于智能体服务器200。在该情况下，管理部110将由声响处理部112进行声响处理后的声音流向智能体服务器200发送，在智能体服务器200判定为是唤醒词的情况下，按照来自智能体服务器200的指示而智能体功能部130起动。另外，各智能体功能部130也可以始终处于起动状态且自己进行唤醒词的判定。在该情况下，管理部110无需具备智能体唤醒判定部114。

另外，智能体唤醒判定部114在以与上述的工序同样的工序识别到讲话的声音中包含的结束词且与结束词对应的智能体是起动的状态(以下，根据需要而称作“起动中”)的情况下，使起动中的智能体功能部结束(停止)。需要说明的是，智能体的起动及结束例如也可以通过从显示·操作装置20接受规定的操作而执行，但以下说明基于声音的起动及停止的例子。另外，起动中的智能体也可以在规定时间以上未接受到声音的输入的情况下停止。

通信控制部116进行用于使得能够将智能体功能部130与网络NW连接的控制。例如，通信控制部116控制智能体功能部130经由网络而与外部装置(例如，智能体服务器200)进行通信的情况下的连接状态等。另外，通信控制部116进行通信中断的情况下的再连接、连接状态的切换等控制。

输出控制部120通过根据来自通信控制部116或智能体功能部130等的指示而使显示部或扬声器30输出响应内容等信息来向乘员进行服务等的提供。输出控制部120例如具备显示控制部122和声音控制部124。

显示控制部122基于智能体功能部130从智能体服务器200取得的信息来使显示·操作装置20的显示器装置显示用于将智能体对车辆M的乘员的讲话进行响应的响应内容向车辆M的乘员通知的图像。

声音控制部124基于智能体功能部130从智能体服务器200取得的信息来使扬声器30输出用于将智能体对车辆M的乘员的讲话进行响应的响应内容向车辆M的乘员通知的声音。

智能体功能部130与智能体服务器200协同配合，根据车辆的乘员的讲话来提供包括基于声音及图像的响应的服务。对智能体功能部130例如赋予了控制车辆M或搭载于车辆M的车载设备的权限，在通过后述的处理而由智能体服务器200识别到的车辆M的乘员的讲话内容是指示搭载于车辆M的车载设备的动作的指令的情况下，智能体功能部130基于指令来控制这些车载设备。在车载设备中包括导航装置40。智能体功能部130基于通信控制部116的控制，利用车载通信部140来经由车载通信装置50而与智能体服务器200通信。

需要说明的是，对于智能体功能部130，也可以根据法律、条例、提供智能体的运营商彼此的合同等而分配控制车载设备的权限。

车载通信部140例如在智能体功能部130与网络NW连接的情况下，使其经由车载通信装置50而通信。车载通信部140将来自智能体功能部130的信息经由车载通信装置50而向智能体服务器200或其他外部装置输出。另外，车载通信部140将经由车载通信装置50而输入的信息向智能体功能部130输出。

智能体功能部130基于由智能体唤醒判定部114作出的起动指示而起动，对于乘员的讲话，经由智能体服务器200而生成针对乘员的讲话的声音中包含的要求的响应内容，将生成的响应内容向输出控制部120输出。另外，智能体功能部130在与智能体服务器200进行通信的情况下，通过由通信控制部116控制的连接状态来进行通信。另外，智能体功能部130也可以基于由智能体唤醒判定部114进行的控制而使智能体停止。

[智能体服务器]

图3是示出实施方式的智能体服务器200的结构和智能体装置100的结构的一部分的图。以下，与智能体服务器200的结构一起，对智能体功能部130等的动作进行说明。在此，省略关于从智能体装置100到网络NW为止的物理通信的说明。

智能体服务器200具备通信部210。通信部210例如是NIC(Network InterfaceCard)等网络接口。而且，智能体服务器200例如具备声音识别部220、自然语言处理部221、确定部222、对话管理部223、网络检索部224、履历管理部225、响应内容生成部226及存储部250。这些构成要素例如通过CPU等硬件处理器执行程序(软件)而实现。这些构成要素中的一部分或全部也可以由LSI、ASIC、FPGA、GPU等硬件(包括电路部：circuitry)实现，还可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质向驱动装置装配而安装。将声音识别部220和自然语言处理部221合起来的结构是“讲话内容解释部”的一例。

存储部250由上述的各种存储装置实现。在存储部250中例如保存词典数据库252、个人简介254、知识库数据库256、响应规则数据库258等数据、程序。

在智能体装置100中，智能体功能部130例如将从声响处理部112等输入的声音流或进行了压缩、编码等处理后的声音流向智能体服务器200发送。智能体功能部130在成功识别到能够进行本地处理(不经由智能体服务器200的处理)的指令(要求内容)的情况下，也可以执行由指令要求的处理。能够进行本地处理的指令例如是能够通过参照智能体装置100所具备的存储部150而响应的指令。更具体而言，能够进行本地处理的指令例如是从存在于存储部150内的电话簿数据(未图示)检索特定者的名字并向与吻合的名字建立了对应关系的电话号码拨打电话(呼叫对方)的指令。因此，智能体功能部130也可以具有智能体服务器200所具备的功能的一部分。

当取得声音流后，声音识别部220进行声音识别并输出文本化的文字信息，自然语言处理部221对文字信息一边参照词典数据库252一边进行含义解释。词典数据库252例如是抽象化的含义信息相对于文字信息建立了对应关系的数据库。词典数据库252例如包括功能词典252A、通用词典252B及别称词典252C。

功能词典252A是用于覆盖智能体服务器200与智能体功能部130协同配合而实现的智能体所提供的功能(服务)的词典。例如，在智能体提供控制车载空调机的功能的情况下，在功能词典252A中，“空调机”、“空调”、“打开”、“关闭”、“温度”、“提高”、“降低”、“内气”、“外气”等单词与动词、目的词等单词类别及抽象化的含义建立对应关系而登记。另外，在功能词典252A中，可以包括表示能够同时使用的单词间关联信息。

通用词典252B是不限于智能体提供的功能而将一般的事物的现象与抽象化的含义建立了对应关系的词典。功能词典252A和通用词典252B分别也可以包括同义词、近义词的一览信息。功能词典252A和通用词典252B可以与多个语言分别对应地准备，在该情况下，声音识别部220及自然语言处理部221使用与预先设定的语言设定相应的功能词典252A及通用词典252B以及语法信息(未图示)。声音识别部220的处理和自然语言处理部221的处理并不明确地划分阶段，可以如声音识别部220接受自然语言处理部221的处理结果而修正识别结果等这样相互影响地进行。

图4是示出别称词典252C的内容的一例的图。别称词典252C是车辆M的乘员所使用的别称即表示正式名称的简称、略语、省略语及缩写语的信息、表示正式名称的信息及表示使用别称的地域的信息互相建立了对应关系的信息。在图4中，作为别称的“瓦克”与作为正式名称的“瓦克瓦克汉堡”建立了对应关系。在此，对于“瓦克”这一别称，由于不限于特定的地域而使用，所以未将表示地域的信息与其建立对应关系(或者，将不限定地域的“全国”等信息与其建立对应关系)。另外，在图4中，作为别称的“哆来咪”与作为正式名称的“哆来咪甜甜圈”及表示使用别称的地域的“关西”建立对应关系，而且与作为正式名称的“哆来咪拉面”及表示使用别称的地域的“关东”建立对应关系。这表示着，“哆来咪”这一别称在关西针对“哆来咪甜甜圈”而使用，在关东针对“哆来咪拉面”而使用。别称词典252C是“词典信息”的一例。

返回图3，自然语言处理部221作为基于由声音识别部220识别的识别结果的含义解释之一而取得与为了应对声音中包含的服务的要求而智能体需要的功能相关的信息(以下，称作功能需要信息)。例如，在作为识别结果而识别到“将目的地设定为瓦克”的文本的情况下，自然语言处理部221参照词典数据库252等来进行解释，取得“导航装置的控制”这一对象设备及功能类别等。并且，自然语言处理部221将取得的功能需要信息向智能体功能部130输出。自然语言处理部221基于功能需要信息来取得相对于服务要求的执行可否的判定结果。自然语言处理部221在要求的功能能够执行的情况下，认为能够应对服务要求，生成与解释出的讲话内容对应的指令。

例如，自然语言处理部221在作为识别结果而识别到“将目的地设定为瓦克”、“使目的地为瓦克”、“告知直到瓦克为止的路线”等讲话的情况下，生成置换成了标准文字信息“将目的地设定为瓦克”或“设置目的地(SET_DESTINATION)“瓦克””等的指令。由此，在请求(要求)的声音中存在讲话用语的地域不同的情况下也能够容易提供与要求相符的服务。另外，自然语言处理部221例如也可以使用利用了概率的机器学习处理等人工智能处理来识别文字信息的含义，生成基于识别结果的指令。

确定部222基于别称词典252C来确定由自然语言处理部221生成(解释)的指令中包含的别称的正式名称。例如，在由自然语言处理部221生成的指令是“将目的地设定为瓦克”的情况下，确定部222基于别称词典252C而确定为“瓦克”的正式名称是“瓦克瓦克汉堡”。并且，确定部222将由自然语言处理部221生成的指令更新为包括正式名称的指令。在该情况下，确定部222将由自然语言处理部221生成的指令更新为“将目的地设定为瓦克瓦克汉堡”这一指令。需要说明的是，确定部222在确定了在由自然语言处理部221生成的指令中不包括别称的情况下，也可以不更新指令。

对话管理部223基于由自然语言处理部221生成的指令或由确定部222更新后的指令，一边参照个人简介254、知识库数据库256、响应规则数据库258一边决定对于车辆M的乘员的响应内容(例如，向乘员的讲话内容、从输出部输出的图像、声音)。知识库数据库256是规定了事物的关系性的信息。响应规则数据库258是规定了智能体对于指令应该进行的动作(回答、设备控制的内容等)的信息。图5是示出个人简介254的内容的一例的图。个人简介254是乘员的个人信息、表示兴趣爱好的信息、表示过去的对话的履历(以下，记为讲话履历)的信息、表示在对应的讲话履历的讲话内容中是否包括别称的信息及取得这些信息的日期时刻互相建立了对应关系的每个乘员的信息。

另外，对话管理部223也可以通过使用从声音流得到的特征信息与个人简介254进行对照来确定乘员。在该情况下，在个人简介254中，例如进一步将声音的特征信息建立了对应关系。声音的特征信息例如是与声音的高度、语调、节奏(声音的高低的模式)等说话方式的特征、基于梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficients)等的特征量相关的信息。声音的特征信息例如是通过在乘员的初始登记时使乘员说出规定的单词、句子等并识别发出的声音而得到的信息。

对话管理部223在指令要求能够经由网络NW而检索的信息的情况下，使网络检索部224进行检索。网络检索部224经由网络NW而访问各种网页服务器300，取得期望的信息。“能够经由网络NW而检索的信息”例如是处于车辆M的周边的餐厅的普通用户的评价结果或当天的与车辆M的位置相应的天气预报。需要说明的是，在导航装置40存储的地图信息中不包括关于车辆M的乘员作为目的地而指定的顺便前往地点(在该情况下是“瓦克瓦克汉堡”)的信息的情况下，对话管理部223也可以使网络检索部224检索存在于车辆M的周边的顺便前往地点的位置。

履历管理部225基于由声音识别部220识别到的讲话内容、由自然语言处理部221生成的指令、由确定部222更新后的指令及由对话管理部223决定的响应内容等来更新个人简介254。履历管理部225例如每当由声音识别部220识别到车辆M的乘员的讲话时更新个人简介254。在该情况下，个人简介254是“履历信息”的一例。

响应内容生成部226以使由对话管理部223决定的讲话的内容被车辆M的乘员理解的方式生成响应文并将生成的响应文(响应内容的一例)向智能体装置100发送。另外，响应内容生成部226也可以从智能体装置100取得乘员识别装置的识别结果，在通过取得的识别结果而确定了进行了包括指令的讲话的乘员是登记于个人简介254的乘员的情况下，生成叫出乘员的名字或者设为了模仿乘员的讲话方式的讲话方式的响应文。

另外，响应内容生成部226参照别称词典252C和个人简介254，在车辆M的乘员经常使用别称的情况下，可以生成使用了别称的响应文，也可以使用车辆M的乘员目前使用的别称来生成响应文。

智能体功能部130当取得响应文后，指示声音控制部124进行声音合成并输出声音。另外，智能体功能部130指示显示控制部122显示包括响应文的图像等。

[响应内容的例子(其1)]

以下，参照附图对响应内容的例子进行说明。首先，对响应内容的例子(其1)进行说明。图6是示出由显示·操作装置20输出的响应内容的一例(其1)的图。在图6中，车辆M的乘员的讲话内容UC1是使用别称来指示智能体使对导航装置40设定的目的地成为“瓦克瓦克汉堡”的内容。具体而言，讲话内容UC1是“将目的地设定为瓦克”等内容。智能体系统1的智能体装置100生成由声响处理部112处理后的声音流，并向智能体服务器200发送。

在智能体服务器200中，声音识别部220基于从智能体装置100接收到的声音流而进行声音识别，将车辆M的乘员的讲话内容变换为“将目的地设定为瓦克”这一文本。自然语言处理部221基于由声音识别部220识别到的文本来生成指令。确定部222确定由自然语言处理部221生成的指令中包含的别称abb1(在该一例中是“瓦克”)，将确定的别称更换为正式名称fn1(在该一例中是“瓦克瓦克汉堡”)。

响应内容生成部226基于由对话管理部223决定的响应内容，以被车辆M的乘员理解的方式生成响应文，将生成的响应文向智能体装置100发送。响应内容生成部226生成对车辆M的乘员进行响应的包含于图像的响应内容和对车辆M的乘员进行响应的作为声音输出的响应文中的至少一方。在以后的说明中，对响应内容生成部226生成包含于图像的响应文及作为声音输出的响应文这双方的情况进行说明。

在响应内容(其1)中，对话管理部223决定作为响应内容而确认(复述)车辆M的乘员的讲话内容，响应内容生成部226生成确认讲话内容的包含于图像的响应文和作为声音输出的响应文。另外，在响应内容(其1)中，响应内容生成部226基于确定部222的确定结果和别称词典252C来生成使用了正式名称fn1的响应文RC1和使用了别称abb1的响应文RC2并向智能体装置100发送。响应文RC1例如是“将目的地设定为瓦克瓦克汉堡(正式名称fn1)”等内容。响应文RC2例如是“将目的地设定为瓦克(别称abb1)”等内容。显示控制部122生成包括从智能体服务器200接收到的响应文RC1的通知图像IMa1，并使显示·操作装置20的显示器装置显示。另外，声音控制部124生成从智能体服务器200接收到的响应文RC2的声音，并从扬声器30输出。

由此，智能体系统1能够将正确地识别了车辆M的乘员的讲话内容通过使显示器装置显示表示使用了正式名称fn1的响应文RC1的通知图像IMa1来表示，对简洁化的乘员的讲话内容适当地进行响应。

另外，智能体系统1能够使使用了与作为车辆M的乘员的讲话而使用的别称同样的别称abb1的响应文RC2通过声音而从扬声器30输出，对简洁化的乘员的讲话内容适当地进行响应。

[响应内容的例子(其2)]

接着，对响应内容的例子(其2)进行说明。图7是示出由显示·操作装置20输出的响应内容的一例(其2)的图。在响应内容的例子(其1)中，说明了智能体系统1执行基于使用了车辆M的乘员的讲话中包含的别称的声音进行的响应和基于使用了该别称的正式名称的图像进行的响应的情况。在响应内容的例子(其2)中，对智能体系统1进行基于使用了车辆M的乘员的讲话中使用的别称的图像进行的响应和基于使用了该别称的正式名称的声音进行的响应的情况进行说明。在图7中，车辆M的乘员的讲话内容UC1是使用别称来指示智能体使对导航装置40设定的目的地成为“瓦克瓦克汉堡”的内容。

在响应内容的例子(其2)中，对话管理部223决定作为响应内容而确认(复述)车辆M的乘员的讲话内容，响应内容生成部226生成确认讲话内容的包含于图像且作为声音输出的响应文。另外，在响应内容的例子(其2)中，响应内容生成部226使用确定部222的确定结果和别称词典252C来生成使用了别称abb1的响应文RC2并向智能体装置100发送。显示控制部122生成包括从智能体服务器200接收到的响应文RC2的通知图像IMa2，并使显示·操作装置20的显示器装置显示。另外，声音控制部124从智能体服务器200接收通过上述的响应内容的例子(其1)所涉及的处理而生成的响应文RC1，生成接收到的响应文RC1的声音，并从扬声器30输出。

由此，智能体系统1能够将正确地识别了车辆M的乘员的讲话内容通过使显示器装置显示表示使用了别称abb1的响应文RC2的通知图像IMa2且使扬声器30输出响应文RC1的声音来表示，对简洁化的乘员的讲话内容适当地进行响应。

需要说明的是，响应内容生成部226也可以参照个人简介254，仅在车辆M的乘员以前也反复(例如，规定次数以上)使用别称abb1的情况下，生成使用了别称abb1的响应文RC2。另外，响应内容生成部226也可以在利用通知图像IMa和声音中的一方来通知使用了别称abb1的响应文RC2的情况下，利用另一方来通知使用了正式名称fn1的响应文RC1。

由此，响应内容生成部226能够利用通知图像IMa和声音中的一方来准确地传达响应内容，并利用另一方来间接地传达响应内容。

[响应内容的例子(其3)]

接着，对响应内容的例子(其3)进行说明。图8是示出由显示·操作装置20输出的响应内容的一例(其3)的图。在响应内容的例子(其2)中，说明了智能体系统1执行基于使用了确定出的正式名称的声音进行的响应和基于使用了车辆M的乘员的讲话中使用的别称的图像进行的响应的情况。在响应内容的例子(其3)中，对在车辆M的乘员反复使用别称的情况下生成更简洁的响应文RC3的情况进行说明。在图8中，车辆M的乘员的讲话内容UC1是使用别称来指示智能体使对导航装置40设定的目的地成为“瓦克瓦克汉堡”的内容。

在响应内容的例子(其3)中，对话管理部223决定作为响应内容而确认(复述)车辆M的乘员的讲话内容，响应内容生成部226生成确认讲话内容的包含于图像且作为声音输出的响应文。另外，在响应内容的例子(其3)中，响应内容生成部226基于确定部222的确定结果、别称词典252C及个人简介254，在个人简介254的讲话履历中包括别称的频率越高，则生成越简洁的响应文RC3并向智能体装置100发送。响应文RC3例如是包括别称abb1且由比响应文RC2短(简洁)的句子或语句表示的内容。在图8中，响应文RC3例如是“目的地：瓦克(别称abb1)”等内容。显示控制部122生成包括从智能体服务器200接收到的响应文RC3的通知图像IMa3，并使显示·操作装置20的显示器装置显示。另外，声音控制部124生成从智能体服务器200接收到的响应文RC3的声音，并从扬声器30输出。

由此，智能体系统1在车辆M的乘员是经常使用别称而喜欢简洁的响应的人物的情况下，能够通过使显示器装置显示表示使用了别称abb1的响应文RC3的通知图像IMa3且使扬声器30输出响应文RC3的声音而快速传递，能够进行适合于乘员的目前的讲话内容的响应。

需要说明的是，响应内容生成部226也可以在利用通知图像IMa和声音中的一方来通知使用了别称abb1的响应文RC3的情况下，利用另一方来通知使用了正式名称fn1的响应文RC1或使用了别称abb1的(比响应文RC3长的)响应文RC2。由此，响应内容生成部226能够利用通知图像IMa和声音中的一方来适当地传达响应内容，并利用另一方来简洁地传达响应内容。

另外，在由声音识别部220识别到的识别结果表示在包括正式名称fn1的响应文RC1的声音正在从扬声器30输出时(即，响应中)识别到(解释出)产生了车辆M的乘员的讲话的情况下，响应内容生成部226也可以生成更简洁的响应内容(即，响应文RC3)。由此，响应内容生成部226在推定为车辆M的乘员是在响应中插嘴讲话的性急的人物的情况下，能够优先使用别称而通过更简洁的响应文RC2～RC3来响应。

[响应内容的例子(其4)]

接着，对响应内容的例子(其4)进行说明。图9是示出由显示·操作装置20输出的响应内容的一例(其4)的图。在响应内容的例子(其3)中，对在车辆M的乘员反复使用别称的情况下生成更简洁的响应文RC3的情况进行了说明。在响应内容的例子(其4)中，生成与使用别称的地域和车辆M的位置相应的响应文RC4。在图9中，车辆M的乘员的讲话内容UC2是使用别称来指示智能体使对导航装置40设定的目的地成为“哆来咪拉面”的内容。

首先，在响应内容的例子(其4)中，智能体功能部130除了声音流之外还将表示由导航装置40所具备的位置测定装置确定出的车辆M的位置的信息向智能体服务器200发送。

在响应内容的例子(其4)中，对话管理部223决定作为响应内容而确认(复述)车辆M的乘员的讲话内容，生成确认讲话内容的包含于图像且作为声音输出的响应文。另外，在响应内容的例子(其4)中，响应内容生成部226基于确定部222的确定结果和别称词典252C，在确定结果中包括别称的情况下，确定使用该别称的地域。在图9中，讲话内容UC2中包含的别称abb2是“哆来咪”，在别称词典252C中示出了别称abb2(“哆来咪”)在“关西”和“关东”使用。响应内容生成部226基于确定出的地域和车辆M的位置信息来生成使用了与车辆M的位置对应的正式名称fn2的响应文RC4并向智能体装置100发送。在图9中，由于车辆M的位置是“关东”，所以响应内容生成部226将“哆来咪拉面”确定为正式名称fn2，生成“将目的地设定为哆来咪拉面(正式名称fn2)”等响应文RC4。显示控制部122生成包括从智能体服务器200接收到的响应文RC4的通知图像IMa4，并使显示·操作装置20的显示器装置显示。

由此，智能体系统1通过使显示器装置显示表示使用了与车辆M的乘员的状况(所在的地域)对应的别称abb2的正式名称fn2的响应文RC4的通知图像IMa4，能够进行与乘员的特征相应的响应。

另外，在上述的例子(其4)中，也可考虑在图9中讲出“将目的地设定为toudai(日语发音罗马字，对应片假名：トーダイ)”的情况。讲话内容UC2中包含的别称abb2是“东大(日语发音罗马字：toudai)”“灯台(日语发音罗马字：tohdai)”(参照图4)，在别称词典252C中示出了别称abb2(“东大”“灯台”)不限于特定的地域而使用的“-”和在“神奈川县横须贺市”或“东京都千代田区”等使用。响应内容生成部226基于确定出的地域和车辆M的位置信息来生成使用了与车辆M的位置对应的正式名称fn2的响应文RC4并向智能体装置100发送。在图4中，若车辆M的位置为“神奈川县横须贺市”“东京都千代田区”等以外，则响应内容生成部226将“东京大学”确定为正式名称fn2，生成“将目的地设定为东京大学(正式名称fn2)”等响应文RC4。显示控制部122生成包括从智能体服务器200接收到的响应文RC4的通知图像IMa4，并使显示·操作装置20的显示器装置显示。

需要说明的是，响应内容生成部226也可以参照个人简介254和别称词典252C，基于确定出的使用别称的地域和车辆M的乘员的出生地来生成使用了与车辆M的乘员的出生地对应的正式名称fn3的响应文RC5。在该情况下，响应内容生成部226基于个人简介254中包含的个人信息来确定车辆M的乘员的出生地。并且，响应内容生成部226确定与基于别称词典252C而确定出的使用别称的地域中的车辆M的乘员的出生地对应的正式名称fn3。在车辆M的乘员出生于“关西”的情况下，响应内容生成部226将“哆来咪甜甜圈”确定为正式名称fn3，生成“将目的地设定为哆来咪甜甜圈(正式名称fn3)”等响应文RC5。由此，智能体系统1通过使显示器装置显示表示使用了与车辆M的乘员的状况(出生地)对应的别称abb2的正式名称fn3的响应文RC5的通知图像IMa(未图示)，能够进行与乘员的特征相应的响应。

另外，响应内容生成部226也可以参照个人简介254和别称词典252C，基于确定出的使用别称的地域和车辆M的乘员的出生地、毕业学校，生成使用了与车辆M的乘员的毕业学校对应的正式名称fn3的响应文RC5。在该情况下，响应内容生成部226基于个人简介254中包含的个人信息来确定车辆M的乘员的毕业学校。并且，响应内容生成部226确定与基于别称词典252C而确定出的使用别称的地域中的车辆M的乘员的毕业学校对应的正式名称fn3。在车辆M的乘员是“东京大学”毕业的情况下，响应内容生成部226将“东京大学”确定为正式名称fn3，生成“将目的地设定为东京大学(正式名称fn3)”等响应文RC5。由此，智能体系统1通过使显示器装置显示表示使用了与车辆M的乘员的状况(毕业学校)对应的别称abb2的正式名称fn3的响应文RC5的通知图像IMa(未图示)，能够进行与乘员的特征相应的响应。

[生成多个响应文RC的情况]

另外，在通过上述的处理而响应内容生成部226生成响应文RC1及响应文RC2或响应文RC2及响应文RC3等多个响应文RC的情况下，显示控制部122及声音控制部124也可以使显示·操作装置20的显示器装置显示信息量(文字数·音拍数)较多的一方的响应文RC，使扬声器30输出信息量(音拍数·文字数)较少的一方的响应文RC。在此，即使是相同的信息量(音拍数·文字数)的响应文RC，在通过图像来响应的情况和通过声音来响应的情况下，车辆M的乘员有时也会在通过图像来响应时更容易在短时间内识别响应文RC。因此，智能体系统1的显示控制部122及声音控制部124通过使显示·操作装置20的显示器装置显示信息量(文字数·音拍数)较多的一方的响应文RC，能够以车辆M的乘员易懂的方式进行响应。

[动作流程]

图10是示出智能体系统1的一系列动作的一例的流程图。

本流程图的处理例如可以以规定周期或规定的时机反复执行。另外，在图10的例子中，对由智能体装置100执行的处理中的主要通过唤醒词来起动智能体且对乘员的讲话中包含的要求进行响应的处理进行说明，以也包括与智能体装置100的智能体功能部130协同配合而执行的智能体服务器200的处理的方式进行说明。

在图10的例子中，首先，智能体唤醒判定部114使与唤醒词建立了对应关系的智能体(智能体功能部130)起动(步骤S100)。接着，声响处理部112判定是否利用话筒10等接受了声音(步骤S102)。在接受了声音的情况下，声响处理部112以成为适合于对接受到的声音识别讲话内容的状态的方式进行声响处理(步骤S104)。声响处理后的声音由车载通信装置50从智能体功能部130向智能体服务器200发送。声响处理部112是“取得部”的一例。

智能体服务器200的声音识别部220进行接受到的声音的识别，将声音文本化(步骤S106)。接着，自然语言处理部221执行对于文本化的文字信息的自然语言处理，进行文字信息的含义解析(步骤S108)。接着，自然语言处理部221提取与含义解释结果对应的功能，生成智能体装置100能够处理的指令(步骤S110)。接着，确定部222基于别称词典252C来判定在由自然语言处理部221生成(解释)的指令中是否包括别称(步骤S112)。响应内容生成部226在由确定部222判定为在指令中不包括别称的情况下，基于由对话管理部223、网络检索部224决定的响应内容来生成不使用别称的响应文RC1(步骤S114)。响应内容生成部226在由确定部222判定为在指令中包括别称的情况下，基于由对话管理部223、网络检索部224决定的响应内容来生成使用了别称的响应文RC2～RC3(步骤S116)。关于步骤S116的处理的详情，见后述。

响应内容生成部226将由对话管理部223、网络检索部224决定的指令向智能体装置100发送，使与指令对应的功能执行(步骤S118)。响应内容生成部226将生成的响应内容向智能体装置100发送，智能体功能部130使输出部输出从智能体服务器200取得的响应结果(步骤S120)。履历管理部225基于由响应内容生成部226生成的响应文RC1～RC3来更新个人简介254(步骤S122)。在步骤S122的处理后，或者在步骤S102的处理中未接受到声音的情况下，智能体功能部130判定是否使智能体的处理结束(步骤S124)。在判定为不使智能体结束的情况下，返回步骤S102的处理。另外，另外，在判定为使智能体结束的情况下，管理部110使智能体结束(步骤S126)。使智能体结束的情况例如包括接受了使智能体结束的结束词的声音的情况、使智能体结束的车载开关被按下的情况、话筒10未接受声音的状态持续了规定时间以上的情况等。本流程图的处理结束。

图11是示出响应文RC的生成处理的一例的流程图。图11所示的流程图是示出图10所示的步骤S116的处理的详情的流程图。首先，响应内容生成部226基于个人简介254来判定讲话的车辆M的乘员是否反复使用了目前由确定部222确定出的别称(步骤S200)。响应内容生成部226在判定为讲话的车辆M的乘员未反复使用目前由确定部222确定出的别称的情况下，视为对于该乘员优选进行不使用别称的响应，基于别称词典252C来确定与该别称对应的正式名称，生成响应文RC1(步骤S202)。

响应内容生成部226在判定为讲话的车辆M的乘员反复使用了目前由确定部222确定出的别称的情况下，基于在个人简介254中示出的该乘员的讲话履历来判定该乘员使用别称的频率是否高(即，频率是否为规定的基准以上)(步骤S204)。响应内容生成部226在判定为频率不高的情况下，视为该乘员是虽然使用由确定部222确定出的别称来响应但不怎么使用别称的人物，生成使用别称的响应文RC2和不使用别称的响应文RC1(步骤S206)。此时，响应文RC2中包含的别称可以是与车辆M的位置或车辆M的乘员的出生地相应的别称。另外，响应内容生成部226在判定为频率高的情况下，视为该乘员是除了由确定部222确定出的别称以外也喜欢使用别称的人物，作为更简洁的响应而生成响应文RC3和响应文RC2(步骤S208)。此时，响应文RC3中包含的别称可以是与车辆M的位置或车辆M的乘员的出生地相应的别称。

[将智能体装置100和智能体服务器200合起来的结构]

需要说明的是，在上述中，对智能体装置100和智能体服务器200分体构成的情况进行了说明，但不限定于此。智能体装置100也可以与智能体服务器200一体构成。图12是示出具备智能体服务器200的功能的智能体装置100A的结构的一例的图。智能体装置100A取代智能体装置100所具备的智能体功能部130(或在其基础上)而具备智能体功能部130A。智能体功能部130A例如具备声音识别部220、自然语言处理部221、确定部222、对话管理部223、网络检索部224、履历管理部225、响应内容生成部226作为其功能部。这些功能部执行的处理与上述的处理是同样的，因此省略说明。另外，智能体装置100A取代智能体装置100所具备的存储部150(或在其基础上)而具备存储部250A。在存储部250A中，例如，除了在智能体装置100A中执行的程序之外，还存储词典数据库252(包括功能词典252A、通用词典252B及别称词典252C)、个人简介254、知识库数据库256及响应规则数据库258的信息。根据智能体装置100A，即使不进行经由网络的通信，也能够执行上述的处理。

以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。