用于基于语音的菜单和内容导航服务的多模输入系统

具体实施方式

以下针对用于响应输入装置的输入速度增加和减少语音提示的速度的系统和方法对本发明实施例的讨论就其本质来说仅是示例性的，绝不旨在限制本发明或其应用或使用。例如，本发明的系统和方法具有用于车辆HMI装置的特定应用。然而，本领域技术人员将理解，该系统和方法还将有其它应用。

本发明提出了一种用于车辆司机的基于音频的多模HMI。虽然主要是在汽车环境下进行描述，本发明还可以应用于用户不能长时间看屏幕的任何环境或应用，诸如在繁忙城市的人行道上行走、骑自行车等，并且还可以用于诸如耳机的其它终端中。基于音频的多模HMI可以控制用于此处所述用途的任何适合的车辆系统，例如蜂窝电话、诸如MP3播放器的数字音乐播放器、互联网浏览器、车辆导航系统等。

本发明可被划分为两个主要部件，即包括驻留在车辆上的部件的终端，和包括驻留在服务提供商系统上的部件的网络。

图1是用于在车辆上提供语音提示的任务选择的系统10的示意框图。系统10可以包括上面提到类型的驻留在车辆上的终端12和网络14。数据通信通道28连接终端12和网络14。终端12可以包括扩音器16；扬声器18；语音识别引擎20；可以是文本-语音引擎、音频文件播放器或两者兼而有之的语音引擎42；处理器22；用于语音和数据的通信部件24；以及二次输入装置26。二次输入装置26通常是诸如触摸板、滚动轮、按钮或键盘的触觉装置，还可以包括手势或生物控制器。终端12还可以包括语音浏览器24和平视显示器（HUD）30或带或不带触摸输入的显示屏。网络14可以包括调制解调器组32、语音识别引擎34、浏览器36、应用服务器系统38、到第三方服务器的连接40、以及可以是文本-语音引擎、音频文件播放器或两者兼而有之的语音引擎46。虽然没有具体示出，网络14中的每个元件可以耦合于共同通信总线，以便这些各种元件可以相互通话。下文表1列出了可能的命令项的菜单列表，诸如命令项1：“无线电”，命令项2：“气候”，以及命令项3：“辅助”。下文表2示出用于这些命令项的软件命令的实例。

表1

表2

语音交互会话可由终端12、网络14、或用户发起。终端12可以通过向用户提示问题来发起会话。用户然后可以通过语音或输入装置26应答。网络14通过与终端12通信请求终端12提示用户来发起会话。用户可以通过激活输入装置26来发起会话，输入装置26诸如按钮、触摸板、或滚动轮。终端12可以为用户念出预置的可能命令列表（例如，诸如“无线电”、“气候”和“辅助”的菜单项）用于用户从中选择，或者它可以问用户开放式问题并且使用自然语言语音识别和/或语音识别语法来处理应答。

如果终端12想给予用户来自有限命令集的选择，则终端12可以将可能的命令作为菜单列表传达。用户可以等待听到菜单列表上的所有项，然后做出选择，或者用户可以使用二次输入装置26来快速向前或向后移动菜单项并选择所需命令项。二次输入装置26可以是滚动轮、触摸板、拨号、上/下或左/右按钮、或适合用于此处所述目的的任何其它输入装置。用户可以说出所需命令或者使用二次输入装置26作出选择。例如，用户可以在所需菜单项被念出时按下按钮。选择方法可以是按钮、触摸传感器上的轻叩、或键盘上的按键。

如果在来自表1的菜单项正被念给用户时输入装置26被激活，则一旦项目被选择，就选择来自表2的对应命令。终端12可以在菜单项间暂停来给予用户在听取所念的整个命令后选择命令的机会。替代地，菜单列表的念出可以完全由输入装置26的激活来确定。如果用户激活装置26，终端12念出菜单列表中的下一命令。如果用户不激活装置26，终端12或者什么也不做或者继续念出用户已导航到的当前命令。尽管这种念出菜单项的技术完全基于装置26，其中，激活给予用户最终控制，它对躺着的用户可能不起作用，因为躺着的用户可能没有意识到他们必须激活装置26来去往下一菜单项。即使没有装置激活，在某点处继续念出整个列表可能是最好的。一旦项目被选定后，终端12可以念出所选项并要求用户予以确认。用户可以使用二次输入装置26来拒绝该项目，例如按下取消按钮，或者确认该项目，例如选择输入按钮。通过这种方式，用户可以快速导航并使用基于语音的命令菜单系统来做出选择。

可以以多种方式滚动菜单项。一个方式可以使用例如按钮、滚动轮、或其它机构的输入装置26，来中断正念的当前菜单项前往下一项，或者返回上一项。这允许用户快速浏览项目列表。然而，这种技术切断正念的当前项，正念的当前项一般强制用户在可以确定是否点击下一项前几乎听完整个项目名称。替代地，输入装置26可用于增加终端12念出菜单项的速度，就像加快转盘上的黑胶唱片。语音可使用众所周知的技术来处理以避免音调的任何变化（否则语音播放太快的话听起来会像花栗鼠的声音）。终端12还可以念出命令的简短描述用于更快导航。命令列表可以为每个菜单项具有两个或多个描述以用于快速导航，一个描述用于慢速导航。为了向后播放，终端12可以以相反顺序更快速地念出每一个项目，而不是难以理解地向后念出。例如，如果命令列表的前进方向是“无线电、气候、辅助”，向后播放则将念出“辅助、气候、无线电”。终端12可以有能力监控用户选择的速度，确定最适合用户的速度，以及使该速度作为念出未来菜单选择时要使用的默认速度。终端12可以使用预先录制的用于念出菜单项的音频剪辑，并且取决于用户想要念出菜单项的速度，有几个现有的音频剪辑版本。替代地，终端12可以使用单个音频剪辑并更快或更慢地处理它，或者终端12可以使用TTS引擎来从文本创建音频。取决于用户操纵输入装置26的速度，TTS引擎也可以更快或更慢地输入语音。

浏览器24，有时也被称为解释器，包括控制菜单导航的软件。浏览器24可以读取诸如VoiceXML文件或任何其它标记文件，其告诉浏览器24要念给用户的菜单项的文件。浏览器24可以具有允许用户使用语音响应或输入装置26确认或拒绝选择的功能。例如，当用户听到所念的命令选择列表时，用户可以说出所需的命令，浏览器24将使用语音识别来确定用户说出的命令，并执行该命令。如果浏览器24位于终端12上，终端12可以通过数据通信链路28从网络服务器38下载文件。这些文件然后可被浏览器24解释，菜单选项可被念给用户。或者，文件已经被本地存储在终端12上，所以没必要从网络服务器38进行下载。文件包括将被念给用户的文本以及告诉浏览器24如何解释该文本的标记语言标志。一些标志将描绘命令菜单中的各种项目（例如，项目1、项目2等）。其它标志将告诉浏览器24如何呈现或念出该文本。例如，变速语音提示可以以特殊标志进行编码并且由浏览器24解释。这些标志可被用来指示是否在文本字符串上使用TTS以念出菜单项或使用音频文件。这些标志还可以描绘哪些音频文件应当用于快速激活输入装置26（例如快速滚动），以及哪些应当用于慢速激活。如果装置26正被快速激活，浏览器24将知道使用较短的音频文件。

如果浏览器36驻留在网络14上，终端12向调制解调器组32进行语音呼叫。调制解调器组32将会话切换到浏览器36，浏览器36从应用服务器38读取文件。浏览器36然后念出菜单项并经过语音链路通过调制解调器组32响应终端12。终端12可以使用带内数据通信通过语音链路传递二次输入。该带内通信可以是基于音调的，诸如类似于Airbiquity所使用的系统的DTMF调制数据，或者GSM系统中存在的语音/数据传输模式。网络14能够使用自己的识别引擎识别来自终端12的语音并同时解码来自终端12的带内数据。输入数据还可以使用带外方法在终端12和网络14之间被传递，所述带外方法诸如单独分组数据连接，网络14将该单独分组数据连接识别为属于它已经与其具有语音会话的终端12，但使用带内数据在某些情况下是优选的，因为它不要求单独的数据连接。二次输入可被用来改变命令列表经过语音连接正被念出的速度，或者向后念出菜单项。二次输入也可被用来选择菜单项，类似于上述终端12的操作。

如果浏览器24驻留在终端12上，终端12可以使用诸如HUD 30和/或控制台屏幕的可视屏幕增加HMI。终端12可以念出菜单项并同时在可视屏幕30上显示该项目。用户可以使用触摸屏通过选择屏幕菜单项做出应答。用户还可以通过二次输入装置或通过语音响应做出应答。

使用二次输入信号用于前进和后退音频菜单的技术也可应用于导航长语音通道，导航长语音通道诸如音频书籍或对基于文本的电子书进行TTS。这允许用户轻松跳过节或“重听”节。该技术还可用于导航列表用于确认用户说了什么。例如，如果用户说“电话”，语音识别器可能认为用户说了“电话”或“熟食店电话”。终端12可以告诉用户“你说的是电话还是熟食店电话...”。用户可以使用二次输入装置26导航选项并选择他想要的选项。类似地，语音识别系统可以自动建立它认为用户所说的选择的列表，用户可以通过语音或二次输入来导航这些选择。例如，如果用户说“从星巴克点咖啡”，语音识别系统就可以答复“你是想要1）从星巴克点茶，2）从星巴克点咖啡，还是3）从西雅图贝斯特（Seattle’s Best）点咖啡？”然后用户可以选择他想要的选项。

在语音流中插入广告不像与基于屏幕的搜索那样容易。通过屏幕，用户可以选择忽视侧栏上的广告。但他们不能忽视插入到音频流中的广告，除非他们具备快进的能力。一种技术是在语音流播放时将广告置于可选屏幕中。终端12用来念出音频的文件可以具有特殊广告标志，见表2）中的“imgad”标志，该标志将文件中的文本、图像和其它元素分开设置为应当仅在屏幕或HUD 30上显示的可视广告的一部分。或者，表示念出命令列表的音频流可以包含“该服务由麦当劳带给你”的简短提示。终端12可以允许用户选择音频或可视广告来获取更多信息。广告也可以作为用户若选择时就可以选择的附加菜单项（见表2中的Daily Coupon（每日优惠券））。广告在项目列表中的确切投放是可变的，并且广告的实际内容可以使用考虑了各种统计的高级广告投放引擎来选择，所述各种统计诸如命令的内容、用户的偏好、用户的位置、广告的目标简档、用户习惯、来自广告的广告收入等。

上述讨论仅记载和描述了本发明的示例性实施例。本领域技术人员将很容易从这种讨论和附图及权利要求中意识到，在不背离由以下权利要求限定的本发明的精神和范围的情况下，可以做出各种改变、修改和变化。