遗忘物品检测系统、遗忘物品检测装置以及存储介质

技术领域

本公开涉及遗忘物品检测系统、遗忘物品检测装置以及存储介质。

背景技术

公知有通过自动驾驶车辆来使车辆行驶而无需驾驶员的驾驶操作的自动驾驶系统(例如参照专利文献1)。

专利文献1：日本特开2020－158008号公报

将自动驾驶车辆用作例如在预先设定的区间搭乘用户来运行的无人的自动驾驶公交车等正处于研究中。在这样无人运行的自动驾驶车辆中，要求能够检测用户在车内的遗忘物品的技术。

发明内容

本公开是鉴于上述情况而提出的，其目的在于提供在无人运行的车辆中能够检测用户在车内的遗忘物品的遗忘物品检测系统、遗忘物品检测装置以及存储有遗忘物品检测程序的存储介质。

本公开的遗忘物品检测系统具备：车辆，其能够无人且自主地行驶，并在预先设定的区间搭乘用户来运行；以及中央服务器，其具有构成为从上述车辆取得规定的信息的第一处理器，上述第一处理器从上述车辆取得对车内进行了拍摄的图像，基于上述图像来检测用户的遗忘物品，基于上述图像来确定上述遗忘物品的持有者候选，基于上述持有者候选在上述车辆的运费结算历史来取得上述持有者候选的信息，将包含上述遗忘物品的图像在内的遗忘物品信息与上述持有者候选的信息建立关联，并登记于遗忘物品登记簿。

本公开的遗忘物品检测装置具备处理器，上述处理器构成为从车辆取得规定的信息，上述车辆能够无人且自主地行驶、并在预先设定的区间搭乘用户来运行，上述处理器从上述车辆取得对车内进行了拍摄的图像，基于上述图像来检测用户的遗忘物品，基于上述图像来确定上述遗忘物品的持有者候选，基于上述持有者候选在上述车辆的运费结算历史来取得上述持有者候选的信息，将包含上述遗忘物品的图像在内的遗忘物品信息与上述持有者候选的信息建立关联，并登记于遗忘物品登记簿。

对于本公开的存储有遗忘物品检测程序的存储介质而言，在构成为从能够无人且自主地行驶、并在预先设定的区间搭乘用户来运行的车辆取得规定的信息的处理器中，上述遗忘物品检测程序使上述处理器从上述车辆取得对车内进行了拍摄的图像，基于上述图像来检测用户的遗忘物品，基于上述图像来确定上述遗忘物品的持有者候选，基于上述持有者候选在上述车辆的运费结算历史来取得上述持有者候选的信息，将包含上述遗忘物品的图像在内的遗忘物品信息与上述持有者候选的信息建立关联，并登记于遗忘物品登记簿。

【发明的效果】

根据本公开，在无人运行的车辆中，能够检测用户在车内的遗忘物品。

附图说明

图1是表示实施方式的遗忘物品检测系统的整体结构的示意图。

图2是详细表示实施方式的遗忘物品检测系统的各构成要素的框图。

图3是表示实施方式的遗忘物品检测系统所执行的遗忘物品检测方法的一例的流程图。

附图标记说明：

1…遗忘物品检测系统；10…中央服务器；11…控制部；111…遗忘物品检测部；112…持有者确定部；12…通信部；13…存储部；131…遗忘物品登记簿；20…运费结算服务器；21…控制部；22…通信部；23…存储部；231…运费结算历史；30…车辆；31…控制部；32…通信部；33…存储部；34…照相机；35…扬声器；36…传感器组；40…终端；41…控制部；411…显示控制部；412…遗忘物品申告部；42…通信部；43…存储部；44…操作/显示部；NW…网络。

具体实施方式

参照附图说明本公开的实施方式的遗忘物品检测系统、遗忘物品检测装置以及存储有遗忘物品检测程序的存储介质。此外，下述实施方式中的构成要素包含本领域技术人员能够且容易置换的要素、或者实质上相同的要素。

(遗忘物品检测系统)

参照图1以及图2说明包含实施方式的遗忘物品检测装置的遗忘物品检测系统。如图1所示，遗忘物品检测系统1具有中央服务器10、运费结算服务器20、车辆30和多个终端40。实施方式的遗忘物品检测装置通过遗忘物品检测系统1中的中央服务器10的功能来实现。中央服务器10、运费结算服务器20、车辆30以及终端40均具备通信功能，构成为通过网络NW能够相互通信。该网络NW例如由互联网线路网、移动电话线路网等构成。

(中央服务器)

中央服务器10用于从车辆30取得规定的信息，并基于该信息检测乘坐过车辆30的用户(乘客)的遗忘物品。该中央服务器10例如通过工作站、个人计算机等通用的计算机来实现。

如图2所示，中央服务器10具备控制部11、通信部12和存储部13。具体而言，控制部11具备由CPU(Central Processing Unit：中央处理器)、DSP(Digital Signal Processor：数字信号处理器)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)、GPU(Graphics Processing Unit：图形处理单元)等构成的处理器、和由RAM(Random AccessMemory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等构成的存储器(主存储部)。

控制部11将储存于存储部13的程序加载于主存储部的作业区域来执行，通过执行程序来控制各构成部等，由此实现符合规定的目的的功能。控制部11通过执行储存于存储部13的程序，由此作为遗忘物品检测部111以及持有者确定部112而发挥功能。

遗忘物品检测部111检测用户(乘客)在车辆30的车内的遗忘物品。首先，遗忘物品检测部111通过网络NW从车辆30取得拍摄有车辆30的车内的图像(以下称为“车内图像”)。此外，作为“车内图像”，例举出拍摄有车辆30的入口附近的图像、拍摄有车辆30的出口附近的图像、拍摄有设置于车辆30的座位的图像等。另外，车内图像既可以是静止图像，也可以是动态图像，或者也可以是从动态图像中切出的静止图像。在本实施方式中，以使用静止图像作为车内图像为前提进行说明。

遗忘物品检测部111例如可以在每当通过车辆30的照相机34拍摄车内图像时从车辆30取得车内图像，或者也可以以预先设定的时间间隔从车辆30取得车内图像。

遗忘物品检测部111基于车内图像检测用户的遗忘物品。遗忘物品检测部111例如利用公知的图像处理技术，检测分别包含于在时间上连续的多个车内图像中的物体以及用户。而且，遗忘物品检测部111将检测到的物体中的在车内图像中单独映现的物体，检测为遗忘物品。此外，“在车内图像中单独映现的物体”表示例如与用户相距一定距离以上且离开一定时间以上的物体。

持有者确定部112基于车内图像来确定遗忘物品的持有者候选。持有者确定部112例如利用公知的图像处理技术，在相比通过遗忘物品检测部111检测到遗忘物品的车内图像而在过去拍摄到的车内图像中，将相对于遗忘物品而处于小于一定距离的距离的用户，确定为遗忘物品的持有者候选。此外，持有者确定部112所确定的遗忘物品的持有者候选既可以是一个人，也可以是多人。

另外，持有者确定部112也可以在如下情况下，即：基于车内图像检测到在位于通过遗忘物品检测部111检测到的遗忘物品的附近(小于一定距离)的用户从该遗忘物品离开之后，其它用户接近到该物体的附近的情况下，将该其它用户确定为遗忘物品的持有者候选。即，持有者确定部112也可以将接近了遗忘物品的全部用户确定为持有者候选。

另外，持有者确定部112也可以将在多个用户乘坐车辆30时的车内图像中持有(或者随身携带有)通过遗忘物品检测部111检测到的遗忘物品的用户，确定为遗忘物品的持有者候选。通过这样着眼于用户乘车时的携带品来进行检测处理，能够在早期且高精度地确定遗忘物品的持有者候选。

另外，持有者确定部112也可以将在通过遗忘物品检测部111检测到遗忘物品的座位的车内图像中之前刚刚坐在座位上的用户，确定为遗忘物品的持有者候选。通过这样着眼于遗忘物品的位置进行检测处理，能够在早期且高精度地确定遗忘物品的持有者候选。

在确定了遗忘物品的持有者候选的情况下，持有者确定部112将该信息登记于存储部13的遗忘物品登记簿131。首先，持有者确定部112基于从车辆30取得的车内图像，确定持有者候选在车辆30乘车的时间(以下称为“乘车时间”)、或者持有者候选从车辆30下车的时间(以下称为“下车时间”)。

接着，持有者确定部112基于持有者候选的乘车时间或者下车时间，从运费结算服务器20取得持有者候选在车辆30中的运费结算历史231。此外，所谓“基于持有者候选的乘车时间取得持有者候选的运费结算历史231”，例如表示在持有者候选乘坐了在乘车时进行运费结算的车辆30的情况下，将与该持有者候选的乘车时间有关的信息发送至运费结算服务器20，来检索持有者候选的运费结算历史231。相同地，所谓“基于持有者候选的下车时间取得持有者候选的运费结算历史231”，例如表示在持有者候选乘坐过在下车时进行运费结算的车辆30的情况下，将与该持有者候选的下车时间有关的信息发送至运费结算服务器20，来检索持有者候选的运费结算历史231。

接着，持有者确定部112基于运费结算历史231取得持有者候选的信息。这里，所谓“持有者候选的信息”，例如表示持有者候选的姓名、联系地址、持有者候选所持有的终端40的ID等能够确定持有者候选的信息。

接着，持有者确定部112将包含遗忘物品的图像的遗忘物品信息和所确定的持有者候选的信息建立关联，并登记于存储部13的遗忘物品登记簿131。此外，作为“遗忘物品信息”，例举有遗忘物品的图像、通过遗忘物品检测部111检测为遗忘物品的日期时间、发现遗忘物品的车辆30的信息(车辆编号等)、发现遗忘物品的车内的位置等信息。通过这样将遗忘物品信息与持有者候选的信息建立关联，并登记于遗忘物品登记簿131，能够容易发现遗忘物品的持有者。

另外，持有者确定部112也可以在通过遗忘物品检测部111检测到遗忘物品时，仅在该遗忘物品符合规定的要件的情况下，确定持有者候选。此外，所谓“符合规定的要件的情况”，例如是指无需特别管理或者归还被检测为遗忘物品的物体的情况，具体而言，举出遗忘物品是空罐、空塑料瓶、杂志、报纸等情况。这样，即便在检测到车内的遗忘物品的情况下，而仅在必要的情况下查找持有者候选，从而能够减少对持有者候选的无用搜索。

另外，持有者确定部112也可以在确定了遗忘物品的持有者候选时，在持有者候选还留在车辆30的车内的情况下，在车辆30进行车内通告。在该情况下，首先，持有者确定部112基于从车辆30取得的车内图像，判定持有者候选是否还在车辆30的车内。

即，持有者确定部112例如利用公知的图像处理技术，判定持有者候选是否还在车内，在判定为持有者候选还在车内的情况下，通过网络NW将车内通告信息发送(输出)至车辆30。由此，通过设置于车辆30的扬声器35播放车内通告信息。此外，所谓“车内通告信息”，是指用于提醒车内有遗忘物品这一情况的信息，例举包含能够确定遗忘物品的内容在内的文本信息、或者与该文本信息对应的声音信息等。通过这样向位于车内的持有者候选进行车内通告，容易在早期发现遗忘物品的持有者。

另外，持有者确定部112也可以在确定了遗忘物品的持有者候选时，对持有者候选进行询问来确定持有者。在该情况下，持有者确定部112基于从车内图像检测到的持有者候选的乘车时间或者下车时间，从运费结算服务器20取得持有者候选在车辆30中的运费结算历史231。接着，持有者确定部112基于该运费结算历史231取得持有者候选的信息。接着，持有者确定部112基于持有者候选的信息，将遗忘物品信息发送至该持有者候选所持有的终端40。然后，当持有者确定部112从持有者候选所持有的终端40取得该持有者候选是遗忘物品的持有者这一情的信息的情况下，将该用户确定为遗忘物品的持有者。

接着，持有者确定部112将包含遗忘物品的图像在内的遗忘物品信息和所确定的持有者的信息建立关联，登记于存储部13的遗忘物品登记簿131。通过这样对遗忘物品的持有者候选进行询问，容易在早期发现遗忘物品的持有者。

另外，持有者确定部112也可以在确定了遗忘物品的持有者候选时，基于来自用户的申告来确定持有者。在该情况下，持有者确定部112若从用户所持有的终端40取得该用户申告在车内遗忘了遗忘物品这一情况的信息，则参照遗忘物品登记簿131，对存在申告的遗忘物品的候选进行检索。接着，持有者确定部112对存在申告的终端40发送对登记于遗忘物品登记簿131的遗忘物品的候选的图像的一部分进行了变更的图像。

此外，所谓“对一部分进行了变更的图像”，例如是指隐藏了遗忘物品的一部分的图像、对遗忘物品的一部分进行了马赛克处理的图像、变更了遗忘物品的一部分颜色的图像、仅示出遗忘物品的轮廓的图像、隐藏了贴于遗忘物品的贴纸、钥匙圈的图像等。而且，持有者确定部112在从终端40取得持有该终端40的用户是遗忘物品的持有者这一情况的信息的情况下，则确定为该用户是遗忘物品的持有者。

接着，持有者确定部112将包含遗忘物品的图像在内的遗忘物品信息与持有者的信息建立关联，并登记于存储部13的遗忘物品登记簿131。通过这样接收来自用户的遗忘物品的申告，能够提高遗忘物品归还给持有者的可能性。

另外，持有者确定部112也可以在基于向用户的询问或者来自用户的申告而确定了遗忘物品的持有者的情况下，询问所确定的持有者的下次乘车时间。在该情况下，持有者确定部112从持有者所持有的终端40取得与持有者的下次乘车时间有关的信息。之后，将所取得的与下次乘车时间有关的信息作为遗忘物品的接收时间而登记于遗忘物品登记簿131。这样，通过在确定了遗忘物品的持有者时，询问该持有者的下次乘车时间，能够配合该乘车时间而将遗忘物品载于车辆30来运行该车辆30，从而能够将遗忘物品归还给持有者。

通信部12例如由LAN(Local Area Network：局域网)接口板、用于无线通信的无线通信回路等构成。通信部12与作为公用通信网的互联网等网络NW连接。而且，通信部12通过与该网络NW连接，能够与运费结算服务器20、车辆30以及终端40之间进行通信。

存储部13由EPROM(Erasable Programmable ROM：可擦可编程只读存储器)、硬盘驱动器(Hard Disk Drive：HDD)以及可移动介质等存储介质构成。作为可移动介质，例举有USB(Universal Serial Bus：通用串行总线)存储器、CD(Compact Disc：压缩碟片)、DVD(Digital Versatile Disc：数字多功能光盘)、BD(Blu-ray(注册商标)Disc：蓝光光盘)那样的盘式存储介质。在存储部13能够储存操作系统(Operating System：OS)、各种程序、各种表、各种数据库等。

在存储部13储存有遗忘物品登记簿131。该遗忘物品登记簿131是登记有遗忘物品信息、与遗忘物品的持有者候选有关的信息、以及与遗忘物品的持有者有关的信息的数据库。作为登记于遗忘物品登记簿131的遗忘物品信息，例举有遗忘物品的图像、通过遗忘物品检测部111检测为遗忘物品的日期时间、发现遗忘物品的车辆30的信息(车辆编号等)、发现遗忘物品的车内的位置等信息。另外，该遗忘物品信息与通过持有者确定部112确定了的持有者候选的信息或者持有者的信息建立有关联。

(运费结算服务器)

运费结算服务器20用于提供车辆30的运费结算服务。该运费结算服务器20例如通过工作站、个人计算机等通用计算机来实现。

如图2所示，运费结算服务器20具备控制部21、通信部22和存储部23。控制部21、通信部22以及存储部23作为硬件与控制部11、通信部12以及存储部13相同。

控制部21从车辆30取得在该车辆30实施了的用户的运费结算信息，将每个用户的运费结算信息作为运费结算历史231而储存于存储部23。此外，控制部21中的运费结算处理的方法和一般的无现金结算处理的方法相同。例如，当用户通过预先在终端40的运费结算应用中存入的电子货币，在设于车辆30的运费结算终端进行运费结算时，将运费结算信息从车辆30向运费结算服务器20发送。运费结算服务器20接收到该信息，在控制部21中进行将用户的电子货币的余额减去结算金额数量的处理，并将该处理结果发送至车辆30以及终端40。由此，运费结算处理完成。

另外，控制部21响应于中央服务器10的持有者确定部112的要求，将储存于存储部23的运费结算历史231发送至持有者确定部112。

通信部22通过经由了网络NW的无线通信，与中央服务器10以及车辆30之间进行通信。在存储部23储存有运费结算历史231。

运费结算历史231是与车辆30中的用户的运费结算有关的信息。作为运费结算历史231，包含用于确定进行了结算的用户的信息(例如ID、姓名等)、结算日期时间(乘车日期时间)、结算场所、结算金额等信息。

(车辆)

车辆30是能够自主行驶(自动行驶)的移动体。车辆30能够无人且自主地行驶，并在预先设定的区间搭乘用户来运行。如图2所示，车辆30具备控制部31、通信部32、存储部33、照相机34、扬声器35和传感器组36。控制部31、通信部32以及存储部33作为硬件与控制部11、通信部12以及存储部13相同。另外，在车辆30的入口附近或者出口附近设置有用于用户进行运费结算的运费结算终端。

通信部32通过经由了网络NW的无线通信，与中央服务器10以及运费结算服务器20之间进行通信。在存储部33，例如根据需要而储存有通过照相机34拍摄到的图像、从中央服务器10取得的车内通告信息等。

照相机34例如是内置CCD(Charge Coupled Device：电荷耦合器件)或者CIS(CMOSImage Sensor：CMOS图像传感器)等拍摄元件的拍摄装置。照相机34在车内配置有多个。照相机34例如分别配置于车辆30的入口附近、车辆30的出口附近、车辆30的座位附近等。照相机34将拍摄到的车内图像经由网络NW发送至中央服务器10。

扬声器35设置于车辆30的车内。扬声器35在从中央服务器10取得车内通告信息的情况下，播放该车内通告信息。由此，对车内的遗忘物品候选者提醒车内有遗忘物品这一情况。

传感器组36是用于实现自动驾驶的传感器，例举有3D－LiDAR、毫米波传感器、红外线传感器、加速度传感器、GPS传感器等。

(终端)

终端40用于从中央服务器10取得遗忘物品信息、或者对中央服务器10发送车内有遗忘物品这一情况的申告。终端40例如通过用户所拥有的智能手机、移动电话、平板终端、可携带计算机等来实现。

如图2所示，终端40具备控制部41、通信部42、存储部43和操作/显示部44。控制部41、通信部42以及存储部43作为硬件与控制部11、通信部12以及存储部13相同。控制部41通过执行储存于存储部43的程序，作为显示控制部411以及遗忘物品申告部412而发挥功能。

显示控制部411对基于操作/显示部44的显示进行控制。显示控制部411例如使在终端40安装的运费结算应用的画面、遗忘物品申告应用的画面等显示于操作/显示部44。

通信部42通过经由了网络NW的无线通信而与中央服务器10之间进行通信。在存储部43，例如根据需要而储存有从中央服务器10取得的遗忘物品信息、用于在车辆30进行运费的结算的运费结算应用、在车辆30中有遗忘物品时用于进行遗忘物品的申告的遗忘物品申告应用等。

操作/显示部44例如由触摸面板显示器等构成，具有接收基于用户的手指、笔等进行的操作的输入功能、和基于显示控制部411的控制而显示各种信息的显示功能。操作/显示部44基于显示控制部411的控制，显示在安装于终端40的运费结算应用的画面、遗忘物品申告应用的画面等。

(遗忘物品检测方法)

参照图3说明实施方式的遗忘物品检测系统1执行的遗忘物品检测方法的处理顺序的一例。在该图中，以中央服务器10中的处理为基准进行说明。

首先，遗忘物品检测部111从车辆30取得车内图像(步骤S1)。接着，遗忘物品检测部111基于车内图像判定车内是否有遗忘物品(步骤S2)。

在判定为车内有遗忘物品的情况下(在步骤S2中，是)，持有者确定部112判定是否需要管理遗忘物品(步骤S3)。此外，在步骤S2中，在判定为车内没有遗忘物品的情况下(在步骤S2中，否)，持有者确定部112结束本处理。

在判定为需要管理遗忘物品的情况下(在步骤S3中，是)，持有者确定部112基于车内图像确定遗忘物品的持有者候选(步骤S4)。此外，在步骤S3中，判定为无需管理遗忘物品的情况下(在步骤S3中，否)，持有者确定部112结束本处理。

接着，持有者确定部112基于车内图像，判定持有者候选是否还在车内(步骤S5)。在持有者候选还在车内的情况下(在步骤S5中，是)，持有者确定部112将车内通告信息发送至车辆30(步骤S6)，并结束本处理。

在步骤S5中，判定为持有者候选不在车内的情况下(在步骤S5中，否)，从运费结算服务器20取得持有者候选的运费结算历史231(步骤S7)。接着，持有者确定部112将遗忘物品信息和根据运费结算历史231确定了的持有者候选的信息建立关联，并登记于遗忘物品登记簿131(步骤S8)。

接着，持有者确定部112将遗忘物品信息发送至持有者候选所持有的终端40(步骤S9)。接着，持有者确定部112判定是否确定了遗忘物品的持有者(步骤S10)。在步骤S10中，持有者确定部112在从持有者候选所持有的终端40取得是遗忘物品的持有者这一情况的信息的情况下，进行肯定判定，在未取得是遗忘物品的持有者这一情况的信息的情况下，进行否定判定。

在判定为确定了遗忘物品的持有者的情况下(在步骤S10中，是)，持有者确定部112从持有者所持有的终端40取得与持有者的下次乘车时间有关的信息(步骤S11)。此外，在步骤S10中，判定为未确定遗忘物品的持有者的情况下(在步骤S10中，否)，持有者确定部112结束本处理。

接着，持有者确定部112将所取得的与下次乘车时间有关的信息作为遗忘物品的接收时间，并登记于遗忘物品登记簿131(步骤S12)，并结束本处理。

如以上说明那样，根据实施方式的遗忘物品检测系统、遗忘物品检测装置以及遗忘物品检测程序，在无人运行的车辆30中，能够检测用户在车内的遗忘物品。另外，通过将在车辆30的车内的遗忘物品和与其持有者候选有关的信息登记于遗忘物品登记簿131，能够提高遗忘物品归还给持有者的可能性。

本领域技术人员能够容易地导出进一步的效果、变形例。因此，本发明的更广泛的方式并不限定于如以上那样表示且记述的确定的详细内容以及代表性的实施方式。因此，在不脱离由附加的权利要求书及其等同物定义的总括的发明的概念的精神或范围的情况下，能够进行各种变更。

例如，在实施方式的遗忘物品检测系统、遗忘物品检测装置以及遗忘物品检测程序中，基于通过车辆30的照相机34拍摄到的车内图像来检测遗忘物品以及持有者候选，但也可以不通过照相机34，而例如使用红外线传感器等其他手段来检测遗忘物品以及持有者候选。

另外，在实施方式的遗忘物品检测系统、遗忘物品检测装置以及遗忘物品检测程序中，在确定了遗忘物品的持有者时，询问该持有者的下次乘车时间(参照图3的步骤S10、S11)，但也可以不向持有者询问，而是基于持有者的乘车历史(乘车习惯)自动地把握下次乘车时间。在该情况下，遗忘物品检测部111在确定遗忘物品的持有者时，则从运费结算服务器20取得持有者候选在车辆30中的运费结算历史231。

接着，持有者确定部112参照运费结算历史231，判定持有者候选的结算日期时间，即是否在乘车时间上具有周期性。此外，所谓“在乘车时间上具有周期性”，举出每天在相同时间乘坐车辆30的情况、每周中的同一天在相同时间乘坐车辆30的情况、以及每月中的同一天在相同时间乘坐车辆30的情况等。

当判定为在持有者候选的乘车时间上具有周期性的情况下，持有者确定部112预测持有者候选的下次乘车时间，并将预测出的乘车时间作为遗忘物品的接收时间登记于遗忘物品登记簿131。这样，在确定了遗忘物品的持有者时，基于该持有者的乘车历史，能够预测其下次乘车时间，从而能够配合该乘车时间将遗忘物品载于车辆30来运行，由此能够将遗忘物品归还给持有者。