首页> 中国专利> 基于增强现实技术的科技创新与文化共享智能平台模式方法

基于增强现实技术的科技创新与文化共享智能平台模式方法

摘要

基于增强现实技术的科技创新与文化共享智能平台模式方法,应用在智慧城市领域,以及科技、文化展出领域;应用在技术交易领域;应用在线上与线下相结合的商品交易领域;应用在体育直播领域。为解决现有的科技及文化展览缺乏线上体验现场感的问题,非物质文化遗产及艺术产品缺乏社会认知度的问题,技术交易信息不对称的问题,线上观看体育直播缺乏身临其境感的问题,本发明设计了一种基于增强现实技术的科技创新与文化共享智能平台模式方法,建立科技与文化信息共享平台,平台主要由移动端应用程序软件、后台软件系统、现场视频摄像装置组成,依托5G通信及增强现实技术,以移动端应用程序作为用户体验方式。

著录项

  • 公开/公告号CN113191841A

    专利类型发明专利

  • 公开/公告日2021-07-30

    原文格式PDF

  • 申请/专利权人 张鹏;

    申请/专利号CN202110463769.7

  • 发明设计人 张鹏;

    申请日2021-04-28

  • 分类号G06Q30/06(20120101);G06F3/01(20060101);G06T19/00(20110101);H04N5/232(20060101);H04N5/247(20060101);

  • 代理机构

  • 代理人

  • 地址 100871 北京市海淀区颐和园路5号北京大学

  • 入库时间 2023-06-19 12:02:28

说明书

技术领域

本发明涉及一种基于增强现实技术的科技创新与文化共享智能平台模式方法,能够展示用户的科技创新才华,分享创新思路与成果,并实现虚拟逛街共享智慧城市街巷景观与文化,虚拟游览科技展会、体育赛场、美术馆,应用在智慧城市领域,以及科技、文化展出领域;应用在专利审查检索、书籍期刊检索及知识创新公开查询领域,以及技术交易领域;应用在电脑端及移动端平台应用软件领域;应用在线上与线下相结合的商品交易领域;应用在体育直播领域。

背景技术

现有的科技创新成果主要通过专利、论文方式展示及考核,而专利与论文审查流程复杂,撰写形式要求高,致使普通民众望而却步,而有科技才华的普通民众大有人在,市场缺乏展示公众科技创新才华的平台。杂乱的网络论坛缺乏有序科学的引导与规范,缺乏专业的管理。多样的科技创新设计大赛缺乏统一的信息发布及线上举办平台,致使信息渠道透明度低。目前展示公众常规艺术才华的平台多样繁杂,唱歌跳舞等才艺被挖掘得淋漓尽致,而科技创新才华却鲜有开发。国家的科技创新战略主要依赖专业人士,缺乏公众的广泛参与。目前的专利技术成果交易方式主要通过地方的专利代理机构,分布零散且规模小,技术交易信息不对称,市场缺乏统一的技术成果交易信息平台;目前已有的虚拟逛街游览方式有直播方式、虚拟现实技术方式,直播方式是观众被动跟随导播的节奏观览,缺乏主动选择观览的体验感。虚拟现实技术方式则是通过佩戴VR眼镜观看虚拟的街道场景,而非真实的实时游览场景,缺乏现场人文气氛。受疫情或人群密集影响,传统的实体逛街方式已不能满足公众的文化娱乐需求,特别是一些文化古街道及艺术区,例如北京的五道营胡同、南锣鼓巷、国子监、798艺术区。目前的绘画、雕塑等艺术品及国家非物质文化遗产商品的市场交易方式主要通过线下展览售卖的方式,缺乏信息透明度及市场推广力度,而已有的线上商城模式缺乏艺术品多样化、专业化的规模效应及分类认证服务,消费者缺乏对商品的详细了解。

发明内容

为解决现有的科技及文化展览缺乏线上体验现场感的问题,非物质文化遗产及艺术产品缺乏社会认知度的问题,技术交易信息不对称的问题,线上观看体育直播缺乏身临其境感的问题,本发明设计了一种基于增强现实技术的科技创新与文化共享智能平台模式方法:

建立科技与文化信息共享平台,以下简称“平台”,平台内容分为科技、文化两个板块,其中科技板块分为科技创新展示分享功能模块、科技棘手问题功能模块、技术交易功能模块、智慧城市建设意见征集功能模块、展会及赛事功能模块;文化板块分为智慧城市虚拟游览功能模块、文化与艺术展会功能模块、文化及艺术商品交易功能模块、体育赛场直播模块,所有功能模块基于增强现实技术,通过移动端应用程序控制虚拟人像实时游览真实现场。其增强现实技术主要特征是将真实的现场划分为多个虚拟网格,现场部署若干视频摄像装置,每个视频摄像装置对应一个或多个虚拟网格,平台基于游览者即虚拟人像的坐标位置及游览者视场投射点启用对应的视频摄像装置,模拟人眼视场。

平台主要由移动端应用程序软件、后台软件系统、现场视频摄像装置组成,以移动端应用程序软件作为用户体验方式,后台软件系统运行在云端服务器,移动端应用程序软件、后台软件系统、现场视频摄像装置三者间接通过5G通信方式连接。具体功能模块如下:

1、科技创新展示分享功能模块,按技术领域逐级分类,分为一级分类、二级分类、三级分类、…、N级分类,例如一级分类包括智能交通、医疗;二级分类在一级分类的基础上进一步细分,如智能交通分为信号灯、车辆导航、无人驾驶,医疗分为医疗器械、生命医药;三级分类在二级分类基础上进一步细分,如无人驾驶分为车辆、工程应用,医疗器械分为检测仪器、治疗仪器;四级分类进一步细分,车辆分为传感器、操控系统,检测仪器分为影像类仪器、样本化验类仪器;进一步细分,传感器分为激光雷达、超声波雷达、毫米波雷达、视频、其它,影像类分为核磁、CT、超声、其它;进一步细分,激光雷达分为硬件创新、软件算法创新。

按上述逐级分类后,从技术领域最后一级分类进入全新界面即B界面,B界面包括检索、查阅、发表,通过“发表”进入下一级界面即C界面,C界面包括概念方法、详细方案,概念方法包括解决问题、解决思路,解决问题是指预解决的问题,解决思路是解决方法及实施方式。解决问题和解决思路分别对应预填写或导入的内容,内容包括文字、图片、视频;通过“检索”或“查阅”进入下一级界面即D界面,在D界面能够查询用户在对应技术领域已发表的内容索引,从内容索引进入具体内容界面即E界面。

在科技创新展示分享主界面有“检索”、“查阅”、“发表”的快捷索引,从“查阅”、“发表”分别进入查阅界面和发表界面,在查阅界面、发表界面选择技术领域分类,再进入D界面或C界面;从“检索”进入检索界面,在检索界面直接基于输入的关键字查询内容,查询结果以内容索引列表形式展示,从内容索引进入E界面。

用户可以查阅自己已发表内容的被浏览次数、浏览用户数、兴趣指数、探索意向指数、参考价值指数,同时可以查阅用户本身的粉丝数;在内容界面即E界面有兴趣度、探索意向、关注,兴趣度分为四个分值段即25、50、75、100,分值段分别从低到高分别对应不感兴趣、一般、感兴趣、非常感兴趣,阅览者通过选择不感兴趣、一般、感兴趣、非常感兴趣四个选项中的一个表达兴趣度,所有阅览者的兴趣度(所对应分值)的和为兴趣指数。探索意向分为无意向、进一步探索,分别对应分值0、10,阅览者选择进一步探索时需要用文字输入探索方向即想进一步了解的内容,所有阅览者的探索意向(多对应分值)的和为探索意向指数;在内容界面即E界面有评论栏,阅览者可以在评论栏发表评论,内容发表者可以答复阅览者的评论。阅览者选择关注将成为内容发表者的粉丝。

内容发表者可以根据已发表内容的探索意向指数以及阅览者想进一步了解的内容决定是否继续发表二级内容,内容发表者首次发表的内容为一级内容,二级内容是在一级内容的基础上发表的更为详细的内容,二级内容与一级内容关联,同样可以发表三级内容,三级内容与二级内容关联,层层关联,每一级界面相同,其内容同样分为解决问题、解决思路,同样有评论、兴趣度、探索意向、关注。

上述发表的内容除文字、图片、视频等常规方法外,创新采用增强现实的技术方法,将发表的内容以实物且实时的展示方式,阅览者通过虚拟游览方式置身于发表的实物内容现场,从不同角度实时观览实物内容。

支持用户以增强现实方式查询现场实物,作为专利及论文的创新性及新颖性的判断依据之一。

2、科技棘手问题功能模块,与科技创新展示分享模块采用同样思路,同样采用增强现实技术描述科技棘手问题,支持阅览者从不同角度实时观览科技棘手问题的实物描述,功能模块同样按照技术领域逐级分类,区别是其发表的内容分为棘手问题概括、描述,对应“棘手问题概括”、“描述”分别有文字、图片、视频输入的导入栏、虚拟增强实时描述,另有“解答”选项,阅览者选择“解答”进入科技创新展示分享模块的C界面,即科技棘手问题模块与科技创新展示分享模块关联,阅览者可以实时观览问题的虚拟增强实时描述,从不同角度虚拟观览科技棘手问题的实时现状。科技棘手问题的发表者决定解答者的解决思路是否公开,若选择私密,则解答者的答复内容只有科技棘手问题的发表者能够看到。科技棘手问题发表者根据解答者的答复内容选择“较高参考价值”、“一般参考价值”、“无参考价值”(分别对应不同的分值,即解答者发表内容的参考价值指数)。

平台用户分为个人用户、企业用户、科研院校用户、政府用户,在科技棘手问题模块中企业用户、科研院校用户根据所选择的“较高参考价值”、“一般参考价值”、“无参考价值”决定是否向答复者付奖励,答复者可以看到科技棘手问题提出者的用户性质。

平台所有用户均采用实名制注册,姓名、身份证号、联系方式、地址均为真实信息,所发表的原创内容将永久记录,原创的量化标准将以专利、论文及公开刊物检索为准,原创内容将作为专利审查、论文及书籍原创审查依据,同时将作为后续科研成果的发明创造及孵化依据,例如:某太空飞行原理思路最早被某用户在科技创新与文化共享智能平台发表,将来某一天一种新型太空飞行器发明问世并采用了这一原理思路,后人将追溯这一原创思路的提出者并永久载入史册。

3、技术交易功能模块,供用户发布及浏览知识产权信息、知识产权线上交易,采用增强现实技术实时展示专利证书及实物成果,支持观览者虚拟置身于技术成果展览现场,从不同角度实时观览技术相关成果。发布知识产权信息分为转让、求购两种类别,知识产权类型分为发明、实用新型、外观设计、集成电路设计、商标,发明、实用新型、外观设计、集成电路设计的转让需要填写信息包含价格、专利号、专利名称、所有权人、卖方基本信息,发明、实用新型、外观设计、集成电路设计的求购需要填写信息包含价格、专利所属技术领域、专利所解决技术问题、买方基本信息;商标的转让需要填写价格、商标名、所有权人、商品服务项目、卖方基本信息,商标的求购需要填写价格、商标名、商品服务项目、买方基本信息。

用户发布知识产权转让信息后,平台后台根据专利号、专利名称、发明人、商标名称、所有权人对应国家知识产权局已公开的信息进行检索验证是否属实,如果属实则将发布信息公布在平台,否则不予公布。

4、智慧城市建设意见征集功能模块,分为智慧城市建设意见征集、智慧城市建设问题反馈,仅支持政府、科研院校、企业用户发布智慧城市建设意见征集,发布意见征集支持选择区域,区域层级分类为省直辖市、城市、市县区、社区乡镇、街道、路段,需选择意见征集的区域,填写问题描述、目标及规划。个人、企业、科研院校、政府用户均可浏览意见征集信息并填写建议,意见征集方根据答复的内容评估其价值,并选择“较高参考价值”、“一般参考价值”、“无参考价值”决定是否向答复者付奖励,答复者可以看到自己的建议所受到的评价。支持政府、企业、科研院校及个人用户发布智慧城市建设问题反馈,支持选择区域,选择问题类型(道路问题:道路损坏、车辆违章、道路拥堵、道路水涝;垃圾问题;建筑问题;河道问题;污染问题),并填写问题描述。

智慧城市建设意见需要解决的问题同样采用增强现实技术,用户虚拟游览于涉及问题的实时现场,身临其境体验问题的实时状况。

5、展会及赛事功能模块,采用增强现实技术实时展示展会及赛事状况,观众虚拟游览观看展会及赛事实时现场。支持用户发布科技展会及赛事预告信息,但需要平台后台审核通过后才能发布,支持用户浏览展会及赛事预告信息并以时间日期排序,并支持按类别(如:交通电子设备、无人驾驶、虚拟现实技术)、地区(按省份、市)检索。用户发布科技展会及赛事预告信息需要在线支付押金,并承诺虚假发布将承担法律责任并支付违约金,允许用户修改展会及赛事预告信息(如时间、地点改动),但需在线提交申请修改并说明原因,平台后台审核同意后用户才能修改;

平台支持用户在线实时虚拟观览展会及赛事现场,在展会及赛事现场多角度、多位置部署设计视频摄像装置,模拟人眼现场不同位置、不同视角观看的场景,包括现场观览区观众席的视场、在高处观景台的视场、乘坐飞行器俯瞰的视场、乘坐地面游览车的视场、在现场步行区漫步的视场。三种方式模拟人眼视场,其一是采用固定式定焦视频摄像装置或固定设置每个视频摄像装置的角度、焦距,多个不同位置、不同焦距的视频摄像装置覆盖组合,模拟人眼以不同位置、不同焦距观览的视场;其二,采用云台转动及变焦的视频摄像装置,模拟人眼对焦区域视场,此种方式可以减少视频摄像装置的数量,但多个用户同时虚拟观览共享单个视频摄像装置时,且多个用户以不同的视场观览,此时视频摄像装置的云台转动角度及焦距存在冲突,解决思路是采用优先机制,优先机制按照同一视场的用户数的数量排序,用户数多的视场将优先被视频摄像装置模拟,排序靠后的视场用户需要等待或转向其它视场;其三,采用固定式与云台转动式、对焦与变焦视频摄像装置混合部署的方式,即云台转动式变焦视频摄像装置、云台转动式定焦视频摄像装置、固定式定焦视频摄像装置、固定式变焦视频摄像装置中的两种或多种混合部署在展会及赛事现场的方式。当多个用户以不同角度或不同焦距同时调用同一云台转动式或变焦视频摄像装置时,则采用优先机制,即某一角度或焦距用户数多的请求将被优先执行。云台转动是指视频摄像装置通过机械转动改变镜头的角度,定焦是指视频摄像装置采用定焦镜头即焦距固定,变焦是指焦距可以变换。

上述模拟人眼视场的三种方式,当视频摄像装置的景深比人眼视场景深浅时,将通过变换视频摄像装置对焦点的方式模拟人眼视场对焦区域。

固定式定焦视频摄像装置主要由摄像头(定焦镜头、图像传感器、数字信号处理芯片)、通信模块、固定装置组成;固定式变焦视频摄像装置主要由摄像头(变焦镜头、图像传感器、数字信号处理芯片)、通信模块、固定装置组成;云台转动式定焦视频摄像装置主要由摄像头(定焦镜头、图像传感器、数字信号处理芯片)、云台(电机、转动轴)、通信模块、固定装置组成;云台转动式变焦视频摄像装置主要由摄像头(变焦镜头、图像传感器、数字信号处理芯片)、云台(电机、转动轴)、通信模块、固定装置组成。视频摄像装置通过5G无线通信方式联网。

支持用户通过移动端平台应用程序或PC端平台网页的前、后、左、右按钮控制虚拟游览者的移动方向,并通过焦距按钮控制观览对焦区域;并支持用户通过头戴及手持VR设备模拟游览者的行走、视角、对焦区域。

展会及赛事现场部署多个拾音器,模拟人耳听到的现场环境声音,其中包括两种模拟方式,其一是视频摄像装置的对焦区域与所对焦区域的拾音器对应,即人眼视场区域与模拟人眼视场的视频摄像装置对焦区域所在的拾音器对应,听到的声音来源于人眼视场区域即视频摄像装置的对焦区域;其二,听到的声音来源于人所在位置附近区域,即人在展会及赛事现场中的虚拟位置有坐标,支持通过PC端或移动端的屏幕看到自身的虚拟位置,虚拟位置坐标附近区域的拾音器采集到的环境声音即为听到的声音。

平台支持在线与实体协调举办展会及赛事,平台授予用户权限观览展会及赛事现场特定区域,不同的登录用户被授予不同的权限,即不同现场区域的视频摄像装置、拾音器基于用户权限被调用;平台支持登录用户基于权限与现场区域语音聊天及视频通话,平台支持登录用户之间语音聊天及视频通话。

6、智慧城市虚拟游览功能模块,与展会及赛事功能模块类似,同样采用增强现实技术,支持用户基于权限虚拟实时俯瞰观览城市广场、道路等公共区域。

7、文化与艺术展会功能模块,与展会及赛事功能模块类似,同样采用增强现实技术,支持用户虚拟观览文化与艺术品展会商城现场。

8、文化及艺术商品交易功能模块,同样采用增强现实技术,在文化与艺术品展会功能模块基础上增加展品交易功能,每件展品有唯一标识数字和标识码,将展品的标识数字输入到平台的展品信息查询及购买栏目中,支持查看展品的具体文字介绍及价格,支持在线购买展品;与输入展品标识数字功能类似,区别是视频摄像装置有标识码识别功能,通过平台界面按钮点击调用正在使用的视频摄像装置的标识码读取识别功能,查看展品的具体文字介绍及价格,在线购买展品。

9、体育赛场直播功能模块,支持用户虚拟置身于比赛现场,以不同视角实时观看比赛详情。

附图说明

图1是方位角示意图,从o点到正上方箭头方向所在的射线(指北方向线)起沿o点顺时针方向到目标方向线之间的水平夹角,旋转一周的角度为360°(度),其中:点o是原点;数字0是指正北方向的角度即0°,与旋转一周即360°的角度重合;数字90是指正东方向的角度即90°;数字180是指正南方向的角度即180°;数字270是指正西的角度即270°。

图2、图3是垂直角示意图,指人眼视准线与其水平视线之间的夹角,其中:o是人眼所在点;oP

图4是游览区场景示意图,其中:1、2、3、4、5分别是视频摄像装置1、视频摄像装置2、视频摄像装置3、视频摄像装置4、视频摄像装置5;四边形adhe是走廊(人行道或街道、胡同),四边形abcd和四边形efgh分别是走廊两侧的展览区(展览室、门店、艺术品摆放区、建筑外墙),abcd又拆分为四边形abpq、四边形pqdc,efgh又拆分为四边形efmn、四边形mnhg;视频摄像装置1、2、3、4、5从不同角度覆盖拍摄abpq、pqdc、efmn、mnhg、adhe区域。

图5是投射点坐标计算原理几何图,T点是o点即游览者的投射点,W是投射点在水平面的投影点,V点是o点在点T、W、V所在平面(如图4中的四边形abcd所在平面)的投影点,oN是正北向量。

图6是虚拟游览画面调用方式一流程图,其中图形符号中的数字及字母释义:1开始流程;2匹配场景,即虚拟游览的区域划分为多个平面,每个平面由多个网格组成,按照统一坐标体系标定每个网格的坐标值,游览者的虚拟位置与所处场景的坐标建立对应关系;3计算投影点坐标,即计算游览者虚拟位置点在周围对应的游览区域平面的投影点坐标;4计算投射点坐标,即游览者视线在周围对应的游览区域平面的投射点坐标;5匹配投影点坐标区域,即周围对应的游览区域平面划分为多个子区域,匹配投影点坐标位于哪个具体的子区域;6判断投影点坐标与投射点坐标是否在同一个子区域内,N是“否”即投射点不在投影点子区域内,Y是“是”即投射点在投影点子区域内;7调用某一视频摄像装置(例如图4中视频摄像装置5,其对焦于adhe区域);8调用对应投影点区域的视频(例如图4中,当投影点在abpq子区域时,调用视频摄像装置2);9结束流程。

图7是虚拟游览画面调用方式二流程图,其中图形符号中的数字及字母释义:1开始流程;2匹配场景,即虚拟游览的区域划分为多个平面,每个平面由多个网格组成,按照统一坐标体系标定每个网格的坐标值,游览者的虚拟位置与所处场景的坐标建立对应关系;3计算投影点坐标,即计算游览者虚拟位置点在周围对应的游览区域平面的投影点坐标;4计算投射点坐标,即游览者视线在周围对应的游览区域平面的投射点坐标;5匹配投影点坐标区域,即周围对应的游览区域平面划分为多个子区域,匹配投影点坐标位于哪个具体的子区域;6判断投射点坐标是否在投影点坐标相邻子区域内(例如图4中,pqcd和abpq是相邻的两个子区域,mnhg和efmn是两个相邻的子区域),N是“否”即投射点不在投影点相邻子区域内,Y是“是”即投射点在投影点相邻子区域内;7调用某一视频摄像装置并将其对焦于投射点子区域,该视频摄像装置的投影点在游览者的投影点子区域内(例如图4中,调用视频摄像装置2对焦于pqcd子区域,视频摄像装置2的投影点位于abpq子区域内);8判断投影点坐标与投射点坐标是否在同一个子区域内,N是“否”即投射点不在投影点子区域内,Y是“是”即投射点在投影点子区域内;9调用某一视频摄像装置并将其对焦于投射点子区域,该视频摄像装置的投影点在游览者的投影点子区域内(例如图4中,视频摄像装置2对焦于pqcd子区域);10调用某一视频摄像装置(例如图4中的视频摄像装置5,其对焦于adhe区域);11结束流程。

图8是基于增强现实技术的展览及购物馆示意图,adhe区域是走廊区域,其中虚线分割成的正方形是网格;长方形abcd、efgh是对应于adhe区域的观览平面区域,abcd分为abpq区域(子区域)和pqdc区域(子区域),efgh分为efmn区域(子区域)和mnhg区域(子区域),每个子区域中展示若干艺术品或商品,每个子区域中的圆圈代表展示的艺术品或商品,其中数字代表商品编号及二维码,abpq区域的艺术品或商品分别是21、22、23、24、25、26,pqdc区域的艺术品或商品分别是41、42、43、44、45、46,efmn区域的艺术品或商品分别是11、12、13、14、15、16,mnhg区域的艺术品或商品分别是31、32、33、34、35、36;圆柱体及其数字代表视频摄像装置,其中视频摄像装置1负责efmn区域的图像采集及扫码,视频摄像装置2负责abpq区域的图像采集及扫码,视频摄像装置3负责mngh区域的图像采集及扫码,视频摄像装置4负责pqdc区域的图像采集及扫码,视频摄像装置5负责adhe区域的图像采集,同时视频摄像装置5俯瞰采集abcd、efgh区域图像。

图9是基于增强现实技术游览足球场实时观看比赛的示意图,其中实线轮廓为足球场图示即俯视图,虚线部分为足球场虚拟划分线,虚线与虚线、虚线与足球场外实线轮廓组成的虚线网格为单个视频摄像装置的对焦区域,数字1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34、35、36分别代表一个虚线网格,每个虚线网格的立体图如图10所示;点a

图10是图9中任意一个虚拟网格的轴向立体图,图9中的虚拟网格为36个图10的投影图,即图9中看到的虚拟网格四边形(如a

图11是图9中的视频摄像装置阵列示意图,其中1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34、35、36是其中一组视频摄像装置即第一组视频摄像装置,37、38、39、40、41、42、43、44、45、46、47、48、49、50、51、52、53、54、55、56、57、58、59、60、61、62、63、64、65、66、67、68、69、70、71、72是另一组视频摄像装置即第二组视频摄像装置。

图12、图13是视频摄像装置阵列自动启用原理图,其中图12同图9,区别是增加了o、W、Q点及连接线、视频摄像装置阵列所在平面虚线的示意,o点是游览者位置点,W是游览者在某一虚拟网格面的投射点在水平面的投影点(如同图5中的W点),Q是向量Wo与视频摄像装置阵列所在平面的相交点;图13是图12中向量Wo与视频摄像装置阵列所在平面相交点的进一步示意(立体图),其中,abcd、cdef分别是虚拟网格,ghbf代表视频摄像装置阵列所在平面,U1

具体实施方式

一、软硬件系统

基于增强现实技术的科技创新与文化共享智能平台包括硬件、软件,其中硬件包括5G通信网络、后台云端服务器、前端移动应用设备、现场视频摄像装置,硬件中的前端移动应用设备包括手机或平板、VR眼镜,VR眼镜通过蓝牙或WIFI技术与手机或平板连接通信,在不使用VR眼镜的情况下也支持直接通过手机或平板实现平台的应用功能,区别是缺少VR眼镜观览现场的三维立体感。软件包括后台系统、移动端应用程序,用户通过移动应用端程序观看功能界面、发送请求、观览请求结果,平台功能通过后台系统实现,后台系统运行在后台云端服务器,移动端应用程序运行在前端移动应用设备,移动端应用程序、后台系统、视频摄像装置三者依托硬件通过5G通信网络建立相互连接关系。

二、平台移动端应用程序功能实现示例

科技、文化的索引在门户中显示,从门户界面进入科技板块界面或文化板块界面,从科技板块界面进入科技创新展示分享主界面、科技棘手问题主界面或技术交易主界面。

公共区域的视频摄像装置由公共区域管理部门统一安装部署并联网接入平台,店铺等私有区域由店主自行决定是否安装部署视频摄像装置并联网接入平台。

展会及赛事现场、艺术与文化品商城现场、文化街巷现场的每个位置点都有一个三维坐标,位置点的半径越小坐标精度越高,现场部署的每个摄像头也有一个三维坐标;

展会及赛事现场、艺术与文化品商城现场、文化街巷现场都有对应的地理信息系统(GIS)地图,GIS地图对应现场的每个位置点坐标,平台手机移动端应用程序中嵌有赛事现场、艺术与文化品商城现场、文化街巷现场的GIS地图软件模块,手机中的磁力计、重力加速度计、陀螺仪测量手机的方位角、垂直角、角速度,通过手势改变手机的方向(方位角、垂直角)发送预观看的现场视角;通过手机移动端应用程序界面中的上、下、左、右按钮控制观看现场的视角,与通过改变手机方向改变预观看的现场视角同样功能。

方位角,以北为0度,南为180度,东90度,西270度,360度与0度重合,上北、下南、左西、右东,从0度沿原点右旋转直至360度,如图1所示;垂直角,以方位角为0度,从原点往上旋转最大垂直角为90度,往下旋转最大-90度,如图2所示。

基于游览者的现场虚拟位置坐标、视线的方位角与垂直角,以及现场位置点的坐标确定游览者的视场坐标区域。

平台商业模式,展览及购物馆方自由选择是否在平台上线,若上下线则展览及购物馆为平台支付报酬。

三、基于增强现实技术的现场布局算法设计

1、基于增强现实技术的智慧城市虚拟游览功能模块、文化与艺术展会功能模块、文化及艺术商品交易模块、展会及赛事功能模块、智慧城市建设意见征集功能模块、科技创新展示分享模块、技术交易模块、科技棘手问题模块现场布局算法设计示例:

将游览现场划分为多个平面,分为观览平面、行走平面,每个平面用一个长方形区域代表,每个长方形区域划分为多个长方形子区域,每个长方形子区域划分为多个网格,每个网格有唯一坐标。代表行走平面的长方形区域称为行走区域,代表观览平面的长方形称为观览区域,观览区域与行走区域基于坐标范围建立对应关系即每个行走区域(坐标范围)对应一个或多个观览区域(坐标范围)。如图4所示,abcd代表一个观览平面,abcd划分为abpq区域(子区域)、pqdc区域(子区域);efgh代表一个观览平面,其划分为efmn区域(子区域)、mnhg区域(子区域);adhe代表一个行走平面,adhe对应abcd、efgh区域即游览者的坐标位于adhe区域时则默认为周围是观览区域abcd和efgh。

如图4所示,视频摄像装置分别与拍摄区域abpq、pqdc、efmn、mnhg、adhe建立对应关系:(1)视频摄像装置与拍摄区域对应关系一,视频摄像装置1、2、3、4、5是固定式定焦视频摄像装置,其中视频摄像装置1对焦覆盖efmn区域,视频摄像装置2对焦覆盖abpq区域,视频摄像装置3对焦覆盖mnhg区域,视频摄像装置4对焦覆盖pqdc区域,视频摄像装置5对焦覆盖adhe区域;(2)视频摄像装置与拍摄区域对应关系二,视频摄像装置1、2、3、4是云台转动式变焦视频摄像装置,其中视频摄像装置1通过云台转动及变焦方式分别对焦覆盖efmn区域和mngh区域,视频摄像装置2通过云台转动及变焦方式分别对焦覆盖abpq区域和pqdc区域,视频摄像装置3通过云台转动及变焦方式分别对焦覆盖efmn区域和mngh区域,视频摄像装置4通过云台转动及变焦方式分别对焦覆盖abpq区域和pqdc区域,即视频摄像装置1与视频摄像装置3的对焦覆盖区域相同,但拍摄角度不同,视频摄像装置2与视频摄像装置4的对焦覆盖区域相同,但拍摄角度不同。视频摄像装置5是固定式定焦视频摄像装置,对焦覆盖adhe区域。把abcd、efgh、adhe区域虚拟划分为大小相等的多个网格(每个网格称为一个点),每个网格(点)的坐标已定位,每个视频摄像装置对应设定坐标范围的区域。

如图5所示,o点是游览者的虚拟坐标点,V点是从o点到图4中abcd所在平面的最近距离点,即oV与abcd所在平面垂直,在空间坐标系(x轴、y轴、z轴构成的三维空间)内abcd所在平面的方程为

Ax+By+Cz+D=0 (1)

其中A、B、C、D为已知常数。T点是从o点(按照游览者的方位角、垂直角)投射到abcd所在平面的交点即人眼的对焦区域中心点,设T点坐标为(x

abcd所在平面的法向量即oV的方向向量为(A,B,C),oV所在直线的方程为

x=kA+x

将式(3)代入式(1)得

k(A

V点坐标在abcd所在平面内,因此将V点坐标(x

x

将式(5)代入式(6)得

将上述式(7)进一步化简,得

线段oV的长度即

游览者(用户)的虚拟人像在覆盖人像坐标位置的视频中显示,用户操控屏幕(应用程序界面)中的虚拟人像行走在视频画面中游览现场的走廊或街巷(如图4中的adhe区域),每行走一步即每改变一次游览者在adhe区域的位置,则计算一次游览者(如图5中的o点)的实时坐标。adhe区域划分为大小相等的多个网格,每行走一步与网格数量的对应关系可以设置,例如:行走一步对应一个网格,则对应关系参数设置为1;行走一步对应两个网格,则对应关系参数设置为2;行走一步对应n个网格,则对应关系参数设置为n,n的大小决定游览者行走的步长(两脚相邻地点之间的距离),步长和频率(每秒行进的步数)决定游览者行走的速度(单位时间内行走的距离)。

adhe区域的所有网格(坐标网格)坐标与相邻区域abcd、efgh的网格(坐标网格,与adhe区域的网格划分方法类似)坐标建立对应关系,即当游览者行走在adhe区域的任意坐标网格时则触发abcd、efgh区域的平面方程,并计算游览者(图5中的o点)在abcd、efgh区域的投影点(例如图5中的V点),同时计算游览者视线投射点(如图5中的T点)坐标,投射点以游览者通过移动端应用程序操控视线方位角、垂直角为准。如果游览者的投影点(图5中的V点)位于abpq或efmn区域网格坐标范围内,且投射点(图5中的T点)坐标在abpq区域网格坐标范围内,则启用abpq区域的视频画面,图2中的视频摄像装置2负责abpq区域的实时图像采集;如果游览者的投影点(图5中的V点)位于abpq或efmn区域坐标网格范围内,且投射点(图5中的T点)坐标在efmn区域坐标网格范围内,则启用efmn区域的视频画面,图2中的视频摄像装置1负责efmn区域的实时图像采集;如果游览者的投影点(图5中的V点)位于abpq或efmn区域坐标网格范围内,但投射点(图5中的T点)坐标既不位于abpq区域坐标网格范围内也不位于efmn区域坐标网格范围内,则启用adhe区域的视频画面,图2中的视频摄像装置5负责adhe区域的实时图像采集,同时视频摄像装置5也覆盖abcd、efgh区域的部分图像;

当游览者的投影点位于pqdc或mnhg区域即游览者靠近pqdc、mnhg区域时,如果投射点(图5中的T点)坐标在pqdc区域坐标网格范围内,则启用pqdc区域的视频画面,图2中的视频摄像装置4负责pqdc区域的实时图像采集;如果投射点(图5中的T点)坐标在mnhg区域坐标网格范围内,则启用mnhg区域的视频画面,图2中的视频摄像装置3负责mnhg区域的实时图像采集;如果游览者的投影点(图5中的V点)位于pqdc或mnhg区域坐标网格范围内,但投射点(图5中的T点)坐标既不位于pqdc区域坐标网格范围内也不位于mnhg区域坐标网格范围内,则启用adhe区域的视频画面。

当游览者进入行走区域adhe时,启动观览区域abcd、efgh分别代表的平面方程,并计算游览者在abcd、efgh的投影点,同时计算游览者的方位角、垂直角,计算游览者视线在观览区域abcd、efgh的投射点。若投射点在图4中abcd所在平面,进一步计算投射点是否属于图4中abcd区域以及属于abpq区域还是pqcd区域,有两种计算方法,其一是遍历查找方式即查询abpq、pqcd区域中的坐标网格是否有与投射点相同的坐标值,如果在abpq区域中存在与投射点相同的网格(坐标网格)坐标值,则投射点在abpq区域;其二是以线段pq作为abpq与pqcd的界线,线段ab是abpq与其它区域的界线,线段cd是pqcd与其它区域的界线,若pqcd区域的网格y轴坐标值比abpq区域的网格y轴坐标值大,则分别比较投射点y轴坐标值与线段ab、pq、cd上的网格y轴坐标值大小,若大于cd上的所有网格y轴坐标值或小于ab上的所有网格y轴坐标值,则投射点在abcd以外区域;若大于ab上的所有网格y轴坐标值,且小于pq上的所有网格y轴坐标值,则投射点在abpq区域;若大于qp上的所有网格y轴坐标值,且小于cd上的所有网格y轴坐标值,则投射点在pqcd区域。具体流程如图6或图7所示,即虚拟游览画面调用方式一流程或虚拟游览画面调用方式二流程。

从图4中abpq、pqdc、efmn、mnhg中的任意一个区域进入展览及购物馆如图8所示,同样基于图4中的原理调用视频摄像装置图像,并增加了展品或商品扫码功能,当游览者发现有感兴趣的展品或商品时,通过手势或语音操作应用程序启用扫码功能,例如当游览者视线投射点对准abpq区域时,系统自动调用视频摄像装置2的实时图像,游览者点击应用程序的“展品详情”按钮,系统启用图像扫码识别功能,游览者通过应用程序界面看到abpq区域的所有展品或商品的二维码识别选择提示符号,展品或商品21、22、23、24、25、26的二维码识别选择提示符号在界面中与展品或商品摆放位置对应,游览者点击需要了解的展品或商品二维码识别选择提示符号,系统进入展品或商品的详情页面,详情页面中有展品或商品的文字、图片、视频、VR(虚拟现实技术图像)介绍,支持线上交易,商品有价格信息,点击“购买”或“加入购物车”。

2、体育赛场直播功能模块,基于增强现实技术的足球场地布局算法设计示例:

如图10所示,当o点所在的人形图像即虚拟游览者的视场对焦于四边形abef时,基于图4、图5中的计算原理,计算o点在四边形abef所在平面的投影点、投射点坐标,用户即游览者通过应用程序中的对焦区域按钮选择视场对焦区域,所选择的对焦区域对应于虚拟网格的平面方程,当选择的视场对焦区域对应于虚拟网格的四边形abef时,则系统自动启动四边形abef所在的平面方程,计算游览者即o点在四边形abef所在平面的投影点、投射点坐标,然后系统基于游览者所在的坐标以及投射点坐标自动选择对应的视频摄像装置阵列,基于投射点在虚拟网格的上部分或下部分自动选择视频摄像装置阵列中的第一组或第二组视频摄像装置,然后自动启用视频摄像装置组中对焦于投射点区域的视频摄像装置。

图11中的第一组视频摄像装置对焦于图9中36个虚拟网格的下部分即图10中的长方体abcdkjmn,第二组视频摄像装置对焦于36个虚拟网格的上部分即图10中的长方体cdefghjk。

图9中的a

图9中的24个视频摄像装置阵列实现浅景深拍摄足球场的局部区域,另外足球场周围设计部署具备大(深)景深广角拍摄功能的视频摄像装置实现全景拍摄,应用程序支持选择“广角观览”、“聚焦观览”功能按钮,实现局部区域观览与全景观览自由切换。

基于增强现实技术的足球场地布局设计包括以下步骤:

(1)启用视频摄像装置阵列

当游览者虚拟处于某一坐标位置,且视场对焦于某一虚拟网格时,启用对应的视频摄像装置阵列,游览者位置、视场对焦区域、视频摄像装置阵列三者之间需建立一定关系,分为标定视场区域和系统自动计算两种方式:

①标定视场区域方式,即游览者位置(虚拟网格)与将被启用的视频摄像装置阵列建立对应关系。如表1所示,其中的虚拟网格对应图9,36个虚拟网格按阿拉伯数字编号区分,当游览者即图10中o点所在人形位于图9中的虚拟网格1时,当视场对焦于虚拟网格7-36(虚拟网格7、虚拟网格8、…、虚拟网格36)的任意一个面时,则启用视频摄像装置阵列U1

表1

在上述原理基础上,若进一步标定游览者虚拟位置与视场的真实感,支持按照游览者在虚拟网格中的坐标网格位置(如图10中的虚拟网格abmn中的坐标网格)与视频摄像装置阵列建立对应关系,例如:游览者位于坐标网格(x

②系统自动计算方式

如图12、13,o点坐标、视频摄像装置阵列U1

其中o点坐标为(x

已知(x

基于直线oW方程、视频摄像装置阵列U1

设z

计算Q点分别与视频摄像装置阵列U1

基于式(12)、(13)分别计算点Q到图9中24个视频摄像装置阵列中心点(已知所有视频摄像装置阵列中心点坐标)的距离,得出24个距离值,比较24个距离值的大小,最小值对应的视频摄像装置阵列将被系统自动启用,即与Q点距离最近的视频摄像装置阵列将被系统自动启用。

(2)启用视频摄像装置阵列的视频摄像装置组

每一视频摄像装置阵列分为两个视频摄像装置组,分别对焦虚拟网格的上部分与下部分,基于投射点坐标(值),如果投射点坐标在虚拟网格的上部分坐标范围,则启用视频摄像装置组2,如果投射点坐标在虚拟网格的下部分坐标范围,则启用视频摄像装置组1。

(3)启用是视频摄像装置组的具体视频摄像装置

每个视频摄像装置组由36个视频摄像装置组成,每组视频摄像装置的多少由足球场地虚拟网格划分数量决定,若场地划分为n个虚拟网格,则每个视频摄像装置组就有n个视频摄像装置。每个视频摄像装置对应(视场对焦)一个虚拟网格,如36个视频摄像装置分别对应36个虚拟网格,例如:图9中的1(视频摄像装置1)对应图11中的1(虚拟网格1);2对应2;3对应3;4对应4;5对应5;6对应6;7对应7;8对应8;9对应9;10对应10;11对应11;12对应12;13对应13;14对应14;15对应15;16对应16;17对应17;18对应18;19对应19;20对应20;21对应21;22对应22;23对应23;24对应24;25对应25;26对应26;27对应27;28对应28;29对应29;30对应30;31对应31;32对应32;33对应33;34对应34;35对应35;36对应36。

如图9,当游览者的位置在虚拟网格1,且投射点(视场对焦点)位于a

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号