一种基于BIM和视频监控的博物馆参观分析的方法及系统

技术领域

本发明涉及计算机技术领域，具体的，本发明涉及一种基于BIM和视频监控的博物馆参观分析的方法及系统。

背景技术

观众参观管理是博物馆日常工作中的一个重要部分，同时，在常态化疫情防控的要求下，严格控制参观人数，避免观众集聚等是当前参观管理的重中之重，博物馆往往需投入相当的人力保证观众的有序参观。此外，观众的参观行为也是博物馆在展览策划和展区展品布置中的一类重要反馈与参考。在信息化技术快速发展的背景之下，可借助三维数字化、建筑信息模型和视觉数据理解等方式实现更智能和高效的观众参观分析与管理。

建筑信息模型(Building Information Modeling，BIM)技术是一种应用于工程设计、建造、管理的数据化工具，BIM的核心是通过建立虚拟的建筑信息三维模型，利用数字化技术，支撑建筑内部的各种管理分析功能。监控摄像头是博物馆内常设的安防设施，在传统的安防工作中，监控视频一般由工作人员负责观看和预警，这一方面需要安排特定人力，另一方面则有可能因人员疲劳等问题而未能及时发出预警。自动化的监控视频解析与预警可减轻博物馆工作人员的安防负担，为疫情防控背景下的参观管理提供多一重保障。此外，监控视频除了满足安防需求以外，同时录制了大量的观众参观画面，对监控视频流进行自动化的参观识别与统计，可对展览效果进行量化分析，为展览策划和展区展品的布置提供更精准的观众反馈参考。鉴于此，本发明提供了一种基于BIM和视频监控的博物馆参观分析的方法及系统。

发明内容

为了克服现有技术的不足，本发明提供了一种基于BIM和视频监控的博物馆参观分析的方法及系统，以解决上述的技术问题。

本发明解决其技术问题所采用的技术方法是：一种基于BIM和视频监控的博物馆参观分析的方法，其改进之处在于：包括以下的步骤：S1、BIM模型构建模块对博物馆内部进行激光点云扫描，完成博物馆BIM建模，生成体素模型，并将摄像头位姿拟合结果记录到BIM模型中；S2、视频流获取与标定模块调用视频流，截取对应的视频帧，对摄像头的内参数进行标定，并将结果整合为矩阵相机内参矩阵K；S3、空间配准模块根据所述体素模型、摄像头位姿以及摄像头的内参K，计算视频流各像素坐标对应的三维体素坐标，获取像素与体素间的对应关系，完成监控视频图像与BIM模型的空间配准；S4、观众检测与定位模块对视频帧中的人体关键点进行检测，保存人体关键点结果中的双足节点像素位置，并访问所述的像素与体素间的对应关系，确定观众双足所在的体素，对观众进行室内定位；S5、关注度分析模块根据所述的观众定位结果，获得所有展区和展品的被参观时长后，对展区和展品的被参观时长数据进行归一化处理，统计关注度。

在上述方法中，还包括步骤S6、关注度分析模块对展区和展品进行可达性分析，所述步骤S6包括以下的步骤：S61、计算博物馆出入口到展区的地面体素区域的最短路径；计算博物馆出入口到展品中心点的最短路径；计算展区对应的地面体素数量；计算展品体素的外包长方体体积；计算展品到墙体素之间最短距离的倒数；S62、使用A*算法对所述步骤S61中的五个指标进行计算；S63、对所述五个指标进行归一化处理，得到展区和展品的可达性指标为：

展区可达性＝(1/展区路径长度)×展区规模

展品可达性＝(1/展品路径长度)×展品规模×展品中心性。

在上述方法中，所述步骤S1，包括以下的步骤：

S11、采用移动激光雷达扫描设备对博物馆内部采用分段扫描方式进行激光点云扫描；

S12、使用RandLA-Net算法对各分段点云进行三维语义分割，划分出不同的BIM模型要素；

S13、调用Open3D的Regi strat ion接口将各分段点云配准到统一的空间坐标基准下；

S14、对全局点云进行轴对齐操作；

S15、将博物馆已有的数字展品模型作为三维模板，在点云中进行模板匹配和三维空间位置拟合，确定数字展品模型在点云中的位姿，生成该数字展品的三维点云，使用数字展品点云替换扫描所得的展品点云；

S16、根据所拟合的展品三维模型及位姿，创建展品在博物馆BIM模型坐标系下的体素模型；

S17、对博物馆所使用的摄像头型号进行三维建模，以摄像头三维模型为模板，在点云中进行模板匹配操作和三维位姿拟合，计算摄像头在BIM坐标系下的三维位置坐标和旋转角度,即摄像头的外参T,三维位置坐标使用三维向量t表示,三维旋转角度使用三维矩阵R表示，并将此二者写为相机外参矩阵T＝[R|t]，并将摄像头位姿拟合结果记录到BIM模型中。

在上述方法中，所述步骤S14中的轴对齐操作,即对点云的坐标系进行绕z轴的旋转，该旋转角度的计算步骤如下：

S141、调用Open3D库中的EstimateNormal函数计算点云中所有点的法向量，并对法向量进行归一化，使各法向量的三维长度为1；

S142、计算法向量在水平方向上的投影方向和长度，若长度大于阈值0.5，则判断该点属于垂直结构，需保留参与旋转角度的计算，若小于阈值0.5，则剔除该点，不参与旋转角计算；

S143、建立优化目标函数：

S144、采用无导数优化方法求解，调用nlopt库完成求解过程，获得旋转角度。

在上述方法中，所述步骤S2，包括以下的步骤：

S21、确定博物馆中所使用的摄像头型号，在每个型号中选一个摄像头进行标定；

S22、通过摄像头厂商所提供的API调用视频流，将张正友标定棋盘置于各标定摄像头前，摄像头拍摄选取的固定位置，并在该视频流中截取对应的视频帧；

S23、利用opencv库中的findChessboardCorners和cal ibrateCamera函数，进行摄像头内参标定，获得各摄像头型号的内参K。

在上述方法中，所述步骤S3中，计算视频流各像素坐标对应的三维体素坐标，像素坐标P

在上述方法中，所述步骤S4，包括以下的步骤：

S41、采用计算机视觉处理库Detectron中的Mask R-CNN架构对视频帧中的人体关键点进行检测；

S42、制作视频图像的数据集，对数据集中的观众进行实例轮廓与人体关键点标注,并在Detectron库的预训练模型上进行训练；

S43、间隔性的运行检测，保存人体关键点结果中的双足节点像素位置，并访问所述的像素与体素间的对应关系，确定观众双足所在的体素，对观众进行室内定位。

在上述方法中，所述步骤S5，包括以下的步骤：

S51、在所述Mask R-CNN中添加是否观看展品分支，在所述数据集中新增是否看展标注，并与所述的人体关键点检测分支同时进行训练；

S52、在检测新的视频流时，同步输出观众的双足节点像素，判断该观众是否在观看展品，当判断为“不在观看展品”时，不计入观看展品的人数中；当判断为“观看展品”时，则通过所述的像素与体素之间的映射关系，获得所检测双足像素对应的体素；

S53、对体素进行判断，当体素被划分为特定展品的参观区时，则将所检测观众计入到该展品在该帧的观看人数中；当体素被划分为特定展区，则将所检测观众计入到该展区在该帧的观看人数中，各帧所测得的参观人数，即为展区和展品的被参观时长，对展区和展品的时长数据进行归一化处理，统计关注度。

在上述方法中，还包括步骤S7、人群密度分析与预警模块根据所述的观众定位结果生成地面热力体素模型，根据密度展示体素颜色，完成人群密度分析与预警；

所述步骤S7，包括以下的步骤：

S71、根据所述双足像素对应的地面体素生成地面热力体素模型；

S72、通过三维可视化界面，根据密度展示体素颜色；

S73、设置密度阈值，当体素内的人员数量超过所设阈值，则三维可视化界面中弹出聚集警报信息，点击该信息，三维视图定位到密度高于阈值的体素位置。

本发明还提供了一种基于BIM和视频监控的博物馆参观分析的系统，包括BIM模型构建模块、视频流获取与标定模块、空间配准模块、观众检测与定位模块以及关注度分析模块，

BIM模型构建模块用于对博物馆内部进行激光点云扫描，完成博物馆BIM建模，生成体素模型，并将摄像头位姿拟合结果记录到BIM模型中；

视频流获取与标定模块用于调用视频流，截取对应的视频帧，对摄像头进行内参标定，获得各型号摄像头的内参K；

空间配准模块与所述的BIM模型构建模块，以及视频流获取与标定模块均连接，用于根据所述体素模型、摄像头位姿以及摄像头的内参K，计算视频流各像素坐标对应的三维体素坐标，获取像素与体素间的对应关系，完成监控视频图像与BIM模型的空间配准；

观众检测与定位模块，与所述的视频流获取与标定模块，以及空间配准模块连接，用于对视频帧中的人体关键点进行检测，保存人体关键点结果中的双足节点像素位置，并访问所述的像素与体素间的对应关系，确定观众双足所在的体素，对观众进行室内定位；

关注度分析模块与所述的观众检测与定位模块连接，根据所述的观众定位结果，获得所有展区和展品的被参观时长后，对展区和展品的被参观时长数据进行归一化处理，统计关注度。

本发明的有益效果是：基于点云和博物馆已有的展品与摄像头三维模型，构建博物馆BIM模型，对BIM模型和监控视频中的像素进行空间配准，检测观众的双足像素点，并将所测双足像素坐标映射到BIM模型三维空间坐标下，完成观众定位，基于定位结果，结合展品和展区的可达性，统计给定时段内的观众到访展区和观看展品的数量，以分析观众对各展品和展区的关注度；并且可实现实时人群密度监控和预警，博物馆工作人员可设立人群密度警报阈值，一旦存在体素或体素区域在一定时长下保持高人群密度，则可对观众进行适当的游览引导，避免人群聚集；利用博物馆已有的监控视频网络，无需安装架设新设备，不增加额外的设备成本，实现了低成本的博物馆观众密度分析和展品展区关注度分析，具有较高的实操性。

附图说明

附图1为本发明的一种基于BIM和视频监控的博物馆参观分析的方法的流程图。

附图2为本发明中双足坐标和BIM模型三维坐标系之间的对应关系示意图。

附图3为本发明中视频图像中的像素坐标和体素坐标之间的对应关系示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

参照图1所示，本发明的一种基于BIM和视频监控的博物馆参观分析的方法，包括以下的步骤：

S1、BIM模型构建模块对博物馆内部进行激光点云扫描，完成博物馆BIM建模，生成体素模型，并将摄像头位姿拟合结果记录到BIM模型中；

具体的，所述步骤S1，包括以下的步骤：

S11、采用移动激光雷达扫描设备对博物馆内部进行激光点云扫描，为避免长轨迹扫描带来的定位漂移，采用分段扫描，并将各分段的水平面积规模控制在50平方米以内，以便于后续进行语义分割；

S12、使用RandLA-Net算法对各分段点云进行三维语义分割，划分出墙体、地面和台阶等不同的BIM模型要素，RandLA-Net即面向大尺度点云语义分割任务的基于随机点采样和局域特聚合的神经网络模型；

S13、调用Open3D的Regi strat ion接口将各分段点云配准到统一的空间坐标基准下，Open3D即三维数据开源算法库，Regi strat ion接口即点云注册接口；

S14、为降低后续点云和体素处理的精度损失，对博物馆的全局点云进行轴对齐操作，所述的轴对齐操作,即对点云的坐标系进行绕z轴(垂直方向)的旋转，使点云中绝大部分的垂直结构(墙体等)平行于新坐标系下的x和y轴。轴对齐的关键为旋转角度的计算，该旋转角度的计算步骤如下：S141、调用Open3D库中的Est imateNormal函数计算点云中所有点的法向量，并对法向量进行归一化，使各法向量的三维长度为1，EstimateNormal函数即法向量估计函数；S142、计算法向量在水平方向上的投影方向和长度，若长度大于阈值0.5，则判断该点属于垂直结构，需保留参与旋转角度的计算，若小于阈值0.5，则剔除该点，不参与旋转角计算；S143、建立优化目标函数：

S15、完成轴对齐操作后，将博物馆已有的数字展品模型视作三维模板，在点云中进行模板匹配和三维空间位置拟合：对点云进行三维滑窗操作，在符合尺寸的滑窗中，计算模型在各位姿(包含角度和位置)下的平均点误差，平均点误差若小于阈值，则认为确定了数字展品模型在点云中的位姿，确定数字展品模型在点云中的位姿后，生成该数字展品的三维点云，使用数字展品点云替换扫描所得的展品点云；

S16、根据所拟合的展品三维模型及位姿，创建展品在博物馆BIM模型坐标系下的体素模型，生成体素模型后，博物馆工作人员在体素模型交互软件中标记各展区对应的地面体素，在本实施例中，分三部分存储体素模型：(1)独立体素模型：文件头记录体素模型的原点坐标和体素边长，各体素按(vid,x,y,z,tid,pid,rid)记录三维坐标和属性，其中，vid为体素的id,x，y和z为体素的三维坐标，均为整数，属性包括tid，表示体素的类型(墙体：0，地面：1,台阶：2，展品：3)；pid，若体素为展品体素，则pid为对应的数字展品信息系统中的展品id；rid，若体素为地面体素且属于某展区，则rid为对应展区的id。独立体素文件存储在文本文件中，并可按需压缩为二进制文件；(2)数字展品关联存储：在博物馆已有的数字展品信息系统中，新增对应体素字段，将展品对应的体素vid以集合的方式记录到字段中；(3)展区关联存储：在博物馆已有的运营管理数据库中，新增展区表，或直接扩展原有的展区表，新增对应体素字段，将展区对应的体素vid以集合的方式记录到该字段中；

S17、对博物馆所使用的摄像头型号进行三维建模，模型使用绝对尺寸，以摄像头三维模型为模板，在点云中进行模板匹配操作和三维位姿拟合，匹配方法和数字展品三维模型的模板匹配类似，计算摄像头在BIM坐标系下的三维位置坐标和旋转角度,即摄像头的外参T(以下简称相机外参)，其中，三维位置坐标可使用三维向量t表示,三维旋转角度可使用三维矩阵R表示，并可将此二者写为相机外参矩阵T＝[R|t]，并将摄像头位姿拟合结果(包括相机外参和相机型号)记录到BIM模型中。

S2、视频流获取与标定模块调用视频流，截取对应的视频帧，对摄像头的内参数进行标定，摄像头的内参数包括相机焦距、成像平面平移量以及畸变等，并将结果整合为矩阵相机内参矩阵K；

具体的，所述步骤S2，包括以下的步骤：

S21、确定博物馆中所使用的摄像头型号，在每个型号中选一个摄像头进行标定；

S22、通过摄像头厂商所提供的API(视频流获取接口)调用视频流，将张正友标定棋盘置于各标定摄像头前(即本实施例中采用了张正友标定法)，选若干固定位置被摄像头拍摄，并在该视频流中截取对应的视频帧；

S23、利用opencv库中的findChessboardCorners和cal ibrateCamera函数，进行摄像头内参标定，获得各摄像头型号的内参K，内参K记录在BIM模型中，以支持后续的实时与批量解算，opencv库即计算机视觉开源算法库，findChessboardCorners即棋盘角点检测函数，cal ibrateCamera即相机参数标定函数。

S3、空间配准模块根据所述体素模型、摄像头位姿以及摄像头的内参K，计算视频流各像素坐标对应的三维体素坐标，获取像素与体素间的对应关系，完成监控视频图像与BIM模型的空间配准；

具体的，所述步骤S3中，计算视频流各像素坐标对应的三维体素坐标，参照图2所示，像素坐标P

S4、观众检测与定位模块对视频帧中的人体关键点进行检测，保存人体关键点结果中的双足节点像素位置，并访问所述的像素与体素间的对应关系，确定观众双足所在的体素，对观众进行室内定位；

具体的，所述步骤S4，包括以下的步骤：

S41、采用计算机视觉处理库Detectron中的Mask R-CNN对视频帧中的人体关键点进行检测，该架构能够较好处理遮挡，当视频帧中出现观众相互遮挡的情况时，也能效果较好地估算被遮挡的关键位置，Mask R-CNN架构即基于掩膜和卷积神经网络的实例分割算法；

S42、为使Mask R-CNN模型在博物馆摄像头视角下仍能获得较好的检测结果，制作含500帧视频图像的数据集，对数据集中的观众进行实例轮廓与人体关键点标注,并在Detectron库的预训练模型上进行训练；

S43、每间隔5s运行一次检测，保存人体关键点结果中的双足节点像素位置，并访问所述的像素与体素间的对应关系，确定观众双足所在的体素，对观众进行室内定位。

S5、关注度分析模块根据所述的观众定位结果，获得所有展区和展品的被参观时长后，对展区和展品的被参观时长数据进行归一化处理，统计关注度；

具体的，所述步骤S5，包括以下的步骤：

S51、在所述Mask R-CNN已有的三分支上添加一个和分类分支类似的是否观看展品分支，除了将输出转化为实数而非向量外，其他结构和Mask R-CNN原有的分类分支结构相同。

为和观众检测与定位模块协同训练是否观看展品分支，在所述观众检测与定位模块的数据集中新增是否看展标注，并和观众检测与定位模块的人体关键点检测分支同时进行训练；

S52、完成模型训练后，即在检测新的视频流时，同步输出观众的双足节点像素，判断该观众是否在观看展品，当判断为“不在观看展品”时，不计入观看展品的人数中；当判断为“观看展品”时，则通过所述的像素与体素之间的映射关系，获得所检测双足像素对应的体素；

S53、参照图3所示，对体素进行判断，当体素被划分为特定展品的参观区时，则将所检测观众计入到该展品在该帧的观看人数中；当体素被划分为特定展区，则将所检测观众计入到该展区在该帧的观看人数中，某展品或展区在某时间段内的被参观时长即为各帧所测得的该展品的参观人数，在获得所有展区和展品的被参观时长后，分别对展区和展品的时长数据进行归一化处理，以便统计最终的关注度。

观众停留在展品参观区中并不直接意味着观众在参观该展品，因此还需要对观众进行行为识别，因此可采用监督学习方法判断观众停留于展区中时是否正在参观对应的展品。进一步地，为进行观赏行为判断的监督学习，需标记相应的真值数据；进一步地，采用基于深度学习的图像处理方法，在前沿分类卷积神经网络的基础上，使用真值标注数据，进行参数微调(Finetuning)。

进一步地，还包括步骤S6、关注度分析模块对展区和展品进行可达性分析，

具体的，所述步骤S6，包括以下的步骤：

S61、(1)展区路径长度：计算博物馆出入口到展区的地面体素区域的最短路径；(2)展品路径长度：计算博物馆出入口到展品中心点的最短路径；(3)展区规模：计算展区对应的地面体素数量；(4)展品规模：计算展品体素的外包长方体体积；(5)展品中心性：计算展品到墙体素之间最短距离(路径)的倒数，即离墙体越远，中心性越强；

S62、使用A*算法对所述步骤S61中的五个指标进行计算；

S63、对所述五个指标进行归一化处理，得到展区和展品的可达性指标为：

展区可达性＝(1/展区路径长度)×展区规模

展品可达性＝(1/展品路径长度)×展品规模×展品中心性。

根据观众检测和定位结果，记录展区和展品所对应体素区域在不同时间戳所录得的观众人数，并判断停留在展品前的观众是否在观赏展品。此外，博物馆中已有的展品展区位置分布导致了不同的空间可达性，而可达性的差别会在极大程度上影响展品展区被观众参观的可能性。本发明的方案在观众参观时间的基础上，结合展品展区的可达性，对关注度进行综合分析，为博物馆工作人员提供较为准确的策展参考。博物馆工作人员可分别对展区和展品的被参观时长和可达性进行分析，也可计算展品和展区的“净关注度”，即归一化后的被参观时长/可达性，以查看各展品和展区在剔除可达性影响后的关注度情况，有助于博物馆管理人员发现可达性较高，但观众反应却不热烈的展区或展品，或可达性虽然不高，但观众却仍被吸引的展品。

进一步地，还包括步骤S7、人群密度分析与预警模块根据所述的观众定位结果生成地面热力体素模型，根据密度展示体素颜色，完成人群密度分析与预警；

具体的，所述步骤S7，包括以下的步骤：

S71、根据所述双足像素对应的地面体素生成地面热力体素模型，单足落于某体素内，则该体素在某视频帧的人员数量+1；

S72、给管理人员提供三维可视化界面，根据密度展示体素颜色；

S73、设置密度阈值，当体素内的人员数量超过所设阈值，则三维可视化界面中弹出聚集警报信息，点击该信息，三维视图定位到密度高于阈值的体素位置，工作人员可据此判断是否对该位置的观众进行路径引导。

本发明还提供了一种基于BIM和视频监控的博物馆参观分析的系统，包括BIM模型构建模块、视频流获取与标定模块、空间配准模块、观众检测与定位模块以及关注度分析模块，

BIM模型构建模块用于对博物馆内部进行激光点云扫描，完成博物馆BIM建模，生成体素模型，并将摄像头位姿拟合结果记录到BIM模型中；进一步地，考虑到部分博物馆已有现成的三维展品模型，本方案可利用试点博物馆现有的展品数字三维模型，在LiDAR点云中进行匹配和三维空间位置拟合，确定各个展品在博物馆中的三维位姿，即位置坐标和角度，该数据和相应的展品模型编号存储在BIM模型中；进一步地，本方案可根据所拟合的展品三维模型及位姿，创建各个展品在博物馆BIM模型坐标系下的体素模型；进一步地，考虑到展区的设置一般较为灵活且可变动，本方案由工作人员或建模人员在地面体素模型上进行圈选标记，可参照图3中展区1所划分的地面体素；进一步地，设置观看展品的距离阈值，并在地面体素中划分出各展品对应的参观区体素，可参照图3中展品A-D的地面体素划分；

视频流获取与标定模块用于调用视频流，截取对应的视频帧，对摄像头进行内参标定，获得各型号摄像头的内参K；

空间配准模块与所述的BIM模型构建模块，以及视频流获取与标定模块均连接，用于根据所述体素模型、摄像头位姿以及摄像头的内参K，计算视频流各像素坐标对应的三维体素坐标，获取像素与体素间的对应关系，完成监控视频图像与BIM模型的空间配准；

观众检测与定位模块，与所述的视频流获取与标定模块，以及空间配准模块连接，用于对视频帧中的人体关键点进行检测，保存人体关键点结果中的双足节点像素位置，并访问所述的像素与体素间的对应关系，确定观众双足所在的体素，对观众进行室内定位；

关注度分析模块与所述的观众检测与定位模块连接，根据所述的观众定位结果，获得所有展区和展品的被参观时长后，对展区和展品的被参观时长数据进行归一化处理，统计关注度。

本发明基于点云和博物馆已有的展品与摄像头三维模型，构建博物馆BIM模型，对BIM模型和监控视频中的像素进行空间配准，检测观众的双足像素点，并将所测双足像素坐标映射到BIM模型三维空间坐标下，完成观众定位，基于定位结果，结合展品和展区的可达性，统计给定时段内的观众到访展区和观看展品的数量，以分析观众对各展品和展区的关注度；并且可实现实时人群密度监控和预警，博物馆工作人员可设立人群密度警报阈值，一旦存在体素或体素区域在一定时长下保持高人群密度，则可对观众进行适当的游览引导，避免人群聚集；利用博物馆已有的监控视频网络，无需安装架设新设备，不增加额外的设备成本，实现了低成本的博物馆观众密度分析和展品展区关注度分析，具有较高的实操性。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。