一种基于故事情节发展模型分析的电影动作场景检测方法

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述：

如图1所示，本发明的基于故事情节发展模型分析的电影动作场景检测方法具体包括以下步骤：

步骤10、对电影视频做预处理操作。在完整的电影视频中，包括用于表征图像的视频帧和用于表征声音的音频帧，在本步骤中，主要是对电影视频中的视频帧部分进行预处理。预处理操作具体包括以下步骤：

步骤11、实现对镜头的分割，本发明中的镜头是指视频中具有相似内容的连续的视频帧；

步骤12、提取镜头中的关键帧，关键帧是镜头中最能体现镜头特征的视频帧，在一个镜头中包含有至少一个关键帧；

步骤13、实现对电影场景的分割，电影场景是具有相似内容的连续几个镜头的组合；

步骤14、提取视频图像中的宏块运动矢量。

上述步骤11到步骤14中对视频的预处理操作都属于成熟的现有技术，在参考文献1《Yueting Zhuang，Yong Rui，Thomas S.Huang et al.Adaptive key frameextraction using unsupervised clustering.Image Processing，ICIP 1998和Zeeshan Rasheed，Mubarak Shah.Detection and Representation of Scenes inVideos.IEEE Transaction on Multimedia，Vol7，NO.6，December，2005》中有对步骤11-13的详细说明。而步骤14可通过从MPEG视频压缩域中提取运动矢量实现。

步骤20、计算各个镜头内所包含视频帧的个数，从而获得镜头长度信息。

步骤30、计算镜头的平均运动强度，镜头平均运动强度的计算方法如下：

步骤31、计算镜头内所有P帧中宏块的运动矢量的能量，在MPEG视频压缩域中，P帧是用于前向预测的帧，求P帧中宏块运动矢量能量的计算公式如下：

$E_{\mathrm{MV}}(i,j)=\sqrt{x_{i,j}^2+y_{i,j}^2}$

其中，i，j表示宏块所处的位置。

步骤32、建立一个模板，对前景宏块和背景宏块赋予不同权值，它的实现方法如下：

步骤32-1、计算每个P帧的背景运动强度，如图2所示，在图中的阴影部分视为一个P帧的背景部分，用F表示，则计算背景运动强度就是计算阴影区域F中运动矢量能量的均值，用BE_MV^AVE(P_k)表示，它的计算公式如下：

${\mathrm{BE}}_{\mathrm{MV}}^{\mathrm{AVE}}\left(P_k\right)=\frac{1}{L}\underset{(x_{i,j},y_{x,j})\in F}{\Sigma }{E}_{\mathrm{MV}}(i,j)$

步骤32-2、计算视频中所有P帧背景运动强度的均值μ和方差σ，根据计算的结果得到模板的阈值，该阈值的计算公式如下：

Th＝μ+a*σ

其中，a为一个经验值，取值为3。

步骤32-3、通过步骤32-2所得到的阈值Th，建立如下模板：

$\left(\begin{array}{cc}\mathrm{If}& E_{\mathrm{MV}}(i,j)>\mathrm{Th},\mathrm{weight}(x_{\mathrm{ij}},y_{\mathrm{ij}})=2;\\ \mathrm{If}& E_{\mathrm{MV}}(i,j)<=\mathrm{Th},\mathrm{weight}(x_{\mathrm{ij}},y_{\mathrm{ij}})=1;\end{array}\right)$

其中weight(x_i，j，y_i，j)为模板中赋予对应宏块的权值。

步骤33、根据步骤32中为宏块所赋予的权值，计算镜头中每个P帧的运动强度，假设某一P帧为镜头中第W个P帧，则它的运动强度的计算公式为：

$E_{\mathrm{MV}}^{\mathrm{AVE}}\left(P_w\right)=\underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{E}_{\mathrm{MV}}(i,j)*\mathrm{weight}(x_{\mathrm{ij}},y_{\mathrm{ij}})$

其中，M和N分别表示水平和垂直方向的宏块数。

步骤34、根据步骤33的计算结果，计算镜头的平均运动强度。计算镜头的平均运动强度时就是镜头中所有P帧的运动强度之和除以镜头中的P帧个数。其计算公式如下：

$E_{\mathrm{MV}}^{\mathrm{AVE}}=\frac{1}{Q}\underset{w=1}{\overset{Q}{\Sigma }}{E}_{\mathrm{MV}}^{\mathrm{AVE}}\left(P_w\right)$

其中，Q表示每个镜头内P帧个数。

步骤40、将步骤20所得到的镜头长度和步骤30所得到的镜头平均运动强度分别做归一化处理，然后根据归一化后的两个特征建立电影编辑因子。用s(n)表示镜头长度，用m(n)表示镜头平均运动强度，用n表示帧号，用P₁(n)表示电影编辑因子，则该因子的计算公式如下：

P₁(n)＝α*s(n)+β*m(n)

α＝β＝0.5

所得到的电影编辑因子表示了电影编辑技术对电影动作场景检测的影响。

步骤50、从电影视频中提取音频帧，计算每个音频帧的短时音频能量，并通过计算镜头内短时音频能量的均值计算镜头平均音频能量。

本步骤中的短时音频能量是指每个音频短时帧所有样点的能量总和，它的计算方法在参考文献2《Bai Liang；Hu Yaali，Feature analysis and extraction for audioautomatic classification，Proc.of IEEE International Conference on Systems，Man andCybernetics，vol.1，pp：767-772，2005.》中有详细记载。

步骤60、计算镜头平均运动分散度，镜头平均运动分散度用来表示该镜头视觉内容变化的平均复杂度。对镜头平均运动分散度的计算包括以下具体实现：

步骤61、计算步骤32所建立模板中权值为“2”的宏块的运动矢量的方向，它的计算公式如下：

$\left(\begin{array}{c}\mathrm{If}{x}_{\mathrm{ij}}>0,y\ne 0,\theta =\arctan (y_{i,j}/x_{\mathrm{ij}});\\ \mathrm{If}{x}_{i,j}<0,y\ne 0,\theta =\arctan (y_{i,j}/x_{i,j})+180;\\ \mathrm{If}{x}_{i,j}=0,y_{i,j}>0,\theta =90;\\ \mathrm{If}{x}_{i,j}=0,y_{i,j}<0,\theta =-90;\\ \mathrm{If}{y}_{i,j}=0,x_{i,j}>0,\theta =0;\\ \mathrm{If}{y}_{i,j}=0,x_{i,j}<0,\theta =180;\\ \mathrm{If}{x}_{\mathrm{ij}}=0,y_{i,j}=0,\mathrm{omitting\theta };\end{array}\right)$

其中的θ表示运动矢量的方向。

步骤62、将二维平面分为[-90，0)，[0，90)，[90，180)，[180，270)四个子空间，计算每帧图像的四维方向直方图，每一维用H[i](i＝1，2，3，4)表示。计算四维方向直方图就是计算角度在各个子空间内的运动矢量的个数与运动矢量总数的比例。

步骤63、计算每一帧的运动分散度，帧的运动分散度用MD表示，它的计算公式如下所示：

$\mathrm{MD}=\underset{i=1}{\overset{4}{\Pi }}H\left[i\right]$

步骤64、根据步骤63的计算结果，求镜头的平均运动分散度，镜头平均运动分散度用MD^AVE表示，则它的计算公式如下：

${\mathrm{MD}}^{\mathrm{AVE}}=\frac{1}{Q}\underset{w=1}{\overset{Q}{\Sigma }}\mathrm{MD}\left(P_w\right)$

其中，Q表示每个镜头内P帧个数。

步骤70、将步骤50得到的镜头平均音频能量和步骤60得到的镜头平均运动分散度分别做归一化操作，然后根据归一化后的两个特征建立人类感知因子。用a(n)表示镜头平均音频能量，用d(n)表示镜头平均运动分散度，用n表示镜头号，用P₂(n)表示人类感知因子，则人类感知因子的计算公式如下：

P₂(n)＝γ*a(n)+λ*d(n)

γ＝λ＝0.5

所得到的人类感知因子表示了人类注意力对电影动作场景检测的影响。

步骤80、根据步骤40得到的电影编辑因子和步骤70得到的人类感知因子，建立故事情节发展模型。故事情节发展模型可以用来表征视频中各结构单元包含内容的重要性及对人类吸引力的强度。建立故事情节发展模型的具体实现步骤如下：

步骤81、对电影编辑因子和人类感知因子做线性融合，建立故事情节发展模型，其计算公式如下：

M(n)＝φ*P₁(n)+ψ*P₂(n)

φ＝ψ＝0.5

步骤82、所建立的故事情节发展模型随着镜头号n的连续变化，形成故事情节发展流图。故事情节发展流图反映了整个视频中不同镜头的重要性，它将整个视频不同单元的重要性按时间顺序进行比较，体现不同镜头的重要性差异，表现了故事情节的发展变化。图3(a)就是一个故事情节发展流图的实例。

步骤83、用高斯模板平滑故事情节发展流图，其中高斯模板的系数为：窗口大小为9，标准差为1.5。图3(b)是图3(a)经过高斯平滑后的故事情节发展流图。

步骤90、检测电影中的动作场景。在检测电影中的动作场景时，首先根据视频预处理中场景分割信息，统计一个场景中故事情节发展流图M(n)值超过阈值Th₁的个数N；然后判断N大于阈值Th₂，则该场景为动作场景；否则，为非动作场景。其中Th₁和Th₂由实验确定，在本实施例中，Th₁为各个镜头M(n)值中所有局部峰值最大值的三分之一；Th₁的值为2。