具有重复场景元素的自然图像颜色编辑方法及装置

技术领域

本发明涉及图像编辑技术领域，尤其涉及一种具有重复场景元素的自然图像颜色编辑方法及装置。

背景技术

随着数码相机和数码摄像机的普及以及互联网技术的迅猛发展，人们很容易得到大量的数字图像和数字视频，进而使得人们对于处理工具的方便快捷性的期望越来越高，以满足对数字图像和视频编辑的需求。因此，数字图像和视频的智能编辑处理的研究已成为相关领域的研究热点，其中的颜色编辑处理技术近年来倍受研究人员关注。

目前，围绕颜色处理技术的功能、性能和用户友好度三个方面，研究者希望能为广大用户提供具有较强功能、性能优越、使用方便的颜色处理工具，并将其广泛应用于影视特效、计算机游戏、动画制作、虚拟现实等多个领域中，这将有助于推动我国影视动漫、互动娱乐等数字内容产业的发展。现有的颜色处理技术主要涉及两种类型：用户交互指定颜色的方式和用户提供实例图像的方式。

重复场景元素在自然图像中是普遍存在的，且在外观上具有一定相似性的特点。在对这类自然图像进行局部或全局的编辑处理中，基于用户交互指定颜色的彩色化方法需要在待编辑区域内标注部分颜色信息，以获取整幅图像的彩色化效果。而这类方法未考虑自然图像中具有大量重复场景元素的情况，因而往往需要标注大量的颜色线条：一方面，颜色编辑过程中无法保持重复场景元素颜色风格的一致及空间上的连续；另一方面，在进行用户标记的时候需要在区域边缘的地方进行仔细的标记，这使得标记工作耗时耗力。而用户提供实例图像的方式需要寻找合适的参考图像才能获得令人满意的效果，很大 程度上增加了颜色编辑的难度，限制了图像处理的质量。

发明内容

针对现有颜色编辑方法无法保持重复场景元素颜色风格的一致及空间上的连续，标记工作耗时耗力，颜色编辑难度大，图像处理质量差的缺陷，本发明提出如下技术方案：

一种具有重复场景元素的自然图像颜色编辑方法，包括：

对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；

其中，所述自然图像为具有重复场景元素的自然景观图像；

提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；

根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；

通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像。

可选地，所述对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域，包括：

针对所述自然图像的不同区域进行预设颜色的线条标记；

根据所述线条标记的结果确定标记的所述颜色线条的集合S＝{s₁,....,s_j,...,s_M}；

为所述颜色线条集合分配对应的颜色标签值

其中，s_j表示第j个颜色对应的颜色线条，且s_j的取值为所述颜色线条s_j覆盖的像素点的总数目；M为所述颜色线条的总数目；为所述颜色线条s_j对应的颜色标签值；

采用超像素分割方法将所述自然图像的像素点聚合成超像素，以 根据所述聚合的结果将所述自然图像划分成预设数量的图像子块区域。

可选地，所述提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量，包括：

将所述自然图像中某一像素点p的颜色特征用所述像素点p的邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[C_Mean>Var]^T；

其中，C_Mean和C_Var分别为所述像素点p的邻域内R、G和B三个通道的均值和方差；

采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹理特征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值n的取值；

逐行扫描所述自然图像，针对以每个像素为中心的w×w大小的子块，在多尺度和多方向上进行纹理特征统计，以获得变换系数；

计算每个尺度及方向上所述变换系数的均值μ_ij和标准差σ_ij，其中，i＝1，…，m，j＝1，…，n；

根据所述每个尺度及方向上所述变换系数的均值μ_ij和标准差σ_ij确定纹理特征向量W＝[μ_0,0>0,0>0,1 ...>m,n>m,n]^T；

根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F＝[C W]。

可选地，所述根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配，包括：

根据所述特征空间向量确定图像子块区域r_i和图像子块区域r_j的外观相似性程度量D(r_i,r_j)，所述外观相似性程度量的计算公式为：

其中，F_m、F_n分别为图像子块区域r_i和图像子块区域r_j中像素点的颜色特征向量；M和N分别为图像子块区域r_i和r_j中的总像素数；

采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记为相同的类别标签；

所述模糊C均值中误差函数的计算公式为：

其中：

是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像子块区域到各类颜色线条的隶属度之和为1；D(r_i,s_j)为图像子块区域r_i和第j类颜色线条的相似性程度，所述D(r_i,s_j)由公式一计算得到；b取值为2；

采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图像子块区域的分类标记结果；

根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置信度值的确定结果进行局部颜色分配；

所述图像子块区域r_i中像素点p的置信度conf(p,r_i)的计算公式为：

其中，M_p为该像素点p所在区域r_i对应的颜色线条中的最佳匹配像素点；D(p,M_p)为像素点p与像素点M_p距离，所述D(p,M_p)由公式一计算得到。

可选地，所述通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，包括：

通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优化，所述能量函数的计算公式为：

其中：

N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值；w_pq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大，反之，其值越小；u_p和σ_p分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值。

一种具有重复场景元素的自然图像颜色编辑装置，包括：

图像预处理单元，用于对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；

其中，所述自然图像为具有重复场景元素的自然景观图像；

特征空间向量构建单元，用于提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；

局部颜色分配单元，用于根据所述特征空间向量对所述预设数量 的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；

编辑结果图像获取单元，用于通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像。

可选地，所述图像预处理单元，进一步用于：

针对所述自然图像的不同区域进行预设颜色的线条标记；

根据所述线条标记的结果确定标记的所述颜色线条的集合S＝{s_1,....,s_j,...,s_M}；

为所述颜色线条集合分配对应的颜色标签值

其中，s_j表示第j个颜色对应的颜色线条，且s_j的取值为所述颜色线条s_j覆盖的像素点的总数目；M为所述颜色线条的总数目；为所述颜色线条s_j对应的颜色标签值；

采用超像素分割方法将所述自然图像的像素点聚合成超像素，以根据所述聚合的结果将所述自然图像划分成预设数量的图像子块区域。

可选地，所述特征空间向量构建单元，进一步用于：

将所述自然图像中某一像素点p的颜色特征用所述像素点p的邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[C_Mean>Var]^T；

其中，C_Mean和C_Var分别为所述像素点p的邻域内R、G和B三个通道的均值和方差；

采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹理特征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值n的取值；

逐行扫描所述自然图像，针对以每个像素为中心的w×w大小的子块，在多尺度和多方向上进行纹理特征统计，以获得变换系数；

计算每个尺度及方向上所述变换系数的均值μ_ij和标准差σ_ij，其中，i＝1，…，m，j＝1，…，n；

根据所述每个尺度及方向上所述变换系数的均值μ_ij和标准差σ_ij确定纹理特征向量W＝[μ_0,0>0,0>0,1 ...>m,n>m,n]^T；

根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F＝[C W]。

可选地，所述局部颜色分配单元，进一步用于：

根据所述特征空间向量确定图像子块区域r_i和图像子块区域r_j的外观相似性程度量D(r_i,r_j)，所述外观相似性程度量的计算公式为：

其中，F_m、F_n分别为图像子块区域r_i和图像子块区域r_j中像素点的颜色特征向量；M和N分别为图像子块区域r_i和r_j中的总像素数；

采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记为相同的类别标签；

所述模糊C均值中误差函数的计算公式为：

其中：

是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像子块区域到各类颜色线条的隶属度之和为1；D(r_i,s_j) 为图像子块区域r_i和第j类颜色线条的相似性程度，所述D(r_i,s_j)由公式一计算得到；b取值为2；

采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图像子块区域的分类标记结果；

根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置信度值的确定结果进行局部颜色分配；

所述图像子块区域r_i中像素点p的置信度conf(p,r_i)的计算公式为：

其中，M_p为该像素点p所在区域r_i对应的颜色线条中的最佳匹配像素点；D(p,M_p)为像素点p与像素点M_p距离，所述D(p,M_p)由公式一计算得到。

可选地，所述编辑结果图像获取单元，进一步用于：

通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优化，所述能量函数的计算公式为：

其中：

N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值；w_pq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大，反之，其值越小；u_p和 σ_p分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值。

本发明的具有重复场景元素的自然图像颜色编辑方法及装置，通过利用超像素分割方法将自然图像划分成图像子块区域，能够使用图像子块区域代替像素点进行颜色编辑，极大地提高了颜色编辑的速度；并且，在提供少量用户交互的情况下，根据重复场景元素之间具有的外观相似特性，通过定义鲁棒的外观相似性度量机制，能够精确地聚类图像子块区域，不仅能够在颜色编辑结果中有效的保持重复场景元素颜色的一致性，而且能够实现不同标记的图像子块区域的不同颜色的编辑，从而获得丰富的颜色编辑结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例的具有重复场景元素的自然图像颜色编辑方法的流程图；

图2为本发明一个实施例的具有重复场景元素的自然图像颜色编辑装置的结构示意图；

图3为本发明一个实施例的具有重复场景元素的自然图像颜色编辑方法原理框架图；

图4为本发明一个实施例的具有重复场景元素的自然图像；

图5为本发明一个实施例的颜色线条标记结果示意图；

图6为本发明一个实施例的图像预处理结果示意图；

图7为本发明一个实施例的图像子块区域聚类结果示意图；

图8为本发明一个实施例的图像子块区域颜色分配结果；

图9为本发明一个实施例的具有重复场景元素的自然图像的局部颜色编辑结果；

图10为本发明一个实施例的具有重复场景元素的自然图像的全局颜色编辑结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一个实施例的具有重复场景元素的自然图像颜色编辑方法的流程图；如图1所示，该方法包括：

S1：对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；

其中，所述自然图像为具有重复场景元素的自然景观图像；

S2：提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；

S3：根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；

S4：通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像。

本实施例的具有重复场景元素的自然图像颜色编辑方法，通过利用超像素分割方法将自然图像划分成图像子块区域，能够使用图像子块区域代替像素点进行颜色编辑，极大地提高了颜色编辑的速度；并 且，在提供少量用户交互的情况下，根据重复场景元素之间具有的外观相似特性，通过定义鲁棒的外观相似性度量机制，能够精确地聚类图像子块区域，不仅能够在颜色编辑结果中有效的保持重复场景元素颜色的一致性，而且能够实现不同标记的图像子块区域的不同颜色的编辑，从而获得丰富的颜色编辑结果。

作为本实施例的优选，步骤S1中对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域，可进一步包括：

S11：针对所述自然图像的不同区域进行预设颜色的线条标记；

S12：根据所述线条标记的结果确定标记的所述颜色线条的集合S＝{s₁,....,s_j,...,s_M}；

S13：为所述颜色线条集合分配对应的颜色标签值

其中，s_j表示第j个颜色对应的颜色线条，且s_j的取值为所述颜色线条s_j覆盖的像素点的总数目；M为所述颜色线条的总数目；为所述颜色线条s_j对应的颜色标签值；

S14：采用超像素分割方法将所述自然图像的像素点聚合成超像素，以根据所述聚合的结果将所述自然图像划分成预设数量的图像子块区域。

作为本实施例的优选，步骤S2中提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量，可进一步包括：

S21：将所述自然图像中某一像素点p的颜色特征用所述像素点p的邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[C_Mean>Var]^T；

其中，C_Mean和C_Var分别为所述像素点p的邻域内R、G和B三个通道的均值和方差；

S22：采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹理特征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值n的取值；

S23：逐行扫描所述自然图像，针对以每个像素为中心的w×w大小的子块，在多尺度和多方向上进行纹理特征统计，以获得变换系数；

S24：计算每个尺度及方向上所述变换系数的均值μ_ij和标准差σ_ij，其中，i＝1，…，m，j＝1，…，n；

S25：根据所述每个尺度及方向上所述变换系数的均值μ_ij和标准差σ_ij确定纹理特征向量W＝[μ_0,0>0,0>0,1 ...>m,n>m,n]^T；

S26：根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F＝[C W]。

作为本实施例的优选，步骤S3中根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配，可进一步包括：

S31:根据所述特征空间向量确定图像子块区域r_i和图像子块区域r_j的外观相似性程度量D(r_i,r_j)，所述外观相似性程度量的计算公式为：

其中，F_m、F_n分别为图像子块区域r_i和图像子块区域r_j中像素点的颜色特征向量；M和N分别为图像子块区域r_i和r_j中的总像素数；

S32:采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记为相同的类别标签；

所述模糊C均值中误差函数的计算公式为：

其中：

是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像子块区域到各类颜色线条的隶属度之和为1；D(r_i,s_j)为图像子块区域r_i和第j类颜色线条的相似性程度，所述D(r_i,s_j)由公式一计算得到；b取值为2；

S33:采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图像子块区域的分类标记结果；

S34:根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置信度值的确定结果进行局部颜色分配；

所述图像子块区域r_i中像素点p的置信度conf(p,r_i)的计算公式为：

其中，M_p为该像素点p所在区域r_i对应的颜色线条中的最佳匹配像素点；D(p,M_p)为像素点p与像素点M_p距离，所述D(p,M_p)由公式一计算得到。

作为本实施例的优选，步骤S4中通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，可进一步包括：

S41：通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优化，所述能量函数的计算公式为：

其中：

N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值；w_pq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大，反之，其值越小；u_p和σ_p分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值。

图2为本发明一个实施例的具有重复场景元素的自然图像颜色编辑装置的结构示意图；如图2所示，该装置包括：

图像预处理单元10，用于对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；

其中，所述自然图像为具有重复场景元素的自然景观图像；

特征空间向量构建单元20，用于提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；

局部颜色分配单元30，用于根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；

编辑结果图像获取单元40，用于通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像。

本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

作为本实施例的优选，图像预处理单元10可进一步用于：

针对所述自然图像的不同区域进行预设颜色的线条标记；

根据所述线条标记的结果确定标记的所述颜色线条的集合S＝{s₁,....,s_j,...,s_M}；

为所述颜色线条集合分配对应的颜色标签值

其中，s_j表示第j个颜色对应的颜色线条，且s_j的取值为所述颜色线条s_j覆盖的像素点的总数目；M为所述颜色线条的总数目；为所述颜色线条s_j对应的颜色标签值；

采用超像素分割方法将所述自然图像的像素点聚合成超像素，以根据所述聚合的结果将所述自然图像划分成预设数量的图像子块区域。

作为本实施例的优选，特征空间向量构建单元20可进一步用于：

将所述自然图像中某一像素点p的颜色特征用所述像素点p的邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[C_Mean>Var]^T；

其中，C_Mean和C_Var分别为所述像素点p的邻域内R、G和B三个通道的均值和方差；

采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹理特征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值n的取值；

逐行扫描所述自然图像，针对以每个像素为中心的w×w大小的子块，在多尺度和多方向上进行纹理特征统计，以获得变换系数；

计算每个尺度及方向上所述变换系数的均值μ_ij和标准差σ_ij，其中，i＝1，…，m，j＝1，…，n；

根据所述每个尺度及方向上所述变换系数的均值μ_ij和标准差σ_ij确定纹理特征向量W＝[μ_0,0>0,0>0,1 ...>m,n>m,n]^T；

根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F＝[C W]。

作为本实施例的优选，局部颜色分配单元30可进一步用于：

根据所述特征空间向量确定图像子块区域r_i和图像子块区域r_j的外观相似性程度量D(r_i,r_j)，所述外观相似性程度量的计算公式为：

其中，F_m、F_n分别为图像子块区域r_i和图像子块区域r_j中像素点的颜色特征向量；M和N分别为图像子块区域r_i和r_j中的总像素数；

采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记为相同的类别标签；

所述模糊C均值中误差函数的计算公式为：

其中：

是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像子块区域到各类颜色线条的隶属度之和为1；D(r_i,s_j)为图像子块区域r_i和第j类颜色线条的相似性程度，所述D(r_i,s_j)由公式一计算得到；b取值为2；

采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图 像子块区域的分类标记结果；

根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置信度值的确定结果进行局部颜色分配；

所述图像子块区域r_i中像素点p的置信度conf(p,r_i)的计算公式为：

其中，M_p为该像素点p所在区域r_i对应的颜色线条中的最佳匹配像素点；D(p,M_p)为像素点p与像素点M_p距离，所述D(p,M_p)由公式一计算得到。

作为本实施例的优选，编辑结果图像获取单元40可进一步用于：

通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优化，所述能量函数的计算公式为：

其中：

N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值；w_pq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大，反之，其值越小；u_p和σ_p分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值。

本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

下面以一具体的实施例来说明本发明，但不限定本发明的保护范围。图3为本发明一个实施例的具有重复场景元素的自然图像颜色编辑方法原理框架图；如图3所示，本实施例的具有重复场景元素的复杂自然图像颜色编辑方法的详细步骤如下：

步骤一：图像的预处理

首先，用户仅需要对复杂自然图像(参见图4)的不同区域进行少量的且粗略的颜色线条标记；对自然图像进行颜色线条标记后，这些标记的颜色线条的总和用S表示，则S＝{s₁,....,s_j,...,s_M}，其中s_j表示某一颜色线条覆盖的像素点的总数目；同时，为不同颜色线条分配对应的颜色标签值，表示为其中为颜色线条s_j对应的颜色标签值，M为线条标记的总数目；在进行图像颜色线条标记后，图像预处理阶段还采用超像素分割方法将像素点聚合成超像素，以将图像划分成一定数量的图像子块区域；颜色线条标记结果和图像的预分割结果分别如图5、图6所示。

步骤二：特征空间的构建

首先，将图像中某一像素点p的颜色特征用其邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[C_Mean>Var]^T，其中，C_Mean和C_Var分别为其邻域内R、G和B三个通道的均值和方差；

然后，采用传统的伽柏小波变换(Gabor Wavelet Transform)对样本纹理图像中的纹理特征进行分析，在对给定的复杂自然图像进行纹理特征分析时，确定影响纹理分析的三个参数的取值，包括窗口大小w、尺度值m和方向值n的设置；

逐行扫描复杂自然图像，对以每一个像素点为中心的w×w大小的子块，需要先在多尺度和多方向上进行纹理特征统计，以获得Gabor 变换系数；

其次，计算每个尺度及方向上变换系数的均值μ_ij和标准差σ_ij(i＝1:m，j＝1:n)；

然后，获得每个像素对应的纹理特征T，即由这这些均值和标准差组成的特征向量T＝[μ_0,0>0,0>0,1 ...>m,n>m,n]^T；

最后，复杂自然图像的特征空间是由图像中各像素点的颜色特征和纹理特征构成的特征向量F＝[C T]。

步骤三：基于局部特征相似的颜色分配

首先，根据已构建的特征空间，图像子块区域r_i和图像子块区域r_j的外观相似性度量D(r_i,r_j)定义如下：

$D(r_i,r_j)=\frac{1}{MN}\underset{m\in r_i}{\Sigma }\underset{n\in r_j}{\Sigma }\left(\right||F_m-F_n|\left|\right)---\left(1\right)$

其中，F_m、F_n分别为图像子块区域r_i和图像子块区域r_j中像素点的颜色特征向量；M和N分布为图像子块区域r_i和r_j中的总像素数。

然后，采用加权的模糊C均值方法进行图像子块区域的聚类，其目的是为了将相似的图像子块区域标记相同的类别标签，便于进行局部的相似颜色分配。模糊C均值中误差函数定义如下：

$J_f=\underset{j=1}{\overset{M}{\Sigma }}\underset{i=1}{\overset{N}{\Sigma }}{\left[u_j\left(L_{r_i}\right)\right]}^b\left|\right|L_{r_i}-s_j|{|}^2---\left(2\right)$

$\underset{j=1}{\overset{M}{\Sigma }}{u}_j\left(L_{r_i}\right)=1---\left(3\right)$

$u_j\left(L_{r_i}\right)=\frac{{(1/D(r_i,s_j\left)\right)}^{1/(b-1)}}{\underset{k=1}{\overset{M}{\Sigma }}{(1/D(r_i,s_k\left)\right)}^{1/(b-1)}},i=1,2,\mathrm{...},N,j=1,2,\mathrm{...}M---\left(4\right)$

其中，是第i个图像子块区域对应与第j类颜色线条的隶属度函数，且要求一个图像子块区域到各类颜色线条的隶属度之和为1；D(r_i,s_j)为图像子块区域r_i和第j类颜色线条的相似性度，可由公式(1)计算求得到；b通常取值为2左右；采用就近取整法将模糊聚类结果进行去模糊化，具有相似特征的图像子块区域能够准确地进行聚类，从而能够自动地获得图像子块区域分类标记的结果。

最后，根据图像子块聚类结果，通过计算图像子块区域中各像素点的置信度值，实现具有较高置信度像素点的局部颜色分配。图像子块区域r_i中像素点p的置信度conf(p,r_i)定义如下：

$conf(p,r_i)=\frac{\exp (-D(p,M_p))}{{\Sigma }_{r\in r_i}\exp (-D(r,M_r\left)\right)}---\left(5\right)$

其中，M_p为该像素点p所在区域r_i对应的颜色线条中的最佳匹配像素点，D(p,M_p)为像素点p与像素点M_p距离，由公式(1)计算得到。采用这种局部颜色分配机制，能够对具有较高置信度值的像素点进行颜色信息分配。图像子块区域聚类结果和颜色分配结果分别如图7、图8所示。

步骤四：基于全局优化的颜色传递

在对自然图像的局部区域分配颜色信息之后，为了对整幅自然图像进行颜色编辑处理，采用全局优化算法进行颜色传递。全局优化通过最小化YUV颜色空间上的能量函数实现，能量函数定义如下：

$J\left(C\right)=\underset{p}{\Sigma }\left(C\right(p)-\underset{q\in N\left(p\right)}{\Sigma }{w}_{pq}C(q\left)\right)---\left(6\right)$

$w_{pq}\propto 1+\frac{1}{{\sigma }_p^2}\left(Y\right(p)-u_p)\left(Y\right(q)-u_p)---\left(7\right)$

其中，N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值。w_pq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大；反之，其值越小。u_p和σ_p分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值，局部颜色编辑结果和全局颜色编辑结果分别如图9、图10所示。

与现有技术相比，本发明提出的技术方案中通过利用超像素分割方法将图像首先划分成一定数量的图像子块区域，此时能够使用图像子块区域代替像素点进行颜色编辑，这极大地提高了颜色编辑的速度。

在提供少量用户交互的情况下，根据重复场景元素之间具有的外观相似特性，通过定义鲁棒的外观相似性度量机制，能够精确地聚类图像子块区域，这不仅能够在颜色编辑结果中有效的保持重复场景元素颜色的一致性，而且能够实现不同标记的图像子块区域的不同颜色的编辑，从而获得丰富的颜色编辑结果。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。