视觉语言分析：从底层视觉特征表达到语义距离学习

文摘

英文文摘

论文说明:图表目录

声明

第1章绪论

1.1 图像分析和标注的发展简述

1.2图像分析和标注的关键问题

1.2.1语义鸿沟问题(Semantic Gap)

1.2.2大尺度问题(Large Scale)

1.2.3文本和视觉差异(Gap Between Text and Image)

1.2.4概念表达问题(Semantic Representation)

1.2.5相似性度量问题(Similarity Measurement)

1.3研究目的和任务

1.4主要内容和结构安排

第2章低层视觉分析

2.1视觉特征

2.1.1灰度平均值

2.1.2图像矩

2.1.3纹理直方图

2.1.4旋转不变纹理直方图

2.1.5尺度不变特征变换(SIFT)

2.2从视觉特征到视觉单词

2.2.1利用主成分分析进行映射

2.2.2通过聚类映射

2.2.3哈希编码映射

2.2.4通过距离学习的方法映射

2.2.5通过多种途径映射

2.3图像表达

2.4小结

第3章图像距离度量

3.1图像距离

3.2静态距离度量

3.3动态距离度量(QOSS)

3.4 Mahalanobis距离

3.5传统Mahanalobis距离学习

3.5.1相关成分分析(RCA)

3.5.2区分成分分析(DCA)

3.5.3邻近成分分析(NCA)

3.5.4最大边际近邻分类(LMNN)

3.6概率相关成分分析(pRCA)

3.6.1确定边信息和非确定边信息

3.6.2非确定边信息生成

3.6.3计算

3.6.4基于非确定边信息的图像距离学习

3.6.5算法

3.7概率区分成分分析(pDCA)

3.8 Bregman距离学习(Bregman Distance)

3.8.1 Bregman距离函数

3.8.2 Bregman距离学习

3.8.3算法

3.9小结

第4章高层语义分析

4.1“概念”定义

4.2单词包模型(BoW)

4.2.1 Naive Bayes分类框架

4.2.2分层Bayes分类框架

4.2.3基于单词包模型的图像表达

4.3二维隐马尔科夫模型(2D HMM)

4.4视觉语言模型(VLM)

4.4.1一元视觉语言模型

4.4.2二元视觉语言模型

4.4.3三元视觉语言模型

4.5尺度不变视觉语言模型(m-VLM)

4.5.1尺度问题

4.6保语义单词包模型(SPBoW)

4.6.1模型的原理

4.6.2视觉物体表达

4.6.3基于学习的词典优化

4.6.4词典生成过程

4.6.5视觉单词直方图

4.7保语义单词包模型在生成式和区分式模型中的应用

4.7.1生成式模型

4.7.2区分式模型

4.8小结

第5章视觉概念距离度量

5.1视觉概念距离研究概况

5.2词网距离(WordNet Distance)

5.3谷歌距离(Google Distance)

5.4标签共发距离(Tag Concurrence Distance)

5.5 Flickr距离(FD)(Flickr Distance)

5.5.1 Flickr距离概述

5.5.2概念距离度量

5.6视觉概念网络

5.7各种概念距离度量方法的测评

5.7.1主观测评

5.7.2客观测评

5.8小结

第6章应用

6.1 近似图像检测(Near-Duplicate Detection)

6.1.1方法概述

6.1.2离线索引

6.1.3在线检测

6.1.4实验设置

6.1.5客观评测

6.1.6结果比较

6.2基于搜索的图像标注(Search Based Image Annotation)

6.2.1相关研究背景介绍

6.2.2自动图像标注

6.2.3结果比较

6.3基于内容的图像分类(Content Based Image Classification)

6.3.1利用视觉语言模型进行图像分类

6.3.2合理利用未现单词进行图像分类

6.3.3图像分类实验

6.4视觉概念聚类(Visual Concept Clustering)

6.5社会网络图像标注推荐(Social Media Recommendation)

6.5.1实验过程

6.5.2评价

6.5.3 比较标签共发和多模态相关算法

6.5.4比较Rankboost和线性叠加算法

6.6小结

第7章总结和展望

7.1视觉语言分析及距离度量的本质

7.2本文的学术价值

7.3视觉分析与度量的未来发展

参考文献

致谢

在读期间发表的学术论文与取得的研究成果