admin 管理员组文章数量: 1086019
2024年4月12日发(作者：聊天机器人api)
第
３４
卷
第
７
期
２０２０
年
７
月
中文信息学报
ＪＯＵＲＮＡＬＯＦＣＨＩＮＥＳＥＩＮＦＯＲＭＡＴＩＯＮＰＲＯＣＥＳＳＩＮＧ
Ｖｏｌ．３４
，
Ｎｏ．７
，
２０２０
Ｊｕｌ
ｙ
（）
文章编号
：
１００３００７７２０２００７００１９１１
－－－
从视觉到文本
：
图像描述生成的研究进展综述
魏忠钰
１
，
范智昊
１
，
王瑞泽
２
，
承怡菁
１
，
赵王榕
１
，
黄萱菁
３
（
复旦大学大数据学院
，
上海
２１．００４３３
；
复旦大学工程与应用技术研究院
，
上海
２２．００４３３
；
）
复旦大学计算机科学与技术学院
，
上海
２３．００４３３
摘
要
：
近年来
，
跨模态研究吸引了越来越多学者的关注
，
尤其是连接视觉和语言的相关课题
。
该文针对跨视觉和
——
图像描述生成
，
语言模态研究中的核心任务
—
进行文献综述
。
该文从基于视觉的文本生成框架
、
基于视觉的文
图像描述生成模型的性能评价和图像描述生成模型的主要发展过程四个方面对相关文
本生成研究中的关键问题
、
该文给出了几个未来的重点研究方向
，
包括跨视觉和语言模态的特征对齐
、
自动化评价
献进行介绍和总结
。
最后
，
指标的设计以及多样化图像描述生成
。
关键词
：
图像描述生成
；
跨模态特征对齐
；
文献综述
中图分类号
：
ＴＰ３９１
文献标识码
：
Ａ
：
ＦｒｏｍＶｉｓｉｏｎｔｏＴｅｘｔＡＢｒｉｅｆＳｕｒｖｅｆｏｒＩｍａｅＣａｔｉｏｎｉｎ
ｙｇｐｇ
１１２１
，，
ＷＡＮ
，
ＷＥＩＺｈｏｎｕＦＡＮＺｈｉｈａｏＧＲｕｉｚｅＣＨＥＮＧＹｉｉｎ
ｇｙｊｇ
，
１３
ＺＨＡＯ
ＷａｎｒｏｎＧＸｕａｎｉｎ
ｇｇ
，
ＨＵＡＮ
ｊｇ
（，，；
１．ＳｃｈｏｏｌｏｆＤａｔａＳｃｉｅｎｃｅＦｕｄａｎＵｎｉｖｅｒｓｉｔＳｈａｎｈａｉ２００４３３
，
Ｃｈｉｎａ
ｙｇ
，，；
２．ＡｃａｄｅｍｆｏｒＥｎｉｎｅｅｒｉｎａｎｄＴｅｃｈｎｏｌｏＦｕｄａｎＵｎｉｖｅｒｓｉｔＳｈａｎｈａｉ２００４３３
，
Ｃｈｉｎａ
ｙｇｇｇｙｙｇ
，，）
３．ＳｃｈｏｏｌｏｆＣｏｍｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏＦｕｄａｎＵｎｉｖｅｒｓｉｔＳｈａｎｈａｉ２００４３３
，
Ｃｈｉｎａ
ｐｇｙｙｇ
：，
ｅａｒｓ
ＡｂｓｔｒａｃｔＩｎｒｅｃｅｎｔｉｎｃｒｅａｓｉｎａｔｔｅｎｔｉｏｎｈａｓｂｅｅｎａｔｔｒａｃｔｅｄｔｏｔｈｅｒｅｓｅａｒｃｈｆｉｅｌｄｒｅｌａｔｅｄｔｏｃｒｏｓｓｏｄａｌｉｔ
－
ｍ
ｙ
ｇｙ
，
ｅｓｅｃｉａｌｌｖｉｓｉｏｎａｎｄｌａｎｕａｅ．Ｔｈｉｓｓｕｒｖｅｆｏｃｕｓｅｓｏｎｔｈｅｔａｓｋｏｆｉｍａｅｃａｔｉｏｎｉｎａｎｄｓｕｍｍａｒｉｚｅｓｌｉｔｅｒａｔｕｒｅｓ
ｐｙｇｇｙｇｐｇ
，，
ｆｏｕｒａｓｅｃｔｓｉｎｃｌｕｄｉｎｔｈｅｏｖｅｒａｌｌａｒｃｈｉｔｅｃｔｕｒｅｓｏｍｅｋｅｆｏｒｃｒｏｓｓｏｄａｌｉｔｒｅｓｅａｒｃｈ
，
ｔｈｅｅｖａｌｕ
ｕｅｓｔｉｏｎｓ
ｆｒｏｍ
－
ｍ
－
ｐｇｙｙ
ｑ
ａｔｉｏｎｏｆｉｍａｅｃａｔｉｏｎｉｎａｎｄｔｈｅｓｔａｔｅｏｆｔｈｅａｒｔａｒｏａｃｈｅｓｔｏｉｍａｅｃａｔｉｏｎｉｎＩｎｃｏｎｃｌｕｓｉｏｎ
，
ｗｅｓｕｅｓｔｔｈｒｅｅ
－－－
ｇｐｇｐｐｇｐｇ
．
ｇｇ
，
ｆｏｒｆｕｔｕｒｅｒｅｓｅａｒｃｈ
，
ｉ．ｅ．ｃｒｏｓｓｏｄａｌｉｔｒｅｒｅｓｅｎｔａｔｉｏｎ
，
ａｕｔｏｍａｔｉｃｅｖａｌｕａｔｉｏｎｍｅｔｒｉｃｓａｎｄｄｉｖｅｒｓｅｔｅｘｔ
ｄｉｒｅｃｔｉｏｎｓ
－
ｍ
ｙｐ
ｅｎｅｒａｔｉｏｎ．
ｇ
：；；
Ｋｅｗｏｒｄｓｉｍａｅｃａｔｉｏｎｉｎｃｒｏｓｓｏｄａｌｉｔａｌｉｎｍｅｎｔｌｉｔｅｒａｔｕｒｅｒｅｖｉｅｗ
－
ｍ
ｇｐｇｙｇ
ｙ
包括构建能够对视觉信息进行处理的智
大的价值
，
０
引言
近年来
，
结合图像和文本的跨模态研究越来越
多地引起自然语言处理和机器视觉领域学者的关
］］
１３４５
－－
。
主流的任务包括图像描述生成
［
、
注
［
机器视
６
］
７
］
、、
觉问答
［
相册故事生成
［
视觉对话生成
［
８
］
能聊天机器人
；
在社交媒体上
，
为图片或者相册自动
产生描述
；
在幼儿教育中扮演讲师的角色
；
帮助视觉
障碍人士感知周边环境的视觉内容等
。
得益于深度
学习的最新进展
，
视觉
—
文本的跨模态研究在很多
应用中取得了在自动化评价指标上的大幅度进步
。
本文将针对基于视觉的文本生成领域的最新研究进
展进行综述
。
鉴于图像描述生成是目前受到关注最
多的应用任务
，
同时包括了基于视觉的文本生成任
、
视觉
９
］
１０
］
、，
以及从文本到图像的自动生
推理
［
视觉导航
［
１１
］
成
［
等
。
相关的技术在很多实际应用场景中有很
收稿日期
：
２０１９０３１６２０１９０４２６
－－
定稿日期
：
－－
；；
基金项目
：
国家自然科学基金
（
国家社会科学基金
（
上海市科学技术委员会
（
７１９９１４７１
）
２０ＺＤＡ０６０
）
１８ＤＺ１２０１０００
，
）
１７ＪＣ１４２０２００
２０
中文信息学报
２０２０
年
务主要的技术模块
，
本文以图像描述生成作为切入
点
，
从基于视觉的文本生成框架
、
基于视觉的文本生
成的关键问题
、
图像描述生成模型的性能评价和图
像描述生成模型的主要发展过程四个方面对相关的
文献进行梳理
。
１
基于视觉的文本生成框架
基于视觉的文本生成框架主要可以分成三类
：
早期的基于模板匹配和检索的框架
、
基于神经网络
的端到端自动生成框架以及融合神经网络的组合式
生成框架
。
１．１
基于模板匹配和检索的框架
基于视觉的文本生成的早期方法大致可以分为
两类
。
第一类是基于模板匹配的方法
［
１２
－
１４
］
。
该类
方法先从图像中检测出相关的实体信息
（
物体
、
属
性
、
动作
），
然后将这些实体填充到手工设计的句子
模板中
，
存在的问题是生成的文本往往欠缺流利性
，
在表达的多样性方面也不能满足实际需求
。
第二类
是基于检索的方法
［
１５
－
１６
］
。
该类方法预先准备一批
与目标图像视觉上相似的图像
—
文本匹配语料集
合
，
然后在该语料集合上搜索与目标图片最相近的
样本
，
直接采用查询到的图片所对应的文本作为需
要生成的描述
。
该类方法的问题是依赖预先准备的
图像
—
文本匹配的语料集合
，
对于内容上差异大的
图片往往很难找到相关的匹配对象
，
因此在生成精
度上存在很大的缺陷
。
１．２
端到端的自动生成框架
针对早期框架所产生的文字存在流畅性欠缺和
不能产生新内容的缺点
，
基于深度神经网络的端到
端模型可以潜在地解决这两个问题
。
端到端的学习
框架
［
１７
］
包括编码器和解码器两个基本部件
，
其中编
码器将输入的信息转换成低维稠密的隐式向量
，
再
通过解码器将该隐式向量转换成目标输出
。
该学习
范式最早应用在机器翻译的场景
，
并取得了显著的
性能提升
。
研究者于是将端到端的学习框架引入到
针对视觉信息的自动化描述任务中
［
４
］
。
在该框架
中
，
编码器由在大规模图像分类中被证明有效的多
层卷积神经网络
（
ＣＮＮ
）
构成
，
以实现对图像进行视
觉信息的特征提取
［
１８
－
１９
］
。
解码器则由在语言模型
构建方面表现良好的循环神经网络
（
ＲＮＮ
）
构成
，
包
括长短时记忆网络
［
２０
］
（
ＬＳＴＭ
）
和带门控机制的循
环神经网络
［
２１
］
（
ＧＲＵ
），
ＲＮＮ
对于句子的生成依循
逐字的方式进行
，
以图像特征作为初始状态
，
每一个
时间片使用前一个时间片产生的隐藏状态和生成单
词作为输入
，
产生这个时间片的单词
。
最近
，
也有学
者在编码器和解码器端使用
ｔｒａｎｓｆｏｒｍｅｒ
作为文本
生成的基本部件
［
２２
］
。
当前
，
端到端的生成方式是基
于视觉的文本生成任务的主流框架
，
不同模型的差
别在于采用不同的视觉特征抽取方式
，
以及采用
ＲＮＮ
的不同变种进行自动化的文本生成
。
基于端
到端的生成框架在生成文本的流畅性方面有很大的
提高
，
但是视觉和文本的关联仅仅通过中间的隐藏
表示构建
，
这使得生成的文本包含一些不可控的结
果
，
如生成与图片信息无关的文字
。
．３
融合神经网络的组合式的框架
针对端到端框架会产生不确定性生成结果的缺
点
，
学者研究组合式的框架进行图像描述的自动化
生成
。
该框架主要包含两个部件
，
视觉语义提取和
结合视觉语义的描述生成
。
文献
［
２３
］
的研究首先从
图像中发现一组语义概念
，
以名词
、
动词和形容词的
形式表征
。
基于语义概念
，
语言模型被用来生成多
个候选描述
。
最后
，
多模态的相似度计算模型为候
选描述进行重要性排序
，
并从中选择得分最高的作
为输出
。
文献
［
２４
］
沿用了早期基于模板匹配的图像
文本生成的思路
，
采用神经网络模型对两个基础模
块进行替换
，
以达到对传统的基于模板匹配的方法
和基于神经网络的端到端方法的调和作用
。
该方法
首先从整体的视觉信息中自动化地构建句子
“
模
板
”，
模板的每一个空格可以关联到图像中的一个局
部区域
。
在第二个步骤中
，
从槽位相关联的局部图
像中进行物体识别
，
并将检测的物体填充到模板中
作为最后的描述
。
文献
［
２５
］
进一步修正文本生成模
块
，
抛弃了基于
ＲＮＮ
的文本生成组件
。
该框架包
含两个步骤
，
首先
，
从视觉信息中发现一些明确的语
义表示单元
，
以短语的形式表示
。
其次
，
用短语拼接
的方法来形成最后的图像描述
。
组合式的框架在生
成文本的准确性上相较单纯的端到端模型有一定程
度的性能提升
，
但是非端到端模型在生成文本的流
畅性方面则有不可避免的缺陷
。
这也是目前针对该
类方法进行提升的主要方向
。
基于视觉的文本生成的关键问题
基于视觉信息的文本生成主要包含四个核心的
１
２
７
期魏忠钰等
：
从视觉到文本
：
图像描述生成的研究进展综述
２１
研究问题
：
视觉端的特征表示
、
视觉与文本的特征
对齐
、
加入强化学习的图像描述生成
，
以及多样化图
像描述生成
。
２．１
视觉端的特征表示
当前研究在视觉端的特征提取
，
往往以两种基
本形式存在
：
视觉表示和文本概念
。
视觉表示代表
从图像中直接提取的特征信息
。
早期的工作
，
将图
像划分为大小相等的视觉区域
，
再基于
ＣＮＮ
［
２６
］
对
图像区域进行顺次的卷积处理
，
过程中不编码更细
粒度的信息
。
按照指定大小划分得到的图像区域
，
往往难以灵活捕捉图像中包含的实体信息
，
这限制
了对于图像端的语义理解
。
为了更好地进行图片信
息的特征提取
，
研究者开始采用
Ｒ
－
ＣＮＮ
［
２７
］
进行视
觉端的信息处理
，
该方法采用物体检测模型作为特
征提取器
，
在图片中划定大小不等的边框
，
并从中发
现实体信息
，
作为视觉信息的表示
。
该方法依赖于
物体检测模型的实体识别能力
，
同时也受限于物体
检测模型所使用的语料集合中包含的标注标签个
数
。
基于
Ｒ
－
ＣＮＮ
，
研究者进一步设计了在实际应用
中更高效的
Ｆａｓｔｅｒ
Ｒ
－
ＣＮＮ
［
２８
］
，
并得到更广泛的使
用
。
仅仅依靠图像处理的视觉信息提取方法建构视
觉信息特征无法解决视觉信息与文本之间存在的语
义鸿沟
。
为了在视觉端的特征提取中考虑语义信
息
，
相关研究
［
２９
－
３１
］
将图像的语义概念识别转换成多
标签分类问题
，
采用单词
、
短语作为语义的表示单
元
，
并通过不同的方式
（
注意力机制
，
嵌入到循环神
经网络的解码单元中
）
将这一组语义单元作用到文
本解码的过程中
。
最近
，
有研究者
［
３２
］
引入场景图的
方法将视觉特征和语义信息相结合作为图片端的特
征表示
。
场景图中的节点代表视觉信息中发现的视
觉实体
，
而场景图的边则是基于语义信息的实体关
系
。
然而
，
为了构造场景图
，
需要复杂的流水线
，
并
且不能避免错误传播
。
这在某种程度上限制了场景
图在更多场景进行推广
。
２．２
视觉与文本的特征对齐
在跨模态的相关研究中
，
核心部件是不同模态
信息的联合表示学习
。
在端到端的学习框架中
［
４
］
，
基于卷积神经网络的视觉特征抽取模块将图像信息
表征成低维稠密向量
，
而基于循环神经网络的文本
生成部件则从该低维稠密向量中逐字生成图像相关
的描述
。
这个过程假设了整张图片的信息和待生成
文本的信息共享了一个隐空间
，
以低维稠密向量表
示
。
卷积神经网络和循环神经网络的参数在一个联
合训练的框架下完成
。
文献
［
５
］
使用两个任务分别
针对图像特征提取和循环神经网络的参数进行训
练
。
在卷积神经网络部分
，
一个图像特征和句子特
征对齐的任务被构造用来进行参数学习
。
在循环神
经网络部分
，
图像特征提取器的参数被固定
，
句子生
成任务被用来进行参数学习
。
在这种句子生成框架
中
，
图像特征以隐状态的形式仅仅直接影响首个单
词的生成
，
对于句子中其他单词生成的影响则是间
接的
。
随着句子长度的增加
，
图像特征对于单词生
成的影响慢慢淡化
，
导致句子的生成更多地受到
语言模型的影响
，
而不能很好地描绘图像中的具
体信息
。
为了进一步关联局部图像特征和句子中
字词的生成过程
，
采用注意力机制来进行基于视
觉信息的文本生成任务
。
注意力机制最早在机器
翻译领域被提出作为编码器
—
解码器框架的一个
补充部件
［
３３
］
，
在解码器生成单词时
，
用来在输入序
列中寻找最能提供辅助信息的序列单元部件
。
文
献
［
３４
］
引入注意力机制连接文本生成过程和图片
中的局部区域特征
，
在解码某个单词时
，
解码器计
算图片局部区域对于该单词的决策权重
，
并采用
加权平均的方法引入图片区域特征来计算单词的
生成概率分布
。
学者将这种关联图像区域特征和
文本生成的注意力框架称为自顶向下的方案
，
而
将关联图像中的实体特征和文本生成的方法称为
自底向上的方案
。
文献
［
３５
］
结合了自顶向下和自
底向上两种模式
，
自底向上的机制采用
Ｆａｓｔｅｒ
－
ＣＮＮ
［
２８
］
从图像中选取有显著意义的区域
，
在解
码每个单词的时候
，
使用其关联的局部图像特征
的重要性权重
，
重新调整
Ｆａｓｔｅｒ
Ｒ
－
ＣＮＮ
发现的实
体的重要性
，
用来计算单词的生成概率向量
。
随着预训练模型在视觉和文本单一模态场景中
的成功应用
，
如
ＢＥＲＴ
［
３６
］
、
ＲｅｓＮｅｔ
［
３７
］
等
，
学者开始
研究结合视觉和文本的预训练模型
。
基本的研究思
路借鉴
ＢＥＲＴ
等的预训练模型
，
将视觉与语言的混
合表示以序列的方式输入到基于
ｔｒａｎｓｆｏｒｍｅｒ
的框架
中
，
然后依照自监督的方式进行优化
。
到目前为止
，
出现了
ＶｉｓｕａｌＢｅｒｔ
［
３８
］
、
Ｕｎｉｃｏｄｅｒ
－
ＶＬ
［
３９
］
、
ＶＬ
－
ＢＥＲＴ
［
４０
］
、
ＶｉＬＢＥＲＴ
［
４１
］
、
ＬＸＭＥＲＴ
［
４２
］
和
ＵＮＩＴＥＲ
［
４３
］
等研究
工作
。
依据处理文本和图片的方式
，
相关工作可以
分成两大类
：
单流编码
（
ＶｉｓｕａｌＢｅｒｔ
、
Ｕｎｉｃｏｄｅｒ
－
ＶＬ
、
ＶＬ
－
ＢＥＲＴ
和
ＵＮＩＴＥＲ
）
和双流编码
（
ＶｉＬＢＥＲＴ
和
ＸＭＥＲＴ
）。
单流编码将图片和句子拼接成一个序
Ｒ
Ｌ
２２
中文信息学报
２０２０
年
列
，
输入到同一个编码器中
，
同时对两种模态的信息
进行编码
。
双流编码则认为图片和文本的底层表示
有着不同的特性
，
所以先采用不同的编码器对图片
和文本进行单模态编码
，
之后再通过互注意力机制
对两种模态进行联合编码
。
这些预训练模型采用的
自监督训练任务包括
，
遮盖语言模型
、
遮盖区域分
类
／
回归
、
视觉文本匹配以及视觉问答
。
遮盖语言模
型和
Ｂ
但在推断被遮盖
ＥＲＴ
的训练任务基本类似
，
的单词时
，
更希望模型学会从视觉信息中寻找线索
。
）、）
动作
（
与
构造三个关键要素
，
即状态
（
ｓｔａｔｅａｃｔｉｏｎ
）。
状态就是解码过程中每个时间片的
奖励
（
ｒｅｗａｒｄ
隐藏状态表示
，
而动作是对当前时刻生成单词的选
择
，
奖励一般采用自动化的评价指标
。
基于强化学
习的基本方法存在模型训练不稳定的问题
。
该问题
产生的原因是模型执行过程中计算期望梯度时会产
生较高的方差
，
其中一种解决办法是加上基线模型
［
４
］
（
的约束
。
比如在
ＭＩＸＥＲ
４
ｍｉｘｅｄｉｎｃｒｅｍｅｎｔａｌ
）
中
，
基线就是一个简单的多
ｃｒｏｓｓ
ｅｎｔｒｏｒｅｉｎｆｏｒｃｅ
－
ｐｙ
遮盖区域和遮盖语言的本质是相同的
，
只不过遮盖
的部件从字符变成了某个图片区域
。
视觉文本匹配
任务和
ＢＥＲＴ
中的后续句子推断任务相似
，
通过构
造负样例的方式来判断文本和图片是否匹配
。
虽然
跨模态的预训练模型越来越多地引起学者的关注
，
但是在跨模态文本生成方面的应用还没有起步
。
鉴
于跨模态的联合表示学习在当前的图像描述生成研
究中并未引起足够关注
，
未来如何将跨模态的预训
练模型融入到图像描述生成中会是一个研究的
重点
。
．３
引入强化学习的图像描述生成
在图像描述生成任务中
，
基于神经网络的文本
生成解码器将每一个单词的产生看成一个分类问
题
，
并使用交叉熵损失函数来进行文本生成模型的
训练
。
这样的模型训练方式存在两个问题
，
一个被
称为暴露偏置
（
ｅｘ
ｐ
ｏｓｕｒｅ
ｂｉａｓ
），
即在训练时
，
模型当
前时刻的输入是来自训练集的真实单词
，
而在测试
时
，
输入的却是上一时刻的预测结果
，
一旦模型单步
表现不佳
，
就会导致误差累积
，
从而影响整体的生成
效果
；
另一个问题被称为损失评估失配
（
ｌｏｓｓ
－
ｅｖａｌｕ
－
ｔｉｏｎ
ｍｉｓｍａｔｃｈｉｎ
ｇ
），
即在训练时
，
模型采用交叉熵
损失函数来评估生成结果的好坏
，
而在测试时
，
却采
用其他的自动化评价指标
（
见
３．２
节
），
存在训练和
测试评估方式不一致的问题
，
从而影响模型在测试
时的表现
。
为了解决上述问题
，
文献
［
４４
］
引入强化学习
进行模型训练
，
以解决模型训练和测试过程的不
一致问题
。
一方面
，
采用计划采样
（
ｓｃｈｅｄｕｌｅｄ
ｓａｍ
－
ｌｉｎ
ｇ
）
的方法在训练时也采用上一时刻产生的词
语
，
从而解决暴露偏置的问题
；
另一方面
，
强化学
习可以在训练时通过最大化一些测试时采用的评
价指标来完成模型参数的更新
，
从而解决损失评
估失配问题
。
强化学习的方法在图像描述任务中的应用需要
个采样样本的奖励均值
。
在
ＳＣＳＴ
［
４５
］
（
ｓｅｌｆ
－
ｃｒｉｔｉｃａｌ
ｅ
ｑ
ｕｅｎｃｅ
ｔｒａｉｎｉｎ
ｇ
）
中
，
这个基线采用固定策略采样
（
贪婪搜索或者束搜索
）
进行奖励计算
。
还有一些方
法比如
ａｃｔｏｒ
－
ｃｒｉｔｉｃ
［
４６
］
，
则训练一个评论
（
ｃｒｉｔｉｃ
）
网络
来估算奖励
。
目前
，
引入强化学习进行图像描述生成的模
型训练方法一般遵循以下流程
：
先采用交叉熵损
失函数进行模型训练
，
当性能达到一定程度之后
，
再以自动化评价指标为奖励
，
使用强化学习进行
模型训练
。
经过强化学习训练过的模型通常可以
具有更好的性能
，
因此当前针对图像描述的模型
往往会配置使用强化学习的版本进行有针对的性
能比较
。
．４
多样化图像描述生成
不同的人在对同一张图像进行描述时
，
往往
会产生不同的描述语言
，
为了使机器产生的文本
能够具有多样性和创新性
，
学者开始研究多样化
的图像描述生成方法
。
文献
［
４７
］
在句子生成阶段
产生多个样本
，
并引入惩罚因子
，
对生成样本之间
重复的词进行惩罚以激励产生更多样化的句子
。
文献
［
４８
］
尝试在互相不重叠的数据集分割中单独
训练文本生成器
，
以通过不同的文本生成器来产
生多样性的句子
。
文献
［
４９
］
在训练的过程中生成
多个候选句子
，
并使用核方法来计算句子之间的
相似性
，
随后将相似性计算模型加入到对抗生成
网络中
，
以激励生成器达成生成的多样化
。
文献
［
５０
］
在问题生成这个场景中
，
将问题类型和图片
信息一起建模
，
以达到产生多样化问题的目的
。
文献
［
５１
］
将图片中的物体作为先验信息加入到变
分自编码器的隐空间中
，
引导面向不同物体的描
述生成
，
文献
［
５２
］
更精细地在变分自编码器的隐
空间当中去建模词汇和语法结构
。
文献
［
５３
］
认为
生成模型之所以缺乏多样性
，
是因为生成模型会
倾向于选择在数据集合中出现频率更高
（
相对来
２
ａ
ｐ
ｓ
２
７
期魏忠钰等
：
从视觉到文本
：
图像描述生成的研究进展综述
２３
说更安全
）
的词
。
生成内容的多样性以及图片和
内容的相关性其实是一体两面
。
他们因此通过负
采样的方法
，
训练模型辨识图片和句子的相关性
，
并通过对抗生成网络来强化生成器在这方面的性
能
。
文献
［
５４
］
也讨论了相同的问题
，
并引入了
ＲａｎｋＧＡＮ
，
该方法虽然在自动化指标上稍有逊色
，
但在人工评价上显示出更优越的效果
。
文本生成的多样性评估可以从数据集和单个样
例两个方面进行
。
在数据集方面
：
①
计算生成的描
述没有出现在训练数据集中的比例
，
②
计算基于图
片生成的描述中包含的词汇数量
。
前一个指标越
高
，
表示生成的描述在创新性方面的得分越低
；
后者
的指标越高
，
表示生成的描述的多样化程度越高
。
在单个样例方面
，
学者提出
Ｄｉｓｔ
－
ｎ
［
５５
］
和
ｍＢＬＥＵ
［
４８
］
来度量生成的多个句子之间的相似
（
不相似
）
性
，
从
而考量描述的多样化程度
。
Ｄｉｓｔ
－
ｎ
统计针对单个图
像生成的多个描述中不重复的
ｎ
元组个数
。
ｍＢＬＥＵ
在为目标图像生成的多个描述中每次选取
一个描述
，
并计算它与其他描述之间的
ＢＬＥＵ
值
。
因为
ＢＬＥＵ
是基于
ｎ
元组的相似性度量指标
，
所以
ｍＢＬＥＵ
越低说明生成的句子之间的差异性越大
，
表明生成的描述多样性越好
。
３
图像描述生成模型的性能评价
３．１
图像描述生成的评测语料集
适用于图像描述生成任务的数据集主要有
：
Ｆｌｉｃｋｒ８ｋ
［
１５
］
、
Ｆｌｉｃｋｒ３０ｋ
［
５６
－
５７
］
和
ＭＳ
ＣＯＣＯ
［
５８
］
。
在
预训练图像识别或者特征对齐模块时
，
常用到的数
据集有
：
Ｉｍａ
ｇ
ｅＮｅｔ
［
５９
］
和
Ｖｉｓｕａｌ
Ｇｅｎｏｍｅ
［
６０
］
。
除此以
外
，
经常被使用的语料集还包括
ＩＡＰＲ
ＴＣ
－
１２
［
６１
－
６２
］
、
ＲｅｆｅｒＩｔ
［
６３
］
、
Ｉｎｓｔａ
ｇ
ｒａｍ
［
６４
－
６５
］
、
Ｓｔｏｃｋ３Ｍ
［
６６
］
、
ＭＩＴ
－
Ａｄｏｂｅ
ＦｉｖｅＫ
［
６７
］
、
ＦｌｉｃｋｒＳｔ
ｙ
ｌｅ１０ｋ
［
６８
］
等
。
表
１
呈现了各个语
料集的详细介绍
。
Ｆｌｉｃｋｒ８ｋ
是第一个公开的大规模
图像和描述匹配的语料集
，
扩充版本
Ｆｌｉｃｋｒ３０ｋ
一
共包含了
３１
７８３
张图片
，
每张图片有
５
个人工产生
的描述
。
在扩充版本中
，
Ｆｌｉｃｋｒ３０ｋ
还包含了实体标
注
。
ＭＳ
ＣＯＣＯ
在图片规模上有很大的提升
，
包含
了超过
１６
万张图片
，
并且每张图片中有
７．７
个实体
标注
，
一共包括了
８０
个实体类别
，
因此可以针对图
像物体检测和描述生成两个应用同时开展研究
。
Ｖｉｓｕａｌ
Ｇｅｎｏｍｅ
的语料集则有更加细粒度的标注
，
包含与图片中局部区域相关联的较短的描述
，
因此
可以满足多样化描述生成的研究需求
；
同时
，
该语料
集包含了场景图的标注信息
，
一般用来预训练场景
图的构建模型
。
表
１
视觉文本生成相关语料集
名称
图片描述实体实体场景
数量个数种类个数图
Ｆｌｉｃｋｒ８ｋ
［
１５
］
８
０００
５
———
Ｆｌｉｃｋｒ３０ｋ
［
５６
，
６７
］
３１
７８３
５
—
８．９
—
ＭＳ
ＣＯＣＯ
［
５８
］
１６４
０６２
５
８０
７．７
—
ｍａ
ｇ
ｅＮｅｔ
［
５９
］
１４
１９７
１２２
—
２１
８４１
１
—
Ｖｉｓｕａｌ
Ｇｅｎｏｍｅ
［
６０
］
１０８
０７７
５０
７６
３４０
１６
是
ＡＰＲ
ＴＣ
－
１２
［
６１
－
６２
］
２０
０００
２
２５５
５．０
—
ＲｅｆｅｒＩｔ
［
６３
］
１９
８９４
６．６
—
４．８
—
ｎｓｔａ
ｇ
ｒａｍ
［
６４
－
６５
］
１
１００
０００
１
———
Ｓｔｏｃｋ３Ｍ
［
６６
］
３
２１７
６５４
１
———
ＭＩＴ
－
Ａｄｏｂｅ
Ｆｉｖｅｋ
［
６７
］
５
０００
————
Ｆｌｉｃｋｒ
－
Ｓｔ
ｙ
ｌｅ１０ｋ
［
６８
］
１０
０００
７
—
８．９
—
．２
图像描述生成的评价方法
对图像描述生成模型的评价
，
指的是依据给定
的图像判断模型所生成描述的质量
。
当前的主流评
价方法主要包括以下三种类型
。
第一
，
人工评价
。
人工设计一些评价指标
，
比
如
，
表达的流畅度
、
与图片的相关度
、
表达的多样化
程度等
［
６９
－
７０
］
。
人工的评分结果一般通过网上众包
的形式进行收集
。
人工评价的方法可以准确反映图
像描述模型的性能
，
但是操作的过程中需要引入大
量的标注者
，
从而影响了评价的灵活性
。
第二
，
基于规则的自动化评价方法
。
该方法提
前为图片收集固定数量的人工撰写的参考描述
，
并
采用关键词匹配的技术
，
计算模型生成描述与参考
描述之间的重叠程度作为模型的性能评价
。
主流的
指标包括
ＲＯＵＧＥ
［
７１
］
、
ＢＬＥＵ
［
７２
］
、
ＣＩＤＥｒ
［
７３
］
、
ＭＥ
－
ＴＥＯＲ
［
７４
］
和
ＳＰＩＣＥ
［
７５
］
。
ＢＬＥＵ
被广泛地使用在机
器翻译中
，
其主要计算模型生成的描述与参考描述
之间的
ｎ
元组重合程度
，
重合程度越高
，
生成描述的
Ｉ
Ｉ
Ｉ
３
２４
中文信息学报
２０２０
年
质量就越高
。
不同元组的选择可以从不同的侧面反
映生成描述的质量
，
单元组
（
的准确率可
ｒａｍ
）
ｕｎｉ
－
ｇ
以用于评估单词级别的生成准确性
，
更高阶的元组
准确率可以用来判断句子的整体流畅性
。
该指标更
关注生成的准确率
，
即更关心生成描述里有多少
ｎ
参考描述之间的相关度
。
基于学习的自动化评价虽
然增加了灵活性
，
但是评价模型本身是参数化的
，
因
此也有被图像描述模型攻击和欺骗的风险
。
４
图像描述生成模型的主要发展过程
元组是对的
。
ＲＯＵＧＥ
［
７１
］
最早被用来评价文本摘要
模型的质量
，
它与
ＢＬＥＵ
的计算公式非常相似
，
但
它只计算召回率
，
考虑参考描述中有多少元组被机
器生成的描述覆盖
。
为了在评价过程中考虑相同语
义不同表达的句子
，
学者提出了
ＭＥＴＥＯＲ
［
７４
］
，
它
引入一个外部资源库
（
ＷｏｒｄＮｅｔ
）
对词语的同义词进
行考虑
，
同时也考虑单词的词形
（
ｓｔｅｍｍｉｎ
ｇ
）。
在评
价句子流畅性时
，
用词块
（
ｃｈｕｎｋ
）
作为基本评价单
元
，
考虑了调和召回率和准确率的
Ｆ
值作为最终评
价指标
。
相比
ＢＬＥＵ
和
ＲＯＵＧＥ
，
ＭＥＴＥＯＲ
引入
了外部资源和额外的句子分块算法
，
这也给其评价
结果带来一些不稳定性
。
ＣＩＤＥｒ
［
７３
］
是针对图像描
述任务提出的
，
它同样采用
ｎ
元组作为基本评价单
元
，
并采用词频和倒排文档频率
（
ＴＦ
－
ＩＤＦ
）
作为
ｎ
元
组的权重
，
这样可以降低高频
ｎ
元组对于结果的影
响
。
最近
，
学者提出
ＳＰＩＣＥ
［
７５
］
来考察图像中的实体
和实体间关系是否被图像描述生成模型考虑
。
该指
标为机器生成描述构建场景图
，
并与基于图像构建
的场景图进行相关性计算
，
从而达到衡量生成描述
对于图像中包含的实体和实体间关系的覆盖度的
目的
。
第三
，
基于学习的自动化评价方法
。
该方法构
建一个机器学习模型直接计算图像描述生成模型产
生的描述和给定图片之间的相关度
。
文献
［
７６
］
引入
对抗生成的方法
，
训练一个判别器
，
在给定图片和一
个候选描述的情况下
，
判定有多大概率这个候选描
述是人工产生的
，
分数越高则该描述的质量越高
。
在训练过程中
，
他们自动化地为给定图片产生一些
不相关的描述作为负样本
，
用以训练判别器
。
文献
［
７７
］
结合了基于学习和规则的方法
，
综合考量机器
生成的描述与图片的相关度
，
以及机器生成的描述
与参考描述的相关度
。
在生成描述与图片相关度方
面
，
他们采用预训练的视觉和文本的对齐模块
，
计算
机器生成的描述与图片区域之间的关联分布向量
。
分布向量的集中度越高
，
则相关度越高
。
在生成描
述与参考描述的相关度计算方面
，
他们通过图片区
域将二者进行关联
，
从而细粒度地评价生成描述和
近年来
，
基于神经网络的端到端模型作为主流
的图像描述生成模型
，
在公开评测语料集上不断刷
新各种评测指标的记录
。
因此
，
在本节中
，
我们主要
针对这一类别的方法进行发展进程的介绍
。
早期的
研究工作主要集中于通过基于卷积神经网络
（
ＣＮＮ
）
和循环神经网络
（
ＲＮＮ
）
的基础端到端框架
来生成图像描述
［
４
－
５
，
２３
，
７８
－
７９
］
；
随后
，
针对多模态特征
对齐问题
，
研究人员提出了不同的注意力机制
，
从图
像特征和语言特征方面对图像标注进行改
进
［
３１
－
３２
，
３４
－
３５
，
４６
，
８０
－
８２
］
；
同时
，
不同于使用交叉熵作为优
化目标的方法
，
一些研究人员采用强化学习方法
，
将
自动评价指标
（
一般选用
ＣＩＤＥｒ
或
ＭＥＴＥＯＲ
）
作为
优化目标来训练模型
［
１６
，
３２
，
３５
，
４６
，
８１
－
８４
］
。
将自动评价指
标作为优化目标已经成为目前图像描述生成工作中
主流的实验设置
。
最近一些研究工作通过目标检测
算法
（
如
Ｆａｓｔｅｒ
Ｒ
－
ＣＮＮ
）
提取图像中的物体区域
，
来
引入更为丰富多样的信息
，
如物体
、
属性和关系
等
［
２４
，
３２
，
３５
］
。
随着预训练语言模型在自然语言处理领
域的兴起
，
也出现了跨模态预训练模型的工作
。
比
如
，
Ｚｈｏｕ
等人
［
８５
］
提出了一种视觉
—
语言预训练模
型
，
可以应用到视觉
—
文本生成和理解任务当中
；
此
外
，
最近也出现了一些从其他方面进行探究的开创
性工作
：
Ｆｅｎ
ｇ
等人
［
８６
］
使用了视觉概念
（
ｃｏｎｃｅ
ｐ
ｔ
）
作
为连接图像和文本的桥梁
，
将无监督学习应用到图
片标注任务当中
；
Ｓａｍｍａｎｉ
等人
［
８４
］
提出了一种自适
应
“
编辑
”
网络
，
可以对生成的描述进行迭代地润色
。
ＭＳ
ＣＯＣＯ
数据集目前已经成为研究人员在图
像标注任务上进行性能评测的首选
。
由于官方测试
集的真实标签没有公布
，
大多数研究人员常使用
Ｋａｒ
ｐ
ａｔｈ
ｙ
等人
［
５
］
的数据集分割方式
，
进行离线验证
和测试
，
不同的图像标注模型在
ＭＳ
ＣＯＣＯ
Ｋａｒ
ｐ
ａｔｈ
ｙ
测试集
［
５
］
上的性能如表
２
所示
。
为了和
最先进的模型进行在线性能比较
，
部分工作会进一
步使用
ＭＳ
ＣＯＣＯ
官方测试集进行测试
，
并将结果
上传到评估服务器进行评测
，
不同的图像标注模型
在
ＭＳ
ＣＯＣＯ
评估服务器上的性能如表
３
所示
。
７
期魏忠钰等
：
从视觉到文本
：
图像描述生成的研究进展综述
［
５
］
表
２
不同的图像标注模型在
Ｍ
上的性能
ＳＣＯＣＯ
测试集
（
Ｋａｒａｔｈ
ｐｙ
）
２５
方法
ＢＬＥＵ１
－
ＧｏｏｌｅＮＩＣ
４
ｇ
ＢＲＮＮ
５
［］
［］
ＭＳＣＯＣＯ
ＢＬＥＵ２
－
４６．１
４５．０
４９．０
５０．４
５８．０
—
６２．５
—
—
—
２２．５
—
—
—
６５．３
ＢＬＥＵ３
－
３２．９
３２．１
３５．０
３５．７
４３．９
—
４７．９
—
—
—
１１．２
—
—
—
５１．１
ＢＬＥＵ４
－
２４．６
２３．０
２５．０
２５．０
３３．２
３４．２
３６．１
３６．３
３４．７
３８．３
５．６
３８．４
３８．９
３９．５
３９．２
ＭＥＴＥＯＲＯＵＧＥ
Ｒ
－
Ｌ
—
１９．５
—
２３．０
２６．６
２６．７
２７．４
２７．７
２７．１
２８．６
１２．４
２８．４
２９．２
２９．３
—
—
—
—
—
—
５５．７
５６．９
５６．９
—
５８．５
２８．７
５８．６
—
—
５８．９
ＣＩＤＥｒ
—
６６．０
—
—
１０８．５
１１４．０
１２０．４
１２０．１
１０７．２
１２８．７
２８．６
１２７．８
１２９．８
１２９．３
１２８．９
ＳＰＩＣＥ
—
—
—
—
２０．４
—
２０．９
２１．４
２０．１
２２．１
８．１
２２．１
２２．４
２３．２
２２．６
６６．６
６２．５
６７．０
７１．８
７４．２
８
ｍ
－
ＲＮＮ
７
［］
４
Ｈａｒｄｔｔ
３
－
Ａ
０
Ａｄａｔｉｖｅ
８
ｐ
［］
［］
６
ＳＣＳＴ
：
Ａｔｔ２ａｌｌ
４
８１
ＳｔａｃｋＣａ
ｐ
［］
［］
—
７８．６
７９．８
７５．５
５
Ｕｏｗｎ
３
－
Ｄ
ｐ
４
ＮＢＴ
２
［］
［］
２
ＧＣＮ
－
ＬＳＴＭ
３
６
ＵＩＣ
８
［］
［］
８０．９
４１．０
８０．８
８０．２
—
８０．６
３
ＳＧＡＥ
８
［］
２
ＡｏＡＮｅｔ
８
［］
５
ＵｎｉｆｉｅｄＶＬ
８
４
ＥＴＮ
８
［］
［］
代表使用了不同的测试集分割
。
注
：
表
３
不同的图像描述生成模型在
ＭＳＣＯＣＯ
评估服务器上的性能
ＭＳＣＯＣＯ
方法
ＢＬＥＵ１
－
Ｃ５
ＧｏｏｌｅＮＩＣ
４
ｇ
［］
ＢＬＥＵ２
－
Ｃ５Ｃ４０
ＢＬＥＵ３
－
Ｃ５Ｃ４０
ＢＬＥＵ４
－
Ｃ５Ｃ４０
ＭＥＴＥＯＲＯＵＧＥ
Ｒ
－
Ｌ
Ｃ５Ｃ４０Ｃ５Ｃ４０
ＣＩＤＥｒ
Ｃ５Ｃ４０
ＳＰＩＣＥ
Ｃ５Ｃ４０Ｃ４０
７１．３９．５４．２０．２０．７９．４０．９８．７５．４４．６３．０８．２４．３４．６１８．２３．６
８
５
８
４
６
３
５
２
３
５
６
９
９
６
［］
３
ＭＳＣａｔｉｖａｔｏｒ
２
ｐ
８
ｍ
－
ＲＮＮ
７
９
ＬＲＣＮ
７
［］
［］
７１．５０．７４．３１．９０．７１．００．８０．１４．８３．９２．６８．０３．１３．７１８．００．９
９
５
８
４
７
３
６
２
３
５
６
９
９
６
７１．６９．０４．５９．８０．４８．７９．９７．５４．２２．５２．１６．６１．７３．５１７．４０．０
８
５
７
４
６
２
５
２
３
５
６
９
９
６
７１．８９．５４．８０．４０．９９．５０．６８．５４．７３．５２．８７．８２．１３．４１７．７９．９
８
５
８
４
６
３
５
２
３
５
６
９
９
５
７０．５８．１２．８７．９８．３５．８７．７３．７４．１２．２１．６５．４６．５９．３１７．２９．８
８
５
７
３
６
２
５
２
３
５
６
８
８
５
７３．１０．０６．５１．５２．４０．９１．６９．９５．０３．５３．５８．２４．３５．８１８．２３．１
９
５
８
４
７
３
５
２
３
５
６
９
９
６
７４．８２．０８．４４．５４．４４．４３．６３．７６．４５．９５．００．５０４．２１０５．９１９．７７．３
９
５
８
４
７
３
６
２
３
５
７
１
６
４
Ｈａｒｄｔｔ
３
－
Ａ
［］
１
ＡＴＴＦＣＮ
３
－
０
Ａｄａｔｉｖｅ
８
ｐ
［］
［］
６
ＳＣＳＴ
：
Ａｔｔ２ａｌｌ
４
８１
ＳｔａｃｋＣａ
ｐ
［］
［］
７８．１３．７１．９６．０７．０５．９５．２４．５７．０５．５６．３０．７１４．７１１６．７２０．７８．９
９
６
８
４
７
３
６
２
３
５
７
１
６
７７．８３．２１．６６．１６．８６．０４．９４．６７．０５．６６．２０．６１４．８１１８．３
—
９
６
８
４
７
３
６
２
３
５
７
１
—
５
Ｕｏｗｎ
３
－
Ｄ
ｐ
［］
８０．２５．２４．１８．８９．１９．４６．９８．５７．６６．７７．１２．４１７．９１２０．５２１．５１．５
９
６
８
４
７
３
６
２
３
５
７
１
７
——
６５．５９．３０．８０．３８．７９．７８．５７．６８．５３．４２５．３１２６．５
—
８
５
８
３
６
２
３
５
７
１
—
—
２
ＧＣＮ
－
ＬＳＴＭ
３
２
ＡｏＡＮｅｔ
８
［］
［］
８１．０５．０５．８９．６１．４１．３９．４１．２９．１８．５８．９４．５２６．９１２９．６
—
９
６
８
５
８
３
７
２
３
５
７
１
２６
中文信息学报
２０２０
年
５
结论
本文回顾了近年来研究领域在图像描述生成模
型方面的研究进展
。
虽然相关研究在自动化评价指
标方面有长足发展
，
但受限于真实场景的复杂性
，
对
于图像的自动化描述离实际应用依然存在不小的差
距
。
以下三个方面或许是未来的研究重点
，
包括基
于跨模态预训练模型的图像描述生成框架研究
、
基
于视觉的文本生成评价方法
、
面向应用的多样化文
本生成框架研究
。
参考文献
［
１
］
Ｈｅ
Ｘ
，
Ｄｅｎ
ｇ
Ｌ．Ｄｅｅ
ｐ
ｌｅａｒｎｉｎ
ｇ
ｆｏｒ
ｉｍａ
ｇ
ｅ
－
ｔｏ
－
ｔｅｘｔ
ｇ
ｅｎｅｒａ
－
ｔｉｏｎ
：
Ａ
ｔｅｃｈｎｉｃａｌ
ｏｖｅｒｖｉｅｗ
［
Ｊ
］
．ＩＥＥＥ
Ｓｉ
ｇ
ｎａｌ
Ｐｒｏｃｅｓｓｉｎ
ｇ
Ｍａ
ｇ
ａｚｉｎｅ
，
２０１７
，
３４
（
６
）：
１０９
－
１１６．
［
２
］
Ｈｏｓｓａｉｎ
Ｍ
Ｚ
，
Ｓｏｈｅｌ
Ｆ
，
Ｓｈｉｒａｔｕｄｄｉｎ
Ｍ
Ｆ
，
ｅｔ
ａｌ．Ａｃｏｍ
－
ｐ
ｒｅｈｅｎｓｉｖｅ
ｓｕｒｖｅ
ｙ
ｏｆ
ｄｅｅ
ｐ
ｌｅａｒｎｉｎ
ｇ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｊ
］
．ＡＣＭ
Ｃｏｍ
ｐ
ｕｔｉｎ
ｇ
Ｓｕｒｖｅ
ｙ
ｓ
，
２０１９
，
５１
（
６
）：
１
－
３６．
［
３
］
Ｚｈａｎ
ｇ
Ｃ
，
Ｙａｎ
ｇ
Ｚ
，
Ｈｅ
Ｘ
，
ｅｔ
ａｌ．Ｍｕｌｔｉｍｏｄａｌ
ｉｎｔｅｌｌｉ
－
ｇ
ｅｎｃｅ
：
Ｒｅ
ｐ
ｒｅｓｅｎｔａｔｉｏｎ
ｌｅａｒｎｉｎ
ｇ
，
ｉｎｆｏｒｍａｔｉｏｎ
ｆｕｓｉｏｎ
，
ａｎｄ
ａ
ｐｐ
ｌｉｃａｔｉｏｎｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ＩＥＥＥ
Ｊｏｕｒｎａｌ
ｏｆ
Ｓｅｌｅｃｔｅｄ
Ｔｏ
ｐ
ｉｃｓ
ｉｎ
Ｓｉ
ｇ
ｎａｌ
Ｐｒｏｃｅｓｓｉｎ
ｇ
，
２０２０．
［
４
］
Ｖｉｎ
ｙ
ａｌｓ
Ｏ
，
Ｔｏｓｈｅｖ
Ａ
，
Ｂｅｎ
ｇ
ｉｏ
Ｓ
，
ｅｔ
ａｌ．Ｓｈｏｗ
ａｎｄ
ｔｅｌｌ
：
Ａ
ｎｅｕｒａｌ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎ
ｇ
ｅｎｅｒａｔｏｒ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１５
：
３１５６
－
３１６４．
［
５
］
Ｋａｒ
ｐ
ａｔｈ
ｙ
Ａ
，
Ｆｅｉ
－
Ｆｅｉ
Ｌ．Ｄｅｅ
ｐ
ｖｉｓｕａｌ
－
ｓｅｍａｎｔｉｃ
ａｌｉ
ｇ
ｎ
－
ｍｅｎｔｓ
ｆｏｒ
ｇ
ｅｎｅｒａｔｉｎ
ｇ
ｉｍａ
ｇ
ｅ
ｄｅｓｃｒｉ
ｐ
ｔｔｉｏｎｓ
［
Ｃ
］／／
Ｐｒｏ
－
ｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１５
：
３１２８
－
３１３７．
［
６
］
Ａｎｔｏｌ
Ｓ
，
Ａ
ｇ
ｒａｗａｌ
Ａ
，
Ｌｕ
Ｊ
，
ｅｔ
ａｌ．Ｖ
ｑ
ａ
：
ｖｉｓｕａｌ
ｑ
ｕｅｓｔｉｏｎ
ａｎｓｗｅｒｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ｃｏｎ
－
ｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
，
２０１５
：
２４２５
－
２４３３．
［
７
］
Ｔｉｎ
ｇ
－
Ｈａｏ
Ｈｕａｎ
ｇ
，
Ｆｅｒｒａｒｏ
Ｆ
，
ｅｔ
ａｌ．Ｖｉｓｕａｌ
ｓｔｏｒ
ｙ
ｔｅｌｌｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
２０１６Ｃｏｎｆｅｒｅｎｃｅ
ｏｆ
ｔｈｅ
Ｎｏｒｔｈ
Ａｍｅｒｉｃａｎ
Ｃｈａ
ｐ
ｔｅｒ
ｏｆ
ｔｈｅ
Ａｓｓｏｃｉａｔｉｏｎ
ｆｏｒ
Ｃｏｍ
ｐ
ｕｔａｔｉｏｎ
－
ａｌ
Ｌｉｎ
ｇ
ｕｉｓｔｉｃｓ
：
Ｈｕｍａｎ
Ｌａｎ
ｇ
ｕａ
ｇ
ｅ
Ｔｅｃｈｎｏｌｏ
ｇ
ｉｅｓ
，
２０１６
：
１２３３
－
１２３９．
［
８
］
Ｄａｓ
Ａ
，
Ｋｏｔｔｕｒ
Ｓ
，
Ｇｕ
ｐ
ｔａ
Ｋ
，
ｅｔ
ａｌ．Ｖｉｓｕａｌ
ｄｉａｌｏ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉ
－
ｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１７
：
３２６
－
３３５．
［
９
］
Ｊｏｈｎｓｏｎ
Ｊ
，
Ｈａｒｉｈａｒａｎ
Ｂ
，
ｖａｎ
ｄｅｒ
Ｍａａｔｅｎ
Ｌ
，
ｅｔ
ａｌ．
Ｃｌｅｖｒ
：
Ａ
ｄｉａ
ｇ
ｎｏｓｔｉｃ
ｄａｔａｓｅｔ
ｆｏｒ
ｃｏｍ
ｐ
ｏｓｉｔｉｏｎａｌ
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
ａｎｄ
ｅｌｅｍｅｎｔａｒ
ｙ
ｖｉｓｕａｌ
ｒｅａｓｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１７
：
２９０１
－
２９１０．
［
１０
］
Ｚｈｕ
Ｙ
，
Ｍｏｔｔａ
ｇ
ｈｉ
Ｒ
，
Ｋｏｌｖｅ
Ｅ
，
ｅｔ
ａｌ．Ｔａｒ
ｇ
ｅｔ
－
ｄｒｉｖｅｎ
ｖｉｓｕａｌ
ｎａｖｉ
ｇ
ａｔｉｏｎ
ｉｎ
ｉｎｄｏｏｒ
ｓｃｅｎｅｓ
ｕｓｉｎ
ｇ
ｄｅｅ
ｐ
ｒｅｉｎ
－
ｆｏｒｃｅｍｅｎｔ
ｌｅａｒｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
２０１７
ＩＥＥＥ
Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｒｏｂｏｔｉｃｓ
ａｎｄ
Ａｕｔｏ
－
ｍａｔｉｏｎ
，
２０１７
：
３３５７
－
３３６４．
［
１１
］
Ｒｅｅｄ
Ｓ
，
Ａｋａｔａ
Ｚ
，
Ｙａｎ
Ｘ
，
ｅｔ
ａｌ．Ｇｅｎｅｒａｔｉｖｅ
ａｄｖｅｒｓａｒｉ
－
ａｌ
ｔｅｘｔ
ｔｏ
ｉｍａ
ｇ
ｅ
ｓ
ｙ
ｎｔｈｅｓｉｓ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１６０５．
０５３９６
，
２０１６．
［
１２
］
Ｆａｒｈａｄｉ
Ａ
，
Ｈｅ
ｊ
ｒａｔｉ
Ｍ
，
Ｓａｄｅ
ｇ
ｈｉ
Ｍ
Ａ
，
ｅｔ
ａｌ．Ｅｖｅｒ
ｙ
ｐ
ｉｃｔｕｒｅ
ｔｅｌｌｓ
ａ
ｓｔｏｒ
ｙ
：
Ｇｅｎｅｒａｔｉｎ
ｇ
ｓｅｎｔｅｎｃｅｓ
ｆｒｏｍ
ｉｍａ
－
ｇ
ｅｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ｅｕｒｏ
ｐ
ｅａｎ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ．Ｓ
ｐ
ｒｉｎ
ｇ
ｅｒ．Ｂｅｒｌｉｎ．Ｈｅｉｄｅｌｂｅｒ
ｇ
，
２０１０
：
１５
－
２９．
［
１３
］
Ｋｕｌｋａｒｎｉ
Ｇ
，
Ｐｒｅｍｒａ
ｊ
Ｖ
，
Ｏｒｄｏｎｅｚ
Ｖ
，
ｅｔ
ａｌ．Ｂａｂ
ｙ
ｔａｌｋ
：
Ｕｎｄｅｒｓｔａｎｄｉｎ
ｇ
ａｎｄ
ｇ
ｅｎｅｒａｔｉｎ
ｇ
ｓｉｍ
ｐ
ｌｅ
ｉｍａ
ｇ
ｅ
ｄｅｓｃｒｉ
ｐ
－
ｔｉｏｎｓ
［
Ｊ
］
．ＩＥＥＥ
Ｔｒａｎｓａｃｔｉｏｎｓ
ｏｎ
Ｐａｔｔｅｒｎ
Ａｎａｌ
ｙ
ｓｉｓ
ａｎｄ
Ｍａｃｈｉｎｅ
Ｉｎｔｅｌｌｉ
ｇ
ｅｎｃｅ
，
２０１３
，
３５
（
１２
）：
２８９１
－
２９０３．
［
１４
］
Ｌｉ
Ｓ
，
Ｋｕｌｋａｒｎｉ
Ｇ
，
Ｂｅｒ
ｇ
Ｔ
Ｌ
，
ｅｔ
ａｌ．Ｃｏｍ
ｐ
ｏｓｉｎ
ｇ
ｓｉｍ
ｐ
ｌｅ
ｉｍａ
ｇ
ｅ
ｄｅｓｃｒｉ
ｐ
ｔｉｏｎｓ
ｕｓｉｎ
ｇ
ｗｅｂ
－
ｓｃａｌｅ
ｎ
－
ｇ
ｒａｍｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
１５ｔｈ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔａｔｉｏｎａｌ
Ｎａｔｕｒａｌ
Ｌａｎ
ｇ
ｕａ
ｇ
ｅ
Ｌｅａｒｎｉｎ
ｇ
．Ａｓｓｏｃｉａｔｉｏｎ
ｆｏｒ
Ｃｏｍ
ｐ
ｕ
－
ｔａｔｉｏｎａｌ
Ｌｉｎ
ｇ
ｕｉｓｔｉｃｓ
，
２０１１
：
２２０
－
２２８．
［
１５
］
Ｈｏｄｏｓｈ
Ｍ
，
Ｙｏｕｎ
ｇ
Ｐ
，
Ｈｏｃｋｅｎｍａｉｅｒ
Ｊ．Ｆｒａｍｉｎ
ｇ
ｉｍ
－
ａ
ｇ
ｅ
ｄｅｓｃｒｉ
ｐ
ｔｉｏｎ
ａｓ
ａ
ｒａｎｋｉｎ
ｇ
ｔａｓｋ
：
ｄａｔａ
，
ｍｏｄｅｌｓ
ａｎｄ
ｅ
－
ｖａｌｕａｔｉｏｎ
ｍｅｔｒｉｃｓ
［
Ｊ
］
．Ｊｏｕｒｎａｌ
ｏｆ
Ａｒｔｉｆｉｃｉａｌ
Ｉｎｔｅｌｌｉ
ｇ
ｅｎｃｅ
Ｒｅｓｅａｒｃｈ
，
２０１３
，
４７
（
１
）：
８５３
－
８９９．
［
１６
］
Ｏｒｄｏｎｅｚ
Ｖ
，
Ｋｕｌｋａｒｎｉ
Ｇ
，
Ｂｅｒ
ｇ
Ｔ
Ｌ．Ｉｍ２ｔｅｘｔ
：
Ｄｅｓｃｒｉ
－
ｂｉｎ
ｇ
ｉｍａ
ｇ
ｅｓ
ｕｓｉｎ
ｇ
１ｍｉｌｌｉｏｎ
ｃａ
ｐ
ｔｉｏｎｅｄ
ｐ
ｈｏｔｏ
ｇ
ｒａ
ｐ
ｈｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ａｄｖａｎｃｅｓ
ｉｎ
Ｎｅｕｒａｌ
Ｉｎｆｏｒ
－
ｍａｔｉｏｎ
Ｐｒｏｃｅｓｓｉｎ
ｇ
Ｓ
ｙ
ｓｔｅｍｓ
，
２０１１
：
１１４３
－
１１５１．
［
１７
］
Ｓｕｔｓｋｅｖｅｒ
Ｉ
，
Ｖｉｎ
ｙ
ａｌｓ
Ｏ
，
Ｌｅ
Ｑ
Ｖ．Ｓｅ
ｑ
ｕｅｎｃｅ
ｔｏ
ｓｅ
－
ｑ
ｕｅｎｃｅ
ｌｅａｒｎｉｎ
ｇ
ｗｉｔｈ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄ
－
ｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ａｄｖａｎｃｅｓ
ｉｎ
Ｎｅｕｒａｌ
Ｉｎｆｏｒｍａｔｉｏｎ
Ｐｒｏｃｅｓｓ
－
ｉｎ
ｇ
Ｓ
ｙ
ｓｔｅｍｓ
，
２０１４
：
３１０４
－
３１１２．
［
１８
］
Ｋｒｉｚｈｅｖｓｋ
ｙ
Ａ
，
Ｓｕｔｓｋｅｖｅｒ
Ｉ
，
Ｈｉｎｔｏｎ
Ｇ
Ｅ．Ｉｍａ
ｇ
ｅｎｅｔ
ｃｌａｓｓｉｆｉｃａｔｉｏｎ
ｗｉｔｈ
ｄｅｅ
ｐ
ｃｏｎｖｏｌｕｔｉｏｎａｌ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ａｄｖａｎｃｅｓ
ｉｎ
Ｎｅｕｒａｌ
Ｉｎｆｏｒ
－
ｍａｔｉｏｎ
Ｐｒｏｃｅｓｓｉｎ
ｇ
Ｓ
ｙ
ｓｔｅｍｓ
，
２０１２
：
１０９７
－
１１０５．
［
１９
］
Ｈｅ
Ｋ
，
Ｚｈａｎ
ｇ
Ｘ
，
Ｒｅｎ
Ｓ
，
ｅｔ
ａｌ．Ｄｅｅ
ｐ
ｒｅｓｉｄｕａｌ
ｌｅａｒｎｉｎ
ｇ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉ
－
ｔｉｏｎ
，
２０１６
：
７７０
－
７７８．
［
２０
］
Ｈｏｃｈｒｅｉｔｅｒ
Ｓ
，
Ｓｃｈｍｉｄｈｕｂｅｒ
Ｊ．Ｌｏｎ
ｇ
ｓｈｏｒｔ
－
ｔｅｒｍ
ｍｅｍ
－
ｏｒ
ｙ
［
Ｊ
］
．Ｎｅｕｒａｌ
Ｃｏｍ
ｐ
ｕｔａｔｉｏｎ
，
１９９７
，
９
（
８
）：
１７３５
－
１７８０．
［
２１
］
Ｃｈｕｎ
ｇ
Ｊ
，
Ｇｕｌｃｅｈｒｅ
Ｃ
，
Ｃｈｏ
Ｋ
，
ｅｔ
ａｌ．Ｇａｔｅｄ
ｆｅｅｄｂａｃｋ
ｒｅｃｕｒｒｅｎｔ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ｉｎ
－
ｔｅｒｎａｔｉｏｎａｌ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｍａｃｈｉｎｅ
Ｌｅａｒｎｉｎ
ｇ
，
２０１５
：
２０６７
－
２０７５．
［
２２
］
Ｈｅｒｄａｄｅ
Ｓ
，
Ｋａ
ｐｐ
ｅｌｅｒ
Ａ
，
Ｂｏａｋ
ｙ
ｅ
Ｋ
，
ｅｔ
ａｌ．Ｉｍａ
ｇ
ｅｃａ
ｐ
－
ｔｉｏｎｉｎ
ｇ
：
Ｔｒａｎｓｆｏｒｍｉｎ
ｇ
ｏｂ
ｊ
ｅｃｔｓ
ｉｎｔｏ
ｗｏｒｄｓ
［
Ｃ
］／／
Ｐｒｏ
－
ｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ａｄｖａｎｃｅｓ
ｉｎ
Ｎｅｕｒａｌ
Ｉｎｆｏｒｍａｔｉｏｎ
Ｐｒｏ
－
７
期魏忠钰等
：
从视觉到文本
：
图像描述生成的研究进展综述
２７
ｃｅｓｓｉｎ
ｇ
Ｓ
ｙ
ｓｔｅｍｓ
，
２０１９
：
１１１３５
－
１１１４５．
［
２３
］
Ｆａｎ
ｇ
Ｈ
，
Ｇｕ
ｐ
ｔａ
Ｓ
，
Ｉａｎｄｏｌａ
Ｆ
，
ｅｔ
ａｌ．Ｆｒｏｍ
ｃａ
ｐ
ｔｉｏｎｓ
ｔｏ
ｖｉｓｕａｌ
ｃｏｎｃｅ
ｐ
ｔｓ
ａｎｄ
ｂａｃｋ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１５
：
１４７３
－
１４８２．
［
２４
］
Ｌｕ
Ｊ
，
Ｙａｎ
ｇ
Ｊ
，
Ｂａｔｒａ
Ｄ
，
ｅｔ
ａｌ．Ｎｅｕｒａｌ
ｂａｂ
ｙ
ｔａｌｋ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉ
－
ｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１８
：
７２１９
－
７２２８．
［
２５
］
Ｄａｉ
Ｂ
，
Ｆｉｄｌｅｒ
Ｓ
，
Ｌｉｎ
Ｄ．Ａ
ｎｅｕｒａｌ
ｃｏｍ
ｐ
ｏｓｉｔｉｏｎａｌ
ｐ
ａｒａ
－
ｄｉ
ｇ
ｍ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ａｄｖａｎｃｅｓ
ｉｎ
Ｎｅｕｒａｌ
Ｉｎｆｏｒｍａｔｉｏｎ
Ｐｒｏｃｅｓｓｉｎ
ｇ
Ｓ
ｙ
ｓｔｅｍｓ
，
２０１８
：
６５８
－
６６８．
［
２６
］
Ｌｅｃｕｎ
Ｙ
，
Ｂｏｓｅｒ
Ｂ
，
Ｄｅｎｋｅｒ
Ｊ
，
ｅｔ
ａｌ．Ｂａｃｋ
ｐ
ｒｏ
ｐ
ａ
ｇ
ａｔｉｏｎ
－
ａ
ｐｐ
ｌｉｅｄ
ｔｏ
ｈａｎｄｗｒｉｔｔｅｎ
ｚｉ
ｐ
ｃｏｄｅ
ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
［
Ｊ
］
．Ｎｅｕ
－
ｒａｌ
Ｃｏｍ
ｐ
ｕｔａｔｉｏｎ
，
１９８９
，
１
（
４
）：
５４１
－
５５１．
［
２７
］
Ｇｉｒｓｈｉｃｋ
Ｒ
，
Ｄｏｎａｈｕｅ
Ｊ
，
Ｄａｒｒｅｌｌ
Ｔ
，
ｅｔ
ａｌ．Ｒｉｃｈ
ｆｅａｔｕｒｅ
ｈｉｅｒａｒｃｈｉｅｓ
ｆｏｒ
ａｃｃｕｒａｔｅ
ｏｂ
ｊ
ｅｃｔ
ｄｅｔｅｃｔｉｏｎ
ａｎｄ
ｓｅｍａｎｔｉｃ
ｓｅ
ｇ
ｍｅｎｔａｔｉｏｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒ
－
ｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１４
：
５８０
－
５８７．
［
２８
］
Ｒｅｎ
Ｓ
，
Ｈｅ
Ｋ
，
Ｇｉｒｓｈｉｃｋ
Ｒ
，
ｅｔ
ａｌ．Ｆａｓｔｅｒ
ｒ
－
ｃｎｎ
：
Ｔｏ
－
ｗａｒｄｓ
ｒｅａｌ
－
ｔｉｍｅ
ｏｂ
ｊ
ｅｃｔ
ｄｅｔｅｃｔｉｏｎ
ｗｉｔｈ
ｒｅ
ｇ
ｉｏｎ
ｐ
ｒｏ
ｐ
ｏｓａｌ
ｎｅｔｗｏｒｋｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ａｄｖａｎｃｅｓ
ｉｎ
Ｎｅｕｒａｌ
Ｉｎｆｏｒｍａｔｉｏｎ
Ｐｒｏｃｅｓｓｉｎ
ｇ
Ｓ
ｙ
ｓｔｅｍｓ
，
２０１５
：
９１
－
９９．
［
２９
］
Ｗｕ
Ｑ
，
Ｓｈｅｎ
Ｃ
，
Ｌｉｕ
Ｌ
，
ｅｔ
ａｌ．Ｗｈａｔ
ｖａｌｕｅ
ｄｏ
ｅｘ
ｐ
ｌｉｃｉｔ
ｈｉ
ｇ
ｈ
ｌｅｖｅｌ
ｃｏｎｃｅ
ｐ
ｔｓ
ｈａｖｅ
ｉｎ
ｖｉｓｉｏｎ
ｔｏ
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
ｐ
ｒｏｂ
－
ｌｅｍｓ［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１６
：
２０３
－
２１２．
［
３０
］
Ｇａｎ
Ｚ
，
Ｇａｎ
Ｃ
，
Ｈｅ
Ｘ
，
ｅｔ
ａｌ．Ｓｅｍａｎｔｉｃ
ｃｏｍ
ｐ
ｏｓｉｔｉｏｎａｌ
ｎｅｔｗｏｒｋｓ
ｆｏｒ
ｖｉｓｕａｌ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１７
：
５６３０
－
５６３９．
［
３１
］
Ｙｏｕ
Ｑ
，
Ｊｉｎ
Ｈ
，
Ｗａｎ
ｇ
Ｚ
，
ｅｔ
ａｌ．Ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
ｗｉｔｈ
ｓｅｍａｎｔｉｃ
ａｔｔｅｎｔｉｏｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉ
－
ｔｉｏｎ
，
２０１６
：
４６５１
－
４６５９．
［
３２
］
Ｙａｏ
Ｔ
，
Ｐａｎ
Ｙ
，
Ｌｉ
Ｙ
，
ｅｔ
ａｌ．Ｅｘ
ｐ
ｌｏｒｉｎ
ｇ
ｖｉｓｕａｌ
ｒｅｌａｔｉｏｎ
－
ｓｈｉ
ｐ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ｅｕ
－
ｒｏ
ｐ
ｅａｎ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
（
ＥＣＣＶ
），
２０１８
：
６８４
－
６９９．
［
３３
］
Ｂａｈｄａｎａｕ
Ｄ
，
Ｃｈｏ
Ｋ
，
Ｂｅｎ
ｇ
ｉｏ
Ｙ．Ｎｅｕｒａｌ
ｍａｃｈｉｎｅ
ｔｒａｎｓｌａｔｉｏｎ
ｂ
ｙ
ｊ
ｏｉｎｔｌ
ｙ
ｌｅａｒｎｉｎ
ｇ
ｔｏ
ａｌｉ
ｇ
ｎ
ａｎｄ
ｔｒａｎｓｌａｔｅ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１４０９．０４７３
，
２０１４．
［
３４
］
Ｘｕ
Ｋ
，
Ｂａ
Ｊ
，
Ｋｉｒｏｓ
Ｒ
，
ｅｔ
ａｌ．Ｓｈｏｗ
，
ａｔｔｅｎｄ
ａｎｄ
ｔｅｌｌ
：
Ｎｅｕｒａｌ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎ
ｇ
ｅｎｅｒａｔｉｏｎ
ｗｉｔｈ
ｖｉｓｕａｌ
ａｔｔｅｎｔｉｏｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｍａｃｈｉｎｅ
Ｌｅａｒｎｉｎ
ｇ
，
２０１５
：
２０４８
－
２０５７．
［
３５
］
Ａｎｄｅｒｓｏｎ
Ｐ
，
Ｈｅ
Ｘ
，
Ｂｕｅｈｌｅｒ
Ｃ
，
ｅｔ
ａｌ．Ｂｏｔｔｏｍ
－
ｕ
ｐ
ａｎｄ
ｔｏ
ｐ
－
ｄｏｗｎ
ａｔｔｅｎｔｉｏｎ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
ａｎｄ
ｖｉｓｕａｌ
ｑ
ｕｅｓｔｉｏｎ
ａｎｓｗｅｒｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉ
－
ｔｉｏｎ
，
２０１８
：
６０７７
－
６０８６．
［
３６
］
Ｄｅｖｌｉｎ
Ｊ
，
Ｃｈａｎ
ｇ
Ｍ
Ｗ
，
Ｌｅｅ
Ｋ
，
ｅｔ
ａｌ．Ｂｅｒｔ
：
Ｐｒｅ
－
ｔｒａｉｎ
－
ｉｎ
ｇ
ｏｆ
ｄｅｅ
ｐ
ｂｉｄｉｒｅｃｔｉｏｎａｌ
ｔｒａｎｓｆｏｒｍｅｒｓ
ｆｏｒ
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
ｕｎｄｅｒｓｔａｎｄｉｎ
ｇ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１８１０．０４８０５
，
２０１８．
［
３７
］
Ｈｅ
Ｋ
，
Ｚｈａｎ
ｇ
Ｘ
，
Ｒｅｎ
Ｓ
，
ｅｔ
ａｌ．Ｄｅｅ
ｐ
ｒｅｓｉｄｕａｌ
ｌｅａｒｎｉｎ
ｇ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉ
－
ｔｉｏｎ
，
２０１６
：
７７０
－
７７８．
［
３８
］
Ｌｉ
Ｌ
Ｈ
，
Ｙａｔｓｋａｒ
Ｍ
，
Ｙｉｎ
Ｄ
，
ｅｔ
ａｌ．Ｖｉｓｕａｌｂｅｒｔ
：
Ａ
ｓｉｍ
ｐ
ｌｅ
ａｎｄ
ｐ
ｅｒｆｏｒｍａｎｔ
ｂａｓｅｌｉｎｅ
ｆｏｒ
ｖｉｓｉｏｎ
ａｎｄ
ｌａｎ
－
ｇ
ｕａ
ｇ
ｅ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１９０８．０３５５７
，
２０１９．
［
３９
］
Ｌｉ
Ｇ
，
Ｄｕａｎ
Ｎ
，
Ｆａｎ
ｇ
Ｙ
，
ｅｔ
ａｌ．Ｕｎｉｃｏｄｅｒ
－
ｖｌ
：
Ａ
ｕｎｉｖｅｒ
－
ｓａｌ
ｅｎｃｏｄｅｒ
ｆｏｒ
ｖｉｓｉｏｎ
ａｎｄ
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
ｂ
ｙ
ｃｒｏｓｓ
－
ｍｏｄａｌ
ｐ
ｒｅ
－
ｔｒａｉｎｉｎ
ｇ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１９０８．０６０６６
，
２０１９．
［
４０
］
Ｓｕ
Ｗ
，
Ｚｈｕ
Ｘ
，
Ｃａｏ
Ｙ
，
ｅｔ
ａｌ．Ｖｌ
－
ｂｅｒｔ
：
Ｐｒｅ
－
ｔｒａｉｎｉｎ
ｇ
ｏｆ
ｇ
ｅｎｅｒｉｃ
ｖｉｓｕａｌ
－
ｌｉｎ
ｇ
ｕｉｓｔｉｃ
ｒｅ
ｐ
ｒｅｓｅｎｔａｔｉｏｎｓ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１９０８．０８５３０
，
２０１９．
［
４１
］
Ｌｕ
Ｊ
，
Ｂａｔｒａ
Ｄ
，
Ｐａｒｉｋｈ
Ｄ
，
ｅｔ
ａｌ．Ｖｉｌｂｅｒｔ
：
Ｐｔｒｅｔｒａｉｎｉｎ
ｇ
ｔａｓｋ
－
ａ
ｇ
ｎｏｓｔｉｃ
ｖｉｓｉｏｌｉｎ
ｇ
ｕｉｓｔｉｃ
ｒｅ
ｐ
ｒｅｓｅｎｔａｔｉｏｎｓ
ｆｏｒ
ｖｉｓｉｏｎ
－
ａｎｄ
－
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
ｔａｓｋｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ａｄｖａｎｃｅｓ
ｉｎ
Ｎｅｕｒａｌ
Ｉｎｆｏｒｍａｔｉｏｎ
Ｐｒｏｃｅｓｓｉｎ
ｇ
Ｓ
ｙ
ｓｔｅｍｓ
，
２０１９
：
１３
－
２３．
［
４２
］
Ｔａｎ
Ｈ
，
Ｂａｎｓａｌ
Ｍ．Ｌｘｍｅｒｔ
：
ｌｅａｒｎｉｎ
ｇ
ｃｒｏｓｓ
－
ｍｏｄａｌｉｔ
ｙ
ｅｎｃｏｄｅｒ
ｒｅ
ｐ
ｒｅｓｅｎｔａｔｉｏｎｓ
ｆｒｏｍ
ｔｒａｎｓｆｏｒｍｅｒｓ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１９０８．０７４９０
，
２０１９．
［
４３
］
Ｃｈｅｎ
Ｙ
Ｃ
，
Ｌｉ
Ｌ
，
Ｙｕ
Ｌ
，
ｅｔ
ａｌ．Ｕｎｉｔｅｒ
：
Ｌｅａｒｎｉｎ
ｇ
ｕｎｉ
－
ｖｅｒｓａｌ
ｉｍａ
ｇ
ｅ
－
ｔｅｘｔ
ｒｅ
ｐ
ｒｅｓｅｎｔａｔｉｏｎｓ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１９０９．１１７４０
，
２０１９．
［
４４
］
Ｒａｎｚａｔｏ
Ｍ
Ａ
，
Ｃｈｏ
ｐ
ｒａ
Ｓ
，
Ａｕｌｉ
Ｍ
，
ｅｔ
ａｌ．Ｓｅ
ｑ
ｕｅｎｃｅ
ｌｅｖｅｌ
ｔｒａｉｎｉｎ
ｇ
ｗｉｔｈ
ｒｅｃｕｒｒｅｎｔ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋｓ
［
Ｊ
］
．ａｒＸ
－
ｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１５１１．０６７３２
，
２０１５．
［
４５
］
Ｒｅｎｎｉｅ
Ｓ
Ｊ
，
Ｍａｒｃｈｅｒｅｔ
Ｅ
，
Ｍｒｏｕｅｈ
Ｙ
，
ｅｔ
ａｌ．Ｓｅｌｆ
－
ｃｒｉｔｉ
－
ｃａｌ
ｓｅ
ｑ
ｕｅｎｃｅ
ｔｒａｉｎｉｎ
ｇ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏ
－
ｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１７
：
７００８
－
７０２４．
［
４６
］
Ｚｈａｎ
ｇ
Ｌ
，
Ｓｕｎ
ｇ
Ｆ
，
Ｌｉｕ
Ｆ
，
ｅｔ
ａｌ．Ａｃｔｏｒ
－
ｃｒｉｔｉｃ
ｓｅ
ｑ
ｕｅｎｃｅ
ｔｒａｉｎｉｎ
ｇ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１７０６．０９６０１
，
２０１７．
［
４７
］
Ｖｉ
ｊ
ａ
ｙ
ａｋｕｍａｒ
Ａ
Ｋ
，
Ｃｏ
ｇ
ｓｗｅｌｌ
Ｍ
，
Ｓｅｌｖａｒａ
ｊ
ｕ
Ｒ
Ｒ
，
ｅｔ
ａｌ．
Ｄｉｖｅｒｓｅ
ｂｅａｍ
ｓｅａｒｃｈ
：
Ｄｅｃｏｄｉｎ
ｇ
ｄｉｖｅｒｓｅ
ｓｏｌｕｔｉｏｎｓ
ｆｒｏｍ
ｎｅｕｒａｌ
ｓｅ
ｑ
ｕｅｎｃｅ
ｍｏｄｅｌｓ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１６１０．
０２４２４
，
２０１６．
［
４８
］
Ｗａｎ
ｇ
Ｚ
，
Ｗｕ
Ｆ
，
Ｌｕ
Ｗ
，
ｅｔ
ａｌ．Ｄｉｖｅｒｓｅ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏ
－
ｎｉｎ
ｇ
ｖｉａ
ｇ
ｒｏｕ
ｐ
ｔａｌｋ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＪＣＡＩ
，
２０１６
：
２９５７
－
２９６４．
［
４９
］
Ｓｈｅｔｔ
ｙ
Ｒ
，
Ｒｏｈｒｂａｃｈ
Ｍ
，
Ａｎｎｅ
Ｈｅｎｄｒｉｃｋｓ
Ｌ
，
ｅｔ
ａｌ．
Ｓ
ｐ
ｅａｋｉｎ
ｇ
ｔｈｅ
ｓａｍｅ
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
：
Ｍａｔｃｈｉｎ
ｇ
ｍａｃｈｉｎｅ
ｔｏ
ｈｕｍａｎ
ｃａ
ｐ
ｔｉｏｎｓ
ｂ
ｙ
ａｄｖｅｒｓａｒｉａｌ
ｔｒａｉｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄ
－
ｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
－
２８
中文信息学报
２０２０
年
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
，
２０１７
：
４１３５
－
４１４４．
［
５０
］
Ｆａｎ
Ｚ
，
Ｗｅｉ
Ｚ
，
Ｌｉ
Ｐ
，
ｅｔ
ａｌ．Ａ
ｑ
ｕｅｓｔｉｏｎ
ｔ
ｙｐ
ｅ
ｄｒｉｖｅｎ
ｆｒａｍｅｗｏｒｋ
ｔｏ
ｄｉｖｅｒｓｉｆ
ｙ
ｖｉｓｕａｌ
ｑ
ｕｅｓｔｉｏｎ
ｇ
ｅｎｅｒａｔｉｏｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＪＣＡＩ
，
２０１８
：
４０４８
－
４０５４．
［
５１
］
Ｗａｎ
ｇ
Ｌ
，
Ｓｃｈｗｉｎ
ｇ
Ａ
，
Ｌａｚｅｂｎｉｋ
Ｓ．Ｄｉｖｅｒｓｅ
ａｎｄ
ａｃｃｕ
－
ｒａｔｅ
ｉｍａ
ｇ
ｅ
ｄｅｓｃｒｉ
ｐ
ｔｉｏｎ
ｕｓｉｎ
ｇ
ａ
ｖａｒｉａｔｉｏｎａｌ
ａｕｔｏ
－
ｅｎｃｏｄｅｒ
ｗｉｔｈ
ａｎ
ａｄｄｉｔｉｖｅ
ｇ
ａｕｓｓｉａｎ
ｅｎｃｏｄｉｎ
ｇ
ｓ
ｐ
ａｃｅ
［
Ｃ
］／／
Ｐｒｏ
－
ｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ａｄｖａｎｃｅｓ
ｉｎ
Ｎｅｕｒａｌ
Ｉｎｆｏｒｍａｔｉｏｎ
Ｐｒｏ
－
ｃｅｓｓｉｎ
ｇ
Ｓ
ｙ
ｓｔｅｍｓ
，
２０１７
：
５７５６
－
５７６６．
［
５２
］
Ｃｈｅｎ
Ｆ
，
Ｊｉ
Ｒ
，
Ｊｉ
Ｊ
，
ｅｔ
ａｌ．Ｖａｒｉａｔｉｏｎａｌ
ｓｔｒｕｃｔｕｒｅｄ
ｓｅ
－
ｍａｎｔｉｃ
ｉｎｆｅｒｅｎｃｅ
ｆｏｒ
ｄｉｖｅｒｓｅ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ａｄｖａｎｃｅｓ
ｉｎ
Ｎｅｕｒａｌ
Ｉｎｆｏｒｍａｔｉｏｎ
Ｐｒｏｃｅｓｓｉｎ
ｇ
Ｓ
ｙ
ｓｔｅｍｓ
，
２０１９
：
１９２９
－
１９３９．
［
５３
］
Ｄａｉ
Ｂ
，
Ｆｉｄｌｅｒ
Ｓ
，
Ｕｒｔａｓｕｎ
Ｒ
，
ｅｔ
ａｌ．Ｔｏｗａｒｄｓ
ｄｉｖｅｒｓｅ
ａｎｄ
ｎａｔｕｒａｌ
ｉｍａ
ｇ
ｅ
ｄｅｓｃｒｉ
ｐ
ｔｉｏｎｓ
ｖｉａ
ａ
ｃｏｎｄｉｔｉｏｎａｌ
ｇ
ａｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ｃｏｎｆｅｒ
－
ｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
，
２０１７
：
２９７０
－
２９７９．
［
５４
］
Ｌｉ
Ｄ
，
Ｈｕａｎ
ｇ
Ｑ
，
Ｈｅ
Ｘ
，
ｅｔ
ａｌ．Ｇｅｎｅｒａｔｉｎ
ｇ
ｄｉｖｅｒｓｅ
ａｎｄ
ａｃｃｕｒａｔｅ
ｖｉｓｕａｌ
ｃａ
ｐ
ｔｉｏｎｓ
ｂ
ｙ
ｃｏｍ
ｐ
ａｒａｔｉｖｅ
ａｄｖｅｒｓａｒｉａｌ
ｌｅａｒｎｉｎ
ｇ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１８０４．００８６１
，
２０１８．
［
５５
］
Ｌｉ
Ｊ
，
Ｇａｌｌｅ
ｙ
Ｍ
，
Ｂｒｏｃｋｅｔｔ
Ｃ
，
ｅｔ
ａｌ．Ａ
ｄｉｖｅｒｓｉｔ
ｙ
－
ｐ
ｒｏｍｏ
－
ｔｉｎ
ｇ
ｏｂ
ｊ
ｅｃｔｉｖｅ
ｆｕｎｃｔｉｏｎ
ｆｏｒ
ｎｅｕｒａｌ
ｃｏｎｖｅｒｓａｔｉｏｎ
ｍｏｄｅｌｓ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１５１０．０３０５５
，
２０１５．
［
５６
］
Ｙｏｕｎ
ｇ
Ｐ
，
Ｌａｉ
Ａ
，
Ｈｏｄｏｓｈ
Ｍ
，
ｅｔ
ａｌ．Ｆｒｏｍ
ｉｍａ
ｇ
ｅ
ｄｅ
－
ｓｃｒｉ
ｐ
ｔｉｏｎｓ
ｔｏ
ｖｉｓｕａｌ
ｄｅｎｏｔａｔｉｏｎｓ
：
Ｎｅｗ
ｓｉｍｉｌａｒｉｔ
ｙ
ｍｅｔ
－
ｒｉｃｓ
ｆｏｒ
ｓｅｍａｎｔｉｃ
ｉｎｆｅｒｅｎｃｅ
ｏｖｅｒ
ｅｖｅｎｔ
ｄｅｓｃｒｉ
ｐ
ｔｉｏｎｓ
［
Ｊ
］
．
Ｔｒａｎｓａｃｔｉｏｎｓ
ｏｆ
ｔｈｅ
Ａｓｓｏｃｉａｔｉｏｎ
ｆｏｒ
Ｃｏｍ
ｐ
ｕｔａｔｉｏｎａｌ
Ｌｉｎ
ｇ
ｕｉｓｔｉｃｓ
，
２０１４
，
２
：
６７
－
７８．
［
５７
］
Ｐｌｕｍｍｅｒ
Ｂ
Ａ
，
Ｗａｎ
ｇ
Ｌ
，
Ｃｅｒｖａｎｔｅｓ
Ｃ
Ｍ
，
ｅｔ
ａｌ．
Ｆｌｉｃｋｒ３０ｋｅｎｔｉｔｉｅｓ
：
ｃｏｌｌｅｃｔｉｎ
ｇ
ｒｅ
ｇ
ｉｏｎ
－
ｔｏ
－
ｐ
ｈｒａｓｅ
ｃｏｒｒｅ
－
ｓ
ｐ
ｏｎｄｅｎｃｅｓ
ｆｏｒ
ｒｉｃｈｅｒ
ｉｍａ
ｇ
ｅ
－
ｔｏ
－
ｓｅｎｔｅｎｃｅ
ｍｏｄｅｌｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
，
２０１５
：
２６４１
－
２６４９．
［
５８
］
Ｌｉｎ
Ｔ
Ｙ
，
Ｍａｉｒｅ
Ｍ
，
Ｂｅｌｏｎ
ｇ
ｉｅ
Ｓ
，
ｅｔ
ａｌ．Ｍｉｃｒｏｓｏｆｔ
ｃｏ
－
ｃｏ
：
Ｃｏｍｍｏｎ
ｏｂ
ｊ
ｅｃｔｓ
ｉｎ
ｃｏｎｔｅｘｔ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ｅｕｒｏ
ｐ
ｅａｎ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ．
Ｓ
ｐ
ｒｉｎ
ｇ
ｅｒ
，
Ｃｈａｍ
，
２０１４
：
７４０
－
７５５．
［
５９
］
Ｄｅｎ
ｇ
Ｊ
，
Ｄｏｎ
ｇ
Ｗ
，
Ｓｏｃｈｅｒ
Ｒ
，
ｅｔ
ａｌ．Ｉｍａ
ｇ
ｅｎｅｔ
：
Ａ
ｌａｒ
ｇ
ｅ
－
ｓｃａｌｅ
ｈｉｅｒａｒｃｈｉｃａｌ
ｉｍａ
ｇ
ｅ
ｄａｔａｂａｓｅ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄ
－
ｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
２００９ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉ
－
ｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２００９
：
２４８
－
２５５．
［
６０
］
Ｋｒｉｓｈｎａ
Ｒ
，
Ｚｈｕ
Ｙ
，
Ｇｒｏｔｈ
Ｏ
，
ｅｔ
ａｌ．Ｖｉｓｕａｌ
ｇ
ｅｎｏｍｅ
：
Ｃｏｎｎｅｃｔｉｎ
ｇ
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
ａｎｄ
ｖｉｓｉｏｎ
ｕｓｉｎ
ｇ
ｃｒｏｗｄｓｏｕｒｃｅｄ
ｄｅｎｓｅ
ｉｍａ
ｇ
ｅ
ａｎｎｏｔａｔｉｏｎｓ
［
Ｊ
］
．Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ｊｏｕｒｎａｌ
ｏｆ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
，
２０１７
，
１２３
（
１
）：
３２
－
７３．
［
６１
］
Ｇｒｕｂｉｎ
ｇ
ｅｒ
Ｍ
，
Ｃｌｏｕ
ｇ
ｈ
Ｐ
，
Ｍüｌｌｅｒ
Ｈ
，
ｅｔ
ａｌ．Ｔｈｅ
ｉａ
ｐ
ｒ
ｔｃ
－
１２ｂｅｎｃｈｍａｒｋ
：
Ａ
ｎｅｗ
ｅｖａｌｕａｔｉｏｎ
ｒｅｓｏｕｒｃｅ
ｆｏｒ
ｖｉｓｕ
－
ａｌ
ｉｎｆｏｒｍａｔｉｏｎ
ｓ
ｙ
ｓｔｅｍｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ｉｎｔｅｒ
－
ｎａｔｉｏｎａｌ
Ｗｏｒｋｓｈｏ
ｐ
ｏｎｔｏ
Ｉｍａ
ｇ
ｅ
，
２００６
：
１３
－
２２．
［
６２
］
Ｅｓｃａｌａｎｔｅ
Ｈ
Ｊ
，
Ｈｅｒｎáｎｄｅｚ
Ｃ
Ａ
，
Ｇｏｎｚａｌｅｚ
Ｊ
Ａ
，
ｅｔ
ａｌ．
Ｔｈｅ
ｓｅ
ｇ
ｍｅｎｔｅｄ
ａｎｄ
ａｎｎｏｔａｔｅｄｉａ
ｐ
ｒ
ｔｃ
－
１２ｂｅｎｃｈｍａｒｋ
［
Ｊ
］
．Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｉｍａ
ｇ
ｅ
Ｕｎｄｅｒｓｔａｎｄｉｎ
ｇ
，
２０１０
，
１１４
（
４
）：
４１９
－
４２８．
［
６３
］
Ｋａｚｅｍｚａｄｅｈ
Ｓ
，
Ｏｒｄｏｎｅｚ
Ｖ
，
Ｍａｔｔｅｎ
Ｍ
，
ｅｔ
ａｌ．Ｒｅｆｅｒｉｔ
－
ｇ
ａｍｅ
：
Ｒｅｆｅｒｒｉｎ
ｇ
ｔｏ
ｏｂ
ｊ
ｅｃｔｓ
ｉｎ
ｐ
ｈｏｔｏ
ｇ
ｒａ
ｐ
ｈｓ
ｏｆ
ｎａｔｕｒａｌ
ｓｃｅｎｅｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
２０１４Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｅｍ
ｐ
ｉｒｉｃａｌ
Ｍｅｔｈｏｄｓ
ｉｎ
Ｎａｔｕｒａｌ
Ｌａｎ
ｇ
ｕａ
ｇ
ｅ
Ｐｒｏｃｅｓｓｉｎ
ｇ
（
ＥＭＮＬＰ
），
２０１４
：
７８７
－
７９８．
［
６４
］
Ｔｒａｎ
Ｋ
，
Ｈｅ
Ｘ
，
Ｚｈａｎ
ｇ
Ｌ
，
ｅｔ
ａｌ．Ｒｉｃｈ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏ
－
ｎｉｎ
ｇ
ｉｎ
ｔｈｅ
ｗｉｌｄ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎ
－
ｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
Ｗｏｒｋｓｈｏ
ｐ
ｓ
，
２０１６
：
４９
－
５６．
［
６５
］
Ｃｈｕｎｓｅｏｎ
ｇ
Ｐａｒｋ
Ｃ
，
Ｋｉｍ
Ｂ
，
Ｋｉｍ
Ｇ．Ａｔｔｅｎｄ
ｔｏ
ｙ
ｏｕ
：
Ｐｅｒｓｏｎａｌｉｚｅｄ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
ｗｉｔｈ
ｃｏｎｔｅｘｔ
ｓｅ
ｑ
ｕｅｎｃｅ
ｍｅｍｏｒ
ｙ
ｎｅｔｗｏｒｋｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉ
－
ｔｉｏｎ
，
２０１７
：
８９５
－
９０３．
［
６６
］
Ｗａｎ
ｇ
Ｙ
，
Ｌｉｎ
Ｚ
，
Ｓｈｅｎ
Ｘ
，
ｅｔ
ａｌ．Ｓｋｅｌｅｔｏｎ
ｋｅ
ｙ
：
Ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
ｂ
ｙ
ｓｋｅｌｅｔｏｎ
－
ａｔｔｒｉｂｕｔｅ
ｄｅｃｏｍ
ｐ
ｏｓｉｔｉｏｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉ
－
ｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１７
：
７２７２
－
７２８１．
［
６７
］
Ｂ
ｙ
ｃｈｋｏｖｓｋ
ｙ
Ｖ
，
Ｐａｒｉｓ
Ｓ
，
Ｃｈａｎ
Ｅ
，
ｅｔ
ａｌ．Ｌｅａｒｎｉｎ
ｇ
ｐ
ｈｏ
－
ｔｏ
ｇ
ｒａ
ｐ
ｈｉｃ
ｇ
ｌｏｂａｌ
ｔｏｎａｌ
ａｄ
ｊ
ｕｓｔｍｅｎｔ
ｗｉｔｈ
ａ
ｄａｔａｂａｓｅ
ｏｆ
ｉｎ
ｐ
ｕｔ
／
ｏｕｔ
ｐ
ｕｔ
ｉｍａ
ｇ
ｅ
ｐ
ａｉｒｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＣＶＰＲ．ＩＥＥＥ
，
２０１１
：
９７
－
１０４．
［
６８
］
Ｇａｎ
Ｃ
，
Ｇａｎ
Ｚ
，
Ｈｅ
Ｘ
，
ｅｔ
ａｌ．Ｓｔ
ｙ
ｌｅｎｅｔ
：
Ｇｅｎｅｒａｔｉｎ
ｇ
ａｔ
－
ｔｒａｃｔｉｖｅ
ｖｉｓｕａｌ
ｃａ
ｐ
ｔｉｏｎｓ
ｗｉｔｈ
ｓｔ
ｙ
ｌｅｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａ
－
ｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１７
：
３１３７
－
３１４６．
［
６９
］
Ｗａｎ
ｇ
Ｘ
，
Ｃｈｅｎ
Ｗ
，
Ｗａｎ
ｇ
Ｙ
Ｆ
，
ｅｔ
ａｌ．Ｎｏ
ｍｅｔｒｉｃｓ
ａｒｅ
ｐ
ｅｒｆｅｃｔ
：
Ａｄｖｅｒｓａｒｉａｌ
ｒｅｗａｒｄ
ｌｅａｒｎｉｎ
ｇ
ｆｏｒ
ｖｉｓｕａｌ
ｓｔｏｒ
ｙ
－
ｔｅｌｌｉｎ
ｇ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１８０４．０９１６０
，
２０１８．
［
７０
］
Ｆａｎ
Ｚ
，
Ｗｅｉ
Ｚ
，
Ｗａｎ
ｇ
Ｓ
，
ｅｔ
ａｌ．Ｂｒｉｄ
ｇ
ｉｎ
ｇ
ｂ
ｙ
ｗｏｒｄ
：
Ｉｍ
－
ａ
ｇ
ｅ
ｇ
ｒｏｕｎｄｅｄ
ｖｏｃａｂｕｌａｒ
ｙ
ｃｏｎｓｔｒｕｃｔｉｏｎ
ｆｏｒ
ｖｉｓｕａｌ
ｃａ
ｐ
－
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
５７ｔｈ
Ａｎｎｕａｌ
Ｍｅｅｔｉｎ
ｇ
ｏｆ
ｔｈｅ
Ａｓｓｏｃｉａｔｉｏｎ
ｆｏｒ
Ｃｏｍ
ｐ
ｕｔａｔｉｏｎａｌ
Ｌｉｎ
ｇ
ｕｉｓｔｉｃｓ
，
２０１９
：
６５１４
－
６５２４．
［
７１
］
Ｌｉｎ
Ｃ
Ｙ
，
Ｈｏｖ
ｙ
Ｅ．Ａｕｔｏｍａｔｉｃ
ｅｖａｌｕａｔｉｏｎ
ｏｆ
ｓｕｍｍａ
－
ｒｉｅｓ
ｕｓｉｎ
ｇ
ｎ
－
ｇ
ｒａｍ
ｃｏ
－
ｏｃｃｕｒｒｅｎｃｅ
ｓｔａｔｉｓｔｉｃｓ
［
Ｃ
］／／
Ｐｒｏ
－
ｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
２００３Ｈｕｍａｎ
Ｌａｎ
ｇ
ｕａ
ｇ
ｅ
Ｔｅｃｈｎｏｌｏ
ｇｙ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｆ
ｔｈｅ
Ｎｏｒｔｈ
Ａｍｅｒｉｃａｎ
Ｃｈａ
ｐ
ｔｅｒ
ｏｆ
ｔｈｅ
Ａｓ
－
ｓｏｃｉａｔｉｏｎ
ｆｏｒ
Ｃｏｍ
ｐ
ｕｔａｔｉｏｎａｌ
Ｌｉｎ
ｇ
ｕｉｓｔｉｃｓ
，
２００３
：
１５０
－
１５７．
［
７２
］
Ｐａ
ｐ
ｉｎｅｎｉ
Ｋ
，
Ｒｏｕｋｏｓ
Ｓ
，
Ｗａｒｄ
Ｔ
，
ｅｔ
ａｌ．Ｂｌｅｕ
：
ａ
ｍｅｔｈ
－
ｏｄ
ｆｏｒ
ａｕｔｏｍａｔｉｃ
ｅｖａｌｕａｔｉｏｎ
ｏｆ
ｍａｃｈｉｎｅ
ｔｒａｎｓｌａｔｉｏｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
４０ｔｈ
Ａｎｎｕａｌ
Ｍｅｅｔｉｎ
ｇ
ｏｎ
Ａｓ
－
ｓｏｃｉａｔｉｏｎ
ｆｏｒ
Ｃｏｍ
ｐ
ｕｔａｔｉｏｎａｌ
Ｌｉｎ
ｇ
ｕｉｓｔｉｃｓ．Ａｓｓｏｃｉａｔｉｏｎ
ｆｏｒ
Ｃｏｍ
ｐ
ｕｔａｔｉｏｎａｌ
Ｌｉｎ
ｇ
ｕｉｓｔｉｃｓ
，
２００２
：
３１１
－
３１８．
［
７３
］
Ｖｅｄａｎｔａｍ
Ｒ
，
Ｌａｗｒｅｎｃｅ
Ｚｉｔｎｉｃｋ
Ｃ
，
Ｐａｒｉｋｈ
Ｄ．Ｃｉｄｅｒ
：
ｃｏｎｓｅｎｓｕｓ
－
ｂａｓｅｄ
ｉｍａ
ｇ
ｅ
ｄｅｓｃｒｉ
ｐ
ｔｉｏｎ
ｅｖａｌｕａｔｉｏｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉ
－
ｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１５
：
４５６６
－
４５７５．
７
期魏忠钰等
：
从视觉到文本
：
图像描述生成的研究进展综述
２９
［
７４
］
Ｂａｎｅｒ
ｊ
ｅｅ
Ｓ
，
Ｌａｖｉｅ
Ａ．Ｍｅｔｅｏｒ
：
Ａｎ
ａｕｔｏｍａｔｉｃ
ｍｅｔｒｉｃ
ｆｏｒ
ｍｔ
ｅｖａｌｕａｔｉｏｎ
ｗｉｔｈ
ｉｍ
ｐ
ｒｏｖｅｄ
ｃｏｒｒｅｌａｔｉｏｎ
ｗｉｔｈ
ｈｕ
－
ｍａｎ
ｊ
ｕｄ
ｇ
ｍｅｎｔｓ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＡＣＬ
Ｗｏｒｋ
－
ｓｈｏ
ｐ
ｏｎ
Ｉｎｔｒｉｎｓｉｃ
ａｎｄ
Ｅｘｔｒｉｎｓｉｃ
Ｅｖａｌｕａｔｉｏｎ
Ｍｅａｓｕｒｅｓ
ｆｏｒ
Ｍａｃｈｉｎｅ
Ｔｒａｎｓｌａｔｉｏｎ
ａｎｄ
／
ｏｒ
Ｓｕｍｍａｒｉｚａｔｉｏｎ
，
２００５
：
６５
－
７２．
［
７５
］
Ａｎｄｅｒｓｏｎ
Ｐ
，
Ｆｅｒｎａｎｄｏ
Ｂ
，
Ｊｏｈｎｓｏｎ
Ｍ
，
ｅｔ
ａｌ．Ｓ
ｐ
ｉｃｅ
：
ｓｅｍａｎｔｉｃ
ｐ
ｒｏ
ｐ
ｏｓｉｔｉｏｎａｌ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎ
ｅｖａｌｕａｔｉｏｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
Ｅｕｒｏ
ｐ
ｅａｎ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ．Ｓ
ｐ
ｒｉｎ
ｇ
ｅｒ
，
Ｃｈａｍ
，
２０１６
：
３８２
－
３９８．
［
７６
］
Ｃｕｉ
Ｙ
，
Ｙａｎ
ｇ
Ｇ
，
Ｖｅｉｔ
Ａ
，
ｅｔ
ａｌ．Ｌｅａｒｎｉｎ
ｇ
ｔｏ
ｅｖａｌｕａｔｅ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎ
－
ｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１８
：
５８０４
－
５８１２．
［
７７
］
Ｊｉａｎ
ｇ
Ｍ
，
Ｈｕａｎ
ｇ
Ｑ
，
Ｚｈａｎ
ｇ
Ｌ
，
ｅｔ
ａｌ．Ｔｉ
ｇ
ｅｒ
：
Ｔｅｘｔ
－
ｔｏ
－
ｉｍａ
ｇ
ｅ
ｇ
ｒｏｕｎｄｉｎ
ｇ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎ
ｅｖａｌｕａｔｉｏｎ
［
Ｊ
］
．
ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１９０９．０２０５０
，
２０１９．
［
７８
］
Ｍａｏ
Ｊ
，
Ｘｕ
Ｗ
，
Ｙａｎ
ｇ
Ｙ
，
ｅｔ
ａｌ．Ｄｅｅ
ｐ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
ｗｉｔｈ
ｍｕｌｔｉｍｏｄａｌ
ｒｅｃｕｒｒｅｎｔ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋｓ
（
ｍ
－
ＲＮＮ
）［
Ｊ
］
．
ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１４１２．６６３２
，
２０１４．
［
７９
］
Ｄｏｎａｈｕｅ
Ｊ
，
Ｈｅｎｄｒｉｃｋｓ
Ｌ
Ａ
，
Ｒｏｈｒｂａｃｈ
Ｍ
，
ｅｔ
ａｌ．
Ｌｏｎ
ｇ
－
ｔｅｒｍ
ｒｅｃｕｒｒｅｎｔ
ｃｏｎｖｏｌｕｔｉｏｎａｌ
ｎｅｔｗｏｒｋｓ
ｆｏｒ
ｖｉｓｕ
－
ａｌ
ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
ａｎｄ
ｄｅｓｃｒｉ
ｐ
ｔｉｏｎ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１５
：
２６２５
－
２６３４．
［
８０
］
Ｌｕ
Ｊ
，
Ｘｉｏｎ
ｇ
Ｃ
，
Ｐａｒｉｋｈ
Ｄ
，
ｅｔ
ａｌ．Ｋｎｏｗｉｎ
ｇ
ｗｈｅｎ
ｔｏ
魏忠钰
（
１９８７
—），
博士
，
副教授
，
主要研究领域为
跨视觉文本的相关研究
、
论辩挖掘
、
机器学习
、
强
化学习
。
Ｅ
－
ｍａｉｌ
：
ｚ
ｙ
ｗｅｉ
＠
ｆｕｄａｎ．ｅｄｕ．ｃｎ
王瑞泽
（
１９９６
—），
硕士研究生
，
主要研究领域为
跨视觉文本的相关研究
。
Ｅ
－
ｍａｉｌ
：
ｒｚｗａｎ
ｇ
１８
＠
ｆｕｄａｎ．ｅｄｕ．ｃｎ
ｌｏｏｋ
：
Ａｄａ
ｐ
ｔｉｖｅ
ａｔｔｅｎｔｉｏｎ
ｖｉａ
ａ
ｖｉｓｕａｌ
ｓｅｎｔｉｎｅｌ
ｆｏｒ
ｉｍ
－
ａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒ
－
ｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１７
：
３７５
－
３８３．
［
８１
］
Ｇｕ
Ｊ
，
Ｃａｉ
Ｊ
，
Ｗａｎ
ｇ
Ｇ
，
ｅｔ
ａｌ．Ｓｔａｃｋ
－
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
：
ｃｏａｒｓｅ
－
ｔｏ
－
ｆｉｎｅ
ｌｅａｒｎｉｎ
ｇ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄ
－
ｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
３２ｎｄ
ＡＡＡＩ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ａｒｔｉｆｉｃｉａｌ
Ｉｎｔｅｌ
－
ｌｉ
ｇ
ｅｎｃｅ
，
２０１８．
［
８２
］
Ｈｕａｎ
ｇ
Ｌ
，
Ｗａｎ
ｇ
Ｗ
，
Ｃｈｅｎ
Ｊ
，
ｅｔ
ａｌ．Ａｔｔｅｎｔｉｏｎ
ｏｎ
ａｔ
－
ｔｅｎｔｉｏｎ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
，
２０１９
：
４６３４
－
４６４３．
［
８３
］
Ｙａｎ
ｇ
Ｘ
，
Ｔａｎ
ｇ
Ｋ
，
Ｚｈａｎ
ｇ
Ｈ
，
ｅｔ
ａｌ．Ａｕｔｏ
－
ｅｎｃｏｄｉｎ
ｇ
ｓｃｅｎｅ
ｇ
ｒａ
ｐ
ｈｓ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａ
－
ｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１９
：
１０６８５
－
１０６９４．
［
８４
］
Ｓａｍｍａｎｉ
Ｆ
，
Ｍｅｌａｓ
－
Ｋ
ｙ
ｒｉａｚｉ
Ｌ．Ｓｈｏｗ
，
ｅｄｉｔ
ａｎｄ
ｔｅｌｌ
：
ａ
ｆｒａｍｅｗｏｒｋ
ｆｏｒ
ｅｄｉｔｉｎ
ｇ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｓ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
－
ｐ
ｒｉｎｔ
：
２００３．０３１０７
，
２０２０．
［
８５
］
Ｚｈｏｕ
Ｌ
，
Ｐａｌａｎ
ｇ
ｉ
Ｈ
，
Ｚｈａｎ
ｇ
Ｌ
，
ｅｔ
ａｌ．Ｕｎｉｆｉｅｄ
ｖｉｓｉｏｎ
－
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
ｐ
ｒｅ
－
ｔｒａｉｎｉｎ
ｇ
ｆｏｒ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
ａｎｄ
ｖ
ｑ
ａ
［
Ｊ
］
．ａｒＸｉｖ
ｐ
ｒｅ
ｐ
ｒｉｎｔ
：
１９０９．１１０５９
，
２０１９．
［
８６
］
Ｆｅｎ
ｇ
Ｙ
，
Ｍａ
Ｌ
，
Ｌｉｕ
Ｗ
，
ｅｔ
ａｌ．Ｕｎｓｕ
ｐ
ｅｒｖｉｓｅｄ
ｉｍａ
ｇ
ｅ
ｃａ
ｐ
ｔｉｏｎｉｎ
ｇ
［
Ｃ
］／／
Ｐｒｏｃｅｅｄｉｎ
ｇ
ｓ
ｏｆ
ｔｈｅ
ＩＥＥＥ
Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ａｎｄ
Ｐａｔｔｅｒｎ
Ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
２０１９
：
４１２５
－
４１３４．
范智昊
（
１９９６
—），
硕士研究生
，
主要研究领域为
跨视觉文本的相关研究
。
Ｅ
－
ｍａｉｌ
：
ｆａｎｚｈ１８
＠
ｆｕｄａｎ．ｅｄｕ．ｃｎ
版权声明：本文标题：从视觉到文本图像描述生成的研究进展综述 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/p/1712895084a611270.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论