admin 管理员组

文章数量: 1184232

阅读小结：A Comprehensive Study of Deep Learning for Image Captioning

  • What

作者：

题目：A Comprehensive Study of Deep Learning for Image Captioning

出处：arXiv:1810.04020v2 [cs.CV] 14 Oct 2018

What

这是Image Captioning 领域的最新review，感觉非常好。

首先，做Cap的大概分三个类别：

  1. Temple-based Image Cap
  2. Retrieval-based Image Cap
  3. Novel image caption generation

而，DL-based是第三类 Novel Image Caption Generation的一种。基于深度学习的Cap是目前做的最多的一个方向，像我这样的渣渣跟大佬后面慢慢学、慢慢做吧。

基于深度学习的Cap方法总结：看看作者的总结图。论文的主体也是分6个部分详细介绍。

1. Visual Space vs. Multimodal Space

Bulk of Cap methods 使用的都是 visual space 生成cap。下面2-5都是基于视觉空间生成Cap的。

而 Multimodal Space 多了Language Encoder来提取单词的特征。典型的 多模态空间 结构有四个部分：

  • a Language Encoder part：提取单词特征并学习每个单词的特征嵌入；
  • a vision part，即Image Encoder部分：使用深度CNN提取图像的特征；
  • a multimodal space part：将图像特征映射到（map-into）具有单词特征的公共空间；
  • a language decoder part：通过解码map生成Cap。

2. Supervised Learning vs. Other Deep Learning

3. Dense Captioning vs. Captions for the whole scene

说完基于多模态的Cap和dense Cap，下面的都是基于视觉空间、使用监督学和整个区域生成Cap

4. Encoder-Decoder Architecture vs. Compositional Architecture


5. Others（attention-based）

基于Attention的方法和其他方法的不同点是，attention-based可以注意到图片中的显著部分，同时生成相应的单词。

5. Others（Semantic Concept-Based Image）

5. Others（Semantic Concept-Based Image）


5. Other（Stylized Caption）
上面的的方法都是基于图片内容生产Cap，是一种力求Cap符合图片内容的客观描述，而这个方法考虑生产一直风格化的Cap，比如上次幽默、搞笑等等。

这篇综述后面还有内容，放在以后再写。

end

本文标签： 小结 Study Comprehensive deep Image

版权声明：本文标题：阅读小结：A Comprehensive Study of Deep Learning for Image Captioning 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1758732928a3089815.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。