登录 | 注册 | 充值 | 退出 | 公司首页 | 繁体中文 | 满意度调查
综合馆
基于多注意力多尺度特征融合的图像描述生成算法
  • 摘要

    针对图像描述生成中对图像细节表述质量不高、图像特征利用不充分、循环神经网络层次单一等问题,提出基于多注意力、多尺度特征融合的图像描述生成算法.该算法使用经过预训练的目标检测网络来提取图像在卷积神经网络不同层上的特征,将图像特征分层输入多注意力结构中,依次将多注意力结构与多层循环神经网络相连,构造出多层次的图像描述生成网络模型.在多层循环神经网络中加入残差连接来提高网络性能,并且可以有效避免因为网络加深导致的网络退化问题.在MSCOCO测试集中,所提算法的BLEU-1和CIDEr得分分别可以达到0.804及1.167,明显优于基于单一注意力结构的自上而下图像描述生成算法;通过人工观察对比可知,所提算法生成的图像描述可以表现出更好的图像细节.

  • 作者

    陈龙杰  张钰  张玉梅  吴晓军  CHEN Longjie  ZHANG Yu  ZHANG Yumei  WU Xiaojun 

  • 作者单位

    现代教学技术教育部重点实验室(陕西师范大学),西安710062;陕西省教学信息技术工程实验室(陕西师范大学),西安710119;文化教育智慧传播工程技术研究中心(陕西师范大学),西安710119;陕西师范大学计算机科学学院,西安710119

  • 刊期

    2019年2期 ISTIC PKU

  • 关键词

    长短期记忆网络  图像描述  多注意力机制  多尺度特征融合  深度神经网络 

相似文献 查看更多>>
18.208.159.25