登录 | 注册 | 充值 | 退出 | 公司首页 | 繁体中文 | 满意度调查
综合馆
基于深度神经网络的图像碎片化信息问答算法
  • 摘要

    大量结构无序、内容片面的碎片化信息以文本、图像、视频、网页等不同模态的形式,高度分散存储在不同数据源中,现有的研究通过构建视觉问答系统(visual question answering,VQA),实现对多模态碎片化信息的提取、表达和理解.视觉问答任务给定与图像相关的一个问题,推理相应的答案.在视觉问答任务的基本背景下,以设计出完备的图像碎片化信息问答的框架与算法为目标,重点研究包括图像特征提取、问题文本特征提取、多模态特征融合和答案推理的模型与算法.构建深度神经网络模型提取用于表示图像与问题信息的特征,结合注意力机制与变分推断方法关联图像与问题2种模态特征并推理答案.实验结果表明:该模型能够有效提取和理解多模态碎片化信息,并提高视觉问答任务的准确率.

  • 作者

    王一蕾  卓一帆  吴英杰  陈铭钦  Wang Yilei  Zhuo Yifan  Wu Yingjie  Chen Mingqin 

  • 作者单位

    福州大学数学与计算机科学学院 福州 350108

  • 刊期

    2018年12期 ISTIC EI PKU

  • 关键词

    人工智能  碎片化信息  神经网络  深度学习  视觉问答 

相似文献 查看更多>>
54.227.76.35