基于自注意力机制的多视图三维重建方法

IF 0.9 4区 物理与天体物理 Q4 ENGINEERING, ELECTRICAL & ELECTRONIC
朱光照 Zhu Guangzhao, 韦博 Wei Bo, 杨阿峰 Yang Afeng, 徐欣 Xu Xin
{"title":"基于自注意力机制的多视图三维重建方法","authors":"朱光照 Zhu Guangzhao, 韦博 Wei Bo, 杨阿峰 Yang Afeng, 徐欣 Xu Xin","doi":"10.3788/lop222692","DOIUrl":null,"url":null,"abstract":"多视图立体匹配是计算机视觉领域的一大研究热点,针对目前多视图立体重建完整性差、无法处理高分辨率图像和GPU内存消耗巨大、运行时间长等问题,提出一种基于自注意力机制的深度学习网络(SA-PatchmatchNet)。首先通过特征提取模块提取图像特征,再将其送入可学习的Patchmatch模块中,得到深度图,并对深度图进行优化,生成最终的深度图。为了捕捉深度推理任务中的重要信息,将自注意力机制融入到特征提取模块,提高了网络的特征提取能力。实验结果表明,SA-PatchmatchNet在Technical University of Denmark(DTU)数据集上进行测试,与PatchmatchNet相比,重建的完整性提升5.8%,整体性提升2.3%,与其他的state-of-the-art(SOTA)方法相比,完整性和整体性都得到了较大的提升。","PeriodicalId":51502,"journal":{"name":"激光与光电子学进展","volume":"41 1","pages":"0"},"PeriodicalIF":0.9000,"publicationDate":"2023-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"激光与光电子学进展","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.3788/lop222692","RegionNum":4,"RegionCategory":"物理与天体物理","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"Q4","JCRName":"ENGINEERING, ELECTRICAL & ELECTRONIC","Score":null,"Total":0}
引用次数: 0

Abstract

多视图立体匹配是计算机视觉领域的一大研究热点,针对目前多视图立体重建完整性差、无法处理高分辨率图像和GPU内存消耗巨大、运行时间长等问题,提出一种基于自注意力机制的深度学习网络(SA-PatchmatchNet)。首先通过特征提取模块提取图像特征,再将其送入可学习的Patchmatch模块中,得到深度图,并对深度图进行优化,生成最终的深度图。为了捕捉深度推理任务中的重要信息,将自注意力机制融入到特征提取模块,提高了网络的特征提取能力。实验结果表明,SA-PatchmatchNet在Technical University of Denmark(DTU)数据集上进行测试,与PatchmatchNet相比,重建的完整性提升5.8%,整体性提升2.3%,与其他的state-of-the-art(SOTA)方法相比,完整性和整体性都得到了较大的提升。
基于自注意力机制的多视图三维重建方法
多视图立体匹配是计算机视觉领域的一大研究热点,针对目前多视图立体重建完整性差、无法处理高分辨率图像和GPU内存消耗巨大、运行时间长等问题,提出一种基于自注意力机制的深度学习网络(SA-PatchmatchNet)。首先通过特征提取模块提取图像特征,再将其送入可学习的Patchmatch模块中,得到深度图,并对深度图进行优化,生成最终的深度图。为了捕捉深度推理任务中的重要信息,将自注意力机制融入到特征提取模块,提高了网络的特征提取能力。实验结果表明,SA-PatchmatchNet在Technical University of Denmark(DTU)数据集上进行测试,与PatchmatchNet相比,重建的完整性提升5.8%,整体性提升2.3%,与其他的state-of-the-art(SOTA)方法相比,完整性和整体性都得到了较大的提升。
本文章由计算机程序翻译,如有差异,请以英文原文为准。
求助全文
约1分钟内获得全文 求助全文
来源期刊
CiteScore
1.60
自引率
50.00%
发文量
18006
期刊介绍: Laser & Optoelectronics Progress, the first laser and optoelectronics journal published in China. The main columns include general, lasers and laser optics, fiber optics and optical communications, optical design and fabrication, materials, image processing, imaging systems, optical devices, remote sensing and sensors, atmospheric optics and oceanic optics, diffraction and gratings, atomic and molecular physics, detectors, thin films, ultrafast optics, etc. The journal is included in ESCI, INSPEC, Scopus, CSCD, Chinese Core Journals, Chinese Science and Technology Core Journals, and T2 level of the Classified Catalogue of High Quality Science and Technology Journals in Optical Engineering and Optical Fields, and other databases.
×
引用
GB/T 7714-2015
复制
MLA
复制
APA
复制
导出至
BibTeX EndNote RefMan NoteFirst NoteExpress
×
提示
您的信息不完整,为了账户安全,请先补充。
现在去补充
×
提示
您因"违规操作"
具体请查看互助需知
我知道了
×
提示
确定
请完成安全验证×
copy
已复制链接
快去分享给好友吧!
我知道了
右上角分享
点击右上角分享
0
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:481959085
Book学术官方微信