当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > 没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

来源:51CTO.COM 2023-05-02 17:23:07 0浏览 收藏

科技周边不知道大家是否熟悉?今天我将给大家介绍《没有3D卷积的3D重建方法,A100上重建一帧仅需70ms》,这篇文章主要会讲到等等知识点,如果你在看完本篇文章后,有更好的建议或者发现哪里有问题,希望大家都能积极评论指出,谢谢!希望我们能一起加油进步!

从姿态图像重建 3D 室内场景通常分为两个阶段:图像深度估计,然后是深度合并(depth merging)和表面重建(surface reconstruction)。最近,多项研究提出了一系列直接在最终 3D 体积特征空间中执行重建的方法。虽然这些方法已经获得出令人印象深刻的重建结果,但它们依赖于昂贵的 3D 卷积层,限制其在资源受限环境中的应用。

现在,来自 Niantic 和 UCL 等机构的研究者尝试重新使用传统方法,并专注于高质量的多视图深度预测,最终使用简单现成的深度融合方法实现了高精度的 3D 重建。

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

  • 论文地址:https://nianticlabs.github.io/simplerecon/resources/SimpleRecon.pdf
  • GitHub 地址:https://github.com/nianticlabs/simplerecon
  • 论文主页:https://nianticlabs.github.io/simplerecon/

该研究利用强大的图像先验以及平面扫描特征量和几何损失,精心设计了一个 2D CNN。所提方法 SimpleRecon 在深度估计方面取得了显著领先的结果,并且允许在线实时低内存重建。

如下图所示,SimpleRecon 的重建速度非常快,每帧仅用约 70ms。

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

SimpleRecon 和其他方法的比较结果如下:

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

方法

深度估计模型位于单目深度估计与平面扫描 MVS 的交点,研究者用 cost volume(代价体积)来增加深度预测编码器 - 解码器架构,如图 2 所示。图像编码器从参考图像和源图像中提取匹配特征,以输入到 cost volume。使用 2D 卷积编码器 - 解码器网络来处理 cost volume 的输出,此外研究者还使用单独的预训练图像编码器提取的图像级特征进行增强。

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

该研究的关键是将现有的元数据与典型的深度图像特征一起注入到 cost volume 中,以允许网络访问有用的信息,如几何和相对相机姿态信息。图 3 详细地显示了 feature volume 构造。通过整合这些之前未开发的信息,该研究的模型能够在深度预测方面显著优于之前的方法,而无需昂贵的 4D cost volume 成本、复杂的时间融合以及高斯过程。

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

该研究使用 PyTorch 来实现,并使用 EfficientNetV2 S 作为主干,其具有类似于 UNet++ 的解码器,此外,他们还使用 ResNet18 的前 2 个块进行匹配特征提取,优化器为 AdamW ,在两块 40GB A100 GPU 上耗时 36 小时完成。 

网络架构设计

网络是基于 2D 卷积编码器 - 解码器架构实现的。在构建这种网络时,研究发现有一些重要的设计选择可以显著提高深度预测准确率,主要包括:

基线 cost volume 融合:虽然基于 RNN 的时间融合方法经常被使用,但它们显著增加了系统的复杂性。相反,该研究使得 cost volume 融合尽可能简单,并发现简单地将参考视图和每个源视图之间的点积匹配成本相加,可以得到与 SOTA 深度估计相竞争的结果。

图像编码器和特征匹配编码器:先前研究表明,图像编码器对深度估计非常重要,无论是在单目和多视图估计中。例如 DeepVideoMVS 使用 MnasNet 作为图像编码器,其具有相对较低的延迟。该研究建议使用很小但更强大的 EfficientNetv2 S 编码器,虽然这样做的代价是增加了参数量,并降低了 10% 的执行速度,但它大大提高了深度估计的准确率。

融合多尺度图像特征到 cost volume 编码器:在基于 2D CNN 的深度立体和多视角立体中,图像特征通常与单尺度上的 cost volume 输出相结合。最近,DeepVideoMVS 提出在多尺度上拼接深度图像特征,在所有分辨率上增加图像编码器和 cost volume 编码器之间的跳跃连接。这对基于 LSTM 的融合网络很有帮助,该研究发现这对他们的架构也同样重要。

实验

该研究在 3D 场景重建数据集 ScanNetv2 上训练和评估了所提方法。下表 1 使用 Eigen 等人 (2014) 提出的指标来评估几个网络模型的深度预测性能。

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

令人惊讶的是,该研究所提模型不使用 3D 卷积,在深度预测指标上却优于所有基线模型。此外,不使用元数据编码的基线模型也比以前的方法表现更好,这表明精心设计和训练的 2D 网络足以进行高质量的深度估计。下图 4 和图 5 显示了深度和法线的定性结果。

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

​该研究使用 TransformerFusion 建立的标准协议进行 3D 重建评估,结果如下表 2 所示。

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

对于在线和交互式 3D 重建应用,减少传感器延迟是至关重要的。下表 3 展示了给定一个新的 RGB 帧,各个模型对每帧的集成计算时间。

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

为了验证该研究所提方法中各个组件的有效性,研究者进行了消融实验,结果如下表 4 所示。

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

感兴趣的读者可以阅读论文原文,了解更多研究细节。

今天关于《没有3D卷积的3D重建方法,A100上重建一帧仅需70ms》的内容就介绍到这里了,是不是学起来一目了然!想要了解更多关于网络,3D的内容请关注golang学习网公众号!

版本声明
本文转载于:51CTO.COM 如有侵犯,请联系study_golang@163.com删除
AI扮演Linux虚拟机,能管理文件&编程&开浏览器,还能跟自己「套娃」聊天AI扮演Linux虚拟机,能管理文件&编程&开浏览器,还能跟自己「套娃」聊天
上一篇
AI扮演Linux虚拟机,能管理文件&编程&开浏览器,还能跟自己「套娃」聊天
Windows 11 版本 22H2 遇到文本转换错误
下一篇
Windows 11 版本 22H2 遇到文本转换错误
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    511次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    498次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • 千音漫语:智能声音创作助手,AI配音、音视频翻译一站搞定!
    千音漫语
    千音漫语,北京熠声科技倾力打造的智能声音创作助手,提供AI配音、音视频翻译、语音识别、声音克隆等强大功能,助力有声书制作、视频创作、教育培训等领域,官网:https://qianyin123.com
    6次使用
  • MiniWork:智能高效AI工具平台,一站式工作学习效率解决方案
    MiniWork
    MiniWork是一款智能高效的AI工具平台,专为提升工作与学习效率而设计。整合文本处理、图像生成、营销策划及运营管理等多元AI工具,提供精准智能解决方案,让复杂工作简单高效。
    11次使用
  • NoCode (nocode.cn):零代码构建应用、网站、管理系统,降低开发门槛
    NoCode
    NoCode (nocode.cn)是领先的无代码开发平台,通过拖放、AI对话等简单操作,助您快速创建各类应用、网站与管理系统。无需编程知识,轻松实现个人生活、商业经营、企业管理多场景需求,大幅降低开发门槛,高效低成本。
    11次使用
  • 达医智影:阿里巴巴达摩院医疗AI影像早筛平台,CT一扫多筛癌症急慢病
    达医智影
    达医智影,阿里巴巴达摩院医疗AI创新力作。全球率先利用平扫CT实现“一扫多筛”,仅一次CT扫描即可高效识别多种癌症、急症及慢病,为疾病早期发现提供智能、精准的AI影像早筛解决方案。
    10次使用
  • 智慧芽Eureka:更懂技术创新的AI Agent平台,助力研发效率飞跃
    智慧芽Eureka
    智慧芽Eureka,专为技术创新打造的AI Agent平台。深度理解专利、研发、生物医药、材料、科创等复杂场景,通过专家级AI Agent精准执行任务,智能化工作流解放70%生产力,让您专注核心创新。
    9次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码