AI机器识别突破登Nature封面，加速第四次工业革命，论文一作为浙大校友

今日不肯埋头，明日何以抬头！每日一句努力自己的话哈哈~哈喽，今天我将给大家带来一篇《AI机器识别突破登Nature封面，加速第四次工业革命，论文一作为浙大校友》，主要内容是讲解等等，感兴趣的朋友可以收藏或者有更好的建议在评论提出，我都会认真看的！大家一起进步，一起学习！

一夜之间，机器夜间识别的难题就被攻克了！

一篇AI与热物理学结合帮助机器在夜间成像的文章登上了Nature的封面。

文章的一位作者是毕业于浙江大学的鲍方林，目前担任普度大学的研究员

作者甚至认为，这项技术能够加速第四次工业革命的进程！

HADAR技术是由普度大学和密歇根州立大学的研究人员开发的

让机器能够像白天一样识别周围的环境，并完成测距等一系列任务，对于自动驾驶等行业而言，这是一项革命性的突破

长久以来，机器夜视很难做到像日天那样清晰。

对于夜间机器感知问题的处理，最先进的办法是利用热成像技术来重现环境。

夜视摄像机的成像通常是单色的，而使用热成像技术拍摄时，由于捕捉到过多的不必要热信号，会导致成像时出现许多噪音，从而导致物体出现重影

具体来说，由于物体和环境不断地发射和散射热辐射，场景的物理特性，如温度（T，物理状态）、发射率（e，材料指纹）和纹理（X，表面几何形状），在光子流中混合在一起，无法被清晰地识别

这就是热成像结果中缺乏纹理相关的重影效应「Ghost Effect」的来源。

以一个灯泡为例，人眼只有当灯泡关闭时才能看到灯泡表面的几何纹理。

因为当灯泡打开时，反射所呈现的纹理在直接发射的光线中会完全消失，这是我们日常经验中熟悉的场景。

TeX技术解决重影效应

研究团队首先提出了一种名为「TeX分解」和「TeX视觉」的基础技术，以解决重影效应

该方法能有效地从杂乱的热信号中恢复纹理。

需要进行改写的内容是：通过再次训练算法，来识别已知材料（例如玻璃、木材或织物）的独特发射光谱

通过识别场景中的这些已知特征，该算法可以表征它观察到的对象。

接下来，需要处理环境信号和「噪音」，以防止它们从目标物体上反射并进入相机

再通过逆向工程来评估噪声信号如何反射和散射，这个算法就可以填充有关每个对象纹理的信息，从而为图像提供更高水平的细节。

具体的过程如下图所示。

完成的效果和现有的热能视觉解决方案一对比，不知道高到哪里去了。

HADAR系统

在TeX技术的基础上，研究人员进一步研发出了热辅助检测和测距（HADAR）技术，基本上攻克了机器夜间识别的问题。

简单来说，TeX技术主要是解决成像的问题，而HADAR是一个识别系统，在TeX优秀成像的基础上更精确地完成复杂的识别，测距等任务。

HADAR是一种彻底转变了机器感知范式的技术，与之前使用主动发出雷达和激光的成像手段不同

它不主动发出任何信号，只接受来自环境中的热信号。

大气透射窗口和场景温度是决定HADAR工作波长的因素

研究人员表示，HADAR可能代表了未来机器视觉技术的重要方向和特征。

随着自动驾驶、无人机等技术的发展，不同机器之间的信号干扰可能会越来越严重。然而，HADAR技术能够有效解决这些问题

此外，HADAR将热光子流作为输入，记录高光谱热立方体图像，通过TeX分解处理重影，并生成TeX视觉以实现改进的检测和测距。

研究团队也在论文中分享了他们搭建的两个原型系统作为实例：

第一个原型系统

低端HADAR原型基于商用FLIR热成像相机，并配备了定制设计的光谱模块（见下图）。

他们在夜晚的户外场景中放置了一辆汽车、一个人和一个爱因斯坦剪影（模拟一个几何形状的人），来说明HADAR如何解决幻影制动问题。

根据图示，无论是RGB光学成像（a）还是稀疏的LiDAR点云（c；Velodyne Puck VLP-16），都无法准确区分爱因斯坦卡板的真实尺寸

此外，由于汽车反射率低，LiDAR难以检测黑色汽车，而光学相机在黑暗中无法看到物体。

HADAR在相应的材料区域（皮肤-织物）检测到人体，并清楚地将其与纸板区分开来，克服了幻影制动问题。 重新写作：HADAR成功地通过在相应的材料区域（皮肤-织物）检测到人体，并清晰地将其与纸板区分开来，解决了幻影制动问题

请参考下图，了解更多关于HADAR检测和语义的详细信息

HADAR的物理背景优势将在自主导航和野生动物监测中得到充分利用

因为除了视觉外，还需要识别多种物理属性，以确保安全性或者用于科学研究的有效性。

需要重写的内容是：第二个原型系统

研究人员的高端应用HADAR原型是基于一台推扫式高光谱成像仪

他们利用越野场景来展示TeX视觉如何通过物理背景来观察纹理，而在夜晚，HADAR的测距性能优于热测距技术，其准确度可以与白天的RGB立体视觉相媲美

下图展示了在夜晚的真实TeX视觉，包括材料识别和纹理恢复。

下图显示了夜晚TeX视觉、夜晚热视觉和白天RGB视觉的立体视觉度量统计。

下图b中基于RGB深度度量标准化的度量比较清楚地表明，HADAR夜晚测距技术优于热测距技术，并与白天RGB立体视觉相匹配，可简写为「TeX_night > RGB_day > IR_night」。

请参考下图，了解有关通用HADAR测距技术的信息

而业界对这项研究持非常乐观的态度：

HADAR能够确定场景中物体的组成，如果它能与传统成像技术结合，那么，不论白天黑夜，它都可以为我们提供更多关于场景的独特信息。 重新写作：如果HADAR能够与传统成像技术结合，它就能够在白天和黑夜中为我们提供更多关于场景的独特信息，准确确定物体的组成

需要指出的是，目前这项研究仅仅在静止的图像上进行，需要进一步提高收集测量值的速度，并解决运动模糊的问题

想要将这个研究应用在现实中，还有很多挑战。

华人作者介绍

Fanglin Bao

Fanglin Bao博士2011年6月在浙江大学获得物理学学士学位，并于2016年6月在浙江大学获得光学博士学位。目前研究的是张量网络、神经网络及其在量子物理中的应用。

Xueji Wang

Xueji Wang 就读于美国普渡大学电气与计算机工程学院，研究方向为热辐射、光偏振表面态等，并在CLEO会议上发表了两篇文章。

需要重写的内容是：杨丽萍

Liping Yang是地理信息科学（GIScience）和地理空间人工智能（GeoAI）助理教授。现专注于技术图表图像分析的计算机视觉和机器学习算法开发。

本篇关于《AI机器识别突破登Nature封面，加速第四次工业革命，论文一作为浙大校友》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于科技周边的相关知识，请关注golang学习网公众号！