能找神经网络Bug的可视化工具，Nature子刊收录

亲爱的编程学习爱好者，如果你点开了这篇文章，说明你对《能找神经网络Bug的可视化工具，Nature子刊收录》很感兴趣。本篇文章就来给大家详细解析一下，主要介绍一下，希望所有认真读完的童鞋们，都有实质性的提高。

近来，《自然》子刊收录了一项能找出神经网络在哪里出错的研究成果。研究团队提供了一种利用拓扑学描述神经网络的推断结果与其分类之间关系的可视化方法。这项成果能够帮助研究人员推断神经网络推理过程中发生混淆的具体情况，让人工智能系统更加透明。

研究人员揭示神经网络推理中的故障点

1. 神经网络尖峰揭示推理错误：

   • 研究发现神经网络推理中存在数据图尖峰，这些尖峰与判断模糊和产生错误有关。
   • 观察尖峰有助于发现人工智能系统中的故障点。

2. 神经网络推理过程缺乏透明性：

   • 神经网络擅长解决问题，但其推理过程不透明，引发对可靠性的担忧。
   • 新研究提供了一种方法，发现神经网络的错误出处。

3. 神经网络的「黑盒」特性：

   • 神经网络难以理解解决问题的方法，使得判断答案正确性变得困难。
   • 研究者无法追踪神经网络对单个样本的决策过程。

4. 将决策结果可视化：

   • 研究人员没有追踪单个样本的决策，而是将神经网络对整个数据库的所有决策结果与样本之间的关系进行可视化。
   • 这有助于识别多分类概率较高的图像。

5. 拓扑数据分析：

   • 研究人员使用拓扑学绘制推断结果与分类之间的关系图。
   • 拓扑数据分析工具可帮助识别数据集之间的相似性。
   • 该工具已用于分析乳腺癌亚群和基因的关系。

     

     论文链接：https://www.nature.com/articles/s42256-023-00749-8

在根据新研究成果生成的关系图中：

• 每个点代表神经网络认为有关联的图像组
• 不同分类的图由不同的颜色表示
• 点之间的距离越近，神经网络认为每组图像越相似

这些地图的大部分区域都显示了单一颜色的点群。

两个不同颜色的重叠点表示有高概率属于多个分类的图像。「我们的方法能够构建出类似地图的关系图，放大某些数据区域。」 Gleich 表示，「这些区域通常是某几个分类边界不明显的地方，在这些地方，解决方案可能并不那么清晰。不过，它能突出值得进一步研究的特定的数据预测。」
由新方法生成的地图能够显示网络无法分类的区域。这种方法提供了「让研究者能够运用人类与生俱来的思维方式来推测神经网络的推理思路」的途径。Gleich 表示道：「这使我们可以根据已知的网络来预测它将如何响应全新的输入。」
研究团队发现神经网络特别容易混淆如胸腔的 X 光片、基因序列以及服装等类别的图案。例如，当一个网络在 Imagenette 数据库（ImageNet 的一个子集）测试时，它反复地将汽车的图片归类为磁带播放器。他们发现这是由于这些图片是从网购列表中提取的，含有汽车音响设备的标签。
该团队的新方法有助于揭示「错误出在哪里」。Gleich 介绍说：「在这个层面上分析数据，可以让科学家们从仅仅在新数据上得到一堆有用的预测，深入理解神经网络可能是如何处理他们的数据的。」
「我们的工具似乎很擅长帮助发现训练数据本身是否包含错误，」Gleich 表示。「人们在手工标注数据时确实会犯错误。」
这种分析策略的潜在用途可能包括特别重要的神经网络应用。比如说，神经网络在医疗保健或医学中的应用，以研究败血症或皮肤癌。
批评者认为，由于大多数神经网络都是根据过去的决定训练出来的，这些决定反映了对人类群体本来存在的偏见，因此 AI 系统最终会复制过去的错误。Gleich 说，如果能找到一种方法来使用新工具「了解预测中的偏见或成见」，可能是一个显著的进步。
Gleich 表示，这一新工具可与神经网络一起使用，通过小数据集生成特定预测，例如「基因突变是否可能有害」。但目前为止，研究人员还没有办法将它应用于大语言模型或扩散模型。
了解更多内容，请参考原论文。
参考内容：
https://spectrum.ieee.org/ai-mistakes
https://www.cs.purdue.edu/homes/liu1740/
https://www.cs.purdue.edu/homes/tamaldey/
https://www.cs.purdue.edu/homes/dgleich/

终于介绍完啦！小伙伴们，这篇关于《能找神经网络Bug的可视化工具，Nature子刊收录》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！