当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > 10年前VAE经典论文获奖,ICLR 2024首个时间检验奖公布

10年前VAE经典论文获奖,ICLR 2024首个时间检验奖公布

来源:机器之心 2024-05-09 22:12:16 0浏览 收藏

目前golang学习网上已经有很多关于科技周边的文章了,自己在初次阅读这些文章中,也见识到了很多学习思路;那么本文《10年前VAE经典论文获奖,ICLR 2024首个时间检验奖公布》,也希望能帮助到大家,如果阅读完后真的对你学习科技周边有帮助,欢迎动动手指,评论留言并分享~

ICLR 2024 评选出的时间检验奖,在各自领域可谓是开山之作。


由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办的 ICLR 会议,在走过第一个十年后,终于迎来了首届时间检验奖。

为了评选出获奖论文,项目主席审查了 2013 年和 2014 年 ICLR 论文,并寻找具有长期影响力的论文。

今年,由 Diederik P. Kingma、Max Welling 合作撰写的论文获得了该奖项,获奖论文为《 Auto-Encoding Variational Bayes 》;论文《 Intriguing properties of neural networks 》获得了亚军。
10年前VAE经典论文获奖,ICLR 2024首个时间检验奖公布
ICLR 2024 时间检验奖

论文《 Auto-Encoding Variational Bayes 》作者共有两位,他们当时均来自于阿姆斯特丹大学。
10年前VAE经典论文获奖,ICLR 2024首个时间检验奖公布
  • 论文地址:https://arxiv.org/pdf/1312.6114
  • 论文标题:Auto-Encoding Variational Bayes
  • 作者:Diederik P. Kingma 、 Max Welling

获奖理由:概率建模是对世界进行推理的最基本方式之一。这篇论文率先将深度学习与可扩展概率推理(通过所谓的重新参数化技巧摊销均值场变分推理)相结合,从而催生了变分自动编码器 (VAE)。这项工作的持久价值源于其优雅性。用于开发 VAE 的原理加深了我们对深度学习和概率建模之间相互作用的理解,并引发了许多后续有趣的概率模型和编码方法的开发。这篇论文对于深度学习和生成模型领域产生了重大影响。

作者介绍

Diederik P. Kingma 现在是谷歌的一名研究科学家。根据领英介绍,Kingma 曾经是 OpenAI 初创团队的一员,在 OpenAI 工作期间领导了一个算法团队,专注于基础研究。2018 年,Kingma 跳槽到谷歌,加入 Google Brain(现在合并为 Google DeepMind),专注于生成式模型研究,包括扩散模型和大型语言模型。
10年前VAE经典论文获奖,ICLR 2024首个时间检验奖公布
Kingma 主要研究方向是可扩展的机器学习方法,重点是生成模型。他是变分自编码器 (VAE,即本次获奖研究)、Adam 优化器、Glow 和变分扩散模型等研究的主要作者。根据 Google Scholar 显示,Kingma 的论文引用量达到 24 万多次。
10年前VAE经典论文获奖,ICLR 2024首个时间检验奖公布
论文另一位作者 Max Welling 现在为阿姆斯特丹大学机器学习教授。和一般机器学习研究者不同,Max Welling 并不是计算机专业科班出身,而是在世界顶尖公立研究型大学 —— 荷兰乌得勒支大学学了 11 年的物理,而且导师是荷兰理论物理学家、1999 年诺贝尔物理学奖得主 Gerard 't Hooft。在 Hooft 的指导下,Max Welling 于 1998 年拿到了量子物理学博士学位。

之后,Max Welling 曾先后在加州理工学院(1998-2000)、伦敦大学学院(2000-2001)和多伦多大学(2001-2003)担任博士后研究员。2003-2013 年,他历任加州大学欧文分校的助理教授、副教授和教授。2012 年,他开始担任阿姆斯特丹大学的教授和机器学习研究主席。

Max Welling 在 2011 年参与的一篇论文《 Bayesian Learning via Stochastic Gradient Langevin Dynamics 》还获得了 ICML 2021 时间检验奖,主题是「基于随机梯度 Langevin 动力学的贝叶斯学习」。在学术成就方面,Max Welling 的论文被引量达到了 13 万多次。
10年前VAE经典论文获奖,ICLR 2024首个时间检验奖公布
在得知获奖的消息后,Kingma、Max Welling 师徒俩人还进行了互动:
10年前VAE经典论文获奖,ICLR 2024首个时间检验奖公布
时间检验奖亚军论文

ICLR 2024 亚军论文颁给了《 Intriguing properties of neural networks 》。论文作者共有七位,他们当时分别来自谷歌、纽约大学、蒙特利尔大学。

在过去的十年中,他们中的大多数已经离开了原来的公司和机构。

Christian Szegedy 现在为 xAI 联合创始人;Wojciech Zaremba 为 OpenAI 联合创始人;Ilya Sutskever 是 OpenAI 联合创始人(不过自从 OpenAI 发生宫斗后,暂无消息 );Joan Bruna 现在为纽约大学副教授(Associate Professor);Dumitru Erhan 为谷歌 DeepMind 研究总监;Ian Goodfellow 加入谷歌DeepMind;Rob Fergus 现在为谷歌 DeepMind 的研究科学家。
10年前VAE经典论文获奖,ICLR 2024首个时间检验奖公布
  • 论文地址:https://arxiv.org/pdf/1312.6199
  • 论文标题:Intriguing properties of neural networks
  • 作者:Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna、Dumitru Erhan、Ian Goodfellow 、 Rob Fergus

获奖理由:随着深度神经网络在实际应用中越来越受欢迎,了解神经网络何时以及如何出现不良行为非常重要。本文强调了神经网络可能容易受到输入中几乎察觉不到的微小变化的影响。这一想法催生了对抗性攻击(试图欺骗神经网络)以及对抗性防御(训练神经网络不被欺骗)的研究。

这篇论文发表于 2014 年,可以说是对抗样本(Adversarial Examples)的开山之作。论文发现神经网络对数据的理解跟人类的理解方式并不相同,在此基础上,研究者又发现给输入数据添加扰动(也就是噪声),神经网络的输出会产生变化,他们将这种扰动后的图像称为对抗样本。

参考链接:https://blog.iclr.cc/2024/05/07/iclr-2024-test-of-time-award/

文中关于产业,时间检验奖的知识介绍,希望对你的学习有所帮助!若是受益匪浅,那就动动鼠标收藏这篇《10年前VAE经典论文获奖,ICLR 2024首个时间检验奖公布》文章吧,也可关注golang学习网公众号了解相关技术文章。

版本声明
本文转载于:机器之心 如有侵犯,请联系study_golang@163.com删除
闭源赶超GPT-4 Turbo、开源击败Llama-3-70B,歪果仁:这中国大模型真香闭源赶超GPT-4 Turbo、开源击败Llama-3-70B,歪果仁:这中国大模型真香
上一篇
闭源赶超GPT-4 Turbo、开源击败Llama-3-70B,歪果仁:这中国大模型真香
Java虚拟机调优的秘诀:性能优化之道
下一篇
Java虚拟机调优的秘诀:性能优化之道
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    540次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    504次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码