刚刚，Ilya的Seq2Seq、Ian的GAN获NeurIPS时间检验奖

刚刚，NeurIPS 官方公布了 2024 年度的时间检验奖，破天荒的颁给了两篇论文。

一篇是 Ian Goodfellow 的生成对抗网络（GAN），一篇是 Ilya Sutskever 的 Seq2Seq。

但 10 年前的这两篇论文获得时间检验奖，也可以说是实至名归。

「今年，我们破例颁发了两篇时间检验论文奖，因为这两篇论文对整个领域的影响毋庸置疑。」

Jeff Dean 也发来祝贺：

论文 1：Generative Adversari~ M x 2 V o [ 3 6al Nets

获得 NS 4 , Q .eurIPS 时间检验奖的其中一篇论文是《Generative Adversarial Nets》，作者阵容非常豪华，AI 圈知名大佬 Ian J. Goodfelc | z _ a Llow 、 Yoshua Bengio 等都在内。

Ian Goodfellow 本科与硕士就读于斯坦福大学，师从吴恩达，博士阶段则跟随 Yoshua Bengio 研究机器@ @ k I # f 1学习。他2 ; k & + ^ O i 4最引人注目的成就是在 2i ) ~ E T 0014 年 6 月提出了生成对抗网络（GY \ !AN）。

GAN 在图像生成领域取得了重大突破，可以突破性地生成动物、风景以及人脸等高度逼真的合成图像。这一概念衍生出众多变体，成为机器学习界最火热的讨论话题，与 GAN 有关的论文不断涌现。

Ian Goodfellow 的履o l M o v历涉及 OpenAI、谷歌、苹果等多家科技公司。在最近一次 2022 年离开苹果后，他回到了 Google DeepMind 担任研究科学家。

论U t @ Z u u c S N文地址：https://arxiv.org/pdf/1406.26j j | C D ; E H *61
作者：Ian G| { $ + 7 f zoodfellE s ^ow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, SherI J | : j ?jil Ozair,0 ^ X J ` [ Aaron Courville, Yoshua Bengio
机构：蒙特利尔大学

截至 NeurIC o f | S $ ? p BPS 揭晓奖项时，「GAN」的论文已被引用超过 85000 次，是z h S | M +生成模型领域的奠基之作，在过去 10 年间推动了众多研究进展。除了在学术界的影响，它还使x . ] | o \ ]生成模型在视觉数据及其他领域的应用中产生了深远影响。

论文介绍：本文提出了一个新的框架，通过对抗过程来估计生成模型，他们同时训练两个模型：一个生成模E t ? _ u )型 G，用于捕捉数据分配；一个判别模型 D，用于估计某个样本是来自训练数据的概率，还是来自 G 生成的概率, r K D $。生成模型 G 的训练目标是最大化判别模型 D 出错D a x } ( P的概率。

该框H L w 5 U 9 k &架对应于极小极大双人博弈。在任意函数 G^ | z $ $ B % 1 和 D 的空间中，存在唯一解，其中 G 恢复训练数据分布，而 D 处处等~ j g } , u r于 1/2。在 G 和 D 由多层感知器定义的情况下，整个系统可以用反向传播进行训练。在训练或生成样本期间不需要任何马尔可夫链或展开` O ` ) . l } E (的近似推理网络。

生成对抗网络的小批量随机梯度下降训练算法如下：

下图展示了经过对抗训练之后从生成器网络中提取的l D , 5 5 j S A样本，凸显了对抗框架的潜力。

论y * $ ( J g Y G文 2: S` & B W w .equence to Sequence Learnin@ I & s w n w ig with Neural Networks

获得今年 NeurIPS 时间检验奖的另外一篇论文是 Ilya Sutskever、Oriol Vinyals、Quoc V. Le 三人在谷歌合作完成的。

当时，谷歌收购了 Hinton 的公司 DNNResearch，并聘请 Ilya Sutskever 担任谷歌大脑研究科学家。加入谷歌的 Sutskever 全身心地投入到序列建模问题中，它可以应用于语音，文本和视频，其中的一个非常实际的应用就是机器翻译。

2014 年，Sutskever 与谷歌研究员 Oriol Vinyals 和 Quoc Le 一起提出了 Seq2seq 学习（Sequence to Sequence Learning）。它输入比如一句英文的序列结构，再将其映射到也具有序列结构的一句法文上。该方法就此开启了 RNN 广泛应用于语h / 5 Q 5 \言任务的时代。这项研究被应用于机器翻译，在大型数据集上的表现优于基于短语的统计机器翻译基线。

论文链接：https://arxiv.org/pdf/2 3 m ; ; V1409.3215
作者：Ilya Sutskever, Oriol Vinyals, Quoc V. Le
机构：谷歌

论文介绍：深度神经网络 (DNN) 是强大的模型，在困难的学习任务上取得了优异的性能。尽管只! [ m要有大型标记训练集可用，DNN 就能很好地工作，但它们不能用于将序列映射到序列。

该论文提出了一种通用的端到端序列学习方法，该方法对序列结构做出最少的假设，使用多层长短期记忆 (LSTM) 将输入序列映射到固定维q X z w ) ` [ y _度的向量，然后使用另一个深度 LSTM 从向量解码目标序列。

主要研究结果是，在 WMT’14 数据集的英语到法语翻译任务中，LSTM 生成的翻译在整个测试集上的 BLEU 得分为 34.8，$ X = A @ . P O其中 LSTM 的 BLEU 得分因词汇外的内容而受到惩罚。

此外，LSTn O I | k @ /M 在处理长] i % . 4句子时没有困难。作7 , @ c e V M 6为比较，基于短语的 SMT 系统在同一数据集上的 BLEU 得分为 33.3。当使用 LSTM 对上述 SMT 系统产K ; I n – O i J生的 1000 个假设进行重新排序时，其 BLEU 得分增加{ N % 1到 36.5，这接近于之前在该任务上的最佳结果。LSTM 还学习了对词序敏感且对主h P 5 9 P K动语态和被动语态相对不变的敏感S 9 . 6 j g B c短语和句子表征。

最后，作者发现反转所有源句子（不是目标句子）中的单词顺序可以显著提高 LSTM 的性能，因为这d B $样做会在源句子和目标句子之间引入许多短期依赖关系，从而使优化问题变得更容易。

随着大型语言模型和基础模型的快速发展，人工智能及其应用正在经历范式转变，整个领域受益于 Seq2Seq 奠定的基础。至今，论文的引用量超过 27000 次。

它为编码器 – 解码器架构的提c ! \ H y k 6 { W出奠定了基石，并启发了后续基于注意力机制的研究，推动了如今基础模型研究的蓬勃发展。

^{参考链接：h@ M rttps://blog.neurips.cc$ i x & h/2024/11/27/announciE w p / Eng-the-neuH S 6 t Z .rips-2024-test-of-time-paper-awards/}

以上就是刚刚，Ilya的Seq2Seq、2 / TIan的GAN获NeurIPS时间检验奖的详细内容！

百度未收录

本文由【好易之】整理自网络！
原创文章，作者:【好易之】如转载请注明出处：https://www.zhengjiaxi.com/zxwd/itzx/119594.html
如有侵权，请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途，否则后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。
如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。