今天是Transformer论文《Attention is All You Need》发布六周年纪念日!

温馨提示(看过来)

每日不间断更新《资源分享》和《每日必看》栏目!敬请关注,谢谢!

如部分内容需要密码,请扫一扫关注公众号免费获取!微信搜索“流浪宇宙寻资源”关注公众号回复”密码“即可获得密码,不愿意搜索的直接扫下方二维码。

如果您有资源可以投稿的这里,发给我,来换取金钱,具体价格商量。

如果您对网站有建议,可以这里提问帮您解决。

今天是Transformer论文《Attention is All You Need》发布六周年纪念日!

有趣的事实:

⭐ Transformer并非创造了注意力机制,但它将其推向了极致。首篇关于注意力机制的论文早在3年前(2014年)发表,题目并不引人注目:“通过联合学习对齐和翻译实现神经机器翻译”,出自Yoshua Bengio实验室。该论文结合了RNN和“上下文向量”(即注意力)。很多人可能没有听说过这篇论文,但它是自然语言处理领域最重要的里程碑之一,已经被引用了2.9万次(相比之下,Transformer被引用了7.7万次)。

⭐ Transformer和最初的注意力论文都没有谈论通用序列计算机。相反,它们都被构想为解决一个狭窄而特定的问题:机器翻译。令人惊讶的是,AGI(即将来的人工智能通用智能)可以追溯到谦逊的谷歌翻译。

⭐ Transformer于2017年发表在全球顶级人工智能会议NeurIPS上。然而,它甚至没有得到口头报告,更别说奖项了。那一年的NeurIPS有三篇最佳论文,至今总共引用了529次。

公众号(流浪宇宙寻资源)
公众号(J科技资源)