Transformer「亲爹」跑路啦，说是烦透了「自己生的娃」！
还记得那篇8年前把「注意力机制」按在王座上的论文《Attention Is All You Need》吗？
共同作者Llion Jones最近在旧金山的TEDAI大会上当众「叛逃」：
AI研究正越做越窄，而他本人，准备把对Transformer的爱好调成「低电量模式」。
海量资金与人才反而让研究圈挤进死胡同，大家只顾卷参数、抢发论文，没人敢探索新架构。
钱越多，点子越少？
这是一种资本与论文KPI的奇妙化学反应。
Jones的主张很直白：前所未有的关注、资金和人才涌入之后，研究反而被「收窄」了。
为啥？
一边是投资人盯着回报，另一边是研究者担心被别人「抢先发」，人人都在拥挤赛道里拼命刷存在感。
结果呢？
赶工纸面成绩，挤牙膏式创新，和千人一面的论文标题。
他还搬出了课本里的老朋友：「探索vs.利用」。
现在的行业像把「利用」旋钮拧到11档：不停对同一架构打补丁、换皮肤、加大模型，再加点「我们又SOTA了」的调味包。
可真正的新路子，没人敢走，也没空走。
Jones在会议上说：未来每个人都会失去工作，这是一件好事
一段历史复盘：RNN年代的「徒手抛光」
Jones提醒大家想想Transformer出现前的日子！
当时研究圈正对RNN做无尽小改小优，就像给一块石头抛光一样。
一旦Transformer登场，前面那堆抛光操作立刻变得像「给马车装了碳纤维尾翼」！
很精致，但很不对路，甚至变得完全无用，现在还有谁再谈论RNN？
于是Jones担心我们是否又在重演历史：盯着一个8年前架构一直薅羊毛，薅到秃！
不停给马车打造各种好看的设备，却不知道拐弯看看路口是不是有飞船停靠。
Transformer是怎么「长大」的？
不是KPI，是自由！
这就是Transformer之父给出的答案。
最扎心的一段来自Jones的回忆：
那会儿他在谷歌做Transformer，是「午饭唠嗑+白板乱画」式的自下而上的。
既没人规定必须发几篇论文，也没人拉着耳朵对着某个指标冲线。
先有自由，后有灵感，这话听上去朴素，但如今反而成了稀缺品。
再看现在：就算年薪上七位数，许多人也未必敢「瞎折腾」。
新岗位第一天，谁不想先稳住绩效？
于是低风险、可发表、见效快，自然优先级飙升。
想象力？创造力？
先等一等吧。
Sakana AI的「反内卷」实验
Llion Jones打算把探索旋钮拧回去。
Jones后来去日本创建了Sakana AI。
身为东京创业公司Sakana AI的CTO，Jones说他打算在实验室里复刻Transformer诞生前的「空气配方」：
少KPI，多好奇；少跟风，多自然启发。
他还给团队安利了一句研究格言：
You should only do the research that wouldn’t happen if you weren’t doing it.
你只应该做那些如果不是你来做就不会发生的研究。。
——来自工程师Brian Cheung
在这种环境诞生成果的一个例子是Sakana的「连续思维机器」，它在神经网络中融入了类似大脑的同步机制。
一位提出该想法的员工告诉Jones，在以前的雇主或学术岗位上，他会面临怀疑并受到不要浪费时间的压力。
在Sakana，Jones给了他一周时间去探索。
该项目取得了足够的成功，甚至在大型AI会议NeurIPS上获得了展示机会。
Jones甚至表示，在招聘中，自由胜过报酬。
他谈到这种探索性环境时说：「这是吸引人才的一个非常非常好的方式。想想看，有才华、聪明、有野心的人，自然会去寻找这种环境。」
这波操作证明——自由比高薪更能抢人。
聪明人对自由的敏感度，往往高于对钱的感知。
「不是分手，是冷静期」：别把他当反对派
也许最具讽刺意味的是，Transformer可能是自身成功的受害者。
当前技术如此强大且灵活……这阻止了我们去寻找更好的技术，如果当前技术更糟糕，会有更多人去寻找更好的，这很有道理。
Jones并不是要把Transformer一脚踢下船。
他强调：现有技术上还有大量重要工作，未来几年也会继续创造价值。
只是以现在行业的人才与资源密度，我们完全「买得起」更多的探索。
Transformer的强大，正在阻挡我们寻找「更好」的冲动。
如果现有技术差一点，大家反而更会到处找下一个惊喜。
文章来自于微信公众号 “新智元”，作者 “新智元”