星空app

新智元报说念

裁剪：裁剪部 HYZ

【新智元导读】就在刚刚，悲讯传来：年仅41岁的谷歌DeepMind天才科学家Felix Hill英年早逝。他的一篇博客揭露了AI磋议者靠近的广大压力：几大公司的竞争，磋议办法的迷失，让他即使积攒了无边钞票，内心也依然可怜。AI磋议者们悲伤暗示，这个音讯令东说念主心碎。

就在刚刚，一个令东说念主悲伤的音讯传来。

谷歌DeepMind磋议科学家Felix Hill，于2024年12月5日英年早逝，年仅41岁。

自2023年头以来，他一直在与严重的精神疾病作斗争。技能，他推崇出了重度抑郁和严重的自尽倾向，终于照旧莫得扛以前。

Felix是一位学术恶果颇丰的AI学者，谷歌总援用量为19680，参与创建了天然谈话理解基准GLUE和SuperGLUE。

Felix Hill本科在牛津大学学习数学，随后在剑桥大学拿到了谈话学硕士学位，和诡计谈话学博士学位。

毕业后，他曾有8个月在高中担任数学老诚，随后参加谷歌DeepMind，当了快要8年的AI磋议者。

音讯传来，他的AI圈好友无不暗示悲伤和痛心。

1月11日，Felix的葬礼将于伦敦北部举行，届时将进行现场直播。

许多相识他的东说念主悲伤地留言说：Felix是一个很极度的东说念主，超前于这个期间。

控制滑动稽察

最令东说念主心碎的博客

是什么样的原因，让这样一位恶果丰硕的AI学者的人命逝去？

他生前的一篇博客，揭露了许多细节。

他详备形容了2023年母亲离世后，正在神经医院采纳诊治的我方症状更严重了。接下来的12个月内，他更是堕入绝顶浮躁和自尽的抑郁状态。

他也写说念，我方当初投身AI磋议并不是为了赢利，但AI大爆发后，我方仿佛被动参加「讲和」状态，写论文、搞磋议、创业，皆令东说念主压力重重，找不到长进。

即使积攒了无边钞票，我方也依然出了问题。

著述地址：https://medium.com/@felixhill/200bn-weights-of-responsibility-da85a44a2c5e

英伟达高等磋议者Jim Fan读完悲伤地暗示：这是我读过最令东说念主心碎的博客，因为它如斯真确，如斯靠近内心。

Jim Fan暗示，AI不应该是200B权重的压力和可怜。

也曾，这是一个充满咖啡因带来的灵光乍现的地点，是令东说念主怡悦的夜深arxiv探索之旅，是能让磋议者脸上败露笑貌的绝妙想法。但通盘涌入的成本和关注，似乎正在迫使每个东说念主竞相逐底。

黄仁勋常常对职工们强调，不要用「击败这个，碾压阿谁」的措辞。因为群众的方针是为了晋升通盘这个词生态，而不是让任何东说念主堕入山地。AI学者的就业是作念大蛋糕，越大越好，然后再分拨。

AI不是零和博弈，事实上，它可能是东说念主类有史以来领有的最正和的博弈。群众应该作念的，是向竞争敌手传递爱意。

Jim Fan写说念，天然并未有幸在现实生活中相识Felix，但我方很可爱他的磋议试吃，为他的每一篇新论文皆竖立了Google Scholar教唆。他在AI智能体和VLM方面的就业也对我方影响很深。

「他本应该成为一个很好的一又友。我想相识他，但面前还是不可能了。」

「安息吧，Felix。愿下世你不需要去战斗。」

2000亿权重的就业：当代AI就业中的压力

底下这篇博客中，Felix详备总结了AI爆火的几年，给我方的生活带来的巨变——

以前两年，AI范围发生了不可逆转的变化。

ChatGPT的月活数接近2亿东说念主。Gemini在2024年5月的拜访量接近3.2亿次，AI爱好者面前不错使用AI微波炉、AI牙刷，甚而AI足球。

关联词，对于咱们这些在AI范围就业的东说念主来说，这种各人风趣的激增既是福亦然祸。

诚然，薪资水平飞腾了，股价和市值也随之提高。但另一方面，这种变化也带来了专有的压力。

这篇博客阐明的是当代AI范围的压力。它面向通盘在AI范围就业的东说念主（按保守猜测，面前全球东说念主口中苟简有87%的东说念主在从事AI干系就业），极度是那些从事AI磋议的东说念主。

最终，我但愿通过商榷AI磋议中的压力源，让咱们这些有幸在该范围就业的东说念主生活得更快乐一些。

因为，尽管面前一派庞大，这仍然是一个奥妙而充实的办事——它有后劲惩办科学、形而上学乃至东说念主类自己的诸多首要问题。

无处可逃

几个月前，我参加了一个一又友的40岁生辰派对。在那些我不太熟习的东说念主中，我贯注到一个奇怪的表象。

尽管我那时体魄不适，何况彰着不太想讲话，但我周围照旧形成了一个包围圈，原因只是是，群众知说念我在DeepMind上班。

何况，他们想聊的不是足球或80年代音乐，恰正是我最想幸免想考的主题——AI。

天然很谢意这样多东说念主对我的就业感风趣，但这也教唆我以前两年发生了多大的变化。

银众人、讼师、医师和束缚照顾人皆想听听我对ChatGPT的见地；天然很少有东说念主宣称在就业中告成使用了LLM，但他们征服，AI范围正在发生一些他们应该了解的事情。

行为别称磋议东说念主员，我信赖你也能体会到这种在酬酢阵势无法减轻的嗅觉。

但情况更糟。就连在我方家里，我也找不到寂静。

我早已不再看新闻，因为发怵激勉浮躁。但即使是在看足球、VH1、蒙塔尔巴诺探长，或者那部出色的《那不勒斯四部曲》改编剧时，告白中也充斥着与AI干系的内容。

在这段时候，我常常幻想着打理行李，特殊大洲去加入一个隐居群体。但很可能连内不雅禅修（Vipassana）也被AI浸透了，这不会让我骇怪。

无形的竞争

几家大公司竞相蛊惑最大、最佳的LLM，这一事实自己就令东说念主压力重重——不管你为哪家公司就业。

面前从事AI磋议，嗅觉就像参与一场讲和。希特勒和达奇·舒尔茨的例子告诉咱们，参战可能导致神经病态、仳离和自尽等严重后果。

天然，我并不是要把参与AI磋议等同于参与真确讲和，但我的亲自阅历却标明，这种类比是很真确的。

关乎底线的就业

普通，业界的磋议东说念主员并不民风于我方的就业对老板的底线产生告成且即时的影响。

天然，许多磋议东说念主员皆设想能够产生这样的影响。只是以前，这种契机可能是十年难遇。

如今，对LLM基础磋议的收尾，通常只会对模子性能产生轻飘、短期的波动。关联词，由于公司估值与LLM性能（难以分割地？）挂钩，这些波动可能导致股价出现数十亿好意思元的障碍。

这种动态令东说念主倍感压力，何况这也不是AI磋议东说念主员在磋议生阶段、博士后技能，甚而在2022年之前的就业中所能预意想的。

钱，

钱，照旧钱

大多数AI磋议东说念主员，尤其是咱们这些特殊某个年纪的东说念主，当初投身磋议并不是为了赢利。

作念我方爱慕的就业还能赢得丰厚报答听起来是个无缺决策，但这也可能激勉锐利的浮躁。极度是当股东你收入增长的外部要素不在你的抛弃范围内，且/或者这些要素让你对就业的爱慕进度大不如前时。

不管AI是否与此联系，片刻积攒钞票可能会导致多样问题，望望那些经过多年起劲终于成名的演员或歌手就知说念了。成瘾、情谊闹翻、友谊落空，甚而自尽只是一些较为常见的症状。

这些症状，我照实皆不教而诛。

科学家扮装缺失

LLM的范围、粗浅性和灵验性使得作念出「干系」的「科学磋议」变得挫折，这里的干系指的是能立即矫正LLM。

当先的LLM磋议东说念主员还是运行认同Rich Sutton的「苦涩警戒」：除了范围除外，险些不需要任何革命。

何况，即使表面上可能存在实质性革命，兑现它通常需要在不同要求下反复历练最大范围的LLM。这甚而连最大的公司皆职守不起。

对于一个「普通」的磋议科学家来说，这嗅觉简直令东说念主恼恨。

对于民风于在5至10东说念主的小团队中就业的工业界科学家来说，这些还是很艰深。但学术界的东说念主所遇到的无疑愈加严峻，比如那些博士生、博士后和AI/CS/机器学习范围的教职东说念主员。

发表论文

天然学术界的东说念主不错（也应该）不绝发表从LLM实验中赢得的见地，但对于工业界的科学家来说，发表论文的问题就没那么明确了。

发表论文一直是科学历程的内在构成部分，也一直是AI磋议的中枢原则。我斗争过的大多数AI磋议东说念主员，极度是磋议科学家，皆痛快我的不雅点：发表论文是咱们办事糊口的枢纽。

但是，至少在工业界，以前2年来，磋议恶果是否能够发表的问题变得越来越不解确。能够矫正LLM的小手段可能等同于LLM之战中的枢纽兵器。将这些隐痛公开是否对资助磋议的组织有意，这遥远是一个需要三想此后行的问题。

这一切皆意味着，磋议东说念主员常常对我方想法的前途毫无把抓，至少，这会对我酿成广大的压力。

创业公司

天然，开脱这些困扰的一个可行长进，即是策划科研办法，筹集资金并成立创业公司。事实上，面前AI创业公司（不管大小）的激增标明有几许科学家采取了这条路。

但成为独创东说念主并不行势必地侧目干系压力。

无人不晓，创业的压力也很大；即使在现时投资者温顺飞腾的情况下，许多资金弥散的AI创业公司仍然失败了。

我知说念，成为独创东说念主是一段极度孤独的旅程。这无疑是当下利欲熏心的科学家们的一个可行采取，但这既不会让作念磋议变得容易，也不会减轻压力。

为什么要写对于压力的博客

以前两年在AI范围可谓庞大而浪漫，而对我个东说念主而言，这更是一段极度荡漾的时期。

2023年4月，我的母亲在与阿尔茨海默症历久抗击后离世。那时的我正在神经医院采纳诊治，因为出现了严重的精神症状，其中压力很可能是挫折诱因。

在接下来的12个月里，名义上我是在康复中，但现实上却堕入了绝顶浮躁和自尽倾向的抑郁状态。

所幸在这技能，我遇到了至极理解我的处境（以及招供我对公司的价值）的老板，他们一直为我提供诊治和精神上的相沿。

经过另外6个月的重度抑郁之后，我的情景运行好转，最近也嗅觉我方有才智写下这些阅历。

我深刻地相识到压力和浮躁是密不可分的；事实上，它们本色上可能是销毁件事。诚然，像任何顺应性特征相通，浮躁有时也能带来积极影响（比如提高坐褥力），但一朝浮躁变得失控，后果可能相等严重。

正是在尝试再行学习如何成为别称AI磋议员的历程中，总结AI范围这两年的发展，让我赢得了这篇博客中所共享的见地。

诚然，只是共享这些见地并不行从根底上惩办问题，但在最艰深的时期，能给我带来但愿的少数事情之一即是相识到我并不是一个东说念主在战斗。

要是你面前也在阅历访佛的困扰，请记取——你并不并立。

酬酢浮躁

我还是商榷了现时从事AI磋议的东说念主可能遭受的诸多压力或浮躁的诱因。

关联词，还有一种压力我尚未说起，这是因为我很庆幸从未亲自阅历过。我对它的了解，全皆来自于与一又友和同事的深入交谈。

这种压力即是酬酢浮躁。

据一又友们反应，那些有酬酢浮躁的东说念主通常会以为群体互动充满挑战。在当代AI范围，这是一个格外严峻的挑战，因为大型神色团队和大范围的（普通是跨洲际的）配合已成为必需。

面前行业中的高流动率更是雪上加霜，因为已建造的团队（普通行为酬酢「安全网」）可能在通宵之间撤废瓦解。

东说念主员流动还可能激勉信任危境，因为也曾可靠的伙伴可能会转投竞争敌手的磋议团队。

值得喜跃的是，酬酢浮躁和我此前商榷过的通盘浮躁或压力推崇相通，皆是不错克服的。克服的第一步是培养以家东说念主和「非AI圈」一又友为主的天然相沿系统。

而枢纽的第二步，则是咱们通盘从事AI就业的东说念主，皆要运行并不时保持对于压力的坦诚对话。

因此，针织邀请你在酬酢媒体上共享我方的阅历和感受。让咱们联袂起劲，不仅将AI磋议打酿成一个充满活力和武艺挑战的范围，更要使其成为一个充满同理心和睦意的温顺家园。

AI大佬发长文驰念

Contextual AI首席彭胀官Douwe Kiela发文暗示，我真的很痛心，我亲爱的一又友Felix Hill离开了咱们。他辞宇宙各地有许多一又友和同事。为了让更多东说念主知说念，他的家东说念主但愿咱们共享这个网页，沿路挂念他的一世：

EPFL证明，前DeepMind磋议科学家Caglar Gulcehre暗示，听到Felix离开咱们的音讯，简直令东说念主心碎！

他回忆说念，「我第一次见到Felix是在蒙特利尔读博二的时候。那时候，我正阅历抑郁症，头两年的生活很难受。我搬到一个新国度，再加上冰天雪地的天气，让我感到极度不顺应。

Felix老是充满活力，乐不雅寂静。但有时候，你很难知说念别东说念主生活中正在阅历什么。是以，对他东说念主多一份理解，不要大意下论断很挫折。巧合他们可能正阅历着不为东说念主知的逆境。可惜的是，许多东说念主仍然低估了表情健康的挫折性。

寻求匡助并不是胆小的推崇。刚到DeepMind就业的头两年，我的父亲突发腹黑病，其后还失明了；我的姐姐也被会诊出癌症。那时候，我又搬到了另一个国度。要是不是寻求了专科匡助，我不知说念我方该如何大意这一切。

不管何时需要匡助，皆要勇敢去寻求。我很谢意身边有许多相沿我的东说念主，在挫折时期赐与了我很大的匡助。要是表情状态欠安，很难在就业上取得生效。向Felix家东说念主致以深刻的慰问」。

DeepMind磋议科学家Andrew Lampinen发文乱骂其这位也曾指点过我方的导师——

Felix Hill是一位至极出色的导师——偶尔亦然我的冬泳伙伴。我能加入DeepMind，以及形成如今作念磋议的形式，很猛进度上皆要归功于他。皆以前一个月了，我照旧以为难以信赖他还是离开了。

Felix在采取磋议方进取有着超强的目光，何况直观极度准。每当遇到新想法，他总会推崇出孩子般的温顺和风趣心，还极度幽默，能够与他沿路就业真的让东说念主备受启发。

他也极度敬重跟他同事的每个东说念主。在我刚到DeepMind的时候，他和Jane Wang沿路把一群超棒的东说念主聚在了沿路，比如Stephanie Chan、Aaditya Singh、Allison Tam，还有其他许多一又友和合作伙伴。

不外他也阅历过一段艰深时期，尤其是最近这几年。我终末一次和他聊天是在他离世前能够一个月，那时他跟我共享了一个利欲熏心又有点浪漫的神色想法，让我仿佛看到了他当年的影子。但那会儿我太忙了，一直莫得再跟进，直到面前为时已晚，于今这件事让我极度后悔。

纽约大学诡计机科学和数据科学证明Kyunghyun Cho更是写了一篇长文驰念尸骸——「再见了，Felix」。

著述地址：https://kyunghyuncho.me/bye-felix/

这段笔墨写于2024年12月9日，但那时我既不肯意也无法采纳所发生的事实，是以一直莫得勇气发布。即便到面前，每当想起这件事，我的心仍然隐晦作痛。我采取在2024年的终末一天发布这段笔墨，以此驰念Felix。

时候回溯到2014年头夏。我那时在蒙特利尔大学担任Yoshua Bengio证明的博士后磋议员，而Felix是一位刚刚抵达蒙特利尔的拜访学生。

那时，我正在竭力于于蛊惑一个能够处理长句子的神经机器翻译系统（Neural Machine Translation，NMT），为此我尝试了通盘能意想的法度（贯注力机制那时并不在其中，直到同庚夏天Dima Bahdanau行为实习生来到蒙特利尔才有了顽固）。

在这些探索性尝试中，我构想了使用门控卷积编码器（Gated Convolutional Encoder）来替代基于轮回神经汇集（RNN）的编码器。通过对门控机制施加符合的敛迹，我生效历练出了这个模子，并使其具备了一定的可解释性。

当Felix来到我的办公桌前，以谈话学家和诡计机科学家的身份作念自我先容时，我很怡悦地想要向他展示这个新模子所揭示的可解释结构。

于是我向他展示了：

Felix以极其细目的口吻对我说，「Kyunghyun，语法并不挫折」。这能够是我听过非韩国东说念主中最尺度的名字发音。

那一刻我就预见到，Felix一定会成为我最佳的一又友之一——事实证明，从那时起直到面前照实如斯）。而他说的这句话，也在往后几年里频频出面前我的学术演讲slides中。

在咱们共度的那些沸腾时光中，除了进行深入却不失落旨的形而上学探讨，咱们也开展了一些磋议合作。

除了共同发现的诸多道理恶果外，咱们最具记号性的「孝敬」反而是一个相等极度的表象：从2016年运行，咱们意外中引颈了一股不时3-5年的潮水，即是东说念主东说念主皆仿佛着了魔似的要在论文中塞入一个装满海量数字的「超等大表格」（The Really Enormous Table）。

那时咱们在写「Learning distributed representations of sentences from unlabelled data」这篇论文时，全皆没想那么多，但最终照旧放入了两个广大的数据表格：

2018年头，Felix在ICLR的论文辘集发现了好几篇包含「超等大表格」的论文，这让咱们不禁哑然发笑。

即使在严谨的学术磋议中，咱们依然保持着这种沸腾的合作形式。

时光飞逝，快要十年后，Felix行为2023年拉好意思东说念主工智能会议Khipu的组织者之一，邀请我担任演讲嘉宾。他津津隽永地向我描画咱们将要进行的行动：不雅看足球比赛，游览布宜诺斯艾利斯等等。

关联词，当我在2023年3月抵达蒙得维的亚参加Khipu时，却发现Felix并未到场。其他组织者告诉我，他因为健康问题无法前来。那时的我还不曾意想，这竟是我终末一次有契机与他再会。

Felix在2023年第二届Khipu上未领取的参会证件

2024年6月，经过漫长岁月，我终于有契机造访伦敦，便给Felix发音讯约他共进午餐。尽管我明晰碰面的可能性迷茫，但我真的至极期待能与他相聚、空谈，沿路消磨时光。

咱们前次碰面照旧在疫情之前，之后就只可靠偶尔的辛勤视频磋议。我也背地期待能看到他康复的喜东说念主变化。

几个月后（2024年8月），Felix恢复了音讯，并为迟复致歉，这的确让东说念主爱慕。他还附上了一张咱们的合影（不是AI生成的，但是Felix「生成」的），唤起了咱们前次在伦敦相聚的好意思好回忆。

左图：这是一张由Felix本东说念主「生成」的与我的合影；右图：这是一张真确拍摄的Felix与我的合影

上周五，我收到了Douwe发来的WhatsApp音讯。正是由于Felix在2014年的引荐，我才相识了Douwe，并与他建造了深厚的友谊。我立即尝试磋议Felix，但不管是WhatsApp照旧手机，皆还是无法接通。

Felix，愿你面前已不再可怜，在天堂与母亲聚合。