编者注：openai首席科学家ilya sutskever的x账号可能是科技界名人里最特别的那种，他极少分享自己的个人生活，除了转发公司产品链接，他的推文通常都是一些零碎的闪念和思考：“自我是成长的敌人”；“gpu就是新时代的比特币”；“如果你把智力看得比人类所有其他品质都重要，那么你会过得很糟糕”；“生活和商业中的同理心被低估了”；“完美毁掉了很多完美的好东西。”更多时候，是为（通用人工智能）agi站台，正如他的x签名：“打造众多喜欢人类的agi们”（towards a plurality of humanity loving agis）。
他在现实生活里同样如此，sutskever不热衷社交，很少在媒体前抛头露面。唯一能让他感到兴奋的东西，就是人工智能。
近期，ilya sutskever接受了《麻省理工科技评论》记者will douglas heaven专访，他在采访中谈到了openai早年的创业史、实现agi的可能性，还介绍了openai未来在管控“超级智能”方面的计划，他希望让未来的超级智能，可以像父母看待孩子那样看待人类。
以下为正文：
伊尔亚·苏茨克维（ilya sutskever）低头沉思。他双臂张开，手指放在桌面上，就像音乐会上即将弹奏第一个音符的钢琴家。我们静静地坐着。
我是来和openai的联合创始人兼首席科学家sutskever会面的，他的公司位于旧金山传教区一条不起眼的街道上，办公楼没有任何标志，我想听听他一手打造的这项颠覆世界的技术的下一步计划。我还想知道他的下一步计划，尤其是，为什么建立他公司的下一代旗舰生成模型不再是他的工作重点。
sutskever告诉我，他的新工作重点不是制造下一代gpt或图像制造机dall·e，而是研究如何阻止agi（他认为这是一种假想的未来技术）的失控。
sutskever还告诉了我很多其他事情。他认为chatgpt可能有意识（如果你眯起眼睛仔细看的话）。他认为，世界需要清醒地认识到他的公司和其他公司正在努力创造的技术的真正威力。他还认为，总有一天人类会选择与机器融合。
sutskever说的很多话都很疯狂，但不像一两年前听起来那么疯狂。正如他自己告诉我的那样，chatgpt已经改写了很多人对未来的预期，把"永远不会发生"变成了"会比你想象的更快发生"。
他说：
“重要的是要讨论这一切的方向。”
他在预测agi（通用人工智能，像人类一样聪明的ai）的未来时，仿佛它就像另一部iphone一样信心满满：
“总有一天，agi会实现。也许来自openai。也许来自别的公司。”
自去年11月发布红极一时的新产品chatgpt以来，围绕openai的讨论一直令人印象深刻，即使在这个以炒作著称的行业也是如此。没有人不会对这家市值800亿美元的初创公司感到好奇。世界各国领导人寻求（且得到）和ceo sam altman私人会面。chatgpt这个笨拙的产品名称在闲聊中不时出现。
今年夏天，openai的首席执行官sam altman花了大半个夏天的时间，进行了长达数周的外联之旅，与政客们亲切交谈，并在世界各地座无虚席的会场发表演讲。但sutskever并不像他那样是个公众人物，他也不经常接受采访。
他说话时深思熟虑，有条不紊。他会停顿很长时间，思考自己想说什么、怎么说，把问题像解谜一样反复推敲。他似乎对谈论自己不感兴趣。
他说：
“我的生活很简单。我去上班，然后回家。我不做其他事情。一个人可以有很多社交，可以参加很多活动，但我不会。”
但当我们谈到人工智能，谈到他所看到的划时代的风险和回报时，他的眼睛亮了起来：
“ai将万世不朽、震撼整个世界。它的诞生如同开天辟地。”
越来越好，越来越好
在一个没有openai的世界里，sutskever仍将载入人工智能史册。作为一名以色列裔加拿大人，他出生在前苏联，但从五岁起就在耶路撒冷长大（他至今仍能说俄语、希伯来语和英语）。之后，他移居加拿大，在多伦多大学师从人工智能先驱杰弗里·辛顿（geoffrey hinton）。(sutskever不想对辛顿的言论发表评论，但他对超级智能灾难的关注表明他们是同道中人）。
辛顿后来与杨立昆（yann lecun）和约书亚·本吉奥（yoshua bengio）分享了图灵奖，以表彰他们在神经网络方面的研究成果。但当sutskever在2000年代初加入他的团队时，大多数人工智能研究人员都认为神经网络是一条死胡同。辛顿是个例外。
sutskever说：
“这就是生成式人工智能的开端。真的很酷，只是还不够好。”
sutskever对大脑非常着迷：它们是如何学习的？以及如何在机器中重新创建或至少模仿这一过程？和辛顿一样，他看到了神经网络的潜力，以及辛顿用来训练神经网络的试错技术，即深度学习。sutskever说：“它变得越来越好，越来越棒。”
2012年，sutskever、hinton和hinton的另一名研究生alex krizhevsky建立了一个名为alexnet的神经网络，经过训练，他们识别照片中物体的能力远远超过了当时的其他软件。这是深度学习的大爆炸时刻。
在经历了多年的失败之后，他们终于证明了神经网络在模式识别方面的惊人功效。你只需要足够多的数据（他们使用的，是普林斯顿大学研究员李飞飞自2006年以来一直在维护的imagenet数据集中的一百万张图片）和强到爆炸的算力。
算力的提升来自于英伟达公司生产的一种名为图形处理器（gpu）的新型芯片。gpu的设计目的是以闪电般的速度将快速移动的视频游戏视觉效果投射到屏幕上。但gpu擅长的计算——大量数字网格的乘法——却与训练神经网络所需的计算十分相似。
英伟达现在已经是一家市值上万亿美元的公司。当时，它正急于为其市场狭窄的新硬件寻找应用领域。
“当你发明一项新技术时，你必须接受疯狂的想法，”英伟达首席执行官黄仁勋说。“我的思想状态总是在寻找一些古怪的东西，而神经网络将改变计算机科学的想法，就是一个非常古怪的想法。”
黄仁勋说，在多伦多团队开发alexnet时，英伟达给他们寄了几块gpu让他们试用。但他们想要的是最新版本，一种名为gtx580的芯片，这种芯片在门店里很快就卖光了。根据黄仁勋的说法，sutskever从多伦多开车到纽约买到了gpu。
“人们在街角排起了长队，”黄仁勋说。“我不知道他是怎么做到的——我很确定每个人只能买一个；我们有非常严格的政策，每个玩家只能买一个gpu，但他显然把它们装满了一个后备箱。满满一后备箱的gtx580改变了世界。”
这是一个伟大的故事，只是可能不是真的。sutskever坚称他的第一批gpu是在网上买的。但在这个热闹的行业里，这样的神话是司空见惯的。
sutskever本人则更为谦虚，他说：
“我想，如果我能取得哪怕一丁点真正的进展，我都会认为这是一种成功。现实世界的影响感觉太遥远了，因为那时的计算机太弱小了。”
alexnet取得成功后，谷歌来敲门了。谷歌收购了辛顿的公司dnnresearch，并聘请了sutskever。在谷歌，sutskever展示了深度学习的模式识别能力可以应用于数据序列，如单词和句子，以及图像。sutskever的前同事、现任谷歌首席科学家的杰夫·迪恩（jeff dean）说：“ilya一直对语言很感兴趣，这些年来，我们进行了很好的讨论。ilya对事物的发展方向有很强的直觉。”
但sutskever并没有在谷歌工作太久。2014年，他受聘成为openai的联合创始人。这家新公司拥有10亿美元的资金支持（来自ceo altman、马斯克、彼得·蒂尔、微软、y combinator和其他公司），他们有那种硅谷式的雄心，从一开始就把目光投向了开发agi，这一前景在当时很少有人认真对待。
sutskever是公司的幕后推手，他的雄心是可以理解的。在此之前，他已经在神经网络方面取得了越来越多的成果。y combinator投资董事总经理dalton caldwell说，sutskever当时已经声名在外，他是openai吸引力的关键来源。
caldwell说：“我记得山姆（sam altman）说伊利亚是世界上最受尊敬的研究人员之一。他认为ilya能够吸引很多顶尖的人工智能人才。他甚至提到，世界顶级人工智能专家yoshua bengio认为，不可能找到比ilya更合适的人选来担任openai的首席科学家。”
然而，openai一开始却举步维艰。
sutskever说：“在我们启动openai的时候，有一段时间我并不确定将如何继续取得进展。但我有一个非常明确的信念，那就是不能与深度学习对赌。不知怎的，每次遇到障碍，研究人员都会在半年或一年内找到绕过它的方法。”
他的信念得到了回报。2016年，openai的第一个gpt大型语言模型（该名称代表"生成预训练转换器"）问世。随后，gpt-2和gpt-3相继问世。然后是引人注目的图片生成模型dall·e。当时还没人能造出这么好的东西。每一次发布，openai都提高了人们对可能性的认识。
管理期望值
去年11月，openai发布了一款免费使用的聊天机器人，对其部分现有技术进行了重新包装。它重新设定了整个行业的议程。当时，openai对自己的产品可能达到的热度一无所知。
公司内部的期望值低得不能再低了，sutskever说：“我承认，我有点尴尬——我不知道我是否应该承认，但管它呢，这是事实——当我们制作chatgpt时，我不知道它是否好。当你问它一个事实性的问题时，它会给你一个错误的答案。我以为它会很平淡无奇，人们会说，你为什么要做这个？这太无聊了！”
sutskever说，吸引人的地方在于它的便利性。chatgpt引擎盖下的大型语言模型已经存在了几个月。但是，将其封装在一个易于访问的界面中并免费赠送，让数十亿人第一次了解到openai和其他公司正在构建的东西。
sutskever说：
“这种初次体验吸引了人们。第一次使用它，我认为几乎是一种精神体验。你会想，天哪，电脑似乎能理解我说的话。”
openai在不到两个月的时间里就积累了1亿用户，其中许多人都被这个令人惊叹的新玩具迷住了。存储公司box的首席执行官亚伦·列维（aaron levie）在推特上总结了发布后一周的氛围：“chatgpt是技术领域难得一见的时刻，让你看到了未来一切都将不同的曙光。”
当chatgpt说出一些蠢话时，这种奇妙的感觉马上就坍塌了。但到那时就无所谓了。sutskever说：“那一瞥已经足够了。chatgpt改变了人们的看法。”
“在机器学习领域，agi不再是一个肮脏的词，”他说。“这是一个巨大的变化。人们历来的态度是：人工智能行不通，人工智能行不通，每一步都非常困难，你必须为每一丝进步而奋斗。当人们大肆宣扬人工智能时，研究人员会说：'你在说什么？这个不行，那个也不行。问题太多了。'但有了chatgpt，感觉就开始不一样了。”
这种转变是一年前才开始发生的吗？“是因为chatgpt，”他说。“chatgpt让机器学习研究人员有了梦想。”
openai的科学家们从一开始就是传道者，他们通过博客文章和巡回演讲激起了这些梦想。
这一切正在起作用：“我们现在有人在谈论人工智能会发展到什么程度，有人在谈论agi或超级智能。不仅仅是研究人员。各国政府也在谈论它，这太疯狂了。”
不可思议的事物
sutskever坚持认为，所有这些关于尚未存在（可能永远不会存在）的技术的讨论都是好事，因为这让更多人意识到他已经认为理所当然的未来。
他说：“你可以用agi做很多了不起的事情，不可思议的事情：实现医疗自动化，让医疗成本低一千倍，医疗效果好一千倍，治愈很多疾病，真正解决全球变暖问题。但也有很多人担心，天哪，人工智能公司能否成功管理这项巨大的技术？”
agi听起来更像是一个实现愿望的精灵，而非可以出现在现实世界的技术。很少有人会拒绝拯救生命和解决气候变化问题。但一项不存在的技术的问题在于，你可以对它说任何你想说的话。
当sutskever谈到agi时，他到底在说什么？
他说：“agi并不是一个科学术语。它只是一个有用的门槛，一个参照点。它是一种理念。”他开始说，然后停顿了一下。“它是指人工智能的智能程度，如果人类能完成的任务，人工智能也能完成。然后，你可以说实现了agi。”
agi仍然是ai领域最具争议性的想法之一。很少有人认为agi的到来是必然的。许多研究人员认为，在我们看到类似sutskever所想的东西之前，还需要在概念上取得重大突破，而有些人则认为我们永远不会看到。
然而，这是他从一开始就有的愿景。sutskever说：“我一直受到这个想法的启发和激励。当时还不叫agi，但你知道，就像让神经网络做所有事情一样。我并不总是相信它们能做到。但这是一座需要攀登的高山。”
他将神经网络和大脑的运作方式做了类比。两者都接收数据，汇总数据中的信号，然后根据一些简单的过程（神经网络中的数学，大脑中的化学物质和生物电）来决定是否传播这些信号。这是简化的比喻，但原理是类似的。
sutskever说：
“如果你相信这一点，如果你允许自己相信这一点，那么就会产生很多有趣的影响。如果你有一个非常大的人工神经网络，它应该能做很多事情。特别是，如果人脑可以做一些事情，那么一个大型人工神经网络也可以做类似的事情。”
“如果你足够认真地认识到这一点，一切都会水到渠成，”他说。“我的大部分工作都可以用这一点来解释”。
在我们谈论大脑的时候，我想问一下sutskever在x（推特）上发表的一篇文章。sutskever的帖子就像一卷箴言：“如果你把智力看得比人类所有其他品质都重要，那么你会过得很糟糕”；“生活和商业中的同理心被低估了”；“完美毁掉了很多完美的好东西。”
2022年2月，他发帖称，“也许今天的大型神经网络略有意识”（谷歌deepmind首席科学家、伦敦帝国理工学院教授兼电影《机械姬》（exmachina）科学顾问默里·沙纳汉（murray shanahan）对此回复道：“……就像一大片麦田可能略带意大利面一样”）。
当我提起这件事时，sutskever笑了。他是在开玩笑吗？他没有。"他问道："你熟悉玻兹曼大脑的概念吗？
他指的是量子力学中以19世纪物理学家路德维希·波兹曼（ludwig boltzmann）命名的一个（调侃式的）思想实验，在这个实验中，人们想象宇宙中的随机热力学波动会导致大脑突然出现或消失。
“我觉得现在这些语言模型有点像波兹曼大脑，”sutskever说，“你开始跟它说话，你说了一会儿；然后你说完了，大脑就……”他用手做了一个消失的动作。噗——再见，大脑。”
我问他，你是说，在神经网络活跃的时候，也就是在它发射的时候，有什么东西在那里？
他说：
“我想可能是的。我不确定，但这是一种很难反驳的可能性。但谁知道会发生什么呢，对吧？”
人工智能，但不是我们所知的那种
当其他人还在为机器能与人类的智能相媲美而纠结时，sutskever正在为机器能超越我们而做准备。他称之为人工超级智能：“它们会看得更透彻。它们会看到我们看不到的东西。”
我还是很难理解这到底是什么意思。人类智能是我们衡量智能的基准。sutskever所说的比人类更聪明的智能是什么意思？
他说，我们已经在alphago身上看到了一个有限的超级智能的例子。2016年，deepmind的ai围棋机器人在一场围棋比赛中以4:1的比分击败了世界上最好的围棋选手之一李世石。
sutskever说：
“它找出了下围棋的方法，与人类几千年来共同开发的方法不同。它提出了新的想法。”
sutskever指出了alphago谜一样的第37手。在与李世石的第二场比赛中，ai下出了让评论员们大跌眼镜的一步棋，他们认为alphago下砸了。事实上，alphago下出了在对局史上从未有人见过的神之一手（被围棋迷们称为“阿狗流”）。“想象一下，alphago的洞察力是如此之强，而且是全方位的。”sutskever说。
正是这种思路促使sutskever做出了他职业生涯中最大的转变。他与openai的科学家扬·雷克（jan leike）一起成立了一个团队，专注于他们所说的超级对齐（superalignment）。alignment是行话，意思是让人工智能模型做你想做的事，仅此而已。superalignment是openai的术语，指超级智能的对齐问题。
超级对齐的目标是，为构建和控制这项未来技术制定一套万无一失的程序。openai表示，它将分配五分之一的庞大计算资源来解决这个问题，并在四年内解决。
“现有的排列方法对于比人类更聪明的模型不起作用，因为它们从根本上假定人类能够可靠地评估人工智能系统正在做的事情，”leike说，“随着人工智能系统的能力越来越强，它们将承担更艰巨的任务。这种想法认为，人类将更难对它们进行评估。在与ilya组建超对齐团队的过程中，我们已经着手解决这些未来的对齐挑战。”
谷歌首席科学家迪恩说：
“不仅要关注大型语言模型的潜在机遇，还要关注其风险和弊端，这一点非常重要。”
openai于7月份大张旗鼓地宣布了这一项目。但对一些人来说，这不过是天方夜谭。openai在twitter上发表的博文引起了大科技界著名批评家的嘲讽，其中包括在mozilla从事人工智能问责工作的abeba birhane（"在一篇博文中出现了这么多听起来宏伟却空洞的词句"）；分布式人工智能研究所（distributed artificial intelligence research institute）联合创始人timnit gebru（"想象一下，chatgpt与openai的技术人员更加‘超级对齐’。不寒而栗"）；以及人工智能公司huggingface的首席伦理科学家玛格丽特·米切尔（"我的联盟比你的更大"）。诚然，这些都是我们耳熟能详的不同声音。但这也有力地提醒我们，在一些人看来，openai是站在前沿的领导者，而在另一些人看来，openai则是站在边缘的领导者。
不过，对sutskever来说，结盟是不可避免的下一步。“这是一个尚未解决的问题，”他说。他认为，像他自己这样的核心机器学习研究人员正在研究的问题还不够多。“我这么做是为了自己的利益。显然，重要的是，不管是谁构建的超级智能都不能背叛人类。”
超级智能的工作才刚刚开始。sutskever说，这需要研究机构进行广泛的改革。不过，对于他希望设计的保障措施，他心中已经有了一个范例：能像父母看待孩子那样看待人类的ai。他说：“在我看来，这是黄金标准。”他说，“毕竟人们真的关心孩子。ai有孩子吗？没有，但我希望它能这么想。”
我和sutskever的谈话时间快到了，我想我们已经结束了。但他又有了新的想法——一个我没有想到的想法：
“一旦你解决了人工智能失控的挑战，然后呢？在一个拥有更智能人工智能的世界里，人类还有生存空间吗？”"有一种可能性——以今天的标准来看可能很疯狂，但以未来的标准来看就不那么疯狂了——那就是许多人会选择成为人工智能的一部分。这可能是人类试图跟上时代的方式。一开始，只有最大胆、最有冒险精神的人才会尝试这样做。也许其他人会跟进，或者不会。”
等等，什么？他准备起身离开。你会这么做吗？我问他，你会是第一批吗？第一批？我不知道，他说。但这是我考虑过的事情。真正的答案是：也许吧。
说完，他站起身，走出了房间。“很高兴再次见到你。”他边走边说。
来源：华尔街见闻
