最新一次黄仁勋采访全篇:自曝每天使用ChatGPT,每一次演讲都硬着头皮。

2024-10-12

敲重点:


黄仁勋认为,传统的面试过程并不总是判断一个人是否合适的好方法,他更相信背景调查。


黄仁勋表示,在解释英伟达为什么选择购买Mellanox而放弃Arm时,文化融合充满了挑战。


黄仁勋一直期待着电脑能展示智能行为,并且坚信软件会让算法以看似智能的方式解决问题。


为了保证每一代商品的性能飞跃,英伟达为每个系统制定了六到七个全新的芯片,并通过协同设计彻底创新了整个系统。


黄仁勋透露,ChatGPT每天都在使用,并且相信它的推理能力会越来越强,而且答案的质量也会显著提高。


黄仁勋的很多演讲不仅篇幅复杂,而且内容极其专业深刻,但他的表现一般都很出色。对此,他承认自己没有时间排练,只能咬紧牙关。




与美国全国公共媒体联手的Arm(NPM)定制化播客系列精心打造《Tech Unheard》在首秀中,英伟达CEO黄仁勋接受了ArmCEO雷内·哈斯(Rene Haas)独家独家采访。哈斯称赞黄仁勋,认为他是一个真正的见识分子。


采访中,哈斯与黄仁勋深入交流了后者的个人创业历程、人工智能的未来前景,以及英伟达如何通过其独特的不断创新精神和野心,不断推动技术界限的拓展。此外,黄仁勋还阐述了如何重塑英伟达专注于系统芯片领域,引领人工智能工业革命的幕后故事。同时,他还表达了进一步加快创新步伐的愿望。


《Tech Unheard》播客系列共12集,哈斯将邀请行业领袖与政策制定者进行一对一的深度对话,分享他们独特的见解、精彩的故事和对未来的展望。从2024年10月9日开始,该系列每月播出一集,包括从人工智能的未来展望到构建顶尖技术和运营企业所需的思维模式。


下面是哈斯与黄仁勋的整篇对话:


01 如何招聘合适的员工和高管?


哈斯:英伟达现在发展得如此之大。我一直很好奇你的招聘。你是如何在众多候选人中分辨出那些在英伟达取得成功的人的?毕竟你的公司文化独特,风格独特。


黄仁勋:老实说,我们在这方面并不总是完美的,这确实需要一些财富。在我看来,传统的面试过程并不总是判断一个人是否合适的好方法。归根结底,每个人都可以通过观看YouTube上的面试技巧视频来准备一个看似建设性的对话。当然,技术问题是可以提前准备的,甚至有人分享过英伟达的技术面试问题。尽量让面试看起来既严格又具有挑战性,但是说实话,还是很难准确地评价一个人。所以,我的方法总是回到背景调查,我会去了解他们过去的工作经历和表现。


之所以这样做,是因为一个人可以创造一个美好的时刻,但是很难长期隐藏自己的过去和真实能力。因此,我认为背景调查是一种很好的方法。在观察他们的推理过程和思维模式之前,我也会问一些深入的问题。但是我觉得英伟达之所以对很多人都很成功,一方面是因为我们找到了优秀的人,另一方面是因为我们创造了条件,这样这些人才能在这里超越自己,发挥出比自己想象的更好的水平。这个问题主要取决于我们是否透明地解释了英伟达的愿景、策略和工作方法。这件事我一直很重视,并且花了很多时间。我们公司一直以透明地解释我们面临的挑战、机遇和我们正在实施的战略而闻名。


我们的辞职率很低,而且这是一个非常多样化的环境,有很多有趣的人有不同的背景。我们公司的人几乎来自世界上所有伟大的公司。企业内部,信息流动十分顺畅,尤其是关于企业战略的信息。在参与决策之前,我总觉得奇怪的是,有些公司存在很多信息壁垒,员工需要了解很多信息。每个人都不需要知道一切,但是他们知道的越多,就越能代表公司做出明智的决定。所以我尽量保持透明,尽量让每个人都有更多的权力和信息。


所以,由于员工不可思议的生产力,我认为英伟达是世界上最小的大企业之一。目前我们大约有三万名员工,也许现在多了一点。她们每天要做数百个决定。如果这3万人在统计上都在朝着一个方向前进,即使他们的决定通常是模糊的,但都是为了企业的长远利益,那么这些决定很快就会积累起来,产生很大的积极影响。


哈斯:我一直很惊讶,英伟达拥有那些高级领导者,无论是精心挑选还是自然选择,都非常重要,这些领导者将深入到组织的各个层面。我想知道的是,这种情况是怎样形成的?随着企业的发展,你是否逐渐找到了一批符合你愿景的高管,从而形成了这种氛围?因为在英伟达,现在很多高层管理者在我还在这里工作或者他们还在这里工作的时候,完全接受你会四处寻找合适的人来解决问题的做法。


黄仁勋:首先,我没有征求他们的意见。毕竟,你不应该向非常明显的事情寻求许可。英伟达从一开始就被定位为全栈计算企业,我们的目标是制造GPU、CPU和网络芯片,甚至包括交换机。与此同时,我们还负责芯片架构和设计,系统软件的开发,算法的建立,甚至解决方案的开发。


那么,如何组织这样一个需要各个部分协调和分步构建的整体呢?我们的解决方案是把组织视为一个领导者可以培养人才、为他们创造成功条件、提供服务、帮助他们消除障碍的平台,而不是建立组织堡垒。但关键是老板需要坚持使命,这个使命要贯穿整个企业。


所以,它可以跨越系统、芯片、网络芯片、软件和算法等诸多领域。通过这种组织方式,我们也实现了透明度,所有的堡垒都变得透水。当组织具有透水性时,它通常会变得更好,因为会有更多的人帮你指责它,证明它。所以,我喜欢这种透水性,如果你愿意的话,也可以称之为我们公司的开放式。喜欢一切都是透明的,大家一起努力让它变得更好。它与所有被封闭在黑暗堡垒中的东西有很大不同。


02 为什么要放弃Arm选择Mellanox并购?


哈斯:英伟达差点买了Arm,但最终大家都选择了买Mellanox,这不仅是一次战略上引人注目的收购,而且从实施层面来说,对于一个注重透水性的组织来说,这次收购似乎是无缝连接的,进行得非常顺利。你是怎么做到这一点的?我的意思是,M&A通常很难。你如何让这次M&A如此顺利?


黄仁勋:的确,文化融合在M&A总是一个巨大的挑战。但是幸运的是,在Mellanox的管理团队和英伟达以色列的管理团队中,有很多我们的EE。-staff(执行团队)成员。现在NVLink交换机业务也在增加,包括架构、R&D、软件系统、芯片、网络和交换机等诸多领域。Mellanox的产品组合在合并后的短时间内迅速扩展了四倍,并已深入到我们业务的各个方面。回首这次收购,你可以看到我们的愿景是如何推动这一切的。我们意识到,计算单元不再只是GPU这样的外设,而是Arm在一定程度上帮助我们完成了向SoC(系统级芯片)企业的转型。您还记得SoC吗?这基本上是一台完整的电脑,而GPU只是其中的一部分。你必须自己负责SoC的整个系统启动。所以,这促使英伟达从一个以算法为核心的公司(这实际上是GPU公司的本质)转变为一个真正的计算公司。它是我们第一次尝试,起初并不容易,但是现在我们已经能够制造出令人惊叹的SoC产品。


下一步,我们的发展方向是建立一个系统。DGX-第一个是我们的第一个系统级商品。事实上,我仍然对SHIELD情有独钟,那是我们的安卓。 我非常喜欢电视电脑,因为它是我们创建的第一个完整的英伟达系统。我们从SHIELD到DGX-1学到了很多。直到今天,我们仍然在维护SHIELD软件的更新。


那是英伟达向系统公司转型的开始。有时候人们会问我DGX-1是怎么来的,它是怎么改变一切的。其实,DGX-只有一个大型SHIELD。用塑料制成的SHIELD,重约600磅的DGX-1(约272公斤)。这一变化对我们来说并不是什么大问题,因为我们已经有了制造系统的经验。真正重要的是,我们现在可以建立一个完整的系统。当我们购买Mellanox时,我们的主要想法是整个数据中心将成为计算模块,而不是单个节点。假如你没有设计GPU、CPU、网络接口卡(NIC)、交换机和所有收发器都不能连接在一起,整个系统从无到有的启动,这样一切都可以连接和运行,工作负荷可以分布到各个部分,所以我们不会真正理解构建这些非常集群的人工智能和这种转型的意义。


这一愿景非常清晰,对两个团队的鼓励至关重要。要激励团队,你必须有一个清晰而激动人心的愿景。我们有这样的愿景,而且非常可行,因为你可以亲眼看到它就在眼前——非常集群和从两家公司获得的所有设备。这种愿景既清晰又令人兴奋,我们应该让它变得实用。身为CEO,每个人都必须把抽象的东西具体化,然后我们开始构建它。另外,我认为Mellanox的企业文化非常出色,这也是我们能够顺利进行并购的一个重要原因。


哈斯:这种清晰度真的很有助于促进公司的发展。回到愿景这个话题,在我讲企业故事的时候,我也注意到了另一件事。比如SHIELD和早期的CUDA在石油和天然气应用领域,当时这些应用的终极形式或者市场前景并不明显。


黄仁勋:的确,许多人并没有意识到这些应用程序的潜力。事实上,这是我们最初的尝试。


哈斯:当时很难看出这些尝试会演变成什么真正的杀手应用或者最终形式,但是你表现出了不可思议的韧性和决心,在早期尝试和测试各种想法,即使市场似乎还没有准备好,或者应用领域还没有明确定义。你从这种能力中受益于什么?是惊人的直觉吗?还是预测未来的能力?


黄仁勋:英伟达的优势在于我们身边聚集了许多优秀的人才,他们是世界上优秀的计算机科学家、战略家和商业人才。她们不但个人能力出众,更重要的是,她们没有个人主义倾向,都渴望为公司创造更大的价值。在我看来,我们的成功首先是从这个角度开始的。第二,我们也非常擅长直觉。对于需要解决哪些问题,以及如何从现在走向我们想要成为的企业,我们都有很好的直觉。所以,我们可以准确地推断出各种阶段性目标。


许多人不明白,当我们决定开发SHIELD时,他们认为我们在浪费时间。但是我告诉他们,总有一天我们会成为一家系统公司。而且SHIELD是我们迈向这一目标的第一步。这些系统将与云服务相连。为何我们不先从最大的系统开始?为何我们不先开发这种系统?假如我们甚至不能做到这一点,那么我们就不能做更多的系统。在不伤筋动骨的情况下,我们希望通过开发这样的系统,让公司学习新的技能,去尝试,去失败。通过这种方式,我们可以为未来的挑战做好充分的准备。


03 创始人方式 VS 经理人方式


哈斯:你认为只有创始人领导的企业才能有明确的愿景和不断明确的前进方向的韧性,就像你刚才描述的那样吗?由于最近关于创始人模式和经理模式的讨论很多,作为30年的领导企业创始人,你取得了巨大的成功。但是,你描述的只能由创始人领导的企业来做吗?


黄仁勋:我不这么认为。在Arm,我认为你做得很好。你们知道,每当我见证你们的工作,我的心里就充满了无与伦比的荣誉感。我很享受观察你的工作过程,这总能给我带来极大的喜悦和骄傲。我深信,要想在工作中有所成就,就必须要有坚韧不拔的精神和毅力。我愿意把它描述为经历痛苦和磨难的磨难。许多方面,你必须学会适应这种现实:成功的道路不是平坦的道路,而是充满了痛苦和磨炼。这并不是一系列容易积累的成就,而是要付出巨大的努力和坚持。


当然,我希望一切都会发生,因为这无疑会对你大有裨益。但是,回顾那些充满挑战的时刻,尽管那时我可能并没有完全意识到我从中学到了什么,但是它们确实让我更坚强。虽然在经历的时候可能不喜欢那种感觉,但我知道我能克服一切困难。然而,当我回顾过去时,那些艰难的时刻恰恰是我成长的见证,也是你和企业最骄傲的时刻,因为我们一起度过了那些困难。所以,我认为我们的企业之所以强大,正是因为我们有许多这样的励志故事。公司的每一个角落,都流传着无数经历过挫折却最终取得非凡成就的动人故事。它们就像宝贵的财富,帮助公司度过了一个又一个艰难的时期。


04 期望电脑能展示智能行为


哈斯:我们都在这个行业努力了很多年。关于人工智能的发展,我有一种感觉,好像有些场景是我以前从来没有想过的。我甚至认为,这一转变估计要到下一代才能得到充分的体验。这种感觉就像触及了《星际迷航》中的未来边界。就我的认知而言,我无法想象未来如此广泛地应用人工智能会发生什么新的变化。你们对此有什么看法?在这次转型之后,我们是否正以惊人的速度推动行业转型?眼前发生的一切,真是令人惊叹。


黄仁勋:我一直期待着电脑能展示智能行为。我们有能力创造出如此优秀的软件。我想我们最终会写出这样的软件,这样算法就可以用看似智能的方式解决问题,好像计算机真的很聪明。但是,我从来没有预料到这会引发一场工业革命。我多次提到,今天的计算机行业已经超越了传统的范围,它不再仅仅是一种工具或器具,而是一种全新的制造业。


就在我和你说话的那一刻,我的手机静静地躺在口袋里,没有被使用;我的笔记本电脑也静静地呆在办公室里。大部分人的电脑也是如此,只有在需要的时候才能使用。但是不同的是,这个新的人工智能产业,也就是我们正在建设的产业,它们一直在运作。不管你是否使用它们,它们都在不断地处理数据,生成Token,并且在这个过程中产生智能。智能化正在大规模制造。以前,计算机只是一种工具或器具,而现在,它已成为一种可以大量生产有价值物品的工厂和制造业。对于我们的行业来说,这无疑是一个全新的时代。这种变化是前所未有的。现在电脑已经成为制造工具,那些被称为Token的人、特别是智能Token的惊人成就的创造者。那是一个非凡的想法。所以,我认为我们正站在一场新的工业革命的起跑线上。


哈斯:计算机行业的发展步伐是否超出了你最初的预期?从AlexNet到DGX-1的每一次创新飞跃,作为这个领域最接近前沿的守护者,你都经历过。从我接手Arm开始,我们就在内部进行了深入的探索,发现它的前进速度远远超出了我两年半甚至一年前能想象的范围。所以,对于你亲自参与推动的这一切,你是否认为它的发展比预期的要快?


黄仁勋:事实上,我们正在尽最大努力加快它的发展步伐。R&D周期已成功缩短至一年,这一决定的背后,源于对这项技术具有巨大发展潜力的充分认识。而且,我们今天的努力已经远远超出了单纯制造芯片的范围。众所周知,即使在最新的工艺节点上,芯片性能的提升也只是几个百分点的量级,但是这已经是极其困难的成就了。那怎样才能保证每一代商品都能实现显著的特性飞跃呢?答案是,我们为每个系统制定了六到七个全新的芯片,并通过协同设计彻底创新了整个系统,同时创造了NVLink交换机和新系统框架等革命性发明。这些创新使我们能够利用铜线将所有GPU紧密连接在系统背面的主干上,从而实现前所未有的大规模封装和3D封装技术。


为了实现这一目标,我们采用了多种先进的技术手段。所以,在同样的能耗和成本约束下,我们每年可以提高两到三倍的性能。显然,我们每年都在以远超摩尔定律的速度降低人工智能的成本。如果这种复利效应持续五年、六年甚至十年,我们将见证智能成本以惊人的速度下降。我们之所以如此尽力,是因为我们坚信,现在正是每个人都深刻认识到其价值的关键时期。假如我们能大大降低智力的成本,那么我们就能在需要时间的场景中实现更多的可能性,比如推理。


在你今天使用ChatGPT这一令人惊叹的服务时,我也每天使用它。今早我就体会到了它的魅力,你按下回车,提醒你快速加载,然后它就产生了导出。然而,在不久的将来,这将通过迭代推理来寻求答案。也许我们会选择复杂的方法,比如树木搜索,甚至以某种形式迭代和反思,最终呈现出更好的导出。这一过程中,它可能已经进行了上百次、上千次的推理,但是答案的质量却会显著提高。在保持原有成本和响应速度的同时,我们渴望降低成本,提供这种新的、高效的推理推理服务。


哈斯:我亲眼看到OpenAI模型演示,它的推理能力的确令人震惊,正如你所描述的那样。这似乎经历了一棵逻辑树的探索,表现出与人类相似的衡量过程,但是它的速度却远远超过了人类。但是,当我深入思考当前正在发生的变化时,我深感痴迷。正如你所说,你正以前所未有的速度引入一个全新的系统、数据和基础设施。在过去,每个人每两三年购买的CPU最终都会面临掉价。而且现在,你每年都会以一次的频率建立一个新的系统。每个人都迫切需要尽早购买和部署这些系统。


黄仁勋:虽然说起来简单,但我们每年都会交付像这个房间这样庞大的新电脑,包括所有的线路、网络、交换机和软件。这真的很神奇。


哈斯:你明白我的想法吗?我不是在让你预测未来。这更多的是关于技术普及的问题。能否保持现在的发展速度,继续前进?


黄仁勋:我觉得可以。但是,这必须以系统的方式进行,换句话说,我们所做的每一项工作,都是围绕着一种结构思维。也就是说,昨天为集群(如Hopper)开发的软件,将能够在Blackwell和Rubin上无缝运行。类似地,为Rubin建立的软件,也可以在Hopper上运行。这一结构的兼容性尤为重要,因为行业在软件方面的投入远远超过硬件,甚至达到数千倍。更加不用说,软件具有永恒的生命力。软件一旦开发或发布,就必须在整个生命周期内进行维护。CUDA的想法不是让数百万人学习编程,而是让数百万个GPU能够适应它。


所以,你在GPU上的投资,将会延续到所有其它GPU上,但是你今天写的软件,明天就会变得更好。所有我们未来编写的软件都将运行在已安装的基础设施上。所以,首先,我们需要有一个结构性的概念,并且对此保持高度的自律。第二,即使在系统方面,我们现在也非常有结构性。在不放弃昨天所做的工作的情况下,我们将采用新技术来促进系统设计的发展。例如,当我们第一次进入数据中心业务时,一个超大型数据中心的配电是每个机架12KW,而在Blackwell时代,每个机架的配电已达到120KW。这意味着数百万美元的服务器被压缩到一个机架上,密度增加了十倍。所以,节约的金额、能源和空间都是不可估量的。


哈斯:我们的故事有很多相似之处。经过30年的时间,我们为Arm架构写了几十年的心血软件,这有时并没有得到人们的充分理解。


黄仁勋:对于每一个Arm芯片,我们所做的每一项工作都备受关注。几天前,我们刚刚展示了一些结果。根据基准测试,Grace在每瓦性能上比世界顶级CPU高出四倍,这凸显了能源效率的重要性。它无处不在,尤其重要。


哈斯:当你从500兆瓦的数据中心扩展到5吉瓦的时候,考虑到网络延迟等因素,你有没有观察到一些结构层面的问题开始出现?当然,我们不需要深入讨论具体的技术细节,但是从物理的基本原理来看,你有没有发现一些不再适用的东西?


黄仁勋:的确,一切都会失败,因为物理定律是铁律,不能违反,失败是一个不可避免的过程。自然,我们正沿着功率密度曲线快速上升,增长趋势呈指数级。从12KW到40千瓦,再到120KW。、我们不断地压缩、密集地计算资源,200KW,甚至更多。液冷技术在这一过程中的效率显著提高。与此同时,我们尽量延长铜线的使用寿命,因为只要条件允许,在不转换电信号和光信号的情况下,使用铜线传输电力更为有利。尽管最终我们不得不转变为光学技术,但是我们将尽可能长时间地利用电信号。在大多数数据中心,使用电信号在成本效率、能源效率和可靠性方面更具优势。所以,我们选择了集中策略。密集化的另一个显著优势是,特定框架或相邻框架中的所有GPU都可以作为巨大的GPU协调工作,这确实令人惊叹。


05 没有时间练习演讲,只能硬着头皮上皮。


哈斯:我一直很好奇。记住你在Computex的演讲内容是惊人的,尤其是我看的时候,也是周日晚上。作为另一个经常说话但无论是深度还是长度都远不如你的人,我真的很想知道你是怎么做到的。您是否进行了大量的排练?记得以前我们一起工作的时候,有时候甚至在演讲的前一天晚上你还在调整内容,但是你总能很好的完成演讲。现在,你的演讲内容很深入,特别是当涉及到数据中心架构的详细说明时,你的准备过程是怎样的?


事实上,我们每天都在为这样的演讲做准备。您知道,我们的工作有一个独特的优点,那就是我们不是专业演员。所以,这些内容的确是我们日常工作的真实反映。每一天,我们都沉浸在这些领域中。第一,我们每天都在学习和准备。但是很多时候,我们所做的事,坦白说,都是在教。为促进一个行业的发展,为塑造市场,引入我们正在探索的新理念,其中许多都涉及到教学成分。那不是广告,你明白吗?我是一家平台公司,这意味着我们不能独自战斗。在他人的合作和支持下,我们应该。因此,我们的工作是教学、启发和展示。也许还有演示。希望越来越多的人能相信CUDA,相信英伟达在加快计算领域的实力。今天,我们可以加入我们的团队,共同推动人工智能的发展。我们现在正在研究的下一个关键项目是物理AI,以及如何让人工智能一方面学会遵循物理规律,另一方面,我们可以深刻理解这些规律。我认为这将是一次漫长的旅程。因此,像GTC和Computex这样的活动是庆祝我们生态系统和合作伙伴取得的成就的重要机会,并向他们传授我们的想法,鼓励他们展望未来。


哈斯:这真的很像。我在做QBU演讲的时候,我的首席助理会说:“哇,这些ppt好简单!”但事实上,这是我整天都在谈论的。我在想,怎么会不呢?


黄仁勋:说实话,这还是很有挑战性的。因为我们没有特别的时间排练。所以,这并不是因为我们故意不排练。当我们准备好所有的内容后,我们通常没有多余的时间排练。所以,最后,我只能咬紧牙关。


本文来源于“腾讯科技”,编译:金鹿,36氪经授权发布。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com