NVIDIA超大规模和HPC业务副总裁兼总经理IanBuck近日在美国银行证券2024年全球技术大会上表示，客户正在投资数十亿美元购买新的NVIDIA硬件，以跟上更新的AI大模型的需求，从而提高收入和生产力。

Buck表示，竞相建设大型数据中心的公司将特别受益，并在数据中心四到五年的使用寿命内获得丰厚的回报，“云提供商在购买GPU上花费的每一美元，四年内（通过提供算力服务GAAS）都能收回5美元。”

“如果用于推理，则更有利可图，每花费1美元，在同样的时间段内就能产生7美元的营业额，并且这个数字还在增长。”Buck说道。

NVIDIA创始人、总裁兼首席执行官黄仁勋和执行副总裁兼首席财务官ColetteKress此前也曾表达过同样的观点。

他们此前曾表示，借助CUDA算法创新，NVIDIA将H100的LLM推断速度提升至原来的3倍，这可以将Llama3这类的模型的成本降低到原来的三分之一，而H200在推理性能上较H100几乎翻了一番，为生产部署带来了巨大的价值。

例如，使用7000亿参数的LLama3，单台HGXH200服务器可以每秒输出24000个Token，同时支持超过2400名用户。

这意味着，按照现有的定价来看，托管Llama3的API供应商每花费1美元在NVIDIAHGXH200服务器上，未来四年内就可从Llama3token计费中赚取7美元收入。

围绕Llama、Mistral或Gemma的AI推理模型正在不断发展，并由Token提供服务。NVIDIA正在将开源AI模型打包到名为Nvidia推理微服务(NIM)的容器中。

NVIDIA最新推出的Blackwell针对推理进行了优化，支持FP4和FP6数据类型，在运行低强度AI工作负载时可进一步提高能效。

根据官方的数据，与Hopper相比，Blackwell训练速度比H100快4倍，推断速度快30倍，并且能够实时运行万亿参数大语言模型生成式AI，可进一步将成本和能耗降低到原来的25分之一。

这似乎呼应了黄仁勋多次喊出的“买的越多，省的越多”的口号，但不可忽视的是，NVIDIAGPU价格也在快速上涨。

为RubinGPU做准备

很多云提供商提前两年就已经开始规划新的数据中心，并希望了解未来的AIGPU架构会是什么样子。

NVIDIA在6月初的Computex2024展会上宣布，Blackwell芯片现已开始投产，即将替代Hopper芯片。2025年将会推出BlackwellUltraGPU芯片。

NVIDIA还公布了下一代集成HBM4的名为“Rubin”的AI平台，该GPU将于2026年发布，以替代Blackwell和BlackwellUltraGPU。

“对我们来说，做到这一点真的很重要——数据中心不是凭空而来的，它们是大型建设项目。他们需要了解Blackwell数据中心会是什么样子，它与Hopper数据中心有何不同。”Buck说。

Blackwell提供了一个转向更密集的计算形式和使用液体冷却等技术的机会，因为空气冷却效率不高。

NVIDIA已经宣布每年都会推出一款新的GPU的节奏，这有助于公司跟上AI发展的步伐，进而帮助客户规划产品和AI战略。

Buck说：“NVIDIA已经与那些最大的客户针对RubinGPU探讨了一段时间——他们知道我们的目标和时间表。”

AI的速度和能力与硬件直接相关。在GPU上投入的资金越多，AI公司就能训练出更大的模型，从而带来更多收入。

微软和谷歌将自己的未来寄托在人工智能上，并竞相开发更强大的大型语言模型。微软严重依赖新的GPU来支撑其GPT-4后端，而谷歌则依赖其TPU来运行其人工智能基础设施。

Blackwell供不应求

NVIDIA目前正在生产BlackwellGPU，样品很快就会发布。但客户可以预料，首批GPU（将于年底发货）将供不应求。

“每一项新技术的转型都会带来……供需方面的挑战。我们在Hopper上就经历过这种情况，Blackwell的产能提升也将面临类似的供需限制……今年年底到明年。”Buck说道。

Buck还表示，数据中心公司正在淘汰CPU基础设施，为更多GPU腾出空间。HopperGPU可能会被保留，而基于旧Ampere和Volta架构的旧GPU则会被转售。

NVIDIA将保留多个级别的GPU，随着Blackwell的不断发展，Hopper将成为其主流AIGPU。NVIDIA已经进行了多项硬件和软件改进，以提高Hopper的性能。

未来所有云提供商都将提供BlackwellGPU和服务器。

专家模型

Buck表示，GPT-4模型大约有1.8万亿个参数，由于AI扩展尚未达到极限，参数数量还将继续增长。

“人类大脑的规模大概相当于1000亿到150万亿个参数，具体数量取决于个人，取决于大脑中的神经元和连接。目前，人工智能的参数规模约为2万亿……我们尚未进行推理。”Buck说道。

未来将会有一个包含数万亿个参数的大型模型，在此基础上会构建更小、更专业的模型。参数数量越多对NVIDIA越有利，因为它有助于销售更多GPU。

NVIDIA正在调整其GPU架构，从原来的基础模型方法转向混合专家模型。专家混合涉及多个神经网络通过相互参考来验证答案。

Buck说：“1.8万亿参数的GPT模型有16个不同的神经网络，它们都试图回答各自层的部分问题，然后商讨、会面并决定正确答案是什么。”

即将推出的GB200NVL72机架式服务器配备72个BlackwellGPU和36个GraceCPU，专为混合专家模型而设计。多个GPU和CPU相互连接，从而支持混合专家模型。

“这些家伙都可以相互通信，而不会在I/O上受阻。这种演变在模型架构中不断发生，”Buck说。

锁定客户的技巧

NVIDIA首席执行官黄仁勋本月在HPE的Discover大会上发表了一些激烈的言论，呼吁人们购买更多该公司的硬件和软件。

NVIDIA和HPE宣布推出一系列新产品，其名称简单明了，为“NvidiaAIComputingbyHPE”。

“我们设计了小号、中号、大号和特大号，你可以选择，而且正如你所知，你买得越多，省得越多。”黄在Discover的舞台上说道。

黄仁勋今年早些时候还发表了另一条备受争议的言论，当时他说未来的程序员不需要学习如何编写代码，但在NvidiaGPU上加载AI模型需要了解命令行和脚本，以创建和运行AI环境。

NVIDIA的专有言论和在人工智能市场的完全主导地位使其成为反垄断调查的目标。

当Buck试图淡化人们对CUDA的担忧时，他必须小心谨慎，他表示“护城河是一个复杂的词”。

NVIDIA两位高管都表示，CUDA是其GPU的必备软件——要最大限度地发挥GPU的性能，就需要CUDA。开源软件可以与NvidiaGPU配合使用，但无法提供CUDA库和运行时的强大功能。

向下兼容性和连续性是NVIDIA的独特优势，NVIDIA对AI模型和软件的支持可以延续到下一代GPU。但对于英特尔的Gaudi等ASIC则不然，它们必须针对每个新模型重新进行调整。