尽管GPT-4目前在日益错综复杂的生成式人工智能世界中处于顶峰,但其竞争对手,包括Anthropic的Claude和Meta的开源Llama都在不断进步,因此OpenAI的旗舰产品大型语言模型(LLM)有必要进行新一轮迭代。虽然不少人预计山姆-奥特曼的非营利组织将在2024年发布GPT-5,但一些分析师现在断言,这种预期仍然很牵强,尤其是考虑到所需的资源规模。
据人工智能安全中心(CenterforAISafety)主任丹-亨德里克斯(DanHendrycks)称,OpenAI的GPTLLM每迭代一次,所需的计算资源就增加10倍。因此,如果OpenAI跳过GPT-4.5,直接跳到GPT-5,那么计算需求将比GPT-4增加约100倍,相当于约100万个H100芯片连续运行三个月。
Anthropic公司首席执行官达里奥-阿莫代(DarioAmodei)最近指出,目前培养一名最先进的LLM需要花费约10亿美元,预计到2025/26年,这一成本将激增到50亿到100亿美元之间。重要的是,10亿美元的培训成本与GPT-4.5可以合理推断出的10倍计算资源激增相吻合。
我们最近注意到,英伟达今年部署的H100设备预计年耗电量约为13000GWh,相当于立陶宛和危地马拉等国的年耗电量。到2027年,全球数据中心的耗电量预计将达到85到134太瓦时(TWh)!
我们之前提到过,GPT-4的竞争对手正在迅速迎头赶上。Meta公司的Llama3LLM(700亿参数)目前在Arena排行榜上排名前五。重要的是,Llama3现在已经超越了所有其他开源LLM,这还是在没有即将推出的4050亿参数模型的情况下。
此外,一些专家现在认为,GPT-5必须改变"原始课程",其中包括利用"不完善的人类对话"和整体"幼稚"的训练过程。这与我们最初的观点不谋而合,即OpenAI很可能会在今年发布一个迭代的GPT-4.5模型,而不是在GPT-5中彻底改变赌注。