亚马逊已达成协议,以8000万美元现金收购芯片制造商和AI模型压缩公司Perceive,后者是上市公司Xperi位于加州圣何塞的子公司。Perceive是一家开发突破性神经网络推理解决方案的公司,专注于在边缘设备上提供大型人工智能模型的技术。

亚马逊并未透露对这项技术的具体想法。亚马逊发言人表示:“我们很高兴签署了收购Perceive的协议,并引入其才华横溢的团队,加入我们的努力,为能够在边缘运行的设备带来大型语言模型和多模式体验。”

Xperi自今年初以来一直在为Perceive寻找买家。交易完成后,Perceive的44名员工中的大部分预计将加入亚马逊。亚马逊表示,预计该交易不需要监管部门批准,并称这是一次常规收购。

Perceive的芯片介绍

资料显示,Perceive由联合首席执行官MuraliDharan和SteveTeig领导。该公司的员工遍布全球。该公司将在爱达荷州运营一个实验室。Teig在担任Xperi首席技术官期间推动了Perceive的创建,他负责监督技术开发,包括核心音频和成像创新,同时还领导公司的机器学习团队。Dharan之前负责Xperi授权业务的战略方向、管理和增长,现在负责领导Perceive的业务运营,包括销售、营销、客户成功和运营。

Perceive提供在边缘设备上服务大型AI模型的产品,穷旗舰产品是ErgoAI处理器,它可以在各种环境中运行数据中心级神经网络,即使在电力受限的情况下。

据介绍,这是一款为边缘设备带来突破性性能和能效的AI处理器。能够以全帧速率运行大型神经网络,并支持各种网络架构和类型,包括标准CNN、RNN、LSTM等。Ergo足够灵活和强大,可以处理大量机器学习任务,从对象分类和检测,到图像分割和姿势,再到音频信号处理和语言。你甚至可以要求它执行多任务,因为Ergo可以一次运行多个网络。

尽管Ergo处理能力强大,但它不需要外部DRAM,其7毫米x7毫米的小封装使其非常适合用于相机、笔记本电脑或AR/VR眼镜等紧凑型设备。

Perceive表示,Ergo的能效是其他产品的20到100倍,仅需9mW的计算能力即可对30fps的视频进行推理。这意味着您的设备可以提供无与伦比的电池寿命,并产生更少的热量,从而实现更小、更多功能的封装。

在2023年初,Perceive推出了新款Ergo2AI处理器。据介绍,该芯片可提供更复杂用例所需的性能,包括需要变压器模型、更大的神经网络、同时运行的多个网络和多模态输入的用例,同时保持行业领先的功率效率。

Perceive创始人兼首席执行官史蒂夫·泰格(SteveTeig)在阐述了最新Ergo芯片的市场机会的时候表示:“借助新的Ergo2处理器,我们扩展了为设备制造商提供打造其最雄心勃勃的产品的途径的能力,”“这些产品包括用于语言或视觉处理的变换模型、更高帧速率的视频处理,甚至在单个应用程序中组合多个大型神经网络。”

Ergo2的运行速度比Perceive的第一代Ergo芯片快四倍,处理能力也远超为微型ML设计的典型芯片。现在,产品开发人员可以利用YOLOv5、RoBERTa、GAN和U-Nets等先进神经网络快速提供准确结果。所有Ergo2处理均在芯片上完成,无需外部存储器,从而提高能效、隐私性和安全性。Ergo2芯片可实现:

运行MobileNetV2每秒进行1,106次推理

运行ResNet-50时每秒进行979次推理

运行YoloV5-S每秒进行115次推理

为了提供运行这些大型网络所需的性能增强,Ergo2芯片采用流水线架构和统一内存设计,从而提高了其灵活性和整体运行效率。因此,Ergo2可以支持更高分辨率的传感器和更广泛的应用,包括:

语言处理应用,例如语音转文本和句子完成

音频应用,例如声学回声消除和更丰富的音频事件检测

要求苛刻的视频处理任务,例如视频超分辨率和姿势检测。

Ergo2处理器尺寸为7毫米x7毫米,由GlobalFoundries使用22FDX平台制造,无需外部DRAM即可运行。其低功耗也意味着它不需要冷却。该芯片可以同时运行多个异构网络,为用于安全、访问控制、热成像或零售视频分析的企业级摄像机等设备提供智能视频和音频功能;适用于包括视觉检查在内的工业用例;或集成到笔记本电脑、平板电脑和高级可穿戴设备等消费产品中。

AWS的自研芯片历程

多年来,AWS一直在为AI工作负载和云优化构建自己的内部定制硅片,这主要得益于公司在十多年前收购了AnnapurnaLabs。这让AWS在过去多年里构建了自己的Graviton处理器、Inferentia芯片和Trainium机器学习处理器,用于在云端训练AI模型。

今年,亚马逊在推动人工智能(AI)技术发展方面迈出了重要一步。

在其年度AWSre:Invent大会上,AWS发布了两款新型定制芯片:AWSTrainium2和Graviton4。这两款芯片代表了亚马逊网络服务(AWS)为满足日益增长的AI功能需求而做出的大胆努力,尤其是在市场面临主要由Nvidia生产的高性能图形处理单元(GPU)严重短缺的情况下。

对增强计算能力的需求源于生成式人工智能的日益普及,这需要强大的基础设施来训练和部署模型。据报道,Nvidia的GPU直到2024年都已售罄,包括台积电首席执行官在内的业内消息人士预测,这种供应危机可能会持续到2025年。考虑到这一点,亚马逊的新芯片旨在通过提供专门针对人工智能工作负载量身定制的替代方案来减轻对Nvidia的依赖。

Trainium2芯片专为训练大规模AI模型而设计,性能比上一代芯片高出四倍,能效比上一代芯片高出两倍。据亚马逊称,这款芯片在多达10万个单元的云集群中使用时,可处理65百亿亿次浮点运算。这一功能可将训练复杂模型(例如具有数千亿个参数的模型)的时间从数月缩短至数周。这些进步使Trainium2成为AI训练基础设施领域的领跑者。

Trainium2芯片因其潜力而受到认可,已经引起了多家行业参与者的兴趣,其中包括专注于构建友好型AI模型的公司Anthropic。联合创始人TomBrown强调,Trainium2将使他们能够快速扩展,处理速度比之前的模型提高四倍。AWS与Anthropic等公司之间的合作表明,利用专有云技术简化AI操作的趋势日益增长。

另一方面,Graviton4芯片是亚马逊迄今为止最强大、最高效的处理器,专为各种云工作负载量身定制。与上一代Graviton3相比,这款第四代芯片的性能有望提高30%,内核数量增加50%,内存带宽增加75%。这些改进使用户能够降低运营成本并提高数据处理速度,使其成为运行高性能数据库和密集分析应用程序的企业的理想选择。

Graviton4的早期采用者包括Datadog、EpicGames和SAP等公司。例如,Epic的首席云工程师RomanVisintine就指出,该芯片在延迟敏感型工作负载方面表现出色,尤其有利于在线游戏体验。在竞争激烈的环境中,快速的数据访问和处理对于成功至关重要,这种云服务优化趋势至关重要。

亚马逊的声明也凸显了科技行业更大的趋势,即公司越来越多地投资定制芯片解决方案,以满足特定的计算需求,尤其是人工智能和机器学习任务。通过开发专有硬件,亚马逊希望脱颖而出,减少对Nvidia和AMD等老牌芯片制造商的依赖。

随着人工智能技术在各个领域(从医疗保健到娱乐)不断发展和普及,对高效、高性能芯片的需求只会越来越大。技术分析师预计,这些新的亚马逊芯片的推出不仅将立即满足当前的需求,还将为未来的人工智能发展奠定基础。

令人惊讶的是,这些芯片的推出正值战略时刻,因为微软也宣布了自己针对人工智能和云服务的芯片开发。这在人工智能硬件领域引发了激烈的竞争,促使企业迅速创新和突破界限。

AWSTrainium2和Graviton4芯片预计将在不久的将来向客户提供,其中Trainium2将于明年某个时候推出,而Graviton4已处于预览阶段。随着科技行业继续转向云计算和人工智能驱动的解决方案,亚马逊有望在这场数字化转型中发挥重要作用。

AI芯片大有可为

AWS频频发力芯片,除了满足公司业务需求以外,也再次证明了AI芯片大有可为,这不但体现在云端,还体现在端侧。

根据FuturumIntelligence的数据,到2023年,Nvidia将占据AIGPU市场92%的份额,并占据整个数据中心AI半导体市场75%的份额。在这个已经非常庞大的市场中,这种主导地位仍将继续,预计到2024年市场规模将增长近一半。

该分析公司估计,数据中心人工智能应用的处理器和加速器的总市场价值将达到563亿美元,与2023年的377亿美元的年度市场价值相比增长49.3%。市场分析师预测,未来五年,该市场的复合年增长率将达到29.7%,使市场规模在2026年达到984亿美元,在2028年达到1383亿美元。

Futurum将AI数据中心处理器市场分为四类:CPU、GPU、专用加速器(称为XPU)以及谷歌、AWS和微软等公司生产的专有云加速器。

2023年,CPU占据20.5%的市场,GPU占据73.5%的市场,XPU和云专有产品各占3%。

1、2023年,CPU占数据中心AI处理的20%,并将继续发挥重要作用。Futurum估计,它们的五年复合年增长率将达到28%,从2023年的77亿美元增长到2028年的260亿美元。Futurum估计,2023年,Nvidia的市场份额为37%,其次是英特尔,占23%。

2、到2023年,GPU占数据中心AI应用中使用的芯片组的74%,并将经历30%的五年复合年增长率,从2023年的280亿美元增长到2028年的1020亿美元。Futurum估计Nvidia占据了AIGPU市场的92%份额。

3、XPU将经历31%的五年复合年增长率,从2023年的10亿美元增长到2028年的37亿美元。

4、公共云AI加速器将经历35%的五年复合年增长率,从2023年的13亿美元增长到2028年的60亿美元。

如果AI处理器和加速器不能在数据中心供公众使用,Futurum会将其排除在本研究之外,因此不包括为Meta、特斯拉和苹果设计并使用的AI芯片组。

从地域上看,北美占据市场主导地位,到2023年将占据55%的市场份额。欧洲、中东和非洲(EMEA)和亚太地区(APAC)紧随其后,成为重要市场,而拉丁美洲(LATAM)则代表具有巨大增长潜力的发展中地区。

视觉和音频分析是2023年最大的用例。Futurum预测2028年的前三大用例将是视觉和音频分析、模拟和建模以及文本生成、分析和摘要。

具体到边缘AI方面,据Omdia的新研究预测,到2028年,边缘AI处理器市场将创造602亿美元的收入,复合年增长率为11%。

Omdia最新的边缘处理器预测指出,随着各行各业和设备采用人工智能,对硬件的需求增加推动了收入的增长。推动市场增长的领域之一是个人电脑领域,英特尔、AMD和苹果等主要供应商的产品供应量不断增加。据报道,PC供应商正试图将其设备中加入AI处理器作为“独特的卖点”进行营销。

除个人电脑领域外,该报告还强调了人工智能处理器在汽车、无人机、安全摄像头和机器人等领域的快速应用。

由此我们可以看到AWS收购背后的用心。