微软为Copilot+ PC 带来 DeepSeek 7B 和 14B AI 模型

在Copilot+PC上本地运行7B和14B模型的能力将使开发人员能够构建以前无法实现的新型人工智能驱动的应用。

由于这些模型在NPU上运行，用户可以期待持续的人工智能计算能力，同时减少对PC电池寿命和散热性能的影响。此外，他们的CPU和GPU还可用于执行其他任务。

微软指出，它使用内部自动量化工具Aqua将所有DeepSeek模型变体量化为int4权重。遗憾的是，模型标记速度相当低。微软报告14B模型的标记速度仅为8tok/秒，1.5B模型接近40tok/秒。团队正在进行进一步优化以提高速度。随着性能的优化，这些模型对Copilot+PC的影响预计将显著增加。

感兴趣的开发人员可以通过AI工具包VS代码扩展，在Copilot+PC上下载并运行1.5B、7B和14B版本的DeepSeek模型。DeepSeek模型以ONNXQDQ格式进行了优化，可直接从AzureAIFoundry下载。这些模型未来还将应用于采用英特尔酷睿Ultra200V和AMDRyzen处理器的Copilot+PC。

微软的这一举措标志着微软正在推动更强大的设备上人工智能功能，为人工智能驱动的应用开辟新的可能性。