DeepSeek持续火爆,大家都在体验,但因为服务器承受能力有限,经常会遇到无响应,因此本地部署体验就成了更好的选择,具体规模取决于硬件配置。AMD是最早在x86处理器领域引入AI能力的,锐龙7040系列就率先集成了独立的NPUAI引擎,此后的锐龙8040系列、锐龙AI300系列、锐龙AIMAX300系列都越发强大。
AMD锐龙AI处理器拥有目前行业最强的NPU,算力高达50TOPS(每秒50万亿次计算),自然是体验DeepSeek的上佳选择。
如果你有一台锐龙AI笔记本,现在就可以通过LMStudio,轻松在本地部署、体验DeepSeekR1精简版推理模型。
具体操作方式如下:
1、安装AMDAdrenalin25.1.1或更新版显卡驱动。
2、打开lmstudio.ai/ryzenai,并下载LMStudio0.3.8或更新版本。
3、安装启动LMStudio,可以直接跳过引导屏幕。
4、点击“发现”(discover)标签页。
5、选择适合自己的DeepSeekR1Distill。具体如何选择见后。
6、在软件页面右侧,勾选“Q4KM”量化模式,然后点击“下载”。
7、下载完成后,返回聊天选项页,从下拉菜单中选择DeepSeekR1distill,并确保勾选“手动选择参数”(manuallyselectparameters)选项。
8、在“GPU卸载”(GPUoffload)中,将滑块移到最大值。
9、点击“模型加载”(modelload)。
10、好了,可以在本地体验DeepSeekR1推理模型了!
不同参数规模的大模型,决定了其性能和体积,因此不同的硬件设备需要选择最适合自己的参数量。
如果是顶级的锐龙AIMAX+395处理器,搭配64GB、128GB内存,最高可以支持DeepSeek-R1-Distill-Llama-70B,注意64GB内存的话需要将可变显存设置为高。
搭配32GB内存,可变显存自定义为24GB,则能支持到DeepSeek-R1-Distill-Qwen-32B。
如果是锐龙AIHX370、AI365处理器,搭配24GB、32GB内存,可以支持DeepSeek-R1-Distill-Qwen-14B。
如果是锐龙7040/8040系列,需要搭配32GB内存,才能支持到DeepSeek-R1-Distill-Qwen-14B。
另外,AMD推荐将所有Distill运行在Q4KM量化模式。
如果你使用的是台式机,AMDRX7000系列显卡也都已支持本地部署DeepSeekR1。
其中,RX7900XTX旗舰显卡最高支持DeepSeek-R1-Distill-Qwen-32B,RX7900XT、7900GRE、7800XT、7700XT、7600XT均可以支持到DeepSeek-R1-Distill-Qwen-14B,RX7600以及新发布的RX7650GRE则适合到DeepSeek-R1-Distill-Llama-8B。