LLM Runner Llamafile更新为Ryzen AVX-512 CPU带来10倍性能提升

借助Llamafile的最新更新，在本地系统上运行庞大的LLM模型变得更容易了，因为采用AVX-512的AMDRyzenCPU性能提升了10倍。Phoronix报道称，Llamafile的最新更新现在支持AVX-512指令集，使支持AVX-512的CPU在使用该软件时性能得到大幅提升。

据悉，AMD的Zen4"Ryzen"CPU在使用新更新后，提示评估速度将提高十倍，最终使该工具的LLM性能更加高效。

对于不了解Llamafile的人来说，它只需部署一个可执行文件，将LLM模型与运行该模型所需的库结合在一起即可。MozillaOcho开发了这一工具，旨在通过利用CPU和GPU的执行能力，让更多人了解LLM。

不过，Llamafile的开发仍处于早期阶段，因此还存在一些不准确的地方，我们相信一旦边缘计算的发展势头强劲，这些问题很快就会得到解决。

你可以通过GitHub访问最新版本。请注意，AMD的RyzenCPU是唯一支持AVX-512指令的消费级芯片，而英特尔已经放弃了对它的支持，因为害怕这会影响其至强芯片的销售。这使得AMD的Ryzen平台对于希望运行AVX-512应用程序的用户来说更具优势。