Mozilla基金会计划推出离线的本地AI 让每个人都可以私密使用AI

目前AI技术的快速发展已经让很多用户日常工作离不开AI，不过现在的AI多数都是基于云端运行的，也就是用户提交的数据有潜在的泄露风险。这个时候关注隐私的谋智基金会站出来了，谋智基金会宣布推出一个名为Llamafile的新开源计划，该开源计划目标是帮助人们在自己的硬件上运行大型语言模型，不需要专用的GPU、CPU或者NPU（但有GPU的话可以更好的运行）。

Llamafile的工作原理是将人工智能聊天机器人的所有复杂性压缩为一个文件，然后该文件可以在Windows、Mac、Linux、OpenBSD、FreeBSD、NetBSD上运行，并且几乎不需要安装或者配置，也就是即开即用。

这种LLM是完全在本地运行的，不需要以来第三方商业公司提供的云端算力，数据也都是保存在本地的，不会离开用户的设备，甚至如果用户愿意的话，可以将自己的日常对话后的机器人模型复制到其他机器上继续使用，这样不用重新优化提示词。

目前谋智基金会并不是唯一一家要打造本地AI的公司，谷歌最近向Pixel8Pro提供的Gemini变种版本AiCore实际上就是一种本地AI，利用本地设备的算力来执行某些操作，不过目前AiCore的公开信息还比较少。

谋智基金会相信开源是解决各类隐私问题最有力的解决方案之一，可以通过开源解决隐私、访问、控制的问题，也就是我们的对话被谁听到？我们的数据会被如何处理？谁能决定AI回答或不回答某些问题。

至于Llamafile项目，目前谋智基金会已经注意到一些比较有潜力的项目，第一个是Llama.cpp项目，这个开源项目让普通的消费级设备也可以运行LLM，而且速度并不算慢；第二个是Cosmopolitan项目，该项目可以一次编译程序在各种操作系统和硬件上运行。

当然这个项目没这么快搞定，谋智基金会希望开发者或者对LLM感兴趣的用户一起参与：https://github.com/Mozilla-Ocho/llamafile