红帽公司的工程师们正在开发一个新的开源项目Ramalama,希望通过这个力求简单的推理工具"让人工智能不再枯燥乏味",从而让用户能够快速、轻松地部署人工智能工作负载,而无需大费周章。

Ramalama利用OCI容器,可以跨GPU供应商轻松运行人工智能推理工作负载,如果没有GPU支持,还可以无缝回退到基于CPU的推理,并与Podman和Llama.cpp接口,在从HuggingFace和OllamaRegistry等获取模型的同时完成繁重的工作。目标是为英特尔、英伟达、Arm和苹果硬件提供原生GPU支持。CPU支持包括AMD、Intel、RISC-V和Arm。

Ramalama最近在Fedora的Flock会议上被誉为"无聊的人工智能伴侣",并被进一步描述为

在一个被尖端创新和复杂解决方案所主导的领域,Ramalama项目以其令人耳目一新的简单使命脱颖而出:"让人工智能不再无聊"。本讲座将深入探讨ramalama的理念和功能,这是一款旨在为更多受众简化人工智能和机器学习的工具。通过将"枯燥"作为一种美德,ramalama致力于创建可靠、用户友好和易于使用的工具,这些工具无需大张旗鼓地宣传即可正常工作。

我们将探索ramalama的核心功能,从其简单明了的安装过程到管理和部署人工智能模型的直观命令。

作为一个早期项目,ramalama一直在不断发展,并非常重视社区参与和反馈。让我们一起揭开ramalama是如何让所有人都能使用高级人工智能的,如何去除复杂性和炒作,提供一个既强大又实用的工具。让我们以最好的方式迎接让人工智能变得"无趣"的旅程,并从简单和可靠中发现乐趣。

Ramalama的早期代码托管在GitHub上。要想在不同的硬件和软件平台上更容易地运行/部署不同的人工智能模型,这无疑是一项值得付出的巨大努力。Mozilla的Llamafile是另一项值得努力的工作,它可以让人们通过一个文件轻松运行GPU或CPU加速的人工智能模型,而无需使用容器。

想了解更多有关Ramalama的信息,请观看下面的Flock2024演讲,演讲者是红帽公司的EricCurtin和DanWalsh。