AMD今天宣布了RadeonRX9070系列开源Linux驱动程序,同时宣布开源Instella作为其全新的完全开放式3B参数语言模型。AMD宣称Instella代表着"完全开放的最先进的30亿参数语言模型(LM)"。
这些模型是在AMDInstinctMI300XGPU上训练的,根据AMD公布的数据,其性能与Llama3.23B、Gemma-22B和Qwen2.53B等同类产品相比具有很强的竞争力。
AMD的Instella模型是在InstinctMI300X硬件上从头开始训练的,并且完全开源:
...
通过完全开源Instella模型,包括权重、训练超参数、数据集和代码,我们旨在促进人工智能社区内的创新与合作。我们相信,透明度、可重复性和可访问性是人工智能研究与开发取得进展的关键驱动力。我们邀请开发人员、研究人员和人工智能爱好者探索Instella,为其不断改进献计献策,并与我们一起推动语言模型的发展。"
想要了解有关AMDInstella语言模型的更多信息,请访问rocm.blogs.amd.com。AMDInstella托管于GitHub。