Meta发布功能更强大的Code Llama 70B模型 可与GitHub Copilot相媲美

2023年8月，Meta公司在之前的Llama2模型基础上发布了专门为编程任务设计的大规模语言模型CodeLlama。今天，该公司发布了"功能更强大的新版本"--CodeLlama70B。

CodeLlama70B已在5000亿个字节的代码和相关数据基础上进行了训练。它可以处理和生成较长的代码序列，这要归功于10万个词组的上下文窗口。

据Meta公司介绍，CodeLlama70B使用一种称为自我关注的技术来理解代码结构。它可以根据文本或片段提示实现算法、排序、搜索等功能，适用于Python、C++、Javascript和Java等多种语言。

这款人工智能驱动的工具包括针对特定任务进行微调的变体。其中一个变体是CodeLlama-70B-Instruct，它经过训练可以理解自然语言指令。还有一个以Python为重点的版本，名为CodeLlama-70B-Python。根据Meta的说法，通过对1000亿个Python代码标记的额外训练，它生成Python代码的"流畅性和准确性无与伦比"。

"编写和编辑代码已成为当今人工智能模型最重要的用途之一，"Meta公司首席执行官马克-扎克伯格在Facebook上的一篇文章中写道。"事实证明，代码能力对于人工智能模型更严谨、更合乎逻辑地处理其他领域的信息也非常重要。"

CodeLlama70B可以在与早期CodeLlama模型相同的开放许可下免费下载：

https://ai.meta.com/resources/models-and-libraries/llama-downloads/

Meta公司称，这种许可允许学术和商业用户修改模型。

微软旗下的GitHub于2023年7月推出了CopilotChat。开发人员可以就自己的代码向Copilot提问，获得代码特定部分的解释，甚至让Copilot修复代码中的错误。最近，Google也推出了DuetAI和GeminiPro，这是由人工智能驱动的代码完成和生成工具。