北大开源 70 亿参数代码大模型 CodeShell，号称“同等规模最强代码基座”

据 IT 之家消息，10 月 19 日，北京大学软件工程国家工程研究中心知识计算实验室联合四川天府银行 AI 实验室正式开源旗下 70 亿参数的代码大模型 CodeShell，号称“同等规模最强代码基座”。

据悉，CodeShell-7B 基于 5000 亿 Tokens 进行了冷启动训练，上下文窗口长度为 8192，架构设计上融合了 StarCoder 和 Llama 两者的核心特性。在代码评估基准 HumanEval 和 MBPP 中，CodeShell 超过了 CodeLlama-7B 和 StarCodeBase-7B，在 humaneval 的其它编程语言评测中，如 JavaScript、Java、C++，CodeShell 依然性能领先。