昆仑万维：天工通用大模型推理能力超过GPT-3.5和LLaMA2

文章来源：企鹅号 - 北京商报官方账号

北京商报讯（记者杨月涵）9月16日，昆仑万维发布消息称，在权威推理榜单Benchmark GSM8K 测试中，昆仑万维自研的通用基座大模型天工大模型以80%的正确率脱颖而出，大幅领先GPT-3.5（57.1%）和LLaMA2-70B（56.8%），“标志着天工大模型的推理能力达到全球领先，接近GPT-4”。

消息提到，天工大模型不仅在推理性能上有着强大的竞争力，在MMLU、C-EVAL、HumanEval等三项数据集测试中也同样表现出色。在MMLU数据集测试中，天工大模型以65%准确率超越了LLaMA-65B的63.4%；在C-EVAL数据集测试中，天工大模型以65%准确率超越了GPT3.5的54.4%。在HumanEval数据集测试中，天工大模型以37.2%的准确率超过了PaLM-540B（26.2%）、LLaMA-65B（23.7%）、LLaMa2 -70B（30.5%）。