華為開發的鵬程·盤古,是人工智能業界首個千億級參數中文自然語言處理大模型,可支持知識問答、知識檢索、知識推理、閱讀理解等豐富的下游應用。
鵬城實驗室聯合有關單位技術團隊組建的「盤古α」聯合攻關團隊,首次基於「鵬城雲腦Ⅱ」和MindSpore框架的自動混合併行模式,實現在2048卡算力集群上的大規模分布式訓練,訓練出「鵬程·盤古」。
在模型性能方面,鵬程·盤古大模型在16個下游任務中,性能指標優於業界SOTA模型,其中零樣本學習任務11個、單樣本學習任務12個、小樣本學習任務13個。
為了發揮基礎性技術成果的最大效益,鵬程·盤古的模型、代碼、數據集在Open I啟智社區全面開源、開放,希望以啟智開源社區為載體,集眾智、聚眾力,吸引開發者共同參與到模型的壓縮輕量化和應用創新工作中,不斷探索鵬程·盤古大模型的巨大潛力。
领取专属 10元无门槛券
私享最新 技术干货