首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

8G显存本地运行最强开源中文大语言模型百川2整合包!

8G显存本地运行最强开源中文大语言模型百川2整合包!

模型介绍(Introduction)

Baichuan 2 是百川智能推出的新一代开源大语言模型,采用 2.6 万亿 Tokens 的高质量语料训练。

Baichuan 2 在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。

本次发布包含有 7B、13B 的 Base 和 Chat 版本,并提供了 Chat 版本的 4bits 量化。

所有版本对学术研究完全开放。同时,开发者通过邮件申请并获得官方商用许可后,即可免费商用

BaiChuan2处于开源模型最好水平,Baichuan 2-7B-Base和Baichuan 2-13B-Base在MMLU、CMMLU、GSM8K等评估榜单上均分别取得同尺寸开源模型最优异的效果;其中Baichuan 2-7B-Base在中英文主流任务全面超越LlaMA3-13B,起到了“以小博大”的效果。

学术Fun将百川7B和13B制作成一键启动包,点击即可使用,避免大家配置Python环境出现各种问题,下载地址: https://xueshu.fun/3041/

注意使用环境如下:

windows 10/11

Baichuan2-7B-Chat-4bits:8G显存以上N卡

Baichuan2-13B-Chat-4bits:12G显存以上N卡

Baichuan2-7B-Chat: 24G显存以上N卡

整合包使用教程

下载压缩包下载地址:   https://xueshu.fun/3041/

解压,最好不要有中文路径,解压后,如下图所示,根据自己PC选择对应显存的.exe文件运行

浏览器访问http://127.0.0.1:7860/,即可在浏览器进行对话啦

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OqOcopl6EnhaCCmjZ56O93zw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券