Byzer-LLM 利用大模型解决实际业务实战Demo

Byzer-LLM 的使命

让每家公司都可以将自己的业务数据注入进商业或者开源大模型，完成私有化大模型应用。

Byzer-LLM 介绍

Byzer-LLM 是基于 Byzer（一个面向 Data + AI 的 Infra 和 Language）上的一个插件。

目前市面上基于大模型的想法其实可以落到三个层面：大模型，Finetune/RLHF, 以及应用层。所以我们相当于是在 Fintune层部分，当然，其实会部分涉及到应用层。目前用户使用大模型过程中，无论是因为场景或者因为技术原因诸如prompt context 长度限制，还是数据法律法规，亦或是隐私安全考虑，未来企业使用SaaS服务的概率都会偏低，都有私有大模型的需求。所以 Byzer-LLM 的使命就是让模型私有化。

Byzer-LLM 优势

那我们的优势在哪里呢？

1. 第一个是Byzer是可以端到端，比如现在有非常多的开源的fintune的库，但是他们仅限于一个Lib, 你需要组装非常多的上下游的库，才能完成一个实际的业务场景，这件事情的难度对于普通程序员（比如一个前端，一个分析师，一个web工程师）可能是超出你想象的，此外，你还要给这些所有的库提供运行的环境，你可能需要引入各种基础设施，甚至还要使用调度系统去调度这些组件库才能协同工作。使用Byzer,你可以使用类SQL语言连接任何业务库，获取数据加工数据 ，并且注入到大模型内进行fintune,然后一键部署成函数，从而能够在流，批，API中调用。整个事情可能六条语句就完成了。
2. 第二个是简单，门槛低。 Byzer 尽管也有很好的Python支持，但是你也可以在只懂SQL的基础上完成上述工作。 此外，我们做了非常多的细节。比如模型和数据都可以统一保存成表，方便管理，避免到处手动拷贝数据，模型等等。
3. 第三个是性能， Byzer 支持从单机到分布式部署，支持GPU调度，可以根据用户需求随时进行算力和存储的扩展。

最后，Byzer 是从业务角度去帮助企业的。用户不用关心是大模型还是什么，对他来说，我要解决一个实际的需求，你能不能让我随便找个人一天就搞定？ Byzer 就可以做到，只要是个研发（可能是个前端，可能是个分析师，一个后端web工程师，甚至可能只是一个稍微懂一点点SQL的同学），就可以帮企业搞定业务知识。第二个是，其私有化使命也可以让用户可以保护自己的数据资产，通过自己数据喂养出足够多的大模型副本，从而让自己拥有更好的护城河。

Byzer-LLM 使用示例

第一步来看看业务需求：

上面我们使用一个虚构的业务故事来描绘如何使用 Byzer-llm 解决实际业务问题

--------------------------------------------------------------------------------------------------

假设我是一家电商企业，大概20-30人，目前在淘宝上已经有十万个SKU, 之前淘宝限制描述SKU的字数，所以写的特别精简。现在淘宝突然放开了，允许200字。那么这件事要不要做呢？肯定要做的，我们希望新的描述可以更好的吸引女性用户。这个时候人工去写这十万个描述么？在以前，可能真需要，因为AI很烂，而且性价比还低，还要招算法工程师。那现在呢？老板找了做微信小程序的研发，说两天之内把这事搞定。当然了，研发有两条路可以走，第一条是去调现成的大模型API。这个方式第一个是要花钱，第二个发送的数据很可能有被买卖的风险。 所以他选择了第二条路，找了一个开源的大模型，为了部署测试效果，他使用Byzer, 四条命令就把数据库里十万条记录都跑了一遍，发现效果不好。接着他自己花了第一天剩余的时间自己用excel标了1000条数据，然后上传后使用两条命令fintune了一把，重新部署成函数，再跑一把十万条记录，效果还不错。第二天，他把效果导出成excel给到老板看。老板满意，接着他用一条Byzer 指令把新的描述更新到了数据库，此时完成了整个业务场景。

第三天，他刚准备泡杯茶休息下，老板来了一个新的需求，他希望把大概100万条数据里所有衣服的实体词都抽出来，比如高筒袜这样的。小哥用了三条Byzer 指令拿上次的大模型加上临时学习的一些prompt engineer的知识，快速的完成了这件事情。

我们可以看到，对于业务而言，所谓大模型，只是一个更好用的工具。我们在现有的条件下，不依赖专业人员，直接去各种实际场景的解决业务问题，而不是利用AI聊天打屁。

公司目前十万个SKU的标题都是这样的：

类型#裤*版型#宽松*风格#性感*图案#线条*裤型#阔腿裤

现在平台放开，可以展示更长的文本，需要将原本存量上述文字转化为更友好的描述,比如

宽松的阔腿裤这两年真的吸粉不少，明星时尚达人的心头爱。毕竟好穿时尚，谁都能穿出腿长2米的效果宽松的裤腿，
当然是遮肉小能手啊。上身随性自然不拘束，面料亲肤舒适贴身体验感棒棒哒。系带部分增加设计看点，
还让单品的设计感更强。腿部线条若隐若现的，性感撩人。颜色敲温柔的，与裤子本身所呈现的风格有点反差萌。

我们使用大模型来完成这个工作。

--------------------------------------------------------------------------------------------------

现在，让我们开始开工。首先我们安装部署好 Byzer后，安装一个插件：

Byzer 会把模型和数据进行统一管理，都是以表的形式存在数据湖：

部署下原始模型看看效果：

现在我们开始琢磨如何注入私有的业务数据或者自己手动标的数据（比如使用excel标注的数据）：

数据和模型都可以在侧边栏看到：

现在，可以部署我们新的模型和验证效果：

做一些 Prompt 优化下效果：

验证对外提供的 API服务：

完工！

总结

可以看到，一个懂SQL的同学就可以完成一个实际的业务场景需求。真正实现了 Byzer-LLM 的使命： 让每家公司都可以将自己的业务数据注入进商业或者开源大模型，完成私有化大模型应用