【腾讯云 HAI域探秘】基于ChatGLM和StableDiffusion的网络小说漫画创作实践与经验分享

前言

本文将介绍如何利用腾讯云HAI的StableDiffusion和ChatGLM模型，从网络小说到漫画的创作过程。我们将通过ChatGLM模型生成文本内容，并基于该内容进行场景描述生成。然后，使用StableDiffusion模型将场景描述转化为逼真的图片。此外，我们还会探讨如何利用相关配音软件对网络小说内容进行配音，并将StableDiffusion生成的图片与音频进行整合，最终制作出令人惊艳的漫画视频作品。

这种创作流程所涉及到的技术领域包括自然语言处理、图像生成、音频处理和视频编辑等，将带来独特而丰富的创作体验。通过本文的详细介绍和实践指引，您将能够深入了解如何运用StableDiffusion和ChatGLM模型，开启网络小说漫画创作的新篇章。

相关脑图

物料准备

点击链接获取 内测资格 (大约1天左右即可哦!!)

内测资格审核通过后点击链接 体验HAI 前往体验

ChatGLM2 6B 创建

选择应用

点击链接进入产品页面,

1. 选择AI模型中的ChatGLM2 6B
2. 地域选择广州
3. 算力方案选择基础型即可
4. 实例名称根据自己的喜好命名即可 , 这里我们命名为 "AiCartoon"
5. 硬盘选择 80gb 即可
6. 点击 立即购买

详细配置如下图所示:

等待创建完成

创建需要一段时间需要等待8分钟左右

创建完成

查看相关状态

启动启动 ChatGLM2-6B WebUI 进行对话

测试连接情况

输入你好 测试连接情况, 如下所示

定义网络小说六大要素

小说的六大要素分别是: 背景 , 角色, 情节 , 设置环境, 冲突和解决, 其他细节

接下来我们定这些细节内容

背景

这个小说的主题是关于一个重生者姜凡在高中时期接受神秘系统的考验，他需要连续九次考试获得300分的成绩，成功则会获得蓝星最牛的科技知识。故事背景设定在科技发展陷入困境的时代，500年内所有的科学技术都失败，系统会自动消失。

角色

• 姜凡：一个重生者，被系统要求连续九次考试获得300分。
• 楚若曦：一个漂亮且学习成绩优秀的女孩，对姜凡表示关心和鼓励。
• 姜凡的妈妈：担心姜凡因为考试压力过大而受到打击。
• 系统：神秘的考验系统，要求姜凡通过考试获得特定分数。

情节

• 姜凡重生后，脑中出现了一个神秘系统，要求他连续九次考试获得300分。
• 楚若曦在第八次模拟考试的排名中表现出色，引起同学们的赞叹和议论。
• 同学们开始嘲笑姜凡，认为他一直都是班上倒数第一，没有进步。
• 姜凡无视嘲笑，因为经历了一年的学习与系统的折磨，他相信最后一次考试会成功。
• 学校决定取消十天后的考试，姜凡认为这会毁掉整个龙国的科技，受到楚若曦的支持。
• 学校最终认为姜凡受不了打击，让他的父母将他带回家。
• 楚若曦来到姜凡家劝说他振作起来，参加高考，并让那些瞧不起他的人看看他的成绩。
• 姜凡突然意识到高考也是高中的一部分，如果他能将高考控制在300分，就能完成系统的测试并激活系统。
• 高考如期举行，姜凡紧张地查询成绩，最终得到60+60+60+120=300分，成功通过系统的测试。
• 姜凡绑定激活了系统，获得了新手大礼包及一份关于可控和聚变公式原理的资料。

设置环境

故事设定在一个科技发展陷入困境的时代，500年内所有的科学技术都失败。姜凡就读于一所重点高中，他的家庭环境是一个普通的家庭。

冲突和解决

冲突主要集中在姜凡需要连续九次考试获得300分的考验上，同时学校取消最后一次考试也给他带来了困扰。然而，楚若曦的劝告和姜凡自己的思考让他意识到高考也是考试的一部分，他决定以300分的成绩参加高考。最终，姜凡成功通过系统的测试，绑定了科技系统，解决了他的考验。

其他细节

故事中强调了姜凡的辛勤努力和坚持，以及楚若曦对他的认可和鼓励。姜凡的重生和系统考验为故事增加了神秘感和紧张感。整个故事强调了对科技发展的重视和科学知识的重要性。

生成小说

将我们定义好的内容发给 chatbot 等待内容生成

内容生成不满意 ?

如过生成的内容不满意的话 可以让它重新生成一遍 ,

当然再次生成过程中也可以加入一些其他条件如: 字数限定, 情景更加丰富限定等....

如下图:

提示词和反向提示词生成

由于Stable Diffusion 生成的ui 需要有提示词 和反向提示词 , 因此我们可以借助 `chatbot` 为我们生成, 由于内容较多,我们支取一句话作为示例

比如 我们输入如下语句给 chatbot

对下面这段话 生成5个相关的提示词 和5个相关的反向提示词"这个高中生叫姜凡，是一个重生者。"

生成内容如下图所示:

以此类推我们生成这个小说的所有需要的提示词

注销

当我们完成了自己的需求,记得要注销实例哦!

Stable Diffusion 创建

选择应用

点击链接进入产品页面,

1. 选择AI模型中的Stable Diffusion
2. 地域选择广州
3. 算力方案选择基础型即可
4. 实例名称根据自己的喜好命名即可 , 这里我们命名为 "cartoonUI"
5. 硬盘选择 80gb 即可
6. 点击 立即购买

详细配置如下图所示:

等待创建完成

实例创建大约需要 8~10 分钟左右 在此期间, 我们可以 在桌面上创建一个 文件夹用于存放相对应的ui

创建完成

查看相关状态

启动StableDiffusionWebUI 进行文生图模型推理

点击StableDiffusionWebUI 进入StableDiffusion 页面

StableDiffusion详情页

详情页面如下图

StableDiffusion 中文配置

1. 点击 Extension 选项卡
2. 选择选择 Avaliable 子选项卡
3. 取消勾选 localization ，再把其他勾上,然后点击 Load form，如下图(注意加载插件的时间可能会比较长, 大约 7分钟左右,耐心等待哦~)

插件加载中...

1. 在输入框中查找插件关键字： zh_CN 点击install 安装

1. 插件安装完成后，重启服务

1. 重启后，选择 Settings 中 User Interface 选项，下拉选择语言 zh_CN ，点击 Apply settings 保存设置 ，并 Reload UI 重启服务。

1. 重启(Reload UI)后，重新认识界面

1. 使用 高性能应用服务HAI 部署的 StableDiffusionWebUI 快速进行AI绘画

注意：提示词（Prompt）越多，AI 绘图结果会更加精准。另外，目前中文提示词的效果不好，还得使用英文提示词。

输入示例如下:

好啦! 至此配置完成, 接下来 我们开始生产我们需要的UI啦

根据提示词生成UI

我们使用chatbot生成的小说, 分段分解并生成对应的英文提示词以及反向提示词来生成对应的UI , 下面是第一张图的示例

UI 生成结果

历经大约3个小时左右的时间, 终于生成了所有的UI 图片, 但是在生成的过程中发现StableDiffusion的过程中有一些自己想要的那种图片根本是无法生成的,比如 一些人脸相关的, 或者主角相关不是很理想,因此 后面的一些UI 图片我改成了一些风景图, 这一点是不完美的,但是 生成的图片 是无版权的这一点也是不错, 依旧不影响我的说漫视频的制作哦!!

生成的效果图如下:

好了 到目前为止,小说的文案我们有了, 素材图片也有了 ,接下来就是开始制作了 ...

配音

选择配音软件

如下图所示 本次我们选择该配音软件, 有需要的同学评论区留言哦!!

导入文案

我们将所需的文案导入到配音软件中 , 选择配音角色以及语速音调等细节信息进行配音

终于经历一系列的调整配了两段音频如下图 ;

试听音频

📎1.mp3📎2.mp3

视频制作

对于制作视频这里 提供的软件是剪映

打开剪映

导入素材

将准备好的ui 图和音频导入到剪映即可

接下来就是逐帧编辑即可, 编辑完成后导出哦!!!

编辑内容展示

导出

好辛苦终于完成了, 好久不用了,好多的功能忘记了, 不是很完美...

上传至自媒体平台

接下来将导出的视频上传至我们的自媒体平台即可哦!!!

添加视频描述如下:

利用腾讯云HAI的StableDiffusion和ChatGLM模型进行漫画创作, 原来制作Ai 视频如此简单, 一起来看下吧!!

发布成功

经历了几分钟的审核期终于发布成功了,快去点开链接查看一波吧!!

视频查看地址

总结

腾讯云HAI的StableDiffusion和ChatGLM模型制作作品的这个过程中发现了一部分问题

1. StableDiffusion 根据关键词生成的图片有些是不符和自己的需求的
2. StableDiffusion 生成的人像相关的图片不是很好
3. 如果勾选面部优化的时候, 会出现图片无法生成甚至卡死的情况

不过整体而言还是不错的, 生成一些其他类型的图片还是蛮好的,比如水果的,.风景的等等, 可以说是生成的图片很nice, 而且StableDiffusion 的购买费用也是很便宜 有基础版和 进阶版两种选择 很是人性化 .至于算法上只能说是 慢慢的来进行优化了,

关于 ChatGLM 使用起来也是非常的舒适相对于 StableDiffusion 而言会好很多哦 !!