首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >当韩国女团BLACKPINK进军二次元,清华叉院AI神器原来还能这么玩

当韩国女团BLACKPINK进军二次元,清华叉院AI神器原来还能这么玩

作者头像
机器之心
发布于 2023-11-17 05:36:29
发布于 2023-11-17 05:36:29
3560
举报
文章被收录于专栏:机器之心机器之心

机器之心报道

编辑:张倩

看看这个 AI 生成的女团 MV 效果如何。

如果你手机里有一些修图软件,你可能用过里面的「AI 绘画」功能,它通常会提供一些把照片转换为不同风格的选项,比如动漫风格、写真风格。但如今,视频也可以这么做了:

这些动图来自 X 平台(原推特)网友 @CoffeeVectors 生成的一段视频。他把韩国女团 BLACKPINK 代表作《DDU-DU DDU-DU》的原版 MV 输入了一个 AI 工具,很快就得到了动漫版的 MV。

完整效果是这样的:

这个视频是借助一个名叫 ComfyUI 的工具来完成的。ComfyUI 是一个开源的基于图形界面的 Workflow 可视化引擎,用于被广泛采用的文生图 AI 模型 Stable Diffusion。它提供了一个用户友好的图形界面,可以将多个 Stable Diffusion 模型及其 Hypernetwork 组合成一个完整的工作流(Workflow)实现自动化的图像生成和优化。同时,社区也开发了各种 ComfyUI 的扩展插件,可以进一步增强其功能。

作者 @CoffeeVectors 表示,在制作这个 MV 的过程时,他在 ComfyUI 中用到了 AnimateDiff 和 multi-controlnet 工作流,前者用于动漫风格的生成,后者用来实现生成效果的控制。更重要的是,他在这次工作流中引入了一个当下很火的神器 ——LCM LoRA。

在《实时文生图速度提升 5-10 倍,清华 LCM/LCM-LoRA 爆火,浏览超百万、下载超 20 万》一文中,我们已经介绍过,LCM 是清华大学交叉信息研究院的研究者们构建的一个新模型,它的特点是文生图、图生图的效果都非常快,可以根据你的文字指令或草图指示实时生成新图。

在此基础上,研究者们又进一步开发了 LCM-LoRA,可以将 LCM 的快速生成能力在未经任何额外训练的情况下迁移到其他 LoRA 模型上。由于效果非常惊艳,模型在 Hugging Face 平台上的下载量已超 20 万次,X 平台上到处都能看到利用 LCM-LoRA 生成的实时视频效果(如下方的视频所示)。

那么,这个动漫版的 MV 是怎么做的呢?@CoffeeVectors 在帖子中详细描述了他的做法。

在下载了原版 MV 视频后,@CoffeeVectors 将 BLACKPINK 的整个 MV 作为单个 .mp4 输入进行处理。LCM 可以让他在 4090 上通过 6 步进行渲染(之前需要 20 多步),而且只占用 10.5 GB 的 VRAM。以下是详细数据:

整个渲染过程耗时 81 分钟,共 2,467 帧,每帧大约花 2 秒。这不包括从视频中提取图像序列和生成 ControlNet 映射的时间。在 SD 1.5 版中使用 Zoe Depth 和 Canny ControlNets,分辨率为 910 x 512。

要改进输出效果,使其风格更鲜明、细节更丰富、感觉不那么像一帧一帧的转描动画,就需要对单帧画面进行调整。但是,一次性完成整个视频,可以为你提供一个粗略的草稿,以便在此基础上进行迭代。

对于输入视频,他每隔一帧选取一帧,以达到 12 帧 / 秒的目标。

这是 @CoffeeVectors 添加 LCM LoRA 的截图。他选择了检查点中内置的 VAE:

他把提示写得很泛,想看看这个提示在各种镜头中的适配效果怎么样。

在 K 采样器中,他使用了 LCM 采样器。注意,你需要更新到最新版本的 ComfyUI 才能用这个采样器。

下图描述了 @CoffeeVectors 如何安排 multi-control net 的节点:

最后,@CoffeeVectors 还推荐了一些相关教程:

  • 视频教程:https://www.youtube.com/watch?app=desktop&v=zrxd95Mxz24
  • 技术博客:https://huggingface.co/blog/lcm_LoRA

对这类技术应用感兴趣的开发者们可以玩起来啦!

参考链接:

https://twitter.com/CoffeeVectors/status/1724579821093540182

https://hrefgo.com/blog/comfyui-a-comprehensive-guide-to-the-next-gen-stable-diffusion-gui

© THE END

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-11-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器之心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
图像涂哪就动哪!Gen-2新功能“神笔马良”爆火,网友:急急急
原来,这是Runway给AI视频软件Gen-2打造的新功能,一涂一刷就能让图像中的物体动起来,逼真程度不亚于神笔马良。
量子位
2023/11/13
3620
图像涂哪就动哪!Gen-2新功能“神笔马良”爆火,网友:急急急
Stable Diffusion中的常用术语解析
对于很多初学者来说,会对Stable Diffusion中的很多术语感到困惑,当然你不是唯一的那个。
程序那些事
2024/04/23
3950
Stable Diffusion中的常用术语解析
一键穿搭黑科技:让衣服走进数字世界!
你有没有想过,一件衣服可以“穿越次元”,从现实移植到动漫,或者反过来从游戏里穿上自己身上?别眨眼,现在告诉你,这不是科幻,这是 Stable Diffusion 新工具的实际操作!
AI uTools
2024/11/25
3000
一键穿搭黑科技:让衣服走进数字世界!
【HAI要玩AI】DeepSeek R1助力AIGC生图 StableDiffusion Comfyui工作流电商实战一键部署
Hello大家好,好久不见,我是KK,欢迎来到本期深度解析,本期将带领大家全方位的体验AI在电商领域的助力效果,期间会体验到一键部署,DeepSeek R1满血版助力助力AIGC生图提示词,StableDiffusion在电商领域的实战样例,详细到知识点,工作流,部署,以及扩展,尽管腾讯混元Video等文生/图生视频模型展现了惊人的创造力,但本地部署的硬件门槛如20/30系显卡算力局限、AMD架构兼容性问题仍将大量开发者拒之门外。值得关注的是,在电商领域,​Stable Diffusion正通过云端协同、轻量化一键部署、可视化界面、Comfyui工作流等方案突破桎梏,在各行各业生根开花。
疯狂的KK
2025/03/11
1.1K2
【HAI要玩AI】DeepSeek R1助力AIGC生图 StableDiffusion Comfyui工作流电商实战一键部署
如何用AI生成可靠的图片
文本到图像生成模型是一种机器学习模型,一般以自然语言描述为输入,输出与该描述相匹配的图像。这种模型的开发始于2010年代中期,伴随深度神经网络技术的发展而进步。
Lvshen
2023/09/02
8380
如何用AI生成可靠的图片
啊?AI绘画一个插件性能就提升5倍?尊嘟假嘟
伴随着OpenAI在11月7日开发者大会当天除了chatGPTs全家桶外,OpenAI开源了全新解码器,依赖LCM技术,开源了全新的VAE,随之而来的LCM这个名词也火了起来,但是说好的提升怎么变成5倍了?
疯狂的KK
2023/11/15
4660
啊?AI绘画一个插件性能就提升5倍?尊嘟假嘟
在腾讯高性能应用服务HAI,StableDiffusion新人从0-1干货教程,一学就会系列!
Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像,尽管它也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词指导下产生图生图的转变。 它是一种潜在扩散模型,由慕尼黑大学的CompVis研究团体开发的各种生成性人工神经网络之一。(取自百度)
about me
2024/03/29
1.2K3
在腾讯高性能应用服务HAI,StableDiffusion新人从0-1干货教程,一学就会系列!
揭秘 GitHub 154k star 爆款神器!一文掌握Stable Diffusion WebUI 的实用秘诀与场景
嗨,我是小华同学,专注解锁高效工作与前沿AI工具!每日精选开源技术、实战技巧,助你省时50%、领先他人一步。👉免费订阅,与10万+技术人共享升级秘籍!
小华同学ai
2025/06/22
1630
揭秘 GitHub 154k star 爆款神器!一文掌握Stable Diffusion WebUI 的实用秘诀与场景
HAI:用AI圆了我的插画梦
记忆中的青春,总在追逐一些美的事情。今天晚上泡在健身房里、明天又买了把吉他学起了民谣。那一年被《千与千寻》、《你的名字》吹过的夏天,脑海里不断回放着新海诚、宫崎骏故事世界的每一帧画面。
叫我阿柒啊
2024/06/05
5472
HAI:用AI圆了我的插画梦
AI绘画专栏之HAI起来~Stablediffusion|文生视频|Controlnet|SDXL|Comfyui插件
Sora、StableForge、StableCasecade、Stable3.0、SDXLLighting、PlaygroundV2.5,Stable webui1.8等
疯狂的KK
2024/03/12
3.5K1
AI绘画专栏之HAI起来~Stablediffusion|文生视频|Controlnet|SDXL|Comfyui插件
实时文生图速度提升5-10倍,清华LCM/LCM-LoRA爆火,浏览超百万、下载超20万
文生图、图生图已经不是什么新鲜事。但在使用这些工具的过程中,我们发现它们通常运行缓慢,导致我们要等一段时间才能拿到生成结果。
机器之心
2023/11/16
1.4K0
实时文生图速度提升5-10倍,清华LCM/LCM-LoRA爆火,浏览超百万、下载超20万
【零绘画基础程序员必学】AI绘画入门笔记03—初识ComfyUI+FlUX
前面介绍的SD的操作界面其实叫做 WebUI,这是SD的入门操作界面,它非常适合初学者快速上手。它的界面简洁,功能展示清晰,很适合用户理解SD的生图方式。
CS逍遥剑仙
2025/04/18
4750
AI绘画零基础入门:一文掌握Stable Diffusion全攻略
目前市面上比较权威,并能用于工作中的AI绘画软件其实就两款。一个叫Midjourney(简称MJ),另一个叫Stable-Diffusion(简称SD)。MJ需要付费使用,而SD开源免费,但是上手难度和学习成本略大,并且非常吃电脑配置(显卡、内存)。
曾高飞
2025/06/30
2500
AI绘画专栏stablediffusion之 AI 艺术的未来就在这里 (48)
SD目前最大的问题还是显存占用问题,特别是个别视频插件,包括最近出的Stability videoAI,更是将显存占到了极致,再加上4090的禁售,这对硬件玩家很不友好,那么对此我总结了市面上最具性价比的6种解决方式,让你在Tensor RT的基础上利用LCM再搭配FO,将你的硬件利用率拉满的同时体验SDXL!!!
疯狂的KK
2023/11/27
3130
AI绘画专栏stablediffusion之 AI 艺术的未来就在这里 (48)
【腾讯云HAI域探秘】使用LCM-LORA助力炼丹师极速出丹
最近在使用腾讯云推出的高性能应用服务 HAI 体验 AI 作画,HAI 预置了 Stable Diffusion 等主流 AI 作画模型及常用插件,提供 GUI 图形化界面即开即用,大幅降低上手门槛。HAI 提供了两种算力方案,基础型算力提供 16G 的显存,0.88/每小时的价格,拿来炼丹性价比还是很高的。感兴趣的小伙伴可以参照 如何利用 HAI 轻松拿捏 AI 作画 进行体验。
用户10801825
2023/12/15
1K0
【腾讯云HAI域探秘】使用LCM-LORA助力炼丹师极速出丹
文生图架构设计原来如此简单之社区与共享机制
工作流共享是文生图应用社区建设的核心功能,它使用户能够分享创作经验和技巧,形成知识共享生态。
codetrend
2025/04/13
1050
教会你使用AI绘画利器Stable Diffusion
作者:corey 随着 stable-diffusion 的开源,让更多人有机会直接参与到 AI 绘画的创作中,相关的教程也如雨后春笋般的出现。可是目前我看到的教程同质性较高,通常只能称作为"使用流程讲解",但是通常没有对其原理和逻辑进行深入说明。 所以本文的目的,是用尽可能少的废话,给大家补充一些重要的相关知识。对于"怎么用"这类的问题,通常有别人已经讲解过,我就不会过多赘述(而是贴一个教程链接,请读者自己学习)。如果你想了解更多关于"是什么"、"为什么"的问题,那么本文将会给你更多的解答,尽可能让读者做
腾讯技术工程官方号
2023/04/29
3.5K0
教会你使用AI绘画利器Stable Diffusion
内含教程丨最高可降低 16 倍成本,ComfyUI Stable Cascade 教程已上线,一键部署!
今年 2 月,Stability AI 开源了文生图模型 Stable Cascade。相比于 Stable Diffusion 1.5,Stable Cascade 可以降低 16 倍成本。
HyperAI超神经
2024/04/12
5370
内含教程丨最高可降低 16 倍成本,ComfyUI Stable Cascade 教程已上线,一键部署!
文生图10倍速,视频实时渲染!清华发布LCM:兼容全部SD大模型、LoRA、插件等
‍Latent Consistency Models(潜一致性模型)是一个以生成速度为主要亮点的图像生成架构。
新智元
2023/11/24
1.6K0
文生图10倍速,视频实时渲染!清华发布LCM:兼容全部SD大模型、LoRA、插件等
AnimateDiffLCM更快效果更佳工作流分享
AnimateLCM能够在很少的步骤中生成高质量的视频。相比直接在原始视频数据集上应用一致性学习,该项目提出了一种解耦的一致性学习策略,分别对图像生成的基础知识和运动生成的基础知识进行提炼。这种策略提高了训练效率并提升了生成视频的视觉质量。
疯狂的KK
2024/02/17
6630
AnimateDiffLCM更快效果更佳工作流分享
推荐阅读
图像涂哪就动哪!Gen-2新功能“神笔马良”爆火,网友:急急急
3620
Stable Diffusion中的常用术语解析
3950
一键穿搭黑科技:让衣服走进数字世界!
3000
【HAI要玩AI】DeepSeek R1助力AIGC生图 StableDiffusion Comfyui工作流电商实战一键部署
1.1K2
如何用AI生成可靠的图片
8380
啊?AI绘画一个插件性能就提升5倍?尊嘟假嘟
4660
在腾讯高性能应用服务HAI,StableDiffusion新人从0-1干货教程,一学就会系列!
1.2K3
揭秘 GitHub 154k star 爆款神器!一文掌握Stable Diffusion WebUI 的实用秘诀与场景
1630
HAI:用AI圆了我的插画梦
5472
AI绘画专栏之HAI起来~Stablediffusion|文生视频|Controlnet|SDXL|Comfyui插件
3.5K1
实时文生图速度提升5-10倍,清华LCM/LCM-LoRA爆火,浏览超百万、下载超20万
1.4K0
【零绘画基础程序员必学】AI绘画入门笔记03—初识ComfyUI+FlUX
4750
AI绘画零基础入门:一文掌握Stable Diffusion全攻略
2500
AI绘画专栏stablediffusion之 AI 艺术的未来就在这里 (48)
3130
【腾讯云HAI域探秘】使用LCM-LORA助力炼丹师极速出丹
1K0
文生图架构设计原来如此简单之社区与共享机制
1050
教会你使用AI绘画利器Stable Diffusion
3.5K0
内含教程丨最高可降低 16 倍成本,ComfyUI Stable Cascade 教程已上线,一键部署!
5370
文生图10倍速,视频实时渲染!清华发布LCM:兼容全部SD大模型、LoRA、插件等
1.6K0
AnimateDiffLCM更快效果更佳工作流分享
6630
相关推荐
图像涂哪就动哪!Gen-2新功能“神笔马良”爆火,网友:急急急
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档