通过文本描述自动为静态素描添加运动的新方法。仅需一个单体素描和描述运动细节的文字，即可生成和输入素描匹配的简短动画视频

[CV] Breathing Life Into Sketches Using Text-to-Video Priors

提出一种通过文本描述自动为静态素描添加运动的新方法。该方法仅需一个单体素描和描述运动细节的文字，即可生成和输入素描匹配的简短动画视频。

输入素描用贝塞尔曲线集表达，每帧采用相同点集表示。然后，运用先进文本到视频生成模型内置的运动先验，以分离局部和全局运动两部分，精细调整每帧点位置来匹配运动描述。

方法设计注重弥补先前工作的短板，如可扩展到不同对象类、不需限定参考运动等。

实验结果表明，该方法可实现流畅自然的运动效果，有效保留输入素描样式，广泛适用于各类主题。

相比像素笔画动画工作，以矢量表示产生的动画更无花纹，表现效果更好。

相比骨骼依赖方法，本方法泛化能力更强，应用场景更广，本工作开创性地采用文本驱动和矢量表示方式，使任何素描都可以轻松获得运动效果。

论文：https://arxiv.org/p df/2311.13608.pd