回到主页

动作捕捉视频文件转换为虚拟人的动作

一共可以分为两个方案,分别是①基于扩散模型的动作生成 ②基于素材动作捕捉的动作生成。

基于扩散模型的动作生成

1、ai直接生成(文生动作),原理:利用文生动作模型,例如MotionDiffuse等模型,通过文字输出动作。通过逐步去除加入的噪声,能够生成连贯且多样化的动作序列。

优点是:操作简单,只需要输入文字就可以输出动作。缺点是:生成控制性差:扩散模型生成的动作往往难以精确控制,特别是在需要生成特定动作或动作细节时,这种模糊性可能导致最终产出与期望存在偏差。动作种类受限:由于目前的研究和实验主要集中在一些基本的动作上,对于复杂或特定场景下的动作生成能力仍然有限。

-2924906365975637694.mp4

基于素材动作捕捉的动作生成(推荐)

原理:利用动作捕捉的模型,对视频进行分析,获取视频中的动作。

优点是:动作真实性高:由于动作直接来源于真实人类的动作捕捉,因此生成的动作自然、流畅,与人类的真实动作更为接近。动作库丰富:依赖于现有的丰富视频素材库,可以覆盖从日常生活到专业运动等各种场景下的动作,动作种类和样式更加多样化。缺点是:动作迁移复杂度高:虽然旧素材的动作可以迁移到新人物中,但这一过程可能需要复杂的调整和优化,以确保动作在不同角色之间的自然过渡和适配。

效果如下:

虚拟人动作.mp4

技术路线如下:

51bca30bc9c9e130b7f5b7dd8f99c8d3.png

Untitled

Untitled

Untitled