文本到动作生成运动连贯性:动捕棚里找不准节奏的年轻人

下午三点的动捕棚。空调开得比剧场后台还低两度。林小宇往动作捕捉服上贴最后几个反光点,指尖凉得发僵。这是他这周第三次测新版的文本到动作生成技术,还是绕不开那个老问题——运动不连贯。 他对着镜头走完一整套舞者谢幕的动作,摘下绑在脸上的标记点凑到大屏前。屏幕里,穿白裙的数字舞者转完圈,弯腰鞠躬那半秒,硬生生顿了一下。就像跳舞跳到一半踩了裙摆,又像视频卡了帧。说不上哪儿大错,就是看的人浑身别扭,起鸡皮疙瘩。

动捕棚里的半拍卡顿

说实话,现在AI生成动作已经不算新鲜事了。输入一句文字描述,几秒就能出一套完整的动作序列,不管是人是猫是机器人,都能给你拼出来。很多小工作室已经用它替代了一半的动捕工作,省了不知道多少钱多少时间。 可就是那半拍卡顿,成了所有人跨不过去的坎。 你说要一个“篮球运动员运球后跳投”,AI能给你做出运球,也能做出跳投,可就是从运球到起跳那一下,重心转换不对,脚抬得太突兀,胳膊硬得像安了生锈的铰链。你说要一只“柯基摇着尾巴跑过草坪”,跑是跑了,摇尾巴也摇了,可是身体起伏和尾巴摆动对不上,看着就像一个塑料狗玩具在地上滑。
动捕棚文本生成数字人动作卡顿对比图
动捕棚文本生成数字人动作卡顿对比图
林小宇原来是舞蹈学院古典舞系的,去年膝盖积水严重,跳不动大动作,才转来这家做数字人的科技公司实习。他说,舞者最讲究的就是“劲儿要顺”,一个动作接一个动作,力是从脚传到腰再到肩指尖,断不了,一断就错,味儿就没了。 现在AI生成的动作,就是断了那股劲儿。 不过话说回来,这真不能全怪AI。之前的训练方法,大多是把整套动作拆成单个的动作单元,再把文字和动作单元一一对应。AI学会了每个动作长什么样,可根本没学过动作之间是怎么连起来的——它不知道人运动是有惯性的,不知道肌肉发力是有过程的,不知道重心从左脚移到右脚需要半秒的缓冲,不是说移就移的。

把物理惯性还给运动

最近大半年,圈里好多团队都在啃这块硬骨头。核心思路说穿了也简单,就是给AI加上运动动力学先验,生成动作的时候,先让它按照物理规则算一遍:这个动作的动量有多大,重心在哪里,下一个动作衔接的时候需要怎么减速怎么加速,符合不符合人体肌肉骨骼的规律。 我上个月跟着林小宇去看他们测新模型,输入的文字就是“舞者跳完一个跳转,扶着膝盖弯腰喘气”。 不到半分钟,动作出来了。 我盯着屏幕,第一眼没看出不对,第二秒突然浑身发麻。跳转落地那一下,数字舞者的膝盖微微弯了一下卸力,上半身晃了半寸,然后才慢慢弯腰,手搭在膝盖上,肩膀随着呼吸一鼓一松——那半寸的晃动,就是之前所有AI生成动作都没有的东西啊。
文本到动作生成运动连贯性平滑效果对比图
文本到动作生成运动连贯性平滑效果对比图
林小宇站在旁边,半天没说话。我知道他在想什么,他每次跳完大段快板动作,下来就是这个样子,膝盖因为旧伤晃那一下,只有天天跳的人才能有那个幅度。 技术逻辑其实不难懂。原来的模型是逐帧生成,帧和帧之间的关联靠弱约束,很容易断。现在新的方法,是把一整段运动当成一个连续的动力学过程来优化,生成的时候就把连贯性作为核心约束,而不是事后再修。说白了,原来AI是先画一个个点,再把点连起来,现在是让它直接画一条完整流畅的线。 效果有多夸张?原来生成一套两分钟的舞蹈动作,后期修连贯性要修整整两天,还是会留下痕迹。现在生成的动作,只要微调一两个地方,十几分钟就能导出用。

消失的卡顿,没消失的问题

消失的卡顿,没消失的问题
消失的卡顿,没消失的问题
不过话说回来,就算解决了连贯性,这件事就到头了吗? 我那天在动捕棚待了一下午,看他们测了好多奇奇怪怪的输入:“老人慢慢从沙发上站起来”“小孩子摔了一跤然后爬起来拍裤子”“喝醉的人扶着墙走路”。大部分动作都已经顺得看不出AI痕迹了,可输入“舞者跳错动作之后悄悄吐舌头调整站位”,AI做出来的吐舌头还是有点僵,调整那一步还是有点硬。 林小宇说,现在解决了大的运动连贯性,可还有细微的,肌肉的微小抖动,情绪带来的动作停顿,那些东西,还是没那么容易做对。 可这已经足够改变很多事了。以后你看短剧,里面的数字配角不用再找动捕演员跳,输入文字直接出动作,连贯自然;助残机器人听到你说“帮我翻一页书”,动作慢下来顺下来,不会一把把书撕坏;元宇宙里你的虚拟化身,做出来的动作不会再像个机器人,和朋友聊天挥手都自然得像真人。 我走的时候,林小宇留在棚里调参数,夕阳从动捕棚的透气窗斜进来,落在屏幕的数字舞者身上。她刚转完一个圈,顺势下腰,起身,鞠躬,整个动作一气呵成,没有半分卡顿。 谁能想到,让AI看起来像个“活人”,差的居然就是那半秒的连贯。那以后呢?当所有卡顿都消失,我们又会找什么新的不一样?谁知道呢。

作者|大讲堂

排版|大讲堂

审核|白杨

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:文本到动作生成运动连贯性:动捕棚里找不准节奏的年轻人
文章链接:https://www.lfdjt.com/info_23_24773.html