|
名堂主页：https://deepmotionediting.github.io/retargeting 谷物肉系列
代码及预磨砺模子：https://github.com/DeepMotionEditing/deep-motion-editing
01 引子
东谈主物变装的动画一直是电影、游戏中不成或缺的一部分。在规划机图形学中，骨骼运行的变装动画因其便于为止、效果细密且资源破钞较低等优点被等闲诳骗。为了运行不同的变装，艺术家经常需要构建各部分比例不同的骨骼，只怕以至是拓扑结构也不同的骨骼；而将已有动画转移到新的骨骼也相配费时弯曲。频年来，如故有一些责任[1]使用神经汇集来科罚动作转移的问题，但这些责任齐没能涌现地利用骨骼拓扑信息，也齐局限在相似拓扑结构的骨骼上。
输入动作和两个输转移作
为了科罚在基于骨骼的动画筹商中长期存在的问题，咱们建议了全新的骨骼卷积和骨骼池化算子，并基于这些算子构建了用于同胚骨骼之间无需配对示例的动作转移深度学习框架。由于引入的算子能显式地磋议骨骼的档次结构和关节的不息关系，咱们称之为“骨骼感知”的。咱们的实考据明在动作转移和通用相通处理上，咱们的框架比较原有的着力愈加有用。据咱们所知，咱们的要道是第一个在具有不同相通链上进行为作转移且不需要配对示例的要道。
02 要道简介
咱们使用静态骨骼位置+动态关节旋转的花式表现骨骼上的动作，并把不同骨骼之间的动作转移视作无配对的域滚动任务[2]，将动态静态部分别离处理，搭建了深度学习的基本框架。该框架使用了两对自动编码器当作生成器，在共同的隐空间中结束不同骨骼之间的动作转移，并引入判别器缓助生成的末端。
两个自动编码器过甚磨砺时表现图
为了充分利用骨骼的拓扑结构，咱们构建了“骨骼卷积”这一算子。在对一个关节过甚对应的单个骨骼作念卷积时，咱们将其所有距离为 d 的不息骨骼对应的通谈索取出来。同期将静态部分和动态部分的通谈进行拼接，进行时间轴上的1维卷积。
骨骼卷积和池化谷物肉系列
咱们利用了同胚骨骼不错被一系列合并操作压缩到并吞个“基本骨骼”，构建了“骨骼池化”这一算子。下图展示了两个拓扑不同的同胚骨骼经过三次池化操作后合并到了一个环球基本骨骼的经由。这亦然咱们不同骨骼的自动编码器能达到并吞隐空间的基石。
骨骼池化以及“基本骨骼”
底下的图片展示了咱们在自动编码器中使用的块（block）的组成：将静态部分（offset）和动态部分（rotation）进行拼接，然后使用咱们的骨骼算子获取深层表征。每一个编解码器齐由别离由两个块组成。
自动编码器的基本块
03 末端展示
在测试时，咱们将源动作当作对应的编码器的输入，并将编码器输出的隐变量和概念骨骼信息当作解码器的输入，并把柄概念骨骼的拓扑结构汲取相应的解码器，获取转移后的动作。
框架的测试时表现图
最初，只使用一个自动编码器但使用不同的骨骼信息不错进行同拓扑骨骼之间的动作转移。底下的动画将咱们的责任和 CycleGAN[2](Adaption)，NKN[1]进行了对比。
并吞拓扑结构的源骨骼、概念骨骼
橾p在线
从左到右治安为Input, CycleGAN, NKN, Ours
更一般的，使用完好的两个自动编码器不错结束不同拓扑结构之间的动作转移。
不同拓扑结构的源骨骼、概念骨骼
从左到右治安为Input, CycleGAN, NKN, Ours
以至能完成有骨骼拓扑有相配显赫各异的动作转移：
拓扑各异彰着的源骨骼、概念骨骼
从左到右治安为Input, Output
参考
[1] Villegas et al.,Neural Kinematic Networks for Unsupervised Motion Retargeting.
[2] Zhu et al., Unpaired image-to-image translation using cycle-consistent adversarial networks.
SIGGRAPH (Special Interest Group on Computer GRAPHics and Interactive Techniques) 是规划机规模限制最大的顶级会议、CCF A类会议，插足东谈主数达2万余东谈主，每年收录百余篇图形学辩论的优秀论文谷物肉系列，是规划机图形规模集时间、艺术与展览于一体的嘉会。因新冠疫情影响，SIGGRAPH 2020将初次以在线花式举行。
|
