奥飞寺鱼羊金磊
量子比特报告 | 公众号QbitAI
我有一个动画图像，我有一组人体动作，但是我想把它们组合成一个真正的动画，不是1+1那么简单。
抛开三个身形不同的角色统一的动作，支撑动画的骨骼却大相径庭。
这也意味着，如果要将已经做好的动作应用到新的动画角色中，仍然需要重建骨骼，耗时耗力。
好消息是，北京大学和北京电影学院的最新研究让事情变得更容易了。
根据这项研究的结果，从左到右，一个动作迁移深度学习框架可以解决，并且不需要任何配对示例。
也就是说，现在可以更轻松地将相同的操作应用于不同的化身。
这篇论文赢得了计算机图形学顶级会议SIGGRAPH，代码现已开源。
该论文的第一作者是北京电影学院研究科学家Kfir Aberman和北京大学图灵班三年级本科生李培卓。
对于这一成果，论文通讯作者陈宝全教授幽默地说：这是最了解骨骼的卷积网络。
并且据说在论文和代码发布之后，相关的工业公司找到了研究团队。
那么这到底是一个什么样的“骨骼惊奇”神经网络呢？
最懂骨骼的卷积网络
该论文的主要技术贡献是提出了一种新的骨卷积和骨池算子。
这些运算符是骨骼感知的，也就是说，它们明确地考虑了骨骼层次结构和关节邻近度。
据作者李培卓介绍，由于骨架不具有与图像相同的规则结构，而是比一般的图（graph）具有更特殊的结构游戏开发素材，因此新算子的设计也是整个过程中最难的环节研究过程。 .
研究人员使用静态骨骼位置+动态关节旋转来表示对骨骼的动作，将不同骨骼之间的动作迁移视为一个不成对的域迁移任务，将动态和静态部分分别处理，构建同胚骨骼的框架。 没有配对示例的动作转移深度学习框架。
框架结构类似于GAN，包括两对由自编码器组成的生成器，在一个共同的潜在空间中实现不同骨骼之间的动作传递。 还引入了鉴别器以提高生成结果的质量。
在此，研究人员利用骨架卷积算子来充分利用骨架的拓扑结构。
具体来说，在对一个关节与其对应的单个骨骼进行卷积时3D道具，提取其所有距离为d的相邻骨骼对应的通道。 同时拼接静态部分和动态部分的通道，在时间轴上进行1D卷积。
骨池是将具有不同拓扑结构的同态骨骼合并为一个共同的基本骨骼的过程。
根据研究人员的说法，这是不同骨架的自动编码器实现统一潜在空间的基石。
效果更“服从”
那么，“骨骼如此神奇”的神经网络效果如何呢？
接下来，让我们看看与其他方法相比的结果。
这个在 Pytorch 中实现的运动处理框架在配备 NVIDIA GeForce GTX Titan Xp GPU (12 GB) 和 Intel Core i7-695X/3.0GHz CPU (16 GB RAM) 的 PC 上进行了实验。
测试时，编码器的输入是源动作，解码器的输入是编码器输出的隐变量和目标骨骼信息。
然后，根据目标骨骼的拓扑结构，选择相应的解码器来获得转移的动作。
比较的主要方法有：CycleGAN和NKN。
对比实验有两种：
首先我们来看第一种情况下的对比：同一拓扑的源骨骼和目标骨骼。
下图从左到右分别代表输入、CycleGAN、NKN，以及研究人员的方法。
不难看出，根据这个鬼步舞的输入，研究者方法的“适应度”更高。
另外就是第二种比较困难的情况：源骨骼和目标骨骼拓扑结构不同。
同样，从左到右：输入、CycleGAN、NKN 和研究人员的方法。
在这种情况下，该方法在小人的“蹒跚”和“战斗”动作方面也优于 CycleGAN 和 NKN。
看完了定性比较，我们再来看定量比较。
不难看出，在这两种情况下，都达到了最优。
北京大学三名本科生之一
这篇 SIGGRAPH 论文有两位合著者。
其中之一是北京大学图灵班三年级本科生李培卓。
李培卓毕业于重庆市第一中学。 2016年入选重庆市信息学竞赛省队。 2017年以高考总分687分的成绩考入北京大学信息科学与技术学院。
目前，李佩灼师从陈宝全教授，研究方向为深度学习与计算机图形学。 目前在北京大学视觉计算与学习实验室、北京电影学院未来影像高精尖创新中心（AICFVE）实习。
另一位是北京电影学院 AICFVE 的研究科学家 Kfir Aberman。
他毕业于特拉维夫大学动画角色设计论文，获得博士学位。 现从事深度学习和计算机图形学研究。 在今年的SIGGRAPH 2020中，他有两篇第一作者论文入选。
另外，据论文通讯作者陈宝全教授介绍，在今年的SIGGRAPH上，北大本科生的“出场”不止李莉一人：
李培卓（图灵班17级）、翁益佳（图灵班17级）、倪兴宇（图灵班16级）、姜宏达（7月SIGGRAPH博士会议19级）。
由于疫情原因，今年的SIGGRAPH大会改为线上。 第一次“出道”的四位同学遗憾未能在现场享受传统的视觉盛宴。 基于SIGGRAPH的创意DNA动画角色设计论文，本次虚拟大会更值得期待。
作为一名本科生，能拿到top paper并不容易。 我们采访李培卓时，他说：
作为一名大三学生，能拿到一张SIGGRAPH是一件非常幸运的事情。
一方面是我自己努力的结果，更重要的是我们团队的教授和前辈们的帮助、指导和付出。
我一直对图形特别感兴趣，能够收到这篇论文鼓励我继续在这个领域进行研究。
晚辈可怕，晚辈可怕。
最后也祝愿几位同学在科研的道路上再创佳绩~
传送门在这里：
项目地址：
论文中文版：
作者为网易新闻·网易号《各有态度》签约作者
- 结束-
注册 | 如何在不编写代码的情况下开发对话机器人
5月29日下午14:00，竹简智能机器人工厂™平台发布。 可以零代码开发对话机器人。 机器人工厂开箱即用，支持文字、语音、图像情感识别。
扫描二维码观看直播~
量子位 QbitAI 今日头条签约作者
վ'ᴗ' ի 追踪AI技术和产品的最新动态
喜欢就点“在看”吧！
