纸质说明书秒变3D动画,斯坦福大学吴佳俊最新研究,入选ECCV 2022


有没有空间感差的小伙伴,每次拿到乐高说明书都不知如何下手?

这回,可以动的乐高说明书来了!

清华姚班校友、斯坦福大学助理教授吴佳俊,带领团队研发了一项能把纸上的说明书转化为 3D 动画的技术,目前该论文已入选 2022 年计算机视觉顶会 ECCV。

看完效果图,有网友直呼:这对所有年龄段的乐高爱好者都大有帮助!

3D 动画说明书

尽管乐高的说明书都是由专业设计师编写的,但对于想象力差的人,不得不说,还是 3D 动画更香。

这一步转化看上去容易,其实背后隐藏着两个技术上的难题。

第一个难题是如何将纸上的 2D 图像投影成 3D 动画。

研究团队要做的,是将任务分解为一系列可以顺利、高效执行的短步骤,通过建立一个模型,将说明书上的图像转换为机器可解释的算法,以简化机器学习的任务。

正如上图所示,要想把图 a 转化为图 c,需要提取说明书中的每一个零件的图像位置,以便搭建最终的成品。

研究面对的第二个挑战是,乐高积木的形状实在是太多变了。

虽然很多基础配件形状差不多,但就像图中的吉他头一样,乐高也有不少灵活又复杂的配件。而且,这些配件可能产生的不同组合也大大增加了机器解读的难度:每一个搭建步骤都会形成一个新的不可知的图像。

为了解决这两个挑战,研究团队提出了一种新的基于机器学习的框架:手动执行计划网络 ( manual-To-executable-Plan Network, MEPNet ) 。

其核心思想是将基于神经网络的二维关键点检测方法与 2D-3D 匹配算法相结合,实现对不可见的 3D 对象的高精度预测。

MEPNet 的运行有两个阶段。第一阶段要做的,是将基础形状和新零件的 3D 模型、目标形状的 2D 图像作为输入信息,为每个零件预测一组 2D 关键点、旋转角度和掩码。

在第二阶段中,通过寻找基础形状和新零件之间的可能联系,再将第一阶段预测的 2D 关键点反向投影到 3D 图像中。

值得一提的是,这个方法在训练时不需要任何 ground truth 图像。

另外,MEPNet 的数据集表现优于其他现有方法。与基于端到端的学习方法相比,MEPNet 保持了基于机器学习的模型效率,并可以被更好地推广到生成未知的 3D 对象上。

最值得注意的是,MEPNet 能够利用合成数据进行单独训练,从而应用到真实的生活场景中。

目前,所有代码和数据已开源,感兴趣的小伙伴可以关注一下。

作者介绍

该篇论文来自斯坦福大学吴佳俊团队。作者还包括:Ruocheng Wang、Yunzhi Zhang,麻省理工大学的 Jiayuan Mao 以及 Autodesk AI Lab 的 Chin-Yi Cheng。

吴佳俊,现任斯坦福大学助理教授,隶属于斯坦福视觉与学习实验室 ( SVL ) 和斯坦福人工智能实验室 ( SAIL ) 。在麻省理工学院完成博士学位,本科毕业于清华大学姚班,曾被誉为"清华十大学神之一"。

论文第一作者 Ruocheng Wang,硕士毕业于斯坦福大学计算机科学专业,是吴佳俊门下的学生。本科毕业于浙江大学计算机专业,还在加州大学洛杉矶分校与 Adnan Darwiche 教授一起工作过一段时间。

One More Thing

虽然整篇论文都在以乐高为例,但作者也在论文中提到,其实这项技术还能应用到其他类型的组装说明书上。

好多"苦安装久矣"的网友就号召赶紧推出宜家版:

不过,在一片欢呼声中,也有网友提出了不同的声音:

我不知道这是惊喜还是毁了我玩乐高的乐趣。

对此,你怎么看?你是喜欢看着说明书拼乐高,还是自己发挥呢?

参考链接:

[ 1 ] https://cs.stanford.edu/~rcwang/projects/lego_manual/

[ 2 ] https://twitter.com/_akhaliq/status/1552118469214314496

[ 3 ] https://arxiv.org/abs/2207.12572

[ 4 ] https://jiajunwu.com/