编辑丨岑峰
元宇宙被以为 是互联网的自然迭代阶段，是人类社会在发现语言、文本、数学、图像之后，信息爆炸欺压我们将数据一直 抽象为高维数据的当下，将交流前言 彻底具象化的另一极革命。有句话说得好，“文化即元宇宙”。元宇宙的天下 源于现实，又别于现实、逾越现实，我们可以容易 在其中跨越物理距离面扑面 交流，逾越现实的寄义之更深层的，乃是逾越规则。但在逾越规则之前，我们在第一步上仍显稚嫩。
而现在 ，也正有无数学者正在探索元宇宙的第一步，即还原现实。在视觉领域，他们研究怎样 获取都市高楼的三维形状，怎样 模拟樱桃与水面的接触，以及怎样 让几何人学会走路和舞蹈 。
通过研究三维工具的几何与行为，这个领域——盘算机图形学，正在展示其还原天下 的无限潜力。
在与陈宝权、王滨、刘利斌三位学者的交流中，我们可以感受到，只管 元宇宙还遥不行及，但“种子早已萌芽”。陈宝权主要研究几何也就是三维建模，王滨和刘利斌主要研究行为，也就是物理仿真和运动控制。
几何与行为正是北京大学智能图形团队重点生长的研究偏向，二者组成了“形”与“力”的二重奏。
1三维建模正如恩里科·费米所言：If you can not create it，you cannot understand it.
“图形学也是在人们探索明确 这个天下 的一个必经阶段，同时重修 天下 也是图形学一直在提倡的一个理念。在多年的累积中，图形学已经累积了大量关于天下 的知识。好比物体的几何形体表达、物理特征 、光照等等。要实现视觉智能，图形学是很主要 的一步。”陈宝权说到。
陈宝权，北京大学博雅特聘教授。研究领域为盘算机图形学、三维视觉与可视化。2017年当选中国盘算机学会会士，2020年当选 IEEE Fellow，2021年入选IEEE Visualization Academy，当选中国图象图形学学会会士。
盘算机上还原的天下 的时间是可回溯的。在2022年冬奥会上，陈宝权就为我们展示了这一时间邪术 。观众用手机寓目冰球角逐时，可以随时暂停角逐画面，并可360度转动冰球场，品味精彩瞬间。
这一手艺 也仅仅是陈宝权研究三维建模多年履历 的小试牛刀。陈宝权从2000年就最先 关注对真实场景举行 三维建模。在2009年为深圳构建都市3D建模的项目中，陈宝权团队接纳了激光扫描等手段获得现实场景的三维点云，再举行 重修 ，这项手艺 已成为智慧都市建设的基础。
2008年陈宝权回国之初建设的“都市建模拟 真与可视化“系列国际论坛第一届，群集 了海内外该领域许多顶级专家来参会。
2009年陈宝权建设的基于移动车载激光扫描的大规模都市场景三维重修 团队。
由于室外情形 限制，好比树木的遮挡，不行能获得修建物每个面的点云数据。因此，陈宝权团队提出了团结 先验知识的要领，通过从希罕 点云中识别平面区域，盘算平面之间的交线和交点，以获得完整的多边形，其中平面区域是通过聚类获得的。下图给出了希罕 缺失的三维点云、聚类后的点云以及重修 后的三维模子 。
希罕 点云三维重修 。图源：大规模都市场景建模与明确
综合二维图像和三维点云的优点，陈宝权团队在论文“2D-3D fusion for layer decomposition of urban facades”中提出了 一种融合二维图像和三维点云的分层修建物墙面重修 要领。通过将三维点云的深度信息赋予二维图像，还原了高分辨率、无噪声的修建物模子 。下图给出了三维点云与二维图像、 注册后的点云和图像、重修 后的修建物三维模子 以及粘贴纹理之后的模子 。
融合点云和图像修建物三维重修 。图源：大规模都市场景建模与明确
修建和植物是都市中最常见的两类实体，其三维模子 也是都市三维场景的主要组成要素。差异于具备规则性的人工修建，植物属自然产物，三维结构特征越发重大 。只管 也可以接纳规则要领建模植物，但基本上很难形貌 给定的模子 或真实树木。基于现实 收罗数据（一样平常 是图像和点云），则可以获得低条理的模子 形貌 ，好比三角网格模子 。
陈宝权团队在论文“Automatic reconstruction of tree skeletal structures from point clouds”中提出了基于激光点云的自动树木骨架重修 要领，通过一系列全局优化要领在希罕 的、不完整的、嘈杂的点云中适配树木的骨架结构。该算法无需对点云举行 支解，即可重修 相互交叠的树枝结构。
基于激光点云的自动树木骨架重修 。图源：大规模都市场景建模与明确
意识到统一 树种局部结构存在的相似性之后，团队又在论文“Texture-Lobes for Tree Modelling”中提出了基于 Lobe 体现的树木快速三维建模要领，以战胜 前述要领的效率局限性。
基于Lobe体现的树木三维建模。图源：大规模都市场景建模与明确
近十年后，在智慧都市快速生长的年月 ，场景规模越来越大、颗粒度越来越细、更新频率越来越高，成为了智慧都市三维建模的新要求。
在原始收罗数据希罕 甚至缺失的情形 下，基于先验知识和几何内在规则约束的建模要领有局限性，陈宝权团队提出了“自动 式”扫描机制，将收罗和重修 组成一个闭环，为重修 提供数据保障。而自动 式收罗可以依赖 机械人某人 来完成。
为此，陈宝权团队提出了都市场景渐进式构建思绪 。该思绪 以为 ，都市场景规模大且永远处在快速转变 当中，集中式重修 的成本昂贵且其完整性和实时更新变得不行能，应该构建一种漫衍式机制来实现对重修 数据的扩充和修正，由此到达都市场景的瞬时更新。智能体（单/多机械人某人 群）具有自动 探索能力，是场景渐进式构建的主要载体。
在论文“Autoscanning for coupled scene reconstruction and proactive object analysis”中，陈宝权团队提出了基于场景物体置信度指导 的单机械人自动 探索要领，通过对低置信度场景举行 交互以验证并提高效果 准确性，从而逐渐细腻 化室内场景。
而到了都市室外场景时，由于情形 是开放的，无法事先举行 建模，直接应用相同要体会 导致效率问题。“对于一个一直 转变 的场景，机械人要怎样 举行 自我导航、场景探索，也是一个难题。事实 其中不仅涉及机械人的运动，还涉及到机械人和情形 的交互。”陈宝权体现。
为此，在论文“Autonomous reconstruction of unknown indoor scenes guided by time-varying tensor fields”中，陈宝权团队提出了一种时变张量场驱动的未知室内场景自动重修 战略，在妄想 机械人移动路径时，对都市场景工具举行 约束和更新，天生 机械人路径指导其举行 探索，从而兼顾效率和精度。
一台机械人的事情效率始终有限，因此，多机械人协同探索就成了自然的选择。“机械人协同的难点在于，N个机械人能不能到达N倍的效率。我们甚至还希望到达1+12的效果，好比两个机械人之间的信息融合可以让相互对情形 都越发相识 ，这是所谓协作的要害。”陈宝权体现。
在论文“Multi-robot collaborative dense scene reconstruction”中，陈宝权团队提出了基于最优质量传输理论的多机械人协同探索以及自动 渐进式重修 位置都市场景模子 的算法。最优质量传输理论的目的 是求出两个漫衍（或者说荟萃）之间的映射关系，使得该映射在给定的怀抱下价钱最低。
在多机械人扫描重修 问题中，把机械人看作是场景扫描使命 的“供应方”，未知情形 看作是场景扫描使命 的“需求方”，而机械人现实 执行扫描使命 所需要的价钱（如移动距离）作为映射的怀抱。以此为基础，可以通过求解最优质量传输，可获得机械人和扫描使命 之间的映射，使扫描价钱最低。
一种用于未知室内场景的多机械人协同麋集 重修 算法。图源：Multi-Robot Collaborative Dense Scene Reconstruction
“整体上，我们既需要用全局妄想 来统筹所有机械人之间的协作和使命 分配，也要基于机械人的局部视角去妄想 其单独就能完成的使命 。这是这类使命 的算法设置的基本战略。”
天下 不是静态知识的荟萃，陈宝权在科研征途上也一直 拥抱前进 ，接纳先验知识团结 数据学习的方式，见证了几何建模在尺度规模以及细腻 度一直 延展的历程。然而，若是 仅仅局限于几何建模自己，这样的天下 也是静态的。
“从天生 一个天下 到明确 一个天下 ，两者已经密不行分。天生 是为了明确 ，而明确 了之后也是为了更好地天生 ，两者在一直 地相互增强。”明确 不止是将物体举行 分类、语义支解，而是要还原其在现实天下 中与其它物体接触、碰撞的真实力学以致 动力学反映。
“几何建模是物理仿真的基础。通常我们要先获得物体的几何参数，再凭证 几何形状的动态转变 去推测物理参数，好比王滨先生 做的荷叶研究。刘利斌先生 做的人体运动控制研究也一样，要控制一小我私人 的姿态，也需要先获取真实的人体数据来学习。但面临 自然征象 ，几何建模与物理仿真有时需要同时举行 ，通过全局优化来获得对征象 的动态重修 。”陈宝权体现。
2物理仿真“通过外力让一片荷叶晃动，我们就获得了荷叶的动态数据，据此不仅可以推断出荷叶的几何形状，还可以推断出荷叶的物理参数。”王滨说到，“这些物理参数不仅包罗质料的硬度，还包罗阻尼特征 、原始形状等等。”
王滨，现任北京通用人工智能研究院（BIGAI）全职研究员，在加入BIGAI之前，她于2017年至2021年担任北京影戏学院未来影像高精尖创新中央 研究员。
王滨博士结业于北京航空航天大学，时代 研究偏向是虚拟现实和人机交互，在其时来说是一个很前沿的偏向。之后她到UBC举行 会见研究，主要举行 手部的仿真和模拟。
在会见研究的历程中，王滨逐渐对物理仿真感兴趣。由于物理仿真的门槛较高，于是王滨从碰撞检测的课题入手，逐渐进入仿真领域，并举行 深耕。
王滨告诉我们，研究物理仿真之前，在数学和物理方面都需要深挚 积累，也需要很强的代码实现能力，“在算法实现方面，物理仿真的代码量较大，而且没有许多开源的项目作为实现基础，我们往往需要从零最先 造轮子。另外物理模拟的盘算量大，因此需要较好的算法结构设计和高效的实现。为了提高盘算效率，一些盘算事情还需要转移到GPU上，也对编程能力有一些更高的要求。”
在数学方面，物理模拟主要涉及数值盘算和最优化的数学理论支持 ，“好比在逆向剖析 算法中，就需要优化算法基础。在模拟中，也需要举行 大型线性系统的求解，因此涉及到算法的选择和数学近似等数值盘算事情。”王滨说到。
厥后，王滨到新加坡国立大学举行 物理仿真领域的博士后研究事情，“质料仿真建模是其时的萌芽课题，也是在谁人 时间 和深圳先进研究所有了深入的交流和相助。”回到北京后，王滨加入北京影戏学院未来影像高精尖创新中央 事情5年，最近加入北京通用人工智能研究院，一直和北京大学及外洋高校睁开 相助，举行 过许多物理仿真模拟的研究，例如质料反向建模、流体模拟、磁性物质模拟等。
荷花的物理参数推断就属于质料反向建模研究，相关效果 揭晓 在论文“Deformation Capture and Modeling of Soft Objects”中，由王滨与刘利斌等人相助完成。
系统可以仅从运动学数据中捕捉和重修 软物体的动力学模子 。然后，使用 这一模子 可以合成知足 用户指定约束并响应动态扰动的新运动。上图左：一只正在行走的恐龙；中央 ：一个锅架在跳跃；上图右：一个衣架在跳跃。下图：荷叶在人造风场中晃动。图源：Deformation Capture and Modeling of Soft Objects
图形学的交互驱动可以分为两个分支，一个是几何数据驱动，一个是力学驱动。几何数据驱动是指对一个征象 举行 致密几何形状采样，尔后通过其举行 插值并获得效果 ，而荷花的研究事情是基于力学的驱动。
“整体的交互是凭证 物理模子 举行 驱动，而模子 的要害参数是通过数据驱动的方式求解的。例如物体的软硬水平、阻尼系数和参考形状（失重状态下的自然舒张状态）。这是从运动数据逆向推导出系统力学和物理系数的建模要领。”王滨说到。
反向质料系数天生 后，也可以对其举行 修改和定制，迁徙 到其他类似的物体上。基于运动数据驱动的模子 反演也可以用来拟合那些现实中不存在的超级质料。“反向质料建模的目的是减小仿真和真实的差异，当我们需要控制模子 的某些参数，使其具有新的特征 时，模子 也可以通过参数调整举行 人为干预。”
在质料模子 和系数的设计方面，一样平常 不使用AI要领举行 表述，“由于 它通常无法知足 许多先验的约束，直观明确 就是许多硬约束条件无法先天知足 。数据少、容易过拟合、泛化性差。深度学习的耦合性很强，现在 来说无法或很难明 释各个参数的控制变量，也无法从端到端的模子 学习事情中确定其可诠释 意义。”例如，由于其中数据缺失和噪声严重，可变形物体的反向质料建模就需要很好地将数据驱动与先验知知趣 团结 。
质料反向建模通常限于单个物体，不会举行 多个物体交互的场景数据收罗，由于 涉及接触力等许多参数是无法丈量和收罗的。不外，王滨依然在朝这个偏向迈进。
在论文“Solid-Fluid Interaction with Surface-Tension-Dominant Contact”中，王滨与陈宝权等人相助研究了强外貌张力下的的流固耦合模拟——具有外貌张力主导接触的固流相互作用。在这项研究中，无论是钢回形针、樱桃、秋叶照旧水黾机械人，都可以在外貌张力的作用下浮在水面，并激荡出了真实自然的波纹。
三向耦合要领可以模拟固体和液体之间以外貌张力为主的接触动力学，包罗钢回形针的静态接触、水面上的樱桃、秋叶在小溪中漂浮和旋转 ，以及由其枢纽驱动的水黾机械人。图源：Solid-Fluid Interaction with Surface-Tension-Dominant Contact
这种固液外貌接触的最大特点是强外貌张力，好比钢回形针的密度是水的8倍，但仍然可以漂浮在水面上，就是由于 水的外貌张力系数较高。
对于在水面上的固体物体，它的力平衡可以明确 为重力?_?g、浮力f_?、毛细力f_?三个力之间的平衡：?_?g = f_? + f_?。浮力的作用是通过对与水接触的体积的流体压力举行 积分来推断的，而毛细力是通过对沿体积接触周长的外貌张力举行 积分来盘算的。
固体和流体相互作用。在重力??、浮力f_?和毛细力f_?之间的平衡下，实心圆漂浮在水面上。图源：Solid-Fluid Interaction with Surface-Tension-Dominant Contact
从盘算的角度来看，准确地模拟这三种力之间的相互作用需要对三个子系统举行 适当的处置赏罚 ——液体、固体以及它们之间的强张力液体界面。
然而，在盘算物理学和盘算机图形学界，由于缺乏有用 的盘算工具来准确 模拟三个子系统之间的相互作用，模拟强耦合的外貌张力主导接触历程的问题在很洪流平上仍未获得探索。
在传统的双向耦合系统中，没有直接的途径来桥接液体和固体，使得无法模拟流固系统 中至关主要 的f_?项。“流体的欧拉网格通常无法很好地跟踪外貌，外貌张力和曲率相关，而欧拉网格不易准确盘算曲率。”
为此，王滨与团队提出了一种新颖的“三向”耦合机制来模拟由强外貌张力驱动的固液耦合，“要害是将外貌张力主导界面视为同时与液体体积和固体物体耦合的拉格朗日薄膜，界面不再是一个无限薄的数值载体，而是具有有限的小厚度。拉格朗日要领可以准确 追踪外貌，并盘算外貌的张力。同时，拉格朗日要领也可以很好表述外貌和物体的碰撞，并将水分子的张力施加到固体上。”
团队围绕这种“三向”耦合头脑 开发了一整套数值基础设施，以周全 顺应 不行压缩性、浮力、外貌张力、刚性枢纽及其种种重大 相互作用的处置赏罚 。“我们的数值解的一个主要 特征是它能够处置赏罚 液体和高密度比固系统 统之间的耦合，这对于所有以前的要领都是不行行的。”
除了物体的漂浮，该要领还可以模拟“Cheerios 效应”（好比牛奶上的麦片相互吸引）、由外貌活性因素 引起的外貌张力削弱效应（好比洗洁精加入水中）等征象 。“以是 ，通过数值方案，我们能够实现多尺度多物理场的耦合。其基本思绪 都是基于背后的物理机制，再设计数值盘算的框架将其形貌 表述出来。”
落入水中的球体。由于薄液膜的网格体现，因此可获得由固体运动刺激的细腻 波撒播 。图源：Solid-Fluid Interaction with Surface-Tension-Dominant Contact
荷叶模拟和回形针模拟都是经典力学问题，在论文“A Level-Set Method for Magnetic Substance Simulation”中，王滨和陈宝权等人相助挑战了磁流体模拟问题，并对领域内的一个多年争论给出了一个解决要领。
这个争论是“施加在物质上的磁力是体积力照旧外貌力？”纵然在今天，这个问题仍然没有获得明确的回覆，争论的起源可以追溯到 150 年前麦克斯韦方程的降生。
在外貌张力驱动的征象 中，磁流体体现出其奇异 的外貌几何形状和动力学特征，即尖锐的锥形结构阵列的泛起和演变。这些吸引人的特征是由于重力、外貌张力和磁力之间的多边相互作用而发生的。
王滨和团队提出，无论是理论上照旧盘算上，磁力耦合系统都可以作为界面问题来解决，“磁流体一样平常 是基于配景网格举行 盘算。但现实 上磁力既可以表达为场，也可以表达为外貌力。在我们的研究中没有使用对等的场力建模，而使用了外貌力形式来建模。”
使用外貌力建模要领可以巧妙地使用 界线 的跳变模拟外貌力，这方面恰恰 有优异 的数学要领举行 形貌 ，从而可以顺遂 盘算，“因此在磁流体建模中，我们仅需要基于欧拉网格便可以举行 优异 的形貌 。”
从磁场到机械系统的前向耦合是界面的，通过模拟亥姆霍兹力对运动物体（例如，流体或固体）的外貌效应，而从物理系统到磁场的后向耦合是体积的，通过跟踪浸入配景磁场中的移动磁性子 料（水平集、粒子或网格）。
该盘算框架可以很容易地集成到尺度的欧拉流体求解器中，实现重大 磁场的模拟和可视化。由于要领的欧拉性子 ，其天生能够准确盘算长程磁相互作用，而不管浸入物体之间的距离怎样 。他们提出的要领对包罗铁磁流体、刚性磁体、可变形磁体和多相耦合等工具的模拟体现出富厚的几何和动态特征 。
基于统一水平集的要领可以模拟和可视化种种磁征象 的动力学，包罗铁磁流体、可变形磁体、刚性磁体和多物理场相互作用。图源：A Level-Set Method for Magnetic Substance Simulation
就像我们在教科书里经常看到的，许多物理问题都有很限制 的工具和界线 条件，可是 盘算机图形学模拟的物理征象 ，不管是上述提到的固液耦合照旧磁流体，往往空间、时间、相变的跨度很大，而且也涉及多个征象 ，跨越了多个界线 条件。
“也就是说，我们需要在一个求解内里 实现跨度很大的征象 转变 和界线 条件转变 ，这和传统的数学物理领域的求解很纷歧样。”陈宝权体现，“要求解这样的重大 征象 会涉及到差异系统 的要领，要将它们融合在一起，同时在几何的表达上有一个一连 的表达，是很难做到的。好比，固体和流体耦合的模拟中，固体有固体的表达，流体有流体的表达，它们之间尚有 能量的转达 。换句话说，就是固体有一个方程，流体有一个方程，同时还要将两个方程做一个关联。”
磁流体的仿真挑战在于多物理场模拟。例如磁流体模拟中，其本质是在固体仿真中添加一个磁场，磁场和固体具有相互作用的性子 。这项特殊 添加的磁场会让整系统 统越发重大 ，因此经典力学和电动力学的耦合是其要害所在。类似的挑战还存在于刚性和弹性体的耦合仿真中。
3运动控制弹性体与刚体的团结 建模的最大应用偏向是人体的仿真。之前人体仿真事情都是将人体简化为刚体铰链结构，并没有思量 肌肉脂肪对人体所带来的影响。但现实 上，这些弹性体人体组织对运动行为的影响很大。“若是 我们的控制算法未获得此类肌肉脂肪对骨骼的影响，那么其传神度就会大幅下降。因此，我们要将所有对运动发生影响的因素思量 进去。”陈宝权体现。
现在 的许多游戏中，此类仿真应用较少，“缘故原由 是无需云云 精准的仿真，他们追求的更多是盘算效率以及视觉效果。”
弹性体与刚体的团结 建模涉及到数字人的研究建模，数字人的建模难题在于怎样 对数字人举行 全方位的形貌 ，包罗纹理、行动的复现，以及医学心理 结构（好比血管、肌肉、神经等）。
在论文“Learning Skeletal Articulations with Neural Blend Shapes”中，刘利斌与陈宝权等人提出了一种新要领，战胜 了3D数字人模子 在运动中常见的变形缺陷，例如在枢纽处泛起蒙皮塌陷（形变缺陷征象 ），从而实现了高质量的蒙皮变形。
传统的蒙皮和装配变形模子 过于简化了人类和动物的移动方式，导致了经典的形变缺陷征象 ，而使用混淆形状手艺 则可以在枢纽等敏感区域提供细粒度控制。基于这一点，这项事情提出了一种新的基于人工神经网络的“神经混淆形状”手艺 ，能够自动处置赏罚 具有差异形状和连通性的数字模子 。
通过神经网络学习为具有恣意 连通性的人体输入绑定骨骼和蒙皮，并天生 神经混淆形状。该框架可以天生 与姿势相关的位移，导致高质量的变形，尤其是在枢纽区域。图源：Learning Skeletal Articulations with Neural Blend Shapes
在训练时代 ，网络视察形状的变形，并学习使用间接监视来推断响应 的绑定、皮肤和混淆形状，绕过提供监视包络或混淆形状变形参数的需要。由于不假设训练数据具有特定的潜在变形模子 ，间接监视能够学习恣意 数目 的混淆形状。
包络变形分支。给定 T-pose (V, F) 和枢纽旋转 (R) 的网格，神经网络通过视察角色枢纽极点位置，通过间接监视来推断蒙皮 (W) 和装配 (O) 参数。图源：Learning Skeletal Articulations with Neural Blend Shapes
“这项事情是第一个基于深度学习的自动包络要领，团结 了与姿势相关的混淆形状，可用于具有恣意 连通性的皮肤网格。”刘利斌说到，“值得注重 的是，我们的模子 具备很强的对人体细节形变（例如，肌肉的发抖）的捕捉能力。”
陈宝权体现，“我们现在 已经实现了单向的建模，也就是将行动复现出来，尔后再修改肌肉的形状反映，而非由于肌肉的转变 而导致对应的运动控制。因此肌肉的缩短 和脂肪的发抖存在差异，仿真与现实 照旧存在差异。”
“人的行动是一个主观历程的效果 。因此，我们通常无法通过既定的规则和划定限制行动的历程和体现，其本质上是一个统计学模子 。以是 ，对于行动天生 更多使用基于数据驱动举行 研究，AI是很好的解决要领，现在 相关前沿事情也是更多基于AI的突破，其中深度学习、强化学习饰演和起到了主要 的角色。”刘利斌增补到。
刘利斌，北京大学前沿盘算研究中央 助理教授，主要研究偏向是盘算机图形学、物理仿真、运动控制以及相关的优化控制、机械学习、增强学习等领域。
加入中央 之前，刘利斌博士曾于加拿大不列颠哥伦比亚大学（The University of British Columbia）及美国迪士尼研究院（Disney Research）举行 博士后研究，后加入美国硅谷创业公司DeepMotion Inc.担任首席科学家。
刘利斌重点关注运动控制，这项手艺 最主要 的应用之一是角色动画。传统角色动画的天生 涉及建模、骨骼绑定、相机控制和行动天生 等历程，整个历程需要泯灭大量时间和人力，团结 人工智能手艺 ，有望实现动画天生 的加速。现实 上，在博士时代 ，刘利斌就最先 了对动画角色运下手 艺 学习的探索。
和物理仿真差异，角色动画领域也没有足够的系统 化的领域知识，因此刘利斌和团队最先 实验基于强化学习的要领。研究发现，无论是对单个手艺 照旧手艺 组合的学习，强化学习都比传统要领有更好的效果。
“我以为 完整的人工智能应该具有优异 的运动能力，它可以支持智能体探索较大的空间，并能完成越发重大 的使命 。因此，我们希望未来的人工智能能够自动 地去感知运动，自主的学习新的运下手 艺 ，而且能够凭证 现实 情形 来协调运用这些手艺 ，从而与人和其他人工智能举行 交互与协作。”刘利斌体现。
虽然，纵使肌肉发抖能够很好地还原，要用人工智能天生 流通 的行动，还需要举行 大量行动数据的学习。从动画师手动调整角色要害帧中的姿态，到行动捕捉手艺 ，再到基于深度学习的监视姿态预计手艺 ，现实 上，行动学习还可以再进一步——无监视行动学习。
在论文“Unsupervised Co-part Segmentation through Assembly”中，刘利斌与王滨、陈宝权等人相助提出了基于无监视学习的图像配合部门支解要领。该要领可以对人体、手、四足动物和机械人手臂等物体实现有用 的部件支解，进而有用 地捕捉视频中的行动信息，这些信息融合到动画角色模子 上后，就可以自然地天生 行动。
在差异场景下测试的视觉支解效果 ，包罗人类、手、四足动物和机械臂。图源：Unsupervised Co-part Segmentation through Assembly
视频序列包罗行动的所有结构和运动信息，包罗主体在任何时间的姿势以及姿势之间的动态转换。
刘利斌和团队在这项研究中的目的 是从视频中提取基于部件的通用体现。获得了部件的体现之后，就可以举行 自由的组合。
详细 来说，在训练历程中，图像编码器将源图像输入转换为源潜在特征图和源部件变换，其中源部件变换可以将源潜在特征图逆变换陋习 范特征图，规范特征图是特征图的“原点”。同时，尚有 另一张目的 图像作为输入，被转换为目的 潜在特征图和目的 部件变换。规范特征图经由 目的 部件变换转换为重定位特征图。判断网络学习效果的指标是将重定位特征图解码为目的 图像的还原度，以及将源潜在特征图解码为源图像的还原度。
训练历程，以端到端的方式训练支解网络。图源：Unsupervised Co-part Segmentation through Assembly
由于不是通过全局图像扭曲而是混淆每个部门的扭曲图像来天生 最终图像。从本质上讲，基于图像的装配操作有用 地约束了每个单独零件的流形，从而改善了最终效果 。
与基于单个图像的支解相比，自监视的学习模式聚合了来自多个图像的形状相关信息，从而刷新 单个图像的支解。
在影戏等场景中，相机镜头也是叙事的主要 部门。基于摄影方面的先验知识天生 相机轨迹虽然是一种思绪 ，但这种先验知识很难用数学语言表达。为此，在论文“Example-driven Virtual Cinematography by Learning Camera Behaviors”中，王滨和陈宝权等人相助提出了从输入视频提取相机气焰 气焰 体现的要领，使拍摄虚拟动画场景的历程展现出相似的气焰 气焰 。
一种摄像机运动控制器的设计，该控制器能够自动从差异的影戏剪辑中提取摄像机行为（左）并将这些行为重新应用于 3D 动画（中）。在此示例中，模子 从三个差异的参考剪辑中自动天生 了三个差异的相机轨迹（红色、蓝色和黄色曲线）。右边显示了沿每个相机轨迹的 4 个特准时 刻的视点，展示了系统从差异的输入示例中编码和再现相机行为的能力。泉源 ：Example-driven Virtual Cinematography by Learning Camera Behaviors
王滨体现，该事情中人工智能比重较大，由于 它和物理模拟有所差异。“物理模拟背后有富厚和扎实的形式化知识，无需AI重复造轮子。而对于镜头语言，它的语义性子 强，现在 没有合适的数学模子 举行 形貌 。而这正是神经网络的优势之处，它更适合这种语义性子 强的事物建模和形貌 。”
“在运动天生 中，现在 没有许多的语义级表征。”刘利斌增补到，“在气焰 气焰 表征中会有类似的事情和元素存在，例如体现欢快或者伤心的情绪的语义表达变量。可是 在运动天生 中，现在 没有类似效果 。但我以为 这是一个未来的偏向，由于 运动控制是多种行动的有机组合，其抽象、语义级的体现可能是一个有远景 的偏向，现在 也有类似的苗头和前期事情泛起，很有意义。”
谈及选择深耕运动控制的缘故原由 ，刘利斌说到，“对于运动控制偏向，学界的探索照旧领先的。现在 来看其天生 的效果尚不能到达业界需求，虽然可以提供基本的控制能力，可是 其效率、真实性离工业界的现实 需求尚有 较大距离。这个偏向有很大的研究空间。”
当下的事情还不会对情形 举行 建模，但在未来，运动控制可能需要和物理情形 举行 交互，“我们会思量 加入情形 物理建模的步骤，增添 其真实性。”
“在运动控制领域内，现在 人们主要关注多手艺 的学习。例如反抗（格斗）和协同（舞蹈 ）等类型的手艺 中，就涉及了多种手艺 的组合。”多手艺 学习不仅对于娱乐有用，在智能驾驶、服务机械人等领域也大有用处。
刘利斌以为 ，手艺 迁徙 在未来会是个潜在研究热门 ，好比获取到一些控制履历 后，怎样 使用 已有知识举行 更好的其他部门的协同和学习？当机械人学会平衡手艺 后，学习后空翻行动时怎样 使用 平衡手艺 ？由于 后空翻行动完成后也涉及到平衡状态。“这有点像NLP的预训练模子 ，对于行动控制，我们也可以举行 类似的研究，可以称之为‘数字小脑’。”
“可以说，我们现在 在举行 小脑人工智能的研究和开发，大脑部门更多的是语言、视觉等方面。在未来，这两个大部门可能会更多的融合，从而绽放更美的火花。现在 小脑部门还在开发，尤其是多手艺 荟萃的学习和扩充，信托 有一天我们可以实现完整 的数字小脑。”
4挑战只管 盘算机图形学在手艺 应用上已经触达了现实生涯 ，但仍存在基本的挑战。
“几何建模在基础理论层面仍有一个远未实现的目的 ，那就是对随时间转变 的事物举行 一连 、高效、统一的几何表达。好比一棵树在从春天到冬天会发生很大的形态转变 ，在这历程中，怎样 举行 几何表达，同时兼顾关系属性、动态表达，就是个浩劫题。而详细 到物理、动态的时间 ，对于每种属性的表达都市有所差异，最终可能会导致纷歧致的输出效果 。在工程系统方面存在诸多挑战，盘算机图形学的工程系统涉及传感器、传感器通讯、盘算、存储等等，需要推动这方面的生长，GPU即是一个实例。”陈宝权体现。
在物理仿真领域，多物理场景、多尺度模拟都还存在许多挑战，而诸如相变、碰撞、翻转、形变等不行微征象 也对基于梯度学习的神经网络应用带来了基础难题 。
“我不是很赞许 使用深度学习完全替换 物理公式模子 ，由于 物理学家已经对该场景举行 了恒久的研究，并给出了理论模子 的近似。而神经网络并没有能够像人类一样对类似场景举行 类似量级的归纳总结和表达，因此其通用性较为受制。换句话说，基于数据的神经网络模子 通常无法学习到物理天下 的底层逻辑，也无法保证物理模拟特征的可控性。”王滨体现。
对于上述挑战，现在 的研究偏向之一是使用统一的模拟要领举行 形貌 和建模。“好比MPM要领既适配流体又适配刚体的模拟，获得了领域的认可。而IPC要领能够将碰撞使用能量形式而非约束形式加入到物理系统中，其普适性体现于对于单边约束的仿真统一解法的归一和简化，能够稳固 简朴地举行 求解，并保证每一步都没有穿透，且操作可微。”
人工智能现在 并没有大规模使用 在物理仿真场景中，可是 王滨也指出，在未来，物理模拟系统中的许多棘手问题可以通过AI举行 解决，“AI并不是推翻一切物理定律、重新造轮子的手艺 。它更应该像是一个工具，解决现有系统中的难以解决的步骤和问题。在未来，我信托 团结 传统物理建模和人工智能要领的思绪 会逐渐成为主流。”
王滨以为 ，深度学习也许在响应的即时性方面能够给予不错的增补，由于 它们通常能够找到一个不行诠释 的快速的知足 要求的解，“这个解可以表达我们想要的内容，而且速率 较为快速。”
“好比，在仿真的历程中我们通常需要解一些大型的线性系统，可是 该矩阵的条件树通常不够完整 ，此时我们需要使用一些其他手艺 ，例如预条件来获得这种场景下的较量 可靠的解，这是一项很难和耗时的事情，它和物理问题强相关。此时，AI也许也能够资助我们快速解开方程，获得一个合适的预条件，并解开病态方程。”
运动控制基本属于基于履历 的学习，因此其和深度学习所面临的问题相同，好比可诠释 性，刘利斌说到，“其基础理论挑战也可以参考人工智能的基础理论问题。而工程系统方面，仿真自己需要大量盘算，因此需要思量 效率。在应用方面主要的问题在于天生 的质量，许多事情现在 照旧无法知足 工业使用的需求。”
5盘算机图形学与人工智能不像盘算机视觉险些有着周全 拥抱深度学习的趋势，盘算机图形学仍然很是看重先验知识的作用，而随着两者一直 深入交汇，或许将带来无法预料的新生长。
盘算机图形学对人工智能有何促进作用呢？陈宝权体现，可以分成两个条理。
第一个条理是为人工智能提供训练与测试的使命 情形 。“首先是提供训练数据。我们可以通过仿真的手段获得大量的仿真数据。一些数据的获取通常十分昂贵，真实天下 的数据收罗可能无法知足 训练需求，此时模拟可提供资助。其次是为智能算法提供虚拟测试情形 。总的来说，我们可以通过搭建仿真情形 ，让智能体在其中运行获得训练、测试与反馈，这样的模式在自动驾驶场景中已经获得普遍 应用。”
第二个条理是为人工智能算法自己提供问题工具的表达模子 。好比，基于模子 的强化学习，可以直接基于盘算机图形学对情形 的建模参数作为数据输入来学习，从而使得学习的数据量大幅降低。“这相当于资助AI简化情形 的重大 度，也就是说，盘算机图形学已经资助AI压缩了情形 信息，提取出最主要 的因素。同时，基于这个学习历程获得的模子 也更具知识性，更具可诠释 性。此外，盘算机图形学提供的虚拟情形 也越发可控，可以控制知识和难度等等因素，阻止 不须要的无意 因素。”
盘算机图形学要领一样平常 是基于约束条件，用显式的要领去建模。AI一样平常 是数据驱动，但它们能到达的效果是纷歧样的，“若是 要建模越发重大 的物体，就需要将问题剖析，看哪些需要CG，哪些需要AI，哪些需要团结 两者。”
一样平常 而言，在最初阶段，我们倾向于用盘算机图形学的知识将问题剖析，到了问题树的节点处，或者说最后一公里处，问题就变得不太容易显式建模了，这时间 就需要团结 AI要领。例如，当知道所建设的模子 是一棵树，那么我们会基于这个先验知识建设一个母模子 ，使其具有树木的基础特点，尔后再凭证 数据去特定的形貌 这棵树的参数。
同样，物理建模具有很完整 的知识系统 ，而AI还处于较量 黑盒的阶段，依赖数据学习。知识和数据之间的关系怎样 ？王滨体现，“知识是从数据中获得的归纳总结的模子 ，而数据的优点在于和真实天下 的差距更小，因此信息量更大。知识越发宏观，数据越发微观和特定，这可能是两者之间的最大差异。”
6形与力的二重奏科学中相互靠近 的看法不行能完全自力 。正如荷花的几何数据可以推断其力学参数，磁场的漫衍可以推断磁流体的形态，几何建模背后的形、物理仿真和运动控制背后的力，都是相互衍生、不行疏散的存在。亦如相对论中，匀速运动转动了光锥，导致钟慢尺缩效应，质量扭曲了光锥，导致自由着落 效应，时间与空间不行疏散，质量与时空亦不行疏散。
形与力只管 无法涵盖盘算机图形学的所有 ，也不是构建元宇宙的所有 基石，但二者一定在未来携手，并与人工智能相互推动，在元宇宙中还原现实中最主要 的体验之一——触摸天下 。
参考资料北京大学前沿盘算研究中央 可视盘算日https://mp.weixin.qq.com/s/jMBrGAGrizgPZn4turcnVw智源新星刘利斌：让 AI 无限迫近人类的运动能力https://mp.weixin.qq.com/s/Gl_NZZEMl4Tnf8Lu4dytqA北京大学刘利斌：「元宇宙」支持 手艺 大揭秘——角色动画天生 https://mp.weixin.qq.com/s/ldMeblFPP5Cjp1siNUHW_A清华大学：元宇宙生长研究陈诉2.0版宣布https://mp.weixin.qq.com/s/0uZdxD2FCaAZvunz0j3YAg从数字都市到数字孪生都市https://cfcs.pku.edu.cn/baoquan/docs/2021-11/20211102171046997776.pdfAutoscanning for Coupled Scene Reconstruction and Proactive Object Analysishttps://kevinkaixu.net/papers/xu_siga15_pr2scene.pdfMulti-Robot Collaborative Dense Scene Reconstructionhttps://taiya.github.io/pubs/dong2019multirobot/paper.pdfDeformation Capture and Modeling of Soft Objectshttps://binwangbfa.github.io/publication/sig15_deformationcapture/SIG15_DeformationCapture.pdfSolid-Fluid Interaction with Surface-Tension-Dominant Contacthttps://binwangbfa.github.io/publication/sig21_waterstrider/sig21_waterstrider.pdfA Level-Set Method for Magnetic Substance Simulationhttps://binwangbfa.github.io/publication/sig20_ferrofluid/SIG20_FerroFluid.pdfExample-driven Virtual Cinematography by Learning Camera Behaviorshttps://binwangbfa.github.io/publication/sig20_camerabehavior/SIG20_CameraBehavior.pdfLearning Skeletal Articulations with Neural Blend Shapeshttps://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdfUnsupervised Co-part Segmentation through Assemblyhttps://binwangbfa.github.io/publication/icml21_copart/ICML21_Copart.pdf