#67. 计算机图形学——视觉效果、3D打印、摄影和其他

计算机 图形学 对 很多 人 来说 是 一个 陌生 的 领域 另 一些 人则 把 它 等同于 电子游戏 和 电影 里 真实 的 特效 其实 计算机 图形学 远不止 如此 今天 我们 有幸 请 到 了 计算机 图形学 领域 的 研究员 李丁 聊天室 的 主播 李丁 博士 来 和 我们 聊一聊 计算机 图形学 是 怎么回事

这里 是

牛油果 烤面包 啊 这期 我们 是 串台 节目 啊 我们 的 科技 播客 啊 牛油果 卡 面包 这期 和 我们 的 李丁 聊天室 播客 来 进行 一个 串台

节目 对 吧 对 李丁 聊天室 呢 就是 我 最近 开始 做 了 一个 关于 计算机 博士 聊 一些 就是 主要 是 我 个人 感兴趣 的 话题 有 一些 创业 相关 的 呀 投资 相关 的 呀 和 一些 当 这个 教职 啊 和 这个 研究 相关 的 一些

话题 这是 计算机 博士 的 节目 是 吗?

因为 我 是 计算机 博士 嘛, 所以 我用 这个 作为 一个 噱头 哎呀, 很

高大 上 的 节目, 因为 我卡本 包 的 嘉宾 有 很多 的 博士, 所以 我们 也 是 一个 非常 有缘分 的 节目 所以 这个 李丁 是 Adobe 研究院 的 研究员 是 吧? 是 是 说实话 我 还 真的 之前 不 知道 Adobe 有 研究院 因为 我们 经常 都 知道 像 微软 啊 这个 IBM 有 著名 的 研究院 Adobe 的 研究院 主要 是 研究 一些 什么 哪 方面 的 问题 呢 对 就 像

很多 这个 工业界 的 这个 研究院 一样 这个 主要 是 就是 为了 自己 公司 的 这个 产品 做 一些 这个 下一代 的 这些 功能 啊 然后 做 一些 创新性 的 研究 比如说 大家 比较 耳熟能详 的 Adobe 的 产品 就是 Photoshop 哎

Photoshop 可能 很多 人 不 知道 因为 但是 说 到 他 的 缩写 啊 对 就是 如雷贯耳 叫 PS 是 吧 啊 虽然 大家 都 没有 见过 这个 软件 但是 大家 都 让 美图秀 秀 PS 一下 啊 哈哈哈 就是 这个 ps 软件 是 这个 adobe 这个 公司 做

的 是 吧, 是 的, 然后 呢 他 最近 我们 这些 年 也 会 做 一些 这种 叫 什么 人工智能 去 优化 的 一些 功能, 比如说 最近 好像 有 一个 叫做 skyreplacement 就是 天空 替换 那个 功能, 就 假设 你 看 你 照 了 一张 照片, 假设 你 看 加州 山火 的 时候 或者说 就 国内 雾 霾 天大 的 时候 可能 天空 不 好看, 但是 我们 用 这个 人工智能 可以 一键 帮 你 把 天空 替换成 任何 你 想要 的, 就是 蓝天白云 啊 或者说 任何 样 你 想要 的 形状 都 可以, 这是 比如说 我们 研究组 做 出来 的 一些 这个 功能 这 看上去

还是 非常 的 有用 啊 特别 是 在 我们 这个 加州 生活 的 时候 橘红色 的 天 改成 蓝天 啊 我 觉得 其实 最 需要 人工智能 的 就是 抠 图 是 吧 怎么 把 前景 图 抠出来 啊 这个 也 是 你们 研究院 在 做 的 一些 东西 吗

对 我们 研究院 也 有 一些 研究员 在 做 这种 抠 图 方面 的

研究 所以 Adobe 的 这个 研究院 主要 是 服务 于 Adobe 这些 产品 我 印象 中 Adobe 不仅仅 有 这个 图像 还有 视频 还有 音频 还有 这种 各种 矢量图 是 吧 各种各样 的 都 有

对 就 Adobe 就是 一个 内容 创作 公司 我们 这个 任何 想要 你 要 存成 图片 你 要 做 视频 你 要 做 音频 都 可以 用 我们 公司 这个 产品 然后 就 像 你 说 到 的 视频 的 产品 有 一个 叫做 aftereffects 的 这个 呢 他 没有 中文翻译 好像 就是 Adobe 的 所有 产品 好像 都 没有 翻译 的 这个 名字 所以 就是 就是 aftereffects 这个 这个 然后 他 其实 就是 做 一些 很 高级 的 这种 视频 里面 的 后期 特效 的 就 比如说 做 一些 电影 里面 的 这种 转场 啊, 或者 那种 3D 字幕 什么 的, 所以 这个 是 比较 比较 常见 的, 然后 最新 的 一个 他 好像 上 了 大 新闻 的 是 好像 在 权力 游戏 里面 有 一集 不是 有 一个 什么 starbucks 的 这个 星巴克 的 咖啡杯 进去 了 吗? 好像 是 去年 还是 前年 的 事情, 对, 然后 就 有人 用 我们 这个 aftereffects 里面 的 这个 把 物件 移除 的 这个 功能 可以 把 那个 咖啡杯 完全 的 移走, 友人 是 什么 意思 粉丝 吗 这 就 粉丝 对 这个 权利 游戏 的 粉丝 就 用 我们 公司 的 这个 产品 可以 把 那

咖啡杯 给 移走 确实 是 非常 的 有用 哎 哎 我 其实 非常 感兴趣 的 问题 啊 因为 啊 多 比 的 软件 都 非常 的 贵 你们 员工 买 adobe 软件 打折 吗 员工

有 一定 的 折扣 对 哦 哎呀

那 已经 非常 有用 你 看 我们 这个 至今 买不起 这个 adobe 的 这个 叫 什么 audition 啊 我 那个 博客 编辑 的 软件 至今 买不起 我们 可以 之后 私聊 李丁 肯定 可以 使用 这个 软件 啊 我们 今天 要 聊 的 话题 叫做 计算机 图形学 啊 这个 因为 李丁 博士 是 搞 这个 方面 的

对 吧 对 对 对 我 这个 在 博士 期间 做 的 主要 就是 计算机 图形学 的 这个 研究 这个 词

其实 非常 的 拗口 啊 我 像 图形学 是 什么 东西 这 英文 叫 computergraphics 是 吧 对, 是 叫 graphics, 有 s 吗? 不 知道 有没有 s 啊, 总之 是 也 很 拗口 啊, graphic 什么 什么 东西 啊, 能 不能 给 大家 解释一下, 这是 图形学 是 个 什么 玩意儿?

是, 它 的 英文 是 有 s 的 是 graphics, 然后 呢, 其实 一个 可能 比较 好 的 一个 理解 方式 是 跟 这个 计算机 视觉 一 起来 进行 这个, 这个 它 有 相似 点 和 区别 是 什么? 因为 计算机 视觉 这 几年 也 是 比较 火 的 一个 话题, 然后 呢 视觉 的话 呢 是 想 让 计算机 去 理解 我们 的 这个 3d 世界 就 等于 说 我们 假设 我们 自动 驾驶 啊 他 这 里面 用 了 很多 计算机 视觉 的 信息 因为 他 想 让 汽车 去 理解 我们 这个 世界 然后 呢 计算机 图形学 呢 他 想 实现 的 一个 终极 目的 是 让 人 去 看到 这个 世界 去 在 电脑 里面 重现 这个 世界 所以 让 人 能够 看到 所以 说 这个 是 一个 不 一样 的 一个 过程 就 等于 说 从 计算机 视觉 的 角度 你 可能 是 输入 是 一张 图片 输出 是 一些 一些 点云 啊 或者说 一些 这个 人脸识别 的 这些 东西 但是 呢 如果 你 要 把 它 变成 计算机 图形学 的话 呢 你 等于 说 是 说 怎么 生成 一张 新 的 图片 新 的 一张 人脸 因为 你 最终 这个 目的 是 要 给 人 看 的 嗯 就是 它 输出

是 一个 世界 是 吧 就是 你 能 用人 眼看 出来 的 一个 好像 真的 一个 世界 一样 但是 其实 是 我们 制作 出来 的 是 的 然后

最 直接 的 一个 你们 生活 中 都 有 接触 的 就是 电影 里面 的 特效 就是 很多 特效 现在 大家 都 知道 都 已经 是 没有 在 就 比如说 很多 科幻电影 里面 比如说 这个 流浪 地球 啊 里面 的 可能 就 在 绿 幕布 里面 拍 的 拍 完 之后 就 用 抠 图 啊 用 各种 这个 图形学 的 方法 把 它 背景 的 替换 掉, 替换 到 一个 真实 的 一个 看起来 像是 真实 的 一个 环境 里面, 所有 的 光照 啊, 所有 的 这个 几何 上面 的 这些 纹理 啊, 都 看起来 非常 非常 的 真实, 呃 这个 相当于 就是说 我们 想要 在 电影 大屏幕 上 重现 这个 世界。

哦 就是 电影 特效 基本上 都 是 图形学 的 内容 是 吧 是 的 嗯 哎 你 这个 刚才 李丁 说 这个 图形学 是 和 计算机 视觉 是 相对 应 的 一个 概念 哦 就 想到 了 我们 计算机 视觉 那 一集 我们 的 嘉宾 说 计算机 视觉 他 比较 喜欢 的 定义 是 和 图形学 是 对应 的 我 觉得 这个 已经 循环 了 我们 还 没有 解释 出来 是 什么 因为 视觉 这个 东西 就是 不仅仅 是 视频 也 有 图片 也 有 就是 不管 是 视频 还是 图像 都 可以 作为 输入 那 是不是 啊 图形学 的 输出 是 什么 呢 就是

呃 比较 狭义 上 的 图形学 的 最终 的 输出 就是 一个 在 电脑屏幕 上 看到 的 东西 都 可以 生成 是 图形学 的 输出 比如说 你 玩 的 游戏 啊 你 比如说 你 在 这个 我们 用 浏览器 浏览 网页 的 时候 这个 渲染 的 这个 过程 啊 都 可以 在 一定 程度 上 理解

是 图形学 的 一个 渲染 嗯, 那就是说 只要 是 在 屏幕 上 看到 的,

就 都 可以, 都 可以 理解 是,

对, 就是 任何 屏幕 是 吧, 就是 电视屏幕, 计算机屏幕, 手机 屏幕, 手机 屏幕, 只要 看着 像 个 真的 东西, 但是 不是 真的, 这 都 是 啊, 图形学 研究 的 人, 是 的, 是 的 啊。 那 刚才 说 了 电影 特效 是 一个 主要 的 主要 的 应用 那 还有 什么 主要 的 应用 呢 还有

一个 就是 比如说 这个 做 动画电影 比如说 皮克斯 里面 的 这些 电影 最近 他们 上 一个 新 的 电影 不 叫 那个 叫 什么 soul 执意 就是 灵魂 的 这个 东西 心灵 洗礼 还是 什么 比如说 这个 里面 的 环境 完全 没有 的 嘛 所以 你 要造 一个 虚拟 的 环境 出来 然后 要 渲染 里面 所有 的 人物 啊 所有 的 对话 呀 所有 的 天气 啊 光照 啊 所以 说 这个 就是 一个 第二 大块 就是 怎么 把 一个 完全 虚拟 的

世界 造出来 哎 坊间 传闻 每个 皮克斯 的 电影 都 会发 一篇 这个 SIGGRAPH 啊 就是 一个顶 会 是 怎么回事 吗

呃 这个 我 倒 不 太 能够 就是 confirmordeny 因为 这个 我 了解 的 不太多 但是 他们 每年 SIGGRAPH 上面 都 有 SIGGRAPH 是 个 很大 的 会议 他 有 很大 一部分 是 这个 呃 研究 这个 行业 的 这个 从业者 去 发表 他们 的 论文 但是 呢 呃 同时 也 有 很多 业界 的 这种 系列 就 比如说 皮克斯 他们 会 讲 一 讲 他们 电影 背后 的 故事 他们 怎么 去 做 这个 最新 的 电影 的 这个 他 并不一定 是 research 这个 行列 的 研究 这个 行业 并不一定

是 做 研究 的 对 但是 在

呃 我们 也 是 非常 就是 去 去 那边 去 倾听 啊 去 看看 他们 到底 去 观摩 他们 有 什么 用 的 黑 科技 啊 什么 的

对 就是 他 是 一个 就是 他 还是 发表 论文 吗 还是 他 就是 一个 主题 演讲 这样 的 更 像

主题 演讲 的 一种 感觉 就是 他 因为 他 已经 做 完 了 然后 呢 就是 可能 并 没有 什么 研究 上面 的 这种 贡献 但是 呢 从 工程 上 他 是 个 非常 厉害 的 一个 系统 因为 他 实现 了 以前 没有 人 能够 做到 的 东西 但 就 可能 说 他 并 没有 什么 研究 上面 可以 就是 让 人 眼前一亮 的 这种 东西 刚才 说 到

Seagraph 就是 一个 计算机 图形学 领域 的 顶会 是 吧 就是 他 和 有些 其他 领域 不 一样 啊 他 好像 就 只有 这么 一个顶 会 是 吧 所有人 都 在 就是 这么 一个 每年 就 去 这么 一个 是 吧 就 去 发 这么 一 这 一篇 论文 啊 不 像 别的 领域 像 我们 数据库 有 那么 三四个 顶会 的 可以 发 啊 同学 只有 一个 所以 就是 什么 时候 大家 要 看 图形学 研究 的 进展 就 去 看一看 他们 的 那个 论文集 啊 对 那 我们 刚才 说 的 电影 特效 动画电影 还有 什么 主要 的 应用 吗 对 第 3

个 可能 大家 比较 了解 的 多 就是 游戏 了 就 比如说 现在 这种 手游 啊 什么 的 这种 吃 鸡 啊 这些 游戏 他们 其实 都 是 呃 用 了 很多 计算机 图形学 这么 多年 来 的 这个 研究成果 然后 把 它 能够 呃 很 流畅 很 真实 然后 很 交互性 的 能够 跑 在 你 的 手机 上面 的 这种 呃

成果 那 这个 听 上去 和 前面 不太 一样 因为 电影 肯定 是 有 很大 的 算力 算 好长 好长时间 做 出来 那么 一个 一个多 小时 两个 多 小时 的 内容 游戏 就要 实时 的 渲染 出来 这些 内容 那 是不是 这 技术 不太 一样 啊 对 背后 的

技术 其实 就是 技术 可能 是 很 相似 的 只不过 可能 说 呃 他 做 的 这个 技术 上 的 选择 会 不 一样 比如 电影 他们 强调 的 是 真实性 他们 不在乎 要 渲染 多久 他 可能 每一 电影 的 每 一帧 他 可以 花 几个 小时 去 渲染 让 每 一个 毛发 的 看 的 特别 清晰 但是 在 游戏 方面 他 可能 要 强调 的 就是 第一 要义 就是 得 实时 就是 他 必须 得 实现 这个 60 帧 每秒, 然后 所以 说 他 可能 他会 强调 的 就是 这个 速度, 然后 可能 你 这个 这 一帧 头发 看 的 不是 很 清晰, 或者说 这个 草地 上 这个 草 上面 的 纹理 看 的 不是 很 清晰, 这 没有 问题, 但 你 必须 得 保证 在 手机 上 玩起来 是 很 流畅 的 一个 感觉, 这个 是 他们 技术 上 的 一个 注重 点 不 一样。

看上去 我们 说 了 三个 应用, 基本上 都 是 就是 输出 是 一个 相当于 视频 的 这种 感觉 对 吗? 对, 那 还有 没有 一些 比如说 输出 并 不是 视频 的 这样?

逐星学 其实 也 有 一个 就 比较 新 的 这种 用处, 就 比如说 可以 在 AR 或者 VR 里面 看 东西, 这 样子 它 的 输出 不是 简简单单 的 一个二维 的 一个 视频 了, 而是 在 一个 3D 的 对 一个 3D 世界 里面 像 什么 这种 英文 叫做 Hologram 中文 叫做 全息 影像 吧, 就

这种 哎呀 全息 这一 立刻 就 高达 上 了 是, 但是 其实 它 的

背后 的 这个 技术 层面 其实 是 非常 类似 的, 只是 说 它 可能 最后 投射 到 屏幕 上 的 时候 不是 投射 到 一个二维 的 屏幕 而 投射 在 一个 3D 的 这个 屏幕 里面 去 说 到 这儿 都 是

电影 啊 电影 大厂 啊 游戏 大厂 啊 那 这个 adobe 在 里面 这些 用到 哪些 技术 呢 或者说 他们 提供 了 什么 技术 呢 对 就 比如说

我们 公司 做到 的 很多 产品 就 比如说 这个 ps 这个 photoshop 这个 工具 他 就是 所有 这些 做 海报 啊 所有 电影 啊 有些 他们 要 做 海报 的 时候 就 可以 用 我们 的 产品 来 抠 图 啊 或者 替换 呀 或者 呃 任何 的 这种 图形 相关 的 都 可以 用到 然后 那 电影 呢 像 我 刚才 提到 了 这个 产品 这个 aftereffects 也 是 美国 好莱坞 各大 这种 电影厂 都 会 用到 的 一个 这种 做 后期 特效

的 哦 所以 他们 也 都 用 这个 adobe 的 产品 来 做 电影

特效 是 吧 对 据 我 了解 是 非常 常用 的 因为 我们 产品 是 多 平台 支持 的 你 无论 你 是 用 苹果电脑 还是 用 这个 windows 电脑 都 是 可以 跑 我们 的 软件 而且 可以 这个 无缝 衔接 所以 如果 你 有 一个 很大 的 团队 共同 在 做 一个 大 很大 的 一个 项目 的 情况 下 我们 产品 是 能够 满足 的 各种 需求

的 怪不得 你们 这个 产品 卖 这么 贵 都 是 都 知道 卖 给 谁 都 是 一些 不 差钱 的 那 这个 计算机 图形学 大概 会 有 一些 什么样 的 黑 科技 呢 具体

你 想 的 指 的 黑 科技 是 什么 东西 呢 我们 说 到

了 应用 吧 对 吧 大概 有没有 什么 用 什么 一些 技术 实现 这些

东西 呢 对 我 可以 就 大概 就 带 大家 走一遍 整一个 这个 所谓 计算机 读书 这个 流程 本科 教材 走一遍 是 吧, 是 是 就 是从 一 开始 就是 为了 要 渲染 一个 东西, 假设 你 看 我们 现在 有 这个 在 做 皮克斯 这个 电影, 假设 我们 在 做 这个 心灵 奇旅 这个 电影, 我们 需要 这个 把 里面 的 每个 人 都 建模 出来, 每个 人要 有 一个 模型 然后 呢 这个 模型 它 可能 就是 建立 的 过程 就要 很大 的 这种 各 方面 的 这个 输入 可能 你 要 用 一个 那种 connect 就 微软 connect 呀 或者 其他 这种 深度 这种 扫描 这种 东西 扫描 一个 真实 的 场景 然后 可以 把 这些 模型 人物 的 模型 房子 的 模型 都 放进去 然后 呢 同时 你 可以 再建 一些 纯 虚拟 的 比如 你 用 maya 呀 或者 其他 的 一些 这种 三维 的 这种 建模 软件 你 可以 把 这个 这个 环境 里面 的 这些 桌子 椅子 呀 这些 家具 全都 给 放到 场景 里面 去, 所以 这 几何 处理 这个 是 第一 大块, 你 要 把 这种 在 一个 虚拟世界 里面 的 3D 模型 都 得 给 给

生成 出来, 就是说 这个 技术 实现 中 就是 如何 比如说 如何 存储 这个 这些 几何 模型 还是 主要 图形学 研究 的 一些 是 一个 什么 问题 呢?

对 就是 在 图形学 研究 的 问题 主要 就是 首先 第一个 是 这个 这个 怎么 去 表示 这种 3D 模型 在 图形学 研究 用 的 比较 多 的 我们 叫做 这种 trianglemesh 就是 三角 的 这种 这种 网 网格 结构 啊 就是

我们 经常 看到 那个 电视 里 那个 一个 一个 一个 这个 就 跟 这个 什么 虚拟 宇宙 似的 那个 一个 大 网格 是 吧 那个 就是 几何 表示 出来 他们 这个 模型 是 吧 是 实际上 是 要 模拟 用 一个 一个 这个 平面 来 模拟 一个 曲面 的 感觉 是 吗 是 的, 是 的,

就是 用 无限 细分 的 一个 这种 离散 化 的 这种, 呃 模型 来 去 模拟 这个 呃, 现实生活 中 的

这种 曲面 对 对, 那 我们 现在 建了 模型 是 吧? 这个 建模 这个 在 研究 上 已经 是 一个 接近 解决 的 问题 吗? 还是 还有 什么 开放 的 问题 要 解决?

我 之前 提到 的 和 我 将来 会 提到 的 每 一个 都 是 这个 这个 还是 在 被 大家 所 积极 的 研究 的 因为 现在 我们 有 很 好 的 这种 方法 但是 呢 随着 这个 复杂度 要求 越来越 高 大家 对 真实性 的 要求 越来越 高 所以 这个 研究 我 感觉 短期 之内 应该 还是 不会 说 完全 被 解决 的 比如 在 几何 处理 中 的 一个 问题 就是 你 怎么 去 做 一个 非常 高分辨率 的 一个 模型 就 最 傻 的 就是 比如说 你 可以 提高 一个 图片 的 分辨率 嘛 像 我们 手机 照相 也 知道 你 可以 108p 你 可以 4k 你 可以 8k 一直 往 上 提高 但是 呢 你 随着 这个 分辨率 越高 你 这个 处理 能力 也 得 跟上 才行 嘛 然后 呢 对于 这种 建模 的 时候 也 是 一样 你 这个 随着 这个 vertex 就是 里面 的 这个 三角形 越来越 多 顶点 数 也 越来越 多 的话 你 处理 的 速度 也 就 跟不上 了 那 所以 说 这种 情况 就要 很多 算法 来 去 用 更 多 聪明 的 算法 来 使得 这个 在 这个 一种 艺术家 在 建模 的 时候 他们 电脑 不会 崩溃 这 样子 的 啊

基本上 还是 其中 一个 问题 就是说 还是 他 的 计算资源 如何 更 有效率 的 进行 计算 是 吧 对 对 像 压缩 他们 这些 模型 上 这样 对

一个 速度 然后 另外 一个 就是 质量 就是说 你 怎么 呃 能 把 这种 模型 的 各种 很 细节 的 地方 全都 给 记录下来 之前 我 记得 看 我 忘 了 是 哪一部 电影 了 他们 就是说 把 有 一部 这种 动画电影 他们 一直 在 一直 放大 放大 放大 最后 可以 在 一个 大 场景 里面 看到 一个 人 皮肤 上面 的 毛孔 皮克斯 他们 都 把 那个 细节 给 制造 出来 了 但 实际上 你 在 电影院 看 的 时候 根本 看不到 一个 人 手上 的 毛孔 但 他们 为了 这个 精益求精 也 全都 把 它 这个 制作 出来 了 所以 说 在 研究 里面 我们 研究 的 问题 还有 就是说 你 怎么 把 这种 细节 还原 的 又 好 又 快 这 样子 的

所以 说 我们 看到 这个 动画电影 越来越 真实 越来越 震撼 其实 还是 有 很多 图形学 研究 的 成果 在 里面 是 的 那 我们 现在 有 了 3D 模型 那下 一步 是 什么 呢 对

3D 模型 的话 现在 你 可以 想象 这个 一切都是 静止 的 就是 你 看 你 有 一个 静止 的 桌子 静止 的 这个 人 静止 的 椅子 那下 一步 就 得加 这个 动画 进去 你 得 去 去 把 它动 起来 大家 应该 比较 熟悉 的 就是 比如说 xbox 上面 有 这个 kinect 这种 深度 的 sensor 他 已经 在 电视机 前面 跳舞 啊 他 可以 就是 记录 你 的 整个 这个 动作 然后 这种 捕捉 下来 之后 就 可以 放到 这个 电影 里面 去 让 这个 人物 给动 起来 啊 其实 还有 一个 跟 这个 也 比较 相关 的 就是 oculus 就是 facebook 的 做 这个 AR 和 VR 这个 部门 他们 出 了 最近 出 了 一个 这种 这种 VR 的 虚拟现实 的 这种 一个 设备 它 上面 就是 在 外面 有 很多 个 相机 它 就 可以 照到 你 的 手 啊 和 你 的 其他 部位 可以 做 这种 动作

的 捕捉 刚才 说 到 建模 建模 之后 是 用 各种 方法 能够 把 它 变成 一个 动态 动 起来 的 模型 是 吧 是 的 一个 动画 模型 呃 这个 模型 还 不能 变成 电影 或者 游戏 对 吧 那 之后

怎么办 呢 最后 一步 就是 把 它 给 渲染 的 特别 的 漂亮 我

一直 以为 这 就是 图形学 的 全部, 我 很多 人 都 是 这么 觉得

的, 对 这个 因为 是 图形学 的 最后 一步, 然后 也 是 大家 可能 最 能够 感受 到 的, 就 比如说 呃, 你 看 一部 电影, 比如说 现在 我们 找 出来 这个 十几二十年 前 的 这个 玩具 总动员 toystory 第一部 拿出 来看 的 时候, 你 可能 的 第一 感觉 是 哎, 这个 画质 好差 呀, 但是 实际上 他 这个 画质 差 的 背后 有 很多 原因 比如说 他 可能 那个 那个 3d 模型 他 可能 只有 20 个 三角形 你 想要 20 个 三角形 来 去 拟合 一个 人 的 一个头 肯定 看起来 质量 非常 差 然后 呢 同时 那个 时候 也 没有 很 好 的 动作 捕捉 所以 那个 人 走 起来 可能 像 个 火柴 人 在 走路 一样 所以 你 感觉 哎呀 这 看起来 也 不 真实 当然 还有 最后 渲染 可能 也 特别 差 因为 可能 没有 这种 全局 光照 啊 没有 特别 真实 的 这种 光源 的 设计 啊 所以 你 看起来 这个 这个 影子 看起来 也 不 太 对 但是 他 作为 一个 这种 呃 正常 的 这个 不是 从业者 的 一个 观众 来看 的话 可能 只会 说 哎 这 看起来 有点 差 渲染 有点 差 但 实际上 的话 呢 它 是 一个 很多 层次 的 一个 一个 大 问题 那 渲染 是 什么

意思 呢 虽然 我们 都 知道 渲染 这个 词 吧 但 大概 渲染 是 其实 是 解决 一个 什么 问题 呢

对 渲染 解决 的 问题 就是 我 的 一个 比较 狭义 的 理解 就是 他 可以 把 光照 和 整个 场景 里面 的 所有 的 这些 模型 的 这种 互动 把 它 给 给 渲染 出来 其实 渲染 可以 理解 成 拿出 iphone 照张 照片 的 这种 感觉 就是 如果说 你 没有 光源 的话 你 iPhone 照 起来 是 一个 一片 漆黑 那么 这种 情况 下 你 就要 开始 加 各种 光源 然后 把 这个 iPhone 的 这个 模式 调 成 比如说 夜景 模式 或者说 调 成 其他 的 这种 模式 这样 他 能够 把 所有 的 光源 和 在 场景 里面 的 所有 的 这些 物件 的 这个 互动 给 照下来 这个 就是 现人 生物 中 的 渲染 就 这 样子 然后 在 电脑 里面 的话 可能 就是 大家 也 比较 最近 可能 不 知道 有没有 关注 这个 NVIDIA 英 伟达 的 这些 各种 显卡 方面 的 新闻 就是 他们 有 一款 新 的 显卡 叫做 RTX 什么 什么 这个 RTX 系列 然后 这个 系列 它 这个 R 有 一个 解释 就是 raytracing 就是 追光 算法 光线 跟踪 对 的 光线 跟踪 的 这个 算法 那 所以 说 其实 这个 就是 最新 的 这个 显卡 它 都 有 这种 渲染 了 這種 集塵, 所以 他 可以 做 的 特別

快, 特別 好 嗯, 這個 厲害 了, 我 想起 來, 我 雖然 那個 本科 的 時候 圖 形學 那門 課並 沒有學 但是 我 記得 好像 是 上 了 第一 節課, 沒有學 我 記得 那 都 是 20 年前 的 事 了, 那時候 上 人工智能 課裡面 有 一個 最後會 講一個 遙 不可 及 的 技術 叫做 神經 網絡 图形学 这个 课 后面 会 讲 一个 遥不可及 的 技术 叫做 光线 跟踪 所以 说 现在 这个 这 都 已经 变成 了 一个 非常 就 常态 的

技术 了 是 吧 对 就 现在 一般 在我看来 的话 如果 一个 技术 如果 能够 提升 在 硬件 级别 的话 那 他 应该 就是 非常 成熟 的 了 对, 就 好像 比如说 这个 视频 编码器、 解码器, 它 现在 基本上 所有 的 这个 英特尔 芯片 或者 ARM 的 芯片 它 都 自带 集成 了, 所以 证明 这种 技术 已经 非常 非常 成熟, 因为 他们 想要 做 的 非常 的 高效 嘛, 所以 说 他们 就 已经 到 芯片 里面 去 做 这个 级别 了。

嗯, 所以 说 现在 几乎 所有 的 就是 渲染 都 是 用 光线 跟踪 就是 为 一个 重要 技术 来 做 出来 的 吗?

对 按 我 的 理解 的话 在 比如 201 年 往后 任何 新 出来 这种 渲染 技术 我 觉得 应该 都 是 根据 这种 光线 追踪 来 做 的 了 如果说 你 是 要 5 年前 的话 可能 还是 有 一些 其他 的 这种 呃 代替 的 算法 因为 当时 的 算力 可能 不够 所以 当时 有 很多 这种 比较 用 估值 法 呀 或者 其他 的 这种 替代 的 方法 来 做 渲染 的 但是 因为 现在 现在 硬件 已经 有 呃 这种 非常 有 高效率 的 实现 了 所以 从今往后 我 觉得 应该 是 光线 追踪

是 主流 了 所以 对于 一个 是 吧 这么 多年 后 发现 人 未来 已经 在 了 是 吧 对 活久见 现在 已经 来到 未来 了 是 吗 是 嗯 我们 刚才 说 到 渲染 啊 几何 建模 然后 生成 动画 然后 渲染 然后 这 就 这 就是 所有 的 计算机 图形学 了 吗 这个 是

我 感觉 是 是 我 在读 博士 前 我 认为 的 这个 图形学 大概 就 大概 是 这么 多 然后 呢 读 了 博士 之后 发现 其实 它 是 更 有 更 广 的 一些 定义 就 比如说 像 我们 刚才 也 啊 讨论 到 的 我们 我私 的 这个 产品 psPhotoshop 它 自用 用 各种 这种 呃 图片 进行 编辑 啊 什么 的 这个 其实 也 是 图形学 的 一部分 然后 呢 比如说 要 照相 比如说 以前 大家 如果 在 这个 诺基亚 手机 时代 或者 iphone 的 这个 1iphone2 的 这种 时代 的话 你 照相 你 发现 那 里面 是 惨不忍睹 的 因为 可能 白平衡 特别 不好 然后 呢 而且 这个 延迟 特别 大 你 按 下 快门 可能 等 个 两秒 快门 才 闪 一下 然后 呢 这么 多年 的 这个 发展 之后 呢 这种 计算 照相 学 也 是 非常 的 非常 的 有效

非常 的 重要 啊 我 现在 经常 拿 相机 照相 无论 多好 相机 照 的 照相 都 不如 我 拿 iphone

照 的 对 人工智能 的 发展 越来越 好 了 所以 说 这个 手机 上面 很多 对 场景 的 估计 啊 对待 变相 的 估计 都 比 一个 比如说 单反 或者说 这种 无反要 好 很多 嗯

对 呀 这 不仅仅 是 光 啊 并且 这个 经常 是 这个 防抖动 啊 经常 我 这个 我 的 手抖 啊 拿 个 这个 什么 多好 的 相机 都 会 抖 啊 但是 这个 拿个 什么 iphone 啊 手机 啊 哎 经常 可以 手抖 完 之后 还 能 变成 一个 非常 清晰 的 照片 啊 很

厉害 对 然后 之前 我 讲 的 这 几个 方面 都 是 比较 就是 传统 和 现在 也 都 在 这个 进行 的 然后 呢 同时 他 现在 也 有 一些 新兴 的 一些 呃 研究 的 方向 比如说 这种 怎么 在 这种 视频 里面 加 这种 ar 的 这种 sticker 啊 像 我们 用 这个 国内 的 抖音 啊 或者 国外 的 这种 snapchat 都 有 这个 这种 ar 的 这种 sticker 这种 贴纸 可以 放到 环境 里面 去 它 可以 随着 你 这个 场景 的 变化 深度 的 变化 它 可以 有 不同 的 这种 效果,

比如说 就是 换个 脸, 这 就算 airsticker 吗?

对 啊, 对 啊, 这种 也 算是

的 啊, 或者说 是 换 一个, 就是说 我 戴个 帽子 是 吗?

对, 因为 比如说 你 戴 了 那个 虚拟 的 眼镜 之后, 他 眼镜 得 在 你 脸上 照 出 一个 影子 来 吧, 所以 说 这个 时候 他 就 得 对 这个 模型 建 一个 这个 模型 把 一个 模型 放在 你 的 碟子 上 然后 呢 再 根据 这张 图片 来 估计 一下 你 这个 光 大概 从 哪边 来 如果 你 在 这 当前 的 光照 下带 了 这个 虚拟 眼镜 影子 该往 哪边 去 投射 所以 说 这个 都 是 图形学 的 一些 研究会 去 分析 的 所以

那些 比如说 像 快 手 啊 不是 快手 就是 那些 直播 上 那些 遮脸 的 那些 基本上 也 都 是 图形学 的 结晶 是 吧 是 的 是 的 所以 你们 这个 很 重要 万一 要是 没算 好 把 脸 露出 来 那 你们 不是 得 给 人家 赔钱 了 所以 这个 李丁 聊天室 这个 节目 不仅仅 是 播客 是 吧 还是 个 视频 节目 对 吧 对 我 这

博客 因为 我 是 就是 视频 和 音频 就 一起 录 了 然后 对 反正 就 图 审事 直接 就 就 一起 搞定 了 哎, 我 是 想

问 你们 用 了 什么 这个 视频 的 渲染 技术 没有 我 这个 里面

没有 用 什么 特别 呃 高级 的 渲染 技术 我 就是 用 一个 普通 的 一个 视频 编辑器 然后 就是 就 直接 线性 的 编辑 我 没有 加 特别 多 的 特效 对 因为 我 觉得 这个 内容 是 王道 就是说 的 内容 我 希望 大家 能够 感兴趣 而 不是 这种 特效 因为 我 个人 对 特效 方面 也 没有 特别 多 的

了解 嗯 对 我们 说 了 这么 多 的 技术 了 我们 说 了 我们 几何 建模 说 了 动画 说 了 渲染 说 了 叫 什么 照相 学不 知道 怎么 说 然后 加 狗头 加 帽子 是 吧 这个 就是 图形学 基本上 的 主要 研究 领域 了 吗

对, 我 感觉 这些 是 比较 就是 传统 啊, 比较 就是 大家 一般 能够 接触 到 图形学 的 领域 啊, 同时 我 在 博士 期间 也 做 了 一些 比较 这个 新兴 的 一些 领域, 比如说 3D 打印。

呦, 3D 打印 啊, 这个 厉害 了 啊, 这个 很多 人 认为 是 要 改变 世界 的 技术 是 吧 啊, 这个 怎么 说 这个 现在 这个 制造业 啊 都 是 靠 人 在 做 啊, 以后 制造业 都 是 靠 打印机 打 了 啊。 这个 以后 不用 去 中国 了 啊, 美国 找个 工厂 什么 地儿 离 客户 很近, 什么 时候 要, 咔 咔 咔, 打 出来 是 吧, 厉害 了 啊。

对, 3D 打印 这个 其实 就 跟 我们 刚才 聊到 的 第一点, 这个 几何 处理 3D 建模 是 非常 相关 的, 因为 3D 打印 其实 你 可以 理解 成为 就是 跟 2D 打印 本质 上 是 一样 的 就是 2D 打印 你 现在 怎么 做 了 呢 打开 一个 word 文档 然后 里面 打字 打字 打字 打 完字 之后 说 一个 发 往 打印机 就 打印 了 然后 呢 现在 我们 刚才 讨论 到 几个 处理 其实 就 在 试图 在 做 第一 部分 就是 怎么样 你 有 一个 这种 类似 于 word 文档 一样 的 软件 去 建造 你 想要 的 3D 模型 然后 呢 3D 打印机 就 跟 2D 打印机 是 一样 你 有 一个 按键 说 我 要 发去 打印机 然后 过 了 一段时间 几个 小时 之后 他 就 可以 把 你 刚才 设计 的 模型 打 出来 然后 现在 三星 打印 的 公司 其实 在 最近 几年 发展 的 特别 的 快 因为 好像 是 据 我 了解 好像 是 之前 大概 是 5 年前 还是 10 年前 左右 的 时候 有 一大批 专利 到期 了 所以 说 有 各种各样 的 startup 就 蓬勃 的 成长 起来 了 然后 那个 时候 呢 大家 就是 都 能够 造出 很 ok 的 三星 打印机 但是 呢 没有 人 能够 弄 出 很多 很 有意思 的 模型 这个 时候 就算 是 图形学 的 很多 研究员 就 发现 了 这个 机会 就 说 你 看 你们 不是 没有 好 模型 吗 那 我们 之前 为了 这些 电影 制作 高质量 模型 的 这些 技术 都 可以 给 你们 用 然后 呢 我们 就 开始 就 开始 就 把 技术 跟 他们 去 做 一些 这种 跨 领域 的 这些 合作 然后 最终 我们 发现 哎 其实 呃 还 不 完全 一样 这种 不同 的 这种 需求 还是 不 一样 的 就 可以 举 一个 比较简单 的 例子 吧 比如说 这个 在 做 电影 里面 3d 模型 的 时候 你 不用 考虑 这个 模型 能 不能 打 出来 所以 说 你 可以 让 这个 模型 天马行空 可以 就是

这边 有 皮毛 啊 对 下面 有

头发 啊 对 可以 说 比如说 那个 我 不 知道 你们 记 不 记得 那个 电影 WALL E 就是 很多年 前 的 一个 电影 对 WALL E 对 然后 他 那里 的 那个 女 女主角 那个 EVE 他 就是 一个 漂浮 的 机器人 好像 他 那个 头 和 身体 是 是 分离 的 你 看 这个 这个 建模 非常简单 这个 的 建模 软件 很 简单 可是 你 说 要 3D 打印 出来 这样 这 是 不 可能 的 嘛 在 3D 打印 我们 这个 叫做 这个 是 漂浮 结构 这种 这种 floatingstructure 是 没法 打 出来 的 所以 说 嗯 这种 我们 要 在 建模 软件 中加 一个 自动 去 检测 哎 这个 模型 有 一些 是 的 必须 要 连通 的 然后 呢 必须 要 有 一些 支持 结构 的 如果 没有 的话 呢 我们 还要 生成 一些 支持 结构 但 这 支持 结构 看起来 不 好看 所以 说 我们 要 设计 出 一个 很 好 的 方式 可以 把 它 给 移走 到 后来 的 所以 说 这个 就 跟 虚拟 和 现实 之间 是 有 一些 不同 的 所以

这个 对 我们 研究 还要 看 这个 重心 在 哪 是 吧 能 不能 立住 是 吧 哇 哎 这个 是 确实 是 非常 的 有意思 嗯 所以 说 计算机 图形学 还 不仅仅 是 在 电影 游戏 上 改变 世界, 还要 在 3D 打印 上面 也 要 改变 世界, 是 吧? 是, 这个 3D 打印 这个 技术 现在 到 一个 什么 程度 了?

3D 打印 这个 技术 的话 就 属于 我 觉得 是 如果 你 愿意 花 这个 时间 和 精力 去 建模 和 花钱 去 打印 的话, 其实 可以 做到 非常 非常 精细 的 了, 就是 我 记得 这个 3D 打印 技术 已经 用到 了 这个 波音 的 飞机 里面 了, 就是 那些 还 没有 掉下来 的 波音 飞机, 然后 和 这个 NASA 的 各种 这个 航天器 里面 也 都 用到 了 3D 打印 这种 技术 了 呃 所以 它 的 质量 是 可以 非常 好 的 甚至 可以 3D 打印 金属 他们 直接 就是 把 金属 的 粉末 然后 用 很 精细 的 程度 撒下来 之后 然后 可以 用 一种 非常 高级 的 胶水 这 就 涉及 到 材料 学了 所以 我 可能 讲 的 不是 特别 的 细致 但 就是 它 可以 打印 出 金属 的 这种 呃 元器件 所以 说 这个 精度 也 是 非常 非常 高 的 可以 达到 了 这种 微米 的 级别 甚至 纳米 都 有 可能 纳米 可能 不行 微米 应该 是 可以

的 但是 呢 我 就 等 着

但是 呢 但是 就是 非常 的 贵 而且 非常 的 慢 对 对 然后 像 我 之前 的话 呃 我 有 试过 一个 这种 3D 打印 的 一个 服务商 就是 他 可以 就是 我发 一个 模型 过去 他 帮 我 打印 好 了 寄过来 然后 我 打印 一些 这种 金属 的 这种 器件 呃 大概 比如说 跟 我 拳头 比 我 拳头 还 小 一点 的 一个 金属 器件 可能 就要 几百 刀 而且 还是 空心 的, 因为 我 还 用 了 建模 软件, 我 把 东西 都 捞 空 了, 因为 这样 可以 省点 钱, 这 样子 金属 没 那么 重 因为 它 是 按照 重量 和 体积 两个 参数 来 收费 的 我 把 它 捞 空 之后, 至少 体积 不能 减小, 但 至少 质量 减小 了 很多 但 都 要 几百 刀, 如果 你 打 一个 实心 的 一个 这种 拳头 大 的 一个 东西 的话, 估计 就 得 上千 甚至

上万 刀 了 嗯, 所以 离 改变 世界 还要 有 什么 几百倍 的 成本, 十多年 呢?

对, 但是 它 对 设计 就是 对 很多 设计师 来说 是 有 很 好 的 一个 帮助 的, 就 比如说 你 设计 的 时候 你 可能 想要 感受一下 这个 这 款 比如说 这个 手机 它 手感 好不好? 那 你 就 可以 3D 打 一个 塑料 的 出来, 这种 塑料 的 很 便宜, 可能 就 几刀 甚至 都 一刀 都 不要, 你 就 可以 打 一个 这种 塑料 的 3D 模型 拿手 上 看一看, 哎, 这个 握感 好不好? 或者说 如果 你 要 设计 这个 苹果 这个 耳机 比如 AirPods 你 可以 直接 打 进 一个 很小 的 一个 塑料 你 放到 耳朵 里面 看看 戴起来 舒不 舒服 这 都 可以 现在 已经 很 轻易 就 实现 了 比 你 下

张单 叫 东莞 开个 模具 然后 做好 了 再 空运 过来 要 快 很多

是 的 所以 说 可能 未来 也 就 不再 多远 的 未来 了 是 吧 也 可能 我们 说起 这个 不到 20 年前 是 吧 神经网络 还是 被 认为 是 遥不可及 的 也 可能 再 不到 20 年 时间 3D 打印 就 已经 是 遍地开花 了 是 吧 就 已经 成 了 制造业 的 主流 了

对 我 还 挺 乐观 的 因为 我 感觉 我刚 开始 了解 3D 打印 这个 行业 的 时候 那个 时候 金属 打印 在我看来 是 感觉 遥不可及 的 但是 在 我 就 毕业 的 时候 就 三年 前 两三年 前 的 时候 已经 降到 了 只用 1 万刀 就 可以 买 一部 3D 打印机 当然 还 是不是 每个 人 都 买得起 但是 已经 不是 那种 像 以前 说 你 要 10 万 才能 买 一个 打印机 了 现在 是 1 万 的话 就 已经 是 学校 的 实验室 或者 是 公司 的 这种 大规模 的 这种 实验室 都 可以 买 过来 进行 尝试 的 了 我

覺得個 人 領域 可能 也 要 等 個 20 年 吧 因為現 在 家用 的 3D 打印 機 你 用 起來 就 跟 20 年前 的 噴 墨家 用 打印 機一樣 的 感覺 如果 你 還記 得 20 年前 家裡 弄 個 噴墨 打印 機 一不小心 就 搞 到 滿手 墨水 那現 在 家用 的 3D 打印 機 也 就 基本上 是 這個 效果 然 後 你 就 可以 預計 大概 20 年後會 出現 如同 今天 家用 激光 打印 機一樣 的 效果 就是 你 真的 能夠 放心 塞 張紙 進去 就 出來 完美 的 效果 你 不用 擔心會 打錯 了 落墨 了 沒墨 了 中間

卡住 了 3D 打印 機還 用到 了 很多 圖形學 的 技術 甚至 可能 圖形學 的 技術 是 其中 一個 主要 的

挑戰 是 吧 但 设计 方面 是 个 很大 的 挑战 对 我们 说

回 图形学 啊 除了 3D 打印 方面 还有 哪 方面 的 我们 一 想不到 听 上去 不像 图形学 但 其实 也 是 图形学 的 东西 呢 我 可以

聊 一个 我 比如说 我 之前 也 比较 了解 的 比较 多 的 一个 这种 就是 叫做 人体 运动 的 这种 生成 就是 大家 可能 在 想 说 这个 生成 一个 这 人体 的 这种 运动 感觉 是 很 难 而且 是 跟 图形学 也 没什么 关系 的 但是 实际上 的话 呢 像 我 之前 了解 的 就是说 你 可以 用 一段 音频 去 驱动 一个 脸 说话 然后 这种 的话 是 可以 让 每个 人 都 可以 产生 一张 动画 就 以前 的话 你 可能 说 啊 你 要 学会 很 高级 的 一个 建模 软件 然后 把 那个 模型 呃 变形 来 变形 去 然后 才能 跟 你 的 嘴型 对 上 然后 随着 这 几年 这个 图形学 啊 视觉 这个 技术 方面 的 发展 你 现在 只用 给出 一些 非常 零星 的 这种 输入, 比如说 你 给 一段 音频 或者 给 一段 文字, 然后 就 可以 生成 一段 可以 以假乱真 的 一个 视频 出来, 然后 这 样子 的 这种 让 它 变得 更加 的 平民化, 让 每个 人 都 可以 体验 到 这种 计算机 图形学 的 这种 发展。

嗯, 所以 我们 又 提到 了, 之前 我们 提到 几次 技术 deepfake 是 吧, 所以 说 deepfake 也 是 图形学 的 一个 重要 应用领域 啊。

是 的。

那 所以 deepfake 这个 领域 相当于 已经 非常 成熟 了 是 吧 就是 已经 计算机 图形学 可以 达到 你 基本上 说 一个 声音 它 自动 就 可以 把 嘴型 就 直接 对 上 是 吧

对 在 研究 上面 是 比较 成熟 就 有 很多 研究 人 都 在 做 但是 说 真正 能够 比如说 你 真正 能够 生成 一个 新闻 主播 在 那里 讲话 的 那 这个 我 觉得 还是 有 一段距离 因为 质量 啊 还有 各种 方面 的 原因 还 不够 好

所以 这个 我 想 起来 在 将近 30 年前 的 时候 那 时候 像 迪士尼 的 一些 电影 啊 像 阿拉丁 啊 狮子王 啊 那些 嘴型 都 是 跟着 配音演员 都 是 画 出来 的 我 那 时候 觉得 好 神奇 啊 这 得 画 多少 张画 多少 张 所以 现在 这些 东西 要 现在 的 动画片 做 起来 都 是 一个 易如反掌 是 吧 只要 计算机 随便 弄 一 弄 就 做 出来 了 是 吧

呃 理想 中是 这 样子 的 可是 现实 的 状况 是 最近 几年 的 这些 动画片 还是 有 非常 多 的 人工 在 里面 的 因为 是 在 电影 这个 行业 它 对 质量 来说 特别 特别 高 所以 任何 算法 上面 没有 办法 去 解释 没有 办法 去 做 这种 非常 确定性 的 预测 的 时候 他们 都 不 太 相信 所以 说 他们 宁愿 说花 更 多 的 金钱 和 时间 要 每 一帧 每 一帧 的 像 以前 的话 可能 30 年前 是 在 一张 纸 上去 画 那現 在 的 話 呢 是 請 很多 藝術 家用 這個 電腦 屏幕 前去 修改 這個 模型 讓 每 一幀 的 嘴型 看 起來 都 很 真實 所以 說 目前 來 說 在 業界 可能 這個 自動化 還是 有待 提高 說 看來

這個 圖 形學 的 這個 領域 還是 有 很長 路 要 走 啊 我們 的 這個動 畫片 還是 人工 在 那 一幀 一幀 對 著應 該 嘴 應該 噘 一下 嘴應 該 吐個 舌頭 出來 是 吧 我們 說 到 這麼 多圖 形學 李丁 博士 現在 主要 做什麼 領域

呢 我 现在 做 的 可能 跟 图形学 的 关系 就是 稍微 没有 那么 紧密 我 可以 聊聊 博士 期间 做 的 大概 两个 方向 吧 一个 做 的 是 声音 的 仿真 就是 soundsimulation

声音 仿真 也 算 图形学 吗 对

我们 回到 我们 一 开始 这个 图形学 的 这个 最 开始 的 定义 就是 想要 重现 这个 世界 嘛 让 人 能够 感受 到 所以 说 你 想象 一下 你 看 一个 电影 没有 声音 这 肯定 不 真实 吧 对 吧 所以 说 我们 这个 声音 仿生 的 目的 就是 能够 让 在 动画片 里面 所有 的 声音 都 能够 自动 生成 我 可以 举个 例子 就 大家 可能 记得 那个 皮克斯 开场 动画 不有 一个 那个 台灯 跳跳 跳跳 然后 就 把 那个 字母 i 给 压倒 就是 灯灯 灯 这样 的 声音 出现 然后 呢 这个 声音 所有 的 声音 包括 我们 现在 电影 里面 看到 的 基本 都 是 声音 的 这个 艺术家 在 一个 一个 声音 在 现实生活 中录 了 然后 去 在 电影 中 加上 去 然后 我们 做 这方面 声音 仿真 的 这个 研究 就 试图 说 能不能够 直接 全部 都 在 电脑 里面 去 生成 假设 我们 知道 这个 模型 我们 知道 这个 模型 的 材料 我们 知道 比如说 你 那个 人物 的 脚 是不是 一种 softbody 是 种 软 的 这种 模型 踩 到 地板 上 是 个 木地板 然后 这个 木地板 是 什么样 的 木头 它 多 硬 啊 什么 这种 材料 我们 都 可以 把 它 放进去 放进去 了 之后 呢 有没有 一个 物理 的 这种 仿真 的 引擎 可以 告诉 我 他 声音 该 听 的 是 什么 样子 的 呢 如果 可以 的话 那 是不是 我们 可以 就 可以 帮助 这个 声音 艺术家 让 他们 可以 去 focus 在 这种 关注 在 更加 有 创造性 的 这种 工作 可以 在 比较 底层 的 这种 一帧 一帧 的 这种 声音 可以 交给 我们 这个 声音 仿真 的 算法 来 做 这个 听 上去 非常 的

有 意义 你 看 我们 多少 年前 看 那个 纪录片 的 时候 那个 拍电影 搞 音效 的 都 是 屋子 里面 各种各样 诡异 的 东西 在 那 弄 出 那个 音效 是不是 以后 就 都 不用 了 在 这个 电脑 里面 输入 一下 这个 材质 这个 材质 怎么 一下 光 就 出来 了 对 这个 就是

遥远 的 未来, 那 现在 的话 这个 技术 跟 你 刚才 说 的 这个 应该 还是 没有 什么 区别 的, 现在 的 这种 他 叫做 fullyartist, 中文翻译 我 也 不 知道 啥, 就是 fullysound, fullysound 的 意思 就是, 嗯, 艺术家 他 用 自己 身边 能 找到 任何 样 的 东西 去 模仿 他 该 有 的 这个 声音, 有 一个 特别 有意思 的 一个 例子 就是 星球大战 里面 那个 不是 挥舞 那个 光剑 吗? 那个 秀秀秀 的 那个 声音, 这个 声音 在 十几年 前, 二十年 前 的 时候 也 没有 任何 的 这个 仿生 的 引擎, 然后 也 没有 这种 物理 的 方法 去 生成, 所以 当时 的 这个 Foleyartist, Foley 艺术家 他 就 找到 了 那种 高压电 线, 高压电 线 不是 有 这种 落 在 地上 的 时候 会 有 一个 很长 的 这个 桩 打 下去 嘛 然后 那个 时候 很拉得 很 紧 很 紧 的 一根 钢栓 然后 他们 就 拿 着 一个 铁铲 去 敲 那个 钢栓 去 啾 这样 的 声音 出来 然后 我 并 不 鼓励 大家 去试 这个 很 危险 但 大家 可以 在 YouTube 上面 搜索 这个 这个 光剑 的 这个 声音 怎么 产出 的 你 就 可以 看到 有 一些 人 在 拿 一个 铁 的 一个 东西 在 敲 那个 钢缆 所以 可能 在

遥不可及 的 未来 这些 事情 就 都 是 电脑 在 做 了 是 的

对 这 是 未来 希望 能够 这样

做到 我 觉得 是 现实 中有 的 可以 电脑 做 现实 中 没有 的 就 还是 艺术家 随意 花费 吧 对 吧 就 好像 激光 剑 现实 中 没有 激光 剑 那 你 说 他 该是 啥样子 的 声音 就 啥样子 的 声音 就 刚刚 说 到 那个 星际 里面 的 就是 我 看过 一个 就是说 他们 怎么样 做 这个 星际 里 重组 的 那些 恶心 的 声音 对 吧 就 好像 一坨 一 坨 生命体 在 那里 产生 了 各种 奇怪 的 声音 那么 因为 现实 中 没有 这样 一坨 奇怪 的 生命体 于是 他们 就 想方设法 用 各种 的 东西 来 制造 这种 恶心 的 声音 然后 把 它 录下来 然后 看看 哪个 的 感觉 更好 哪個 更 像是 自己 想要 表達 的 那種 生命 體的 特徵然 後 就 拿 那個

來 用 吧 所以 以後有 了 這種 技術 啊 有 這種 聲音 仿真 技術 可以 找到 比現 實中 更 噁 心 的 聲音 这用 在 星际 里面 可能 就 更 恶心 一些 对 声音 反正

其实 还有 一个 可能 的 用处 就是 因为 我们 像 比如说 人 说话 的 声音 其实 发生 原理 也 非常简单 就是 有 一个 声带 在 震动 震动 完 了 之后 我们 人体 能够 通过 肌肉 控制 这个 声道 喉道 的 这个 伸缩 啊 包括 嘴型 的 变化 可以 产生 不同 形状 的 共鸣 腔 这 样子 就 能 输出 不同 频率 的 声音 然后 同时 我们 又 可以 控制 这个 声带 的 拉紧 或者 变 长 可以 改变 它 的 这个 基础 频率, 所以 这样 就 可以 产生 不同 的 声音, 那 如果说 在 未来 我们 能够 拿 这个 声带 和 这个 喉腔 把 这 建模 建得 很准, 然后 呢 物理 仿真 仿真 很准 的话, 那 我们 可以 理论 上 比如说 可以 复现 一些 动物, 如果 他们 会 说话, 他们 该 什么样 的 声音, 比如 猫猫 狗狗, 他们 如果 能 说话 的话, 他们 的 喉腔, 他们 的 声带 该 说 什么样 的 声音, 比如说 恐龙 我们 现在 有 化石 可以 找出 他们 当时 的 这个 脖子 有 多长 他们 的 声带 该 放在 哪里 也 可以 simulate 就是 仿真 出来 他们 到底 能够 发出 什么样 的 声音 比如 我们 没有 人 听 过 恐龙 的 声音 侏罗纪 里面 都 是 一些 艺术家 的 幻想 所以 说 如果 这个 仿真技术 越来越 真实 的话 我们 就 可以 听到 当时

这种 真实 的 声音 了 嗯 我们 要 等一等 恐龙 应该 怎么 叫 啊 刚才 听 了 这个 李丁 博士 讲 声音 仿真 是 他 博士 期间 做 的 一个 内容 啊 还有 什么 有意思 的 内容 呢 对 我 做 了

另外 一个 方向 就是 这种 空间 音频 spatialaudio 这个 呢 听 起来 可能 比较 这个 也 是 比较 玄学 但是 其实 大家 如果 有 这个 AirPodsPro 或者 Max 对 或者 max 都 可以 体会 到 什么 是 spatialaudio 了 就是说 你 带上 耳机 之后 打开 一个 这种 支持 空间 音频 的 这种 视频 的话 你头 转来转去 你 听到 这个 声源 的 方向 是 会 随着 你 的 头 的 转动 而 产生 这个 变化 的 然后 这个 我 觉得 就是, 呃 是 非常 增加 这个 就 融入 性 的 一种 感觉, 你 感觉 他 更 真实 了, 然后 呢, 我 当时 做 的 一个 研究 就是说, 如果 你 现在 有 一个 录制 好 了 一个 视频, 你 怎么 估计 这个 声音 一个 新 的 声音 在 这 房间 里面 该 听成 什么样 呢? 因为 这个 每个 房间 的 回响 是 不 一样 的 像 比如 我 现在 做 的 这个 房间 可能 比较 小 所以 说 它 可能 这个 不会 有 特别 大 的 回响 但 如果 你 在 一个 大 教堂 里面 说 一句 话 的话 会 有 很大 的 回响 那 这种 情况 下 如果 在 电影 特效 里面 你 要 加个 新 的 声音 进来 的 时候 你 怎么 保证 新 加进来 这个 声音 它 既 能够 有 这种 反映 出 这个 房间 的 这个 几何 大小 和 里面 到底 放 了 什么样 的 这种 新 的 这种 材料 然后 同时 你 还要 把 它 的 这种 空间 位置 给 体现 出来 这个 是 我 当时 就是 博士 期间 做 的 另外 一个 方向 的 研究

那 我们 说 了 这么 多 图形学 内容 那 图形学 现在 主要 面临 的 挑战 有 什么 呢 首先 这个 我

这个 可能 也 对 图形学 特别 大 这个 领域 的 这个 了解 也 是 有限 的 所以 我 讲 的 这个 挑战 可能 也 是 比较 不同 人

也 有 不同 的 观点 对 吧

是 的 是 的 然后 我 的 其中 感觉 一个 挑战 是 现在 研究 和 工程 的 这个 界限 比较 模糊 就是 像 我们 刚才 也 讨论 到 了 嘛, 很多 这些 研究 都 是 公司 在 做 的, 比如 皮克斯, 比如 迪士尼, 比如 adobe, 比如 google 啊, 他们 都 在 做 这种 图形 写 方面 的 这个 研究, 那 同时 学校 也 在 做, 那 这种 情况 下, 因为 这是 一个 非常 成熟 的 一个 工业界 的 一个 模式, 所以 怎么 把 研究 和 工程 的 这个 界限 分开, 我 觉得 这个 是 一个 比较 短期 之内

的 一个 挑战, 这个 从 研究 到 工业 非常 快, 不是 很 好 吗?

对 这块 确实 是 挺 好 的 像 比如说 我们 可以 看到 这个 之前 有 一些 很 好 的 一些 例子 比如说 在 201 年 1 年 的 时候 迪士尼 的 这个 研究组 他们 出 了 一个 这个 仿真 下雪 怎么 仿真

特别 好 就 做 了 个 冰雪

奇缘 是 吗 对 出 了 frozen 冰雪 奇缘 然后 呢 呃 比如说 这个 好像 也 是 在 同样 的 时期 他们 出 了 一个 paper 是 做 这种 头发 仿真 的 然后 呢 第二年 他们 就 出 了 一个 这种 叫做 tango 的 一个 电影 里面 就 有 一个 很长 头发 的 女主角 红头发 的 小女孩 是 吧 是 的 在 那个 之前 的 电影 大家 回想 一下 都 是 这个 玩具 总动员 汽车 总动员 都 是 没有 头发 的 对 吧 在 那个 之后 再 突然 一下 迪士尼 所有 动画片 全都 有 头发 了 所以 说 在 现在 这个 学术界 和 这个 工业界 的 这个 界限 是 越来越 模糊 的 这个 情况 下 那 学术界 该 怎么样 再 去 做 有 更 创新 的 研究 这 是 我 觉得 一个 挑战 因为 如果 被 工业界 牵着鼻子 走 的话 我 觉得 不是 对 这种 非常 openended 的 这种 开放性 的 研究 我 觉得 并 不是 特别 好 的 一个 长远 的 一个 现象 这个 领域 未来 的

方向 是 什么 呢 如果 你 去 比如说 seegraph 这样 的 顶 讳 你 看 大家 大佬 们 都 会 认为 我们 未来 要 向 哪 方面 发展

呢 我 个人 我 比较 感兴趣 的 一个 方向 就是 比如说 这个 个人化 的 这种 图形学 就 比如说 我们 之前 讨论 到 嘛 图形学 大家 能够 接触 到 的 就 无非 就是 电影 啊 什么游戏 啊 这方面 的 东西 那 其实 电影 的话 每个 人 看 都 是 一模一样 的 电影 游戏 的话 每个 人 看到 的 也 是 大同小异 的 游戏 你 可以 换 自己 身上 的 这种 装备 啊 这种 衣服 啊 什么 的 但是 大体上 还 都 是 一样 的 那 我 可能 感觉 接下来 的 一个 发展 方向 就是 怎么样 做到 个人化 就 比如说 每个 人 听到 的 这个 台词 都 自动 不 一样 每个 人 看到 里面 的 这个 人 都 不 一样 是 根据 你 的 这个 个人 的 这个 环境 你 可以 想象 成就 是 facebookgoogle 他们 现在 你 看到 的 广告 是 不 一样 的 感觉 这 这个 是 我 看起来 可能 是 是 比较 controversial 的 但是 多媒体 的话 如果 他 能够 实现 个人化 的 可能 你 看起来 会 更 有 共鸣 感 就 比如说 你 可能 这个 电影 里面 可以 根据 你 住 的 这个 周围 的 环境 跟 你 实时 生成 这个 主角 住 的 环境 跟 你 特别 的 像 那 可能 你 就 特别 有 代入 感 一下 就 能 代入 去 了 比如说 我们 用 这个 specialaudio 其实 这 已经 是 一部分 的 个人化 了 就 因为 像 以前 音频 都 是 单 频道 的 后来 变成 这个 双 频道 左右 声道 现在 他 如果 有 这个 空间 音频 的话 他 其实 他 是 有 4 个 或者 9 个 这个 频道 的 了 那 你 有 4 个 9 个 这种 频道 的 时候 那 所以 没有 两个 人 听到 的 是 一模一样 的 音频 了 根据 你 头 的 位置 的 不 一样 永远 听到 都 是 不 一样 的 了 所以 这是 一种 最 基础 的 个人化 了 但 我 想象 中 就是 未来 的 这种 图形学 重建 世界 的 方法 应该 是 说 有 更加 更加 多样化 的

这种 个人化 男主角 要长 得 像 这个 男 观众 女主角 要长 得 像 男

观众 的 配偶 不是 是 先要 考虑 你 的 性别 和 你 的 性取向 然后 才 知道 主角 的 性别 是 男 还是 女 因为 现在 的 有些 游戏 已经 实现 了 就是说 主角 你 一 开局 的 时候 可以 选择 主角 是 男 还是 女 然后 接下来 的 故事 线 里面 根据 主角 男女 会 有 不同 的 发展 当然 这个 时候 是不是 这个 personalization 还 不是 那么 的

个性化 是 吧 对, 更 多 的

是 根据 你 的 选择 来 做 Personalization, 而 不是 根据 你 本人 的 特性 来 做。 但 我 觉得 变成 根据 你 本人 的 特性 来 做 的 时候 就 会 做成 这个 样子 了。

以后 和 网络 这些 巨头 里面 的 信息 相 整合 是 吧, 在 你 不经意 之间 你 看 的 电影 就是 完全 和 别人 不 一样 的, 多么 可怕 的 一个 世界 啊。 好 吧 我们 最后 一个 问题 是 我们 所有 的 专家 我们 基本 都 会 问 的 一个 问题 就是 如果 有 我们 听众 朋友 们 想要 从事 这个 领域 觉得 非常 的 改变 世界 是 吧 3D 打印 有 电影 啊 又 是 这个 虚拟现实 啊 如果 要 做 这方面 的 工作 需要 什么样 的 准备 呢 需要 怎么样 的 积累 才能 做 这方面 的 工作 呢 呃, 就

如果 你 还是 在 学校 的话, 那 我 估计 就是 就 最 简单 的 就是 开始 上 一门 这种 计算 基础 英学 入门 的 这个 这种 课程, 这 样子 他 可以 给 你 一个 比较 好 的 这个 全貌, 这样 你 可以 更 清晰 的 知道 你 对 哪个 方向 比较 感兴趣。 呃, 如果 你 已经 是 开始 工作 的话, 那 我 可能 会 觉得 说。 那 就 可能 是 看看 公司 内部 或者说 别的 公司 有没有 你 感兴趣 的 这种 组 比如说 有个 公司 他 可能 在 遭 这个 渲染 啊 或者说 这种 比较 入门 的 这种 方面 的 职位 的话 你 可以 考虑一下 是 说 了解 看 他们 的 这个 职业 描述 里面 有 什么样 的 需求 然后 如果 你 感觉 这些 工具 我 都 其实 都 用 过 比如 你 其实 用过 平常 用过 ps 平时 你 也 用 这个 视频 编辑 软件 你 也 做 过 一些 基础 的 工作 那 我 觉得 这是 一个 比较 好 的 一个 入门

的 一个 地方 听 上去 好像 用过 PS 并且 会 写 代码 的 就 可以 去 试一试, 是 这样 吗?

对 啊, 因为 我 觉得 这个 很多 这些 东西 都 是 可以 一边 做 一边 学 的, 所以 说 就是 主要 是 看 你 这个 人 的 兴趣, 就 只要 你 感兴趣, 我 觉得 这个 这个 都 是 可以。

所以 说 这个 领域 就是说 只要 感兴趣, 并且 有 一些 基本 的 程序设计 的 一些 素质, 基本上 就 可以 加入 这个 领域 是 吧?

对图 音学 如果 要 做 特别 的 这种 硬核 的 东西 的话 可能 是 有 很多 物理 啊 很多 数学 的 东西 在 里面 的 因为 像 刚才 我们 也 聊到 了 嘛 比如 你 要 去 真的 去 了解 声音 怎么 传播 的 你 要 了解 这个 光照 是 怎么 反射 怎么 折射 的 这 可能 是 有 一些 数学 物理 的 模型 在 里面 但 同时 它 也 有 很大 的 工程 性 的 这种 实现 就是 你 怎么 把 它 做 的 又快又好 怎么 利用 这个 显卡 里面 的 各种 加速 来 实现 这 一方面 的 可能 就是 更 多 偏 工程 而 不是 偏 这种 数学 物理 的

了 看来 图形学 这个 领域 也 是 一个 只要 有 兴趣 的 朋友 们 就 可以 想 办法 加入 的 一个 领域 啊 好 我们 今天 的 串台 节目 大概 就 到 这里 了 我们 感谢 我们 的 李丁 聊天室 的 主播 李丁 来到 我们 节目 和 我们 一起

串台 谢谢 感谢 听众 们 收听 如果 大家 喜欢 我们 的 节目 的话 记得 订阅 我们 的 节目 我们 在 各大泛 用型 播客 平台 都 能 找到 也

欢迎 加入 我们 的 听 友群 并且 在 可以 留言 的 地方 留言 有興趣

報名 做志願者 的 可以 看 我們 的 shownote 點擊 鏈接 加入 我們 做志願者 也

希望 大家 關注 和 訂閱 李丁 聊天室 對 吧 李丁 聊天室 這個 平台 比 我們 廣多 了 是 吧 我們 不僅 有 各大泛 友群 平台 還有 視頻 是 吧 還有 國內 的 一些 大 平台

對 我 是 反正 因為 我 錄 製 的 時 候 把 視 頻 也 加 進 去 了 所以 各大 聽 眾觀 都 可以 在 自己 喜歡 用 的 平台 上訂 閱好 那 我們

後 會 有期 下期 再見 拜拜