#39 计算机视觉——AI 可以像人一样看东西吗？

计算机 视觉 是 人工智能 的 一个 领域 让 计算机 像 人 一样 看 东西 近些年 计算机 视觉 开始 得到 广泛应用 特别 是 人脸识别 可以 说 是 最 成功 的 人工智能 应用 之一 今天 我们 请 到 了 计算机 视觉 的 专家 来 和 我们 聊一聊 这项 技术 的 前世 今生 以及 未来

然后 我 就是 拿 出来 了 以后 然后 我 都 往 这个 机器 学习 或者说 炼丹 炉 里面 一搁 我 也 不管 它 为什么 会 有效 我 也 不管 它 为什么 没有 效果 我 只是 就 反复 地去 试 碰巧在 这个 数据 上面 有效 了 那 我 就 收工 了 但 我 不会 去 想 这个 东西 是不是 通常 有效

为什么 它 真的 有效 这里 是 牛油果 烤面包

大家 好 我 是 斯 沙特 我 是 Wendy 我 是 Sean 今天 我们 有幸 请 到 了 谷歌 的 科学家 就是 ResearchScientist 做 计算机 视觉 的 专家 孙晨来 和 我们 聊一聊 计算机 视觉

的 事情 大家 好 我 是 孙晨

孙晨 是 我们 节目 中 第三位 孙博士 我们 有 做 激光雷达 的 专家 孙杰 博士 上次 讲 了 AI 硬件 的 孙超 博士 这次 我们 的 视觉 专家 孙晨 博士 来到 我们 的 节目 姓 孙是 非常 大 的 一个 优势 啊 孙辰 做 过 一个 很 重要 的 工作 呀 就是 他 证明 了 我们 做 计算机 视觉 用 的 大 数据 啊 有点 太大 了 不 需要 这么 大 这 是 怎么回事 啊 好 谢谢

这个 问题 这是 一个 很 费电 的 一个 实验 就是 大家 比如说 李飞飞 老师 会 说 他 提出 了 一个 叫

ImageNet 叫 什么 ImageNet 这是 一个 名字

一个 训练 集对 他 有 10 万张 左右 的 图片吧 就是 几百万 数量级 的 然后 这个 被 某种意义 上 认为 是 催化 了 这个 深度 学习 领域 的 发展 因为 就是说 在 没有 深度 学习 之前 这个 数据 级 的 就 表现 就是 精度 非常低 然后 有 了 深度 学习 算法 之后 突然 一下 就 提升 到 了 一个 对于 我们 来说 甚至 有点 难以置信 的 高度 就是 加拿大 的 一个 实验室, 就是 去年 获得 图灵奖 的 那个 实验室, 叫 新顿 教授, 他们 组 的 学生 做 的 这个 工作, 然后 一 开始 我们 都 被 震撼 到 了, 有 的 人 甚至 怀疑 是不是 实验 做错 了, 最后 证明 他 确实 是 对 的, 而且 就 催化 了 接下来 十年, 九年 到 十年 的 这个 领域 的 这个 飞速发展 吧。 对于 这个 数据 集它 的 作用 就是说 之前 很多 时候 我们 的 计算机 的 算力 也好 就是 各种 这个 infrastructure 也好 就是 不足以 训练 这么 大 的 模型 不足以 训练 这么 快 然后 他们 现在 有 了 比如说 这些 GPU 就是 这个 图形 处理器 它 可以 非常 快速 的 做 矩阵 的 算法 对 吧 然后 那 他 就 这个 学生 他 就 实现 了 这么 一套 犬基 神经网络 然后 在 这个 大 的 数据 上面 证明 他 确实 成功 训练 出来 这么 一个 模型 然后 大家 就 开始 慢慢 的 去 探索 两件 事情 三件 事情 吧 一件 事情 是 能 不能 把 它 做 得 更 快 第二件 事情 是 能 不能 做 的 精度 更高 然后 第三件 事情 主要 是 这 两件 事情 然后 有 第三件 事情 就是 大家 没有

被 设计 的 就是 孙晨开 了 这个 新 的 领域 认为 我们 要 第三件 事情 需要 在意 是 吧 这 倒

没有 了, 这 其实 是 我们 公司 比如说 谷歌 这 公司 它 很感兴趣 一个 问题 就是说 我 现在 有 一百万 张 图片 但 可能 这些 大 的 公司 里面 可能 有 上 亿 几十亿 张 图片 但 这些 图片 可能 不是 人 手工 标的 可能 是 用 一些 比如说 一些 metadata 我 不 知道 中文 怎么 翻 了 就是 原 数据 对, 原 数据 去 打 的 这些 标有 噪音 的 这个 标签 但是 我们 数据量 非常 大, 然后 我们 就 想 看看 深度 学习 是不是 数据量 越多越好, 或者说 飞飞 教授 的 那个 他 的 那个 imageNetdataset 是不是 就 已经 足够 大 了, 我们 就 专心 提升 算法 就 好 了。 然后 这个 实验 就是 当时 规模 还是 很大 的, 就是 用 了 大概 50 个 GPU。 然后 顺 了 当时 可能 两三个 月 吧, 只 为 得到 一个 曲线, 就是说 这个 数据 横坐标 是 数据量, 然后 纵坐标 是 这 模型 的 精度, 然后 它 是 一个 loglinear 的 这个 关系, 就是说 你 增加 越来越 多 的 数据, 直到 增加 到 3 亿张 图片 的 时候, 它 还是 不断 在 变好。

哇, 那 3 亿张 的 案 是

变好 的 对, 然后 后面 又 有些 实验 可能 比 3 亿 更 多 可能 10 亿张 吧 我 记不太清 了 是 Facebook 做 的 你 可以 怎么 看 就是 正面 的 角度 去 看 就是 更 多 的 数据 确实 是 有 帮助 的 而且 它 能 帮助 你 训练 出来 更 复杂 的 模型 你 有 了 更 多 的 数据 之后 但是 另外 一方面 就是说 他 没有 好像 并 没有 解决 一个 本质 的 问题 他 可能 是 比如说 如果 深度 学习 是从 0.1 变成 1 的话 那 这个 可能 加 了 很多很多 数据 是从 1 变成 1. 这种 就是 他 不是 一个 革命性 的 我

理解 这个 问题 就是说 虽然 到 几亿 张 都 还是 会 提升, 但是 比 那个 李飞飞 教授 的 那个 一百万 张 也 没有 提高 多少。 可以

这么 说, 对, 因为 它 是 一个 locklinear 的 嘛。 嗯,

这个 是 孙晨 证明 了 这 一点 啊, 替 全世界 省 了 不 知道 多少 能源 和 这个 硬件 是 吧。 这个 说 的 李飞飞 就是 前两天 去 推特 做 这个 独立 董事 的 那个 李飞飞 吗? 应该 是 了。 所以 就是 說 我們 這個 是 吧 孫晨 的 這個 領域 是 多麼 的 重要 啊 推特要 把 他們 作為 獨立 董事 來 這個 看 他們 的 發展 我們 剛才 這個 說 了 孫晨 啊 是 這個 領域 的 專家 了 並且 做出 了 這個 傑出 的 貢獻 啊 我們 說 回 這個 視覺 啊 可能 很多 聽眾 都 不 太 清楚 視覺 是

在 幹什麼 的 那 計算 機視覺 是

在 是 在 幹什麼 呢

视觉 就是 举 一个 例子 就是 我们 人有 一双 眼睛 可以 感知 这个 世界 对 吧 比如说 我 从小 婴儿 开始 就 知道 妈妈 在 哪 然后 可能 爬 的 时候 要 知道 前面 有没有 东西 挡 着 我 那 这个 过程 其实 就是 人 的 视觉 人 的 视觉 是

到底 什么 就是 我 看到 我 前面 的 东西 大家 能 分辨 出是 个 怎么 一个 情况 是 有 什么 东西

在 干什么 对 然后 你 可以 看到 什么 东西 在 动 对 吧 然后 你 可以 去 猜测 比如说 椅子 我 只 看到 它 前面 但 我 知道 我 坐下 去 它 不会 塌 这 是 你 的 一个 猜测 就 我

可以 大概 建构 出 一个 大概 空间

是 个 怎么回事 对 然后 这件 事情 另外 一个 角度 去 看 就是 计算机 图形学 就是 我 已经 知道 这些 信息, 我 知道 物体 是 什么, 我 知道 这个 空间 的 layout 布局 是 长成 什么样 的, 那 我 想 把 它 变成 我 知道 光源 在 哪, 然后 我 想 生成 一张 图片 或 生成 一小 视频 对 吧, 比如说 pixar 那种, 那 我 现在 视觉 想 解决 就是 反过来 的 问题, 就是说 我 看到 这个 小视频 或者 我 看到 一个 图片, 我能 不能 把 那些 物体 它 的 信息 还原 出来, 它 的 layout 还原 出来, 这 其实 就是 视觉 想 解决 的 问题。 比如说

图形学, 我们 学 计算机 的 知道 做 计算机 图形学 就是 类似 于 像 做出 动画片 一样 我们 头脑 中 想象 一个 或者说 一个 世界 是 什么样 然后 我们 就 能够 把 它 渲染 出像 真的 一样 视觉 就 能 反过来 是 吧, 这个 世界 是 什么 样子 我们 能够 把 它 抽象 出, 我们 能够 把 它 识别 出 这个 空间 大概 是 什么 样子, 时空 是 什么 观念 是

吧 对 刚 想到 一个 例子 可以 分享 就 比如说 现在 不 都 有 很多 栏目 电影 就是 绿屏 电影 对 吧 就 比如说 现在 演 电影 那些 超级 英雄 的 电影 他 可能 是 人 在 人 脸上 贴 了 很多 的 传感器 然后 他 去 控制 这些 关键点 然后 再 把 这个 传感器 传到 电脑 里面 然后 用 图形学 的 方式 生成 这个 比如说 超人 在 天空 中飞 这些 东西 对 吧 那 计算机 其实 视觉 和 图形学 其实 可以 结合 在 一起, 那 结合 在 一起 会 发生 一件 什么 事情 呢? 就是 你 把 真实世界 的 这些 场景 抽象化, 然后 你 再 把 这 抽象化 的 表示 传到 这个 图形学 的 这个 引擎 里面, 去 生成 这个 虚拟 的 世界。 就 比如说 我 现在 不 需要 绿幕 了 我 就是 比如说 我 随便 用 手机 自拍 一个 我 在 走路 或者 我 在 跳 起来 然后 我 先用 计算机 视觉 再用 计算机 图形学 就 可以 虚拟 出 我 比如说 我 可能 在 几百公里 之外 的 地方 做 一件 事 就 可以

变成 一个 美女 在 沙滩 上 跳 起来 其实 是 孙晨 在 这个 家 里面 跳 起来 那 现在 计算机 视觉 只要 应用 在 什么 领域 音乐 有

很多 了 然后 有 好 的 有 可能 没有 那么 坏 的 那 比如说 最早 咱们 接触 到 的 可能 是 小 的 时候 就是 比如说 十多年 前买 那个 傻瓜相机 傻瓜相机 然后 它 对焦 的 时候 它 有 一些 自动 对焦 嘛 就是 它 自动 对焦 的 方式 就是 检测 这个 里面 有没有 人脸 然后 你 就 对焦 到 那个 人脸 上面 那个 其实 就是 计算机 视觉 的 算法 然后 那个 时候 是 在 深度 学习 之前 的, 所以 他 可能 只能 对 一些 结构化 比较 强 的 一些 内容 做 的 比较 好, 人脸 其实 结构化 非常 强 的 一个 东西 吧, 就是 一个 物体。 那 之后 呢 比如 深度 学习 或者 人工智能 这 波浪 长而来 之后 它 能 做 各种各样 的 东西 比如说 你 看 YouTube 或者 你 看 哔哩 那 它 给 你 这个 推荐 你 想 看 的 视频 除了 一些 比如 用户 浏览 的 习惯 以外 它 还 可以 去 分析 这些 视频 里面 的 内容 然后 去 根据 这些 内容 比如说 做 吃 的 或者说 一些 搞笑 的 视频 它 可以 去 给 你 推荐 这些 对 吧 就 可以

让 这个 电脑 可以 读懂 视频 里面

是 什么 另外 一个 还是 哔哩 的, 就 比如说 他 有 很多 弹幕 嘛, 弹幕 太多 了, 比如说 主播 做 吃播, 那 我 把 脸 都 给 挡住 了, 那 就 影响 我 观看 了, 对 吧。 那 它 现在 有 一个 功能 就是说 我 就 检测 出来 这个 东西 在 计算机 视觉 里面 叫 语意 分割 语意 就是 比如说 人 或者 其他 的 物体 叫 语意 分割 就是 把 这个 轮廓 给 勾 出来 那 我 把 这 轮廓 勾 出来 有 什么 用 呢 就是说 我 把 弹幕 放在 我人 的 身体 后面 假设 它 有 两层 了 对 吧 弹幕 就 飘 到 后面 去 了 然后 只有 在 这个 没有 人 的 地方

这个 非常 酷 啊 我们 的 B 站 二号 者 这个 有没有 看到 这个

功能 吗 对 它 也 有 它 那个 弹幕 就 从 它 人 的

背后 闪过 哦 原来 找到 了 就

这个 高级 算 他们 的 黑 科技

之一 这个 是 在线 算 的 吗 还是 说 之前 算好 的 发上去 了

我 猜 是 之前 算好 的 但是 渲染 可能 是 及时 渲染 的 所以 有 的 时候 会 比较 卡 那就是说

新 的 弹幕 还是 要 写上去 啊 它 可能 有些 原 数据 说 这个

人 在 哪 就是 你 用户 上传 的 时候, 我 跑 一遍 人 在 哪儿, 然后 就 存住 了 嘛, 然后 就 之后 再来 新 的 弹幕 也 没关系 了, 嗯, 就 放到 后面 去,

还有 什么 比较 好 的 吗? 嗯, 比如说

我们 出差 嘛, 咱们 程序员 都 出差, 然后 有 的 时候 要 报销, 会 把 那个 收据 拍下来, 对 吧? 然后 我 现在

一般 现在 都 不能 出差 了, 比如

之前 还 能 出差 的 时候, 然后 你 可以 就是 原来 的话, 你 可能 要 提前 把 它 保存 好, 那 现在 比如说 很多 APP 比如说 谷歌 的 那个 photos 然后 你 直接 搜 receipt 它 就 把 所有 的 你 这些 数据 都 给 你 展示 出来 了 这 其实 就是说 我 有 一个 计算机 视觉 的 算法 给 我 的 照片 打 了 一个 标它 有 可能 是 猫 啊 狗 啊 也 可能 就是说 这 是 我 的 数据 然后 这 数据 建立 了 索引 之后 我 以后 做 搜索 我 就 一下 我 都

搜出 了 上期 节目 我 还 说 这个 功能 我 觉得 非常 好 我 经常 比如 搜索 我 去过 什么 地方 法国 我 就 搜个 法国 好多 法国 的 表牌 就 出来 了 不够 好 的 地方 比如说 去 Target 搜局 就 搜 不 出来 是 Target 的 搜局

做 不到 这么 细 了 这 都

是 应用 的 非常 好 的 地方 那 我们 这些 手机 解锁 这些 东西 这些 算 吗 这些 也 算是 视觉

的 吗 也 算 但是 我 感觉 他 可能 更 底层 一些 而且 他 的 要求 就 更 高 一些 他们 可能 是因为 这个 领域 非常 专 又 非常 精 他们 其实 可能 是 有 自己 的 一个 community 有 自己 的 这么 一个 研究 兴趣小组 吧 这 是

个 比较 普遍 做 视觉 的 人 都 在 了解 这些 事情 对 比如说

有 一个 学术会议 就 叫做 人脸识别 还是 什么 反正 就是 做 各种各样 人脸 相关

的 人 现在 人脸识别 已经 基本上 从 计算机 识别 基本上 快分 出来 了 是

吗 没有 分 出来 只不过 就是说 因为 实在 应用 太多 了 可能 就是 有 一些 专门 做 这些 的 人 他 不光 跟 计算机 视觉 的 人 混 他 自己 这个 小圈子 他 也 有

交流 那 这方面 是不是 已经 是 非常

非常 成熟 了 我 觉得 是 非常

非常 成熟 那 我们 就 不 说 成熟 了 我们 刚才 说 还有 不 那么 好 的 有 什么 不 那么

好 的 吗 对 就 比如说 我 当年 在 机场 三藩 机场 附近 红灯 右拐 吃 了 一张 ticket 吃 了 一张 罚单 这个 就 我 觉得 不太好 他 把 我 比如说 人脸 和 这个 车牌 自动 都 识别 出来 了 当然 你 可以 从 某种 角度 说 这 是 提升 这个 交通安全 对 吧 但是 另外 一方面 可能 他 有 各种各样 不太好

的, 这 我 还 挺 失望 的, 这个 还 挺 好 的, 还有 什么

不太好 的 呀, 还有 什么 不太好, 我 就 不太想 说 了, 大家 也 都

心知肚明 啊, 但 这个 说 的 这些 有 图片, 有 视频, 下面 都 是 差不多 的 吗? 他们 下面 都

是 差不多 的, 然后 可能 有 一些 比较简单 的 不 一样 的 地方, 比如说 做 视频 的话, 你 可能 因为 信息量 多 了, 你 算法 的 效率 要 更 高, 对 吧? 然后 另外 一方面 就是说 它 有 一些 比如说 我前 一秒 是 我 的 大头照 那后 一秒 很 有 可能 还是 我 的 大头照 对 吧 那 你 可以 用 一些 这些 信息 去 帮助 你 算法 提升 精度

说 了 这么 一些 应用 我们 是不是 先 说一说 这个 技术 啊 我们 这个 能 不能 给 我们 讲讲 这个 计算机

视觉 的 历史 啊 这个 历史 我 也 不是 特别 熟悉, 但是 可以 大概 说 一下 嘛 就是 整个 人工智能 领域 从 比如说 上 世纪 就 五六十年代 的 时候 美国 这帮 人 他们 开始 做 各种各样 的 就是 比如说 逻辑 那 时候 叫 什么 SymbolicAI 就是 符号 符号学 对 吧 符号学 对 逻辑 推演 然后 他 还有 各种各样 的 自动机 就是 规则 一句 规则 的, 比如说 咱们 大学 学 的 那个 自动机 或者说 编程语言 它 可以 把 这个 人 的 语言 的 产生 过程 变成 一套 规则 去 反过来 去 推 这个 人 的 语言 根据 这个 规则 是 怎么 生成 的 编程语言 现在 其实 还是 这么 这种 感觉 对 吧 所以

那 视觉 的 起源 是 在 什么

时候 呢 视觉 的 起源 是 那个 时候 就 大概 是 同一个 时间 就 各种 牛 人 突然 都 对 这个 人工智能 感兴趣 了 然后 其中 一个 牛人 就 说 我们 跟 他 的 比如 学生 说 我们 这个 属 下来 研究 研究 这个 计算机 视觉 他 当时 可能 认为 这件 事情 是 非常容易 能 解决

的 那 他们 的 做法 也 类似 于 这样 吗 把 什么 这个 视觉 的 结构 给 梳理 一下 然后 编个

成 是 就 可以 比如说 刚才 我 说 语言 是从 一套 规则 生长 出来 那 其实 图像 也 可以 用 一套 规则 生长 出来 对 吧 比如 光照 这些 都 非常明显 的 然后 另外 一个 物体 就是 由 各种各样 的 小 的 短边 构成 的 对 吧 那 这 一套 东西 就 做 了 很长 很

长时间 基本上 要 把 这个 人 这个 画面 的 结构 画面 的 特点 都 说 出来 了 那 这个 听 上去 比较 初级 看来 是 不太可能 成功 的 呀 有 什么 主要 的 发展 吗 在 后面 几十年 来 后面 发展 非常

非常 多 然后 比如说 做到 实际 应用 里面 的 就 比如说 我们 做 计算机 的 这个 全景 模式 就是 学 你 拿 着 手机 然后 绕 它 的 转 一圈 然后 你 把 这 整个 场景 都 拼接 成 一张 图片 这 其实 就是 计算机 视觉 嘛 它 不 需要 语意 理解 但是 它 需要 学到 这个 每个 像素 之间 它 的 对应 关系 这个 其实 也 是 深度 学习 之前 跟 人脸识别 我 觉得 是 可以 并列 成为 都 非常 成功 的 应用 另外 就是, 呃 机器 学习 的 引入,

机器 学习, 哎, 我们 又 谈到 机器 学习 了, 什么 时候 开始 引入 的

呀? 其实 很多 人 开始 做 这件 事情 了, 包括 你 看言乐村 就是 去年 得 图灵奖 的 那个 纽约大学 教授, 他 其实 从 80 年代 就 开始 做 计算机 视觉, 就是 由正 编码。 他 手写 的 邮政编码 像 分成 0 到 9 这 10 个 数字 然后 最早 的 卷积 神经网络 其实 就是 那个 时候 他 在 做

这件 事情 那个 时候 他 就 开始 做 卷积 神经网络 了 对 80 年代

的 时候 80 年代 末 90 年代

初 那个 时候 开始 做 出来 了

吗 在 这个 数字 上面 是 挺 有效 的 但是 没有 办法 做到 更

复杂 的 图像 我 还 真不知道 这 是 他 几十年 的 坚持 啊 那 后来 呢 那 在 机器 学习 广泛应用 在 视觉 上 大概 是 什么 时候

开始 的 后来 就是 人工神经网络 大家 还是 当时 觉得 它 有 它 的 局限性 然后 很多 人 就 对 这些 SupportVectorMachineSVM 支持 项量 机对 这种 分类器 然后 非常 有效 然后 另外 一个 就是说 当时 不是 计算机 识别 包括 我们 现在 的 领域 的 顶会 叫 ComputerVisionandPatternRecognition 就是 模式识别 计算机

视觉 和 模式识别 对 然后 它 就是

对 像 设计 很多 特征 这些 特征 可能 是 跟 物体 的 比如说 边 形状 有 关系 或者说 用 一些 比较 信号处理 的 弗利 叶 变换 各种各样 的 东西 去 生成 各种各样 的 特征 然后 把 这些 特征 再 传给 这个 机器 学习 的 这个 分类器 让 它 去

分类 所以 这个 大概 是从 什么 时候

开始 的 我 觉得 是从 这个 SVM 被 提出 来 以后, 就 大家 就 开始 尝试 了。 就 大概 是 90 年代

中期 吗? 差不多。 对, 一直

到 20 年,

201 年。 大概 就是 大概 在 90 年代 中期 到 201 年 的 时候, 大家 就 开始 用 这个 知识 相机, 然后 用 这种 项目 叫 什么 模式识别 啊, 就是 各种 什么 副业 变换 吗? 是 这个 是 怎么回事?

这个 我 是 计算机系 的 我 也 没学过 我 撬 掉 了 信号处理 所以 我 对 信号处理 撬 不

懂 像 徐 明星 什么 是 吧 这个 大概 意思 就是说 我们 就是 他会 手动 的 用 一些 信号处理 来 变成 他 的 叫 什么 是 叫 特性 吗 还是 叫 什么 就是 特征 就是 把 这个 拿 一张 图片 怎么 能够 把 它 用 信号处理 的 方式 搞 出 一些 特征 来 那 这个 东西 效果 怎么样 啊 效果 挺 好 的

就是 因为 那个 时候 大家 电脑 都 不够 快 然后 这个 计算机 视觉 其实 还 没有 很多 工业界 的 应用 都 是 自己 领域 里面 自己 玩 所以 数据 也 都 比较 小 那 这 就是 另外 一个 话题 了 就是说 这 数据 集 很多 时候 是 它 是 有 自己 的 这个 局限性 的 比如说 那个 时候 可能 我 说 我 踢足球 实际上 它 因为 所有 踢足球 的 这个 类别 的 数据 都 是 在 草地 上 踢 的 所以 它 可能 就 把 绿色 识别 出来 类似 于 这样

所以 就是 那个 时候 没有 什么 特别 靠 谱 的 工业界 的 应用 是

吧 据我所知 没有 除了 刚才 说 的 那个 全景 拼接 和 那个 人脸识别 人脸识别

已经 有 了 是 吧 那 时候

在 对 啊 就 是从 傻瓜相机 里

就 有 了 呀 所以 它 比较 像是 一个 实验室 里 非常 小 范围 的 吧 然后 后面 真的 工业界 要用 的 时候 发现 它 不够 scale 对

它 就 没有 办法 处理 真实世界 中 这么 复杂 的 数据 包括 我们 当时 读 博士 的 时候 可能 从 1 年 开始 一直 到 就 我 个人 来说 145 年 还是 非常 迷茫 不 知道 自己 做 的 这些 东西 以后

有 什么 用 你 是 怎么 找到 这个 突破口 的 对 大家 找到 了

突破口 嘛 就是 找到 了 深度 学习

这个 突破口 深度 学习 之前 看上去 大家 都 是 非常 的 迷茫 是 吧 都 是 在 支持 相机 好像 也 没有 什么 参数 可以 跳 是 吧 就 开始 搞 一些 信号 变化 怎么 能变 一变 是 吧 还是 有 挺

多 的, 但是 就 比如 kernelmethods 嘛,

各种 kernel, 换成 不同 的 kernel, 对,

深度 学习 是 怎么回事? 深度 学习 是 怎么回事? 我 肯定 说 的 不太好, 但是 就 是从 我们 计算机 视觉 的 角度 来说, 就是 突然 被 震到 了, 就是 1 年 左右, 就 甚至 觉得 是不是 他们 实验 做错 了。 就是 大家 刚才 我 说 到 的 那个 ImageNet 这个 李飞飞 老师 提出 的 这个 数据 集 之前 的 精度 可能 是 30% 多 40% 多 他 一下 做到

60% 多 现在 是 多少 大概 现在

可能 80% 几 80% 几 哦 就是

那个 是 一个 突破性 的 40% 多涨 到 了 60% 多 就 用 的 是 深度 学习 这种 那 深度 学习 和 前面 那些 支持 向量 机 加上 信号处理 有 什么 区别 呢 深度 学习

其实 你 去 问 很多 人 他 其实 那些 大佬 他会 说 这 是 一个 叫 表征 学习 representationlearning 他 在 学 一个 表征 就是说 我 现在 我 的 输入 的 表征 就是 RGB 这个 三个 维度 的 这个 像素 信息 对 吧 我 没有 任何人 的 知识 除了 我 怎么 去 设计 这个 神经网络 这 神经网络 里面 所有 的 权重 都 是 通过 这个 深度 学习 的 这个 算法 去 学到 的 然后 这个 中间 的 这些 表征 其实 就是 它 可能 有 各种各样 的 语义 层级 就 区别 是

说 完全 不用 做 那些 信号处理 模式识别 编 啊 什么 的 直接 把 像素

扔 进去 就行了 对, 然后 他, 你 可以 看 他 为了 解决 这个 问题, 他 能 学出 什么, 然后 有 的 时候 他 可能 能学出 这个 物体 的 边界 呀, 能学出 这个 物体 的 形状 呀, 有 的 时候 可能 甚至 能 学到 一些 这个 信号处理 里面 的 那些 传统 的 特别 经典 那些 filter, 但是 不是 人去 设计 的, 而是 完全 是 优化 这个 目标 函数。 就是 我们 现在

怎么 能 看出 他 学到 了 什么 呢 如果 你 是

卷积 神经网络 的话 他 就是 一个 一个 的 convolutionfilter 卷积 的 这个 过滤器 那 你 就 可以 直接 把 它 科学化 了 然后 一些 很多 人 各种各样 其他

的 方式 哦 那 有没有 这个 他 学会 的 我们 看不懂 的 东西 呢

大部分 是 看不懂 看不懂 是 少数 的

我们 能看懂 他 他 都 学到 了 我 还有 一些 学到 了 些 我们 看不懂 的 是 吗 我 不 知道

怎么 回答 好 就是 这 涉及 到 可能 更 深刻 的 问题 就是 深度 学习 为什么 会 work 为什么 有效 这个 是 大家 其实 都 还 在 激烈 讨论 认真 研究 的 一个 课题 那

就是 大家 都 不 知道 吗 还是 有 大方向 细节 不 知道 我 不

知道, 然后 我 感觉 周围 的 人 也 不是 特别 知道, 很 有 可能 大家 都 不 太 清楚, 然后 对, 但 这个 方向 非常 热门, 就是 之前 我们 读 本科 的 时候, 很多 特别 敬仰 的 做 计算机 理论 的 大佬, 比如说 Sanjeev, SanjeevArora 在 普林斯顿大学, Gurung 的 老板, PhD 老板, 然后 他 就 是从 做 一些 比较 经典 的 计算机 理论 开始 做 机器 学习 理论, 哦 真的

就是 他们 也 开始 想 知道 积极 学习 到底 为什么 能 有效 是 吧

对 然后 有 挺 多 猜想 但是 在 数学 上面 感觉 好像 还 没有 closetheloop 还 没有 完全 把 这 东西

解释 清楚 有 什么 猜想 呢 说

几个 大家 确实 有 各种各样 比较 奇怪 的 反 直觉 至少 反 传统 积蓄 学习 的 这些 观察 就 比如说 我们 传统 积蓄 学习 里面 对 这个 参数 模型 的 参数 是 非常 敏感 的 对 吧 我 不 希望 我 这个 模型 里面 的 参数 或者 这个 自由度 大于 这个 我 训练 数据 的 这个 条目 数对 吧 要不然 很 有 可能 就是 它 有 一个 过 拟核 的 问题 所谓 过 拟核 就是说 它用 一个 非常复杂 的 模型 解释 一个 可能 比较简单 的 现象 你 理想 情况 下 是 想 用 一个 恰当 好处 的 模型 解释 这个 对应 的 这个 现象 不然的话 就 比如说 像 奥卡姆 剪刀 一样 你 过度 解读 了 之后 再 看到 一个 新 的 事情 他 可能 就 没有 办法 去 解读 对 吧 就是 叫

孙晨 的 就是 男 的 这个 叫 Wendy 的 就是 女 的 如果 出 了 一个 新 的 人 不 叫 孙晨 也 不 叫 Wendy 那 就 不 知道 是 男 是 女 了

是 吧 然后 那 大家 就 发现 其实 深度 学习 里面 这个 直觉 就 完全 被 颠覆 了 嘛 他 的 这个 模型 参数 非常 非常 多 但是 大家 发现 他 学到 的 模型 通常 情况 下 他 的 可 泛化 能力 泛化 能力 是 挺不错 的 然后 大家 就 围绕 这个 现象 去 做 了 一些 比如说 实验 然后 就 发现 了 一些 挺 有意思 的 一些 结果 对

就 我 记得 之前 不是 一直 在 那边 吐槽 吗, 说 搞 那些 深度 学 就 像是 炼丹 一样, 就是 不 把 乱七八糟 的 全部 扔 进去, 我 也 不 知道 怎么 work, 最后 丹

就 出来 了。 是 有 这个 现象, 对, 您 说 的 这 可能 就是说 这些 模型 的 可 解释性 都 比较 差, 因为 所有权 重都 是 学到 的 嘛。 朱松淳 老师 在 加州大学洛杉矶分校 嘛, 然后 他 是 计算机 视觉 领域 的 一个 大佬, 超级 大佬, 然后 他 当时 画 了 一幅 画 就是说 这个 我们 这个 研究员 或者 炼丹 师进 了 中药铺 了, 然后 去 抓药, 抓药 然后 里面 每个 小 抽屉 里面 画 着 各种各样 的 名字, 那 在 深度 学习 来 之前 可能 是 各种各样 的 特征 在 深度 学习 来 了 之后 可能 是 各种各样 的 模型 的 设计 然后 我 就是 拿 出来 了 以后 然后 我 都 往 这个 机器 学习 或者说 炼丹 炉 里面 一搁 我 也 不管 它 为什么 会 有效 我 也 不管 它 为什么 没有 效果 我 只是 就 反复 的 去 试 碰巧在 这个 数据 上面 有效 了 那 我 就 收工 了, 但是 我 不会 去 想 这个 东西 是不是 通常 有效, 为什么 它 真的

有效。 那 这个 不 就是 所谓 经常 做 这种 算法 工程师, 这个 调参 工程师 经常 吐槽 的 关系 的 事情 吗? 他们 的 工作 就是 这样 吗? 对, 这样

我 想 起来 就是 因为 我 也 是 UCLA 的 嘛, 就是 我 那 时候 还 听 过 朱松成 教授 的 一个 讲座, 当然 那个 时候 是 深度 学习 还 没有 提出 来 的 时候, 应该 是 算 五金 算了 可能 你 有 那么 早 吗 八九年 前 吧 那 时候 深度 学习 还 没有 那么 流行 吧 至少 然后 我 就 记得 他们 那 时候 搞 图像识别 就是 用 比较 传统 的 方法 我 记得 那个 讲座 就是 关于 他 就是 利用 先 识别 这个 人 在 做 什么 动作 比如说 他 拿 起 了 一个 东西 那么 再 去 识别 他 拿 起 的 东西 是 什么 因为 你 可以 把 他人 的 动作 作为 一个 签到 的 信息 这样的话 比如说 你 拿 起 一个 东西 那么 这个 东西 一定 是 被 拿 起 的 他 只 可能 是 苹果 啦 或者 是 杯子 啦 他 不 可能 是 什么 一个 房子 啦 一个 车子 啦 通过 这些 比较 逻辑 直觉 的 方法 去 去 这样 一个 判断 但是 可能 就是 比较 经典 的

这种 方法 对 这些 人 现在 都 失业 了 是 吧 大部分 都 转

方向 了 但是 我 知道 朱 老师 和 他 的 学生 们 依然 奋战 在 这条 路上 依然 奋战 在 这条 路上 啊 对 就是 你 看 他 十年 前 的 文章 跟 现在 的 文章 它 的 味道 是 非常 像 的 只不过 可能 一些 工具 现代化 了 可能 他会用 一些 深度 学习 的 工具 但 他 这套 背后 的 哲学 其实 是 一以贯之 的 他 的 目标 是

要 把 这个 是 要 让 机器 真的 理解 出来 人能 理解 的 这些

事情 这个 其实 我 做 一个 我 最近 也 感兴趣 的 这个 研究课题 就是说 你 是 符号 主义 还是 真的 就是 各种 东西 所有 东西 都 去 学 就 比如说 深度 学习 他 做 的 一件 事情 是 什么 我 看 比如说 我学 数学 书 我 去 看到 一加 一 等于 二二加 二 等于 四 然后 我 做 的 事情 就是说 把 这些 东西 都 记住 把 这个 表 记住 就 像 小 同辈 九九乘法 表 一样 然后 我 到时候 又 遇到 了 这九乘 九 那 就是 80 亿, 但是 他 没有 惩罚 的 概念 就是 他 的 模型 里面 可能 没有 学到 一个 惩罚 的 概念 然后 没 学到 惩罚 概念 的 问题 就是说 所有 你 没有 看到 的 这些 表 你 就 没有 办法

算 出来 X 数类 旁通 不会 对,

然后 这个 朱 老师 想 做 的 事情 就是说 他 认为 这 世界 就是 用 与 或 图 表征 的 就是 各种 逻辑运算 表征 的 那 他 用 了 逻辑运算 表征 以后 呢, 比如说 那 我 可以 用 这套 工具 去 表示 乘法 或者 加法, 然后 我 给 我 若干个 数据 点, 我 就 把 自己 这个 小 天才 就 把 这套 规则 弄 的 门 清 了, 那 他 之后 再有 9 乘 9, 因为 我 知道 怎么 做 乘法。 然后 我 就 可以 把 这个 东西 非常 轻易 地算 出来 然后 现在 计算机 视觉 可能 还是 在 属于 这种 死机 硬 背 的 阶段 但是 因为 工业界 它 有 太多太多 的 这些 图像 或者 数据 所以 它 可能 把 这些 各种各样 遇到 的 偏门 情况 它 都 能 看一遍 就 相当于 搞 了 提海 战术 你 搞 天海 战术 以后 你 可能 能 做 得 非常 好 但 你 可能 不 知道 这 背后 到底 发生 了 什么

事情 说起 这个 让 我 联想起 了 我们 前面 一段 的 一期 节目 这个 AI 离 改变 世界 还有 多远 为什么 AI 还有 这么 笨 可能 和 这个 有 关系 为什么 不 可以 举一反三 那 这个 领域 叫 什么 呢 就是说 这个 朱 老师 这个 领域 叫 什么 这个

都 可以 算 在 大 的 人工智能 下面 只不过 可能 它 的 派别 不太

一样 它 是 叫 什么 符号 主义

派 的 是 吧 對 就是 我們

做 邏輯 推演 他們 現在 已 經成 了 小眾 也 可能 再 堅持 二三十年 就 成 了 大眾 了 那 他 的 另外 一幅 畫是 什麼 呢 他

另外 一幅 画 就是 猴子 捞月 嘛 这 跟 他 对 这套 他 的 研究 哲学 是 非常 息息相关 的 就是 他 认为 你 可能 错误 的 有 这个 幻觉 比如 我们 做 深度 学习 的 人 可能 有 这个 幻觉 觉得 这条 路 走 到 黑 我们 就 捞 到 月亮 然后 那 实际上 发生 的 事情 可能 是 我们 就 掉 水里 了 然后 这个 月亮 永远 也

捞 不 出来 就是 說 我們 離 這個 方向 是 不 可能 讓 機器 真正 有人 類一樣 的 智能 的, 只不過 是 死 機硬 背到 一個 裝到 一定 程度 是 吧? 對, 我覺 得 剛才

那個 例子 就 舉得 很 好, 就 相當 於 是 相當 於 你 學習 考試, 一種 是 死 機硬 背, 但是 死機 硬 背 做 很多 題目 是 不 可能 培養 出 一個

大 的 數學家 的。 但 有 一点 有意思 的 地方 是 说 就 死鸡 硬 背 这种 方式 解决 了 很多 问题 也 很 有趣 就是说 你 一个 人 提海 战术 我 就是 能够 考好试 就 能 解决 我们 面前 面对 的 问题 只是 说 一个 长远 longterm 来说 可能 可能 的 这个 天花板 比较 低

一点 我 其实 因为 前面 在 集 里面 说 过 嘛, 我 觉得 这个 很 惊讶 的 一个 问题, 就是说 小孩 嘛, 看 我家 娃, 你 看 她 学到 东西 不 需要 这么 大 的 数据量, 对 吧? 她 看过 两三张 猫 的 照片, 她 就 知道 她 是 猫 了, 并且 她 可能 没有 看过 狗 的 照片, 你 跟 她 说一说 狗 是 什么样 的, 现在 还 不行 了, 大 一点 的 人, 她 就 能 看到 狗 他 就 知道 狗 是 这样 的 我 虽然 没有 见过 但是 我 听说 过狗 和 猫 有 这样 的 区别 有 几条 腿 但是 什么 什么样 我 就 知道 它 是 狗 了 我 觉得 很 神奇 人脑 的 天花板 高 AI 还

不行 当然 另外 一个 解释 有 可能 是 人脑 经历 了 它 这个 年 小朋友 老祖宗 几十年 几十万年 上万 上 百万年

的 这个 进化 写 在 基因 里 了 是 吧 已经 进化 到 基因 里 了

然后 另外 一方面 我 还 在 想 就是说 计算机 和 人 不同 的 一点 是 在于 人 是 慢慢 的 会 buildup 一些 很多 常识 就是 你 不会 说 是 小孩子 说 我 现在 什么 都 不 知道 我 现在 丛林 开始 说 我 要 开始 认猫 他 会 说 我 现在 长 这么 大 了 也 就 至少 两三年 有 了 吧 那么 大概 我 知道 动物

是 个 什么 东西 是 他 的 动物 有 个头 有个 手有 个 身子 然后 你 看到 手是 这 样子 的 头 是 这 样子 的 对 您

说 的 这个 特别 好, 就是说 现在 比如说 有 一个 叫 强化 学习, reinforcementlearning, 就是 特别 火嘛, 然后 可以 玩 各种各样 的 小游戏, 然后 你 人 不 需要 教他 怎么 打, 他 自动 看 这些 比分 啊, 看 屏幕 啊, 他 就 能 figureout 怎么样 去 赢 这个 比赛, 但 这个 其实 至少 我 几年 前 的 理解 是 它 局限性 是 非常 强 的, 就是说 你 让 他 玩 这个 小戏, 然后 再 给 他 一个 非常 类似 的 小戏, 他 又 得 从头开始 学, 就是 他 没有 办法 把 这个 之前 的 经验 去 迁移 到 一个 新 的 环境 里面, 这 其实 是 一个 挺大 的 问题。 在 想

的 是 圖像識 別裡面 有 沒 有 這種 好 的 算法 能夠 慢慢 地積 累 對 於 事物 的 認識 呢 就 可能 今天 我識 別貓 但是 這個 東西 我 以 後 慢慢 地開始 也 識別 狗然 後 慢慢 開始識別 萬物然 後 慢慢 又 可以 去 做 更 複 雜的 東西 它 就 慢慢 形成 了 自己

的 常識 有 这方面 的 算法 然后 其中 一个 个人 觉得 没有 特别 有效 的 就是 跟 这些 更 简单 的 算法 就 直接 把 所有 东西 都 喂给 他 去 学 但是 有 一个 算法 叫 就是 课程 学习 就是 像 学生 学 课文 一样 先 把 最 简单 容易 学 的 给 他学 然后 再 给 他 越来越 难 的 东西 然后 这样的话 有 可能 学 的 会 更好 这个 想法 非常 非常 有趣 但是 我 觉得 实际 应用 中 好像 没有

那么 有效 的 感觉 现实 比较 骨感

感觉 现在 这种 计算机 人工智能 的 科学家 感觉 自己 都 是 教育家 你 知道

戴娃 也 是 这样 的 她 怎么 就 不会 呢 她 怎么 就 不会 呢 她 就 看 了 这么 多次 我 怎么 她 就 不会 呢 我们 说 了 这么 多 的 技术 这么 多 的 AI 的 技术 的 局限性 这个 发展 的 方向 那 未来 的 就是说 我们 现在 遇到 最大 的 挑战 是 什么 呢 然后 有 什么 未来 的 发展 方向 呢 挑战 的话 可能

就是 现在 我们 这些 工具 对于 一些 问题 非常 有效, 就 刚才 说 的 我们 各种各样 的 应用 已经 做到 产品 里面 了, 很 有效, 但是 它 有 它 的 局限性, 就 比如说 刚才 说 的 这个 分化 能力, 然后 迁移 学习 能力, 这些 东西 好像 都 还 没有 那么 好, 然后 另外 一个 就是 结构化 信息, 就 刚刚 比如说 1x1, 2x2 这个 乘法表 是 可能 是 一个 比较 抽象 的 例子, 那 我 自己 也 是 做 视频 处理 的 视频 处理 里面 就是 想 去 描述 人 在 做 什么 事情 嘛 在 这个 视频 里面 那 现在 的 做法 就是说 我 每 我 去 穷举 我 每 一个 动作 我 每 一个 跟 物体 的 一个 交互 我 都 希望 给 他 打 一个 标 那 这样的话 他 就 有 个 问题 就是 这个 标是 打 不 完 的 对 吧 你 理想 情况 下 是 说 我 知道 人 的 姿势 是 什么样 然后 我 知道 这个 物体 可能 是 什么 然后 我 通过 一个 组合 这个 组合 不再 是 成法 了 而是 一个 比如 可能 是 一个 模块 然后 这个 模块 可以 根据 这些 基本 信息 去 生成 这个 人 的 行为 对 吧 比如说 我 在 参加 Skype 的 会议 然后 我 可能 现在 在 说话 我手 无足道 类似 这样 更

抽象 的 没有 非常 明确 边界 的

一些 更 抽象 然后 更 有 结构化 就是说 把 这些 简单 的 东西 比如说 猫 啊 狗 啊 人 啊 组合成 一个 一个 故事 就是说 比如说 你 现在 人 看 图像 的 时候 我 不会 只 看到 这 里面 有个 猫 那块 有 一个 人 对 吧 我会 知道 这个 人 可能 想 逗 猫 或者 猫 可能 有点 害怕 类似 这些 这些 东西 是 你 没有 办法 通过 现在 的 这套 工具 就是 给 我 训练 数据 然后 给 他 打 上 标签 然后 我 去 训练 一个 分类器 来

做到 这个 领域 还是 比较 初级 对,

然后 很 有 可能 就是说 现有 的 工具 有 它 的 局限性 所以 大家 很多 都 在 看 怎么样 跳出 这个 圈子 怎么样 找到 新 的 有效 的

工具 所以 如果 这个 能 做到 的话 就是说 我们 看 一个 视频 我们 不看 AI 就 能 给 我们 讲 出来 里面 有 什么 什么 人干 了 什么

什么 对 啊, 就是 比如说 我们 去年 做 的 一个 我 很 喜欢 的 工作, 就是 看 各种 YouTube 上面 的 做饭 的 视频, 就是 然后, 美其名曰 在

为 科学 献身 是 吗? 对, 然后

这个 电脑 你 不 需要 教它 这个 东西 是 切 西红柿 那个 是 打 鸡蛋 他 只是 去 听 这个 美食 博主 介绍 他 在 做 什么 自动 就 把 这个 里面 的 信息提取 出来 了 这 就 很 有意思 嘛 然后 对 这个 我 觉得 挺挺 有意思 的 一件 事情 这 让 我 想 起来

有些 影片 他 就 会 有 那种 专门 给 毛人 的 版本 他会 跟 你 说 一架 飞机 从 远处 飞 了 过来 然后 镜头 深处 一个 男人 突然 掏出 了 一个 手机 什么 之类

的 对 我们 可以 电影 就 可以 自动 变成 一本 小说 啊 对 啊

然后 也 可以 变成 一个 说明书 嘛 不是 给 人 的 说明书 是 给

机器 的 说明书 哦 就是说 我们 要 做菜 机器人 看过 这个 视频 之后 然后 他 就 会 给 你 做 出来 是 吧 这个 最终目标 是 这样 的

是 吗 对 这 是 我 希望 退休 以前 能 见到 的 一个 东西 这样 我 退休 以后 就 可以 有人

给 你 做饭 了 是 吗 那

这 是 一个 方向 还有 什么 别的 挑战 或者 是 未来 的 愿景 吗

未来 的 愿景, 我 觉得 就是说, 有 很多很多, 我 说 一个 比较 有意思 的 吧, 就 比如说 怎么 去 用 机器 学习, 或者 用 人工智能 或者 视觉 去 帮助 艺术家 去 创作, 就 刚才 我 说 的 这个 电影 的 那个 特效 其实 也 算是 一个 工具 嘛, 就是 怎么样 把 它 做 得 更好。 然后 另外 一些 就是 之前 我们 玩 的 各种 app 包括 instagram 它 有 各种各样 的 滤镜 这 其实 或者说 你 给 他 之前 有个 很 火 的 就是 你 自己 拍张 照片 然后 跟 梵高 的 那个 相声 馆 或者说 星空 然后 做 一个 这 叫 类型 转移 对 吧 就是 好像 你 梵高 画 了 一个 你 自己 的 大头照 一样 这个 其实 有 很多很多 可以 继续 做 下去 的 东西 就是 帮助 创作 对 那 部分

我 看 其实 感觉 好像 那个 app 大家 已经 出来 大家 玩得 挺 开心 的 所以 这部分 技术 是不是 已经 成熟 了 呢 还是 说 它 还有 很多

不足 的 地方 它 其实 就是 一个 统计 性 您 去 看 它 的 那个 算法 其实 就 觉得 非常 神奇 它 能 变得 有效 对 它 其实 就是 一些 比较 低层 的 这些 统计 信息 的 这个 转移 然后 当然 它 也 非常 有效 您 说 是不是 已经 做 完 了 我 觉得 更 多 的 是 艺术 上 是 不断 在 创造 对 吧 它 跟 科学 一样 也 是 就 比如说 过去 一百年 这个 艺术史 就 非常 可能 非常 让 人 困惑 或者说 非常 有趣 我们 谁 都 不 知道 接下来 可能 会 发生 什么 那有 可能 发生 两件 事情 一个 是 艺术家 去 指导 设计 或者 我们 科技 计算机 马总去 设计 一些 新 的 工具 帮助 艺术家 去 实现 他 的 一些 之前 没有 的 一些 想法 对 吧 就 像 工业化 会 对 这个 艺术家 做 的 这个 影响 然后 另外 一些 可能 就是 艺术家 会 自己 有些 想法 然后 他 去 把 这些 想法 传达 给 我们 这些 做 技术 的 人 然后 帮 他 去 实现 他 的

这些 想法 这样 我 想到 了 这 是 两点 第一点 就是 现在 慢慢 的 工业界 好像 已经 在 开始 尝试 这部分 就是 如果 大家 看 动画片 的话 你 会 发觉 比如说 像 日本 动漫 很强 嘛 但 其实 它 已经 是 一个 非常 工业化 的 过程 了 就是 他们 会 有 最 顶尖 的 艺术家 去 画 叫 关键帧 就是 因为 一个 动画 之所以 要动 起来 它 其实 比如说 一秒钟 之内 要放 24 张 不同 的 图片 然后 表示 一个 人 慢慢 的 移动 的 过程 但是 他们 工业化 了 之后 就 可能 让 最 大型 的 那些 艺术家 只画 一秒钟 只画 一张 图 然后 接下去 把 剩下 23 张图 外包 给 一些 比较 便宜 的 没有 那么 厉害 的 艺术家 让 他们 画 中间 过渡

的 过程 我 还 以为 是 包给

AI 现在 还是 包给 人 然后 取决于 那个 公司 的 经费 多少 比如说 经费不足 的话 那 可能 大家 随便 画一画 所以 那 时候 就 有 一个 比较 搞笑 的 一个 梗 叫做 暂停 有 惊喜 就是 你 暂停 的 时候 说不定 是 暂停 在 那 二十 三分之一 的 那 一帧 就 大家 发觉 其实 画得 乱七八糟

的 我 还 以为 暂停 这个 发现 是 大师 的 那 一帧 非常 的

棒 现在 好像 已经 开始 有 一些 自动化 了 就是 会 看 第一 帧 前 一秒钟 的 一帧 和 后面 一秒钟 的 一帧 然后 算 一个 可能 是 算个 delta 然后 来补 中间 的 一帧 所以 有 的 时候 你 会 觉得 很 神奇 就是 暂停 下来 那 一帧 看上去 完全 不 像是 一个 正常 智力 的 人会画 出来 的 东西 但是 以后 如果 有 AI 这个 技术 的话 我 觉得 AI 做 这件 事情 就 变得 非常 合适 这样的话 就是 艺术家 只要 大概 的 画 一下 我 的 故事 怎么样 然后 大概 我 的 分镜 怎么样 这样 AR 就 可以 把 中间 的 每 一帧 都 自己 补足 了 这样的话 我 还 在 想 另外 一件 事情 就是 其实 当然 我们 对 艺术 还是 比较 外行 但是 比如说 看到 艺术史 的 时候 他会 说 很多 厉害 的 艺术家 他 其实 就是 一个 想法 像 那个 莫奈 他 的 印象派 的话 很多 时候 就是 一个 想法 就是说 我 不用 画 那么 惊喜 更 多 的 注重 表现 光影 然后 细节 我 就 不用 画得 非常 其实 我 觉得 这种 AI 就 可以 帮助 他们 比如说 我 有 这样 一个 想法 那 我 可以 简单 地 告诉 AI 让 AI 画 一幅 草图 出来 我 看 一下 这样的话 就 可以 很快 地去 迭代 一些 不同 的 艺术 的

灵感 和 想法 我 想 分享 一个 之前 看 了 一个 挺 有意思 的 文章 是 Adobe 就是 做 Photoshop 那个 公司 它 的 一个 非常 大佬 的 科学家 做 了 很多 很 好 的 这些 计算机 图形学 的 工作 然后 他 是 发表 了 一个 观点 因为 最近 有 很多 就是 用 计算机 生成 图片 做 一些 风格 的 变换, 然后 这些 算不算 艺术, 然后 他 的 论点 就是说 这 不算 艺术, 因为 艺术 其实, 比如说 之前 有 一个 后现代 艺术 就是 一个 马桶, 对 吧, 然后 叫 Fountain, 叫 喷泉, 其实 这个 更 多 的 是 艺术家 自己 的 一个 表达, 表达 一个 方式。 就是 說 他 可能 不是 說 那個 馬 桶 本身 是 一個 藝術, 而是 說 他 想 通過 那個 馬 桶 傳達 的 思想 是 藝術。 然後他 還說 了 一個 觀點, 我個 人覺 得 挺 有意思, 就是 說 藝術 實際 上 是 一個 溝通 的, 人 與 人 之間 溝通 的 一個 渠道, 一個 媒介。 就是说 如果 脱离 了 人 的话 那 其实 艺术 可能 也 就 不复存在 了 所以 我 觉得 这个 东西 是 挺 有意思 的

说 的 是 AI 是 最终 不太会 能够 做出 艺术 来 的 因为 它 不能 和 人 交流 是 吧 但是

我 觉得 就是 AI 的话 它 可能 不是 那个 艺术家 但 它 可以 成为 艺术家 手中 的 那 只 笔 以前 我 藝術家 我 可能 才 是 要 一筆 一畫 的 畫出 來 但現 在 我 可能 我 有 個 想法 那麼 我 就 告訴 這個 AI 讓 AI 去 通過 一些 更高級 的 方法 以 我 想要 表達 的 方法 表達 出來

我 看過 一篇 文章 說 古代 藝術 也 不是 那麼 古代 藝術 了 就是 幾 十年 前 的 藝術 他 做出 了 七八十年 前 的 藝術 再 往前 的 藝術 就是 說 他們 的 特點 是 說 你 不可 複 製 性 比如 說 達 芬奇 畫了 一個 人 你畫 不了 那麼 好 你 畫出 來 的 就是 不如 達 芬奇 的 那個 就是 說 你 沒 有 技術 能力 畫到 達 芬奇 那麼 好 但是 在 这 几十年 艺术 就 不 一样 了 就是说 你 可以 复制出 他 画 的 那个 质量 就是说 这个 画 啊 甚至 你 是 可以 画 和 他 一样 好 的 只不过 他 是 一个 想法 一个 idea 这个 东西 你 要是 画成 他 那样 你 就是 抄袭 我 觉得

您 说 的 这 就 像 比如 高斯 证明 了 一个 定理 然后 后面 的 人 把 这个 高斯 的 证明 重新 抄 了 一遍

前两天 在 社交 媒体 上 有 一个 比较 著名 的, 这个 跟 艺术 关系不大 了, 这个 著名 就是 把 一个 过去 的 黑白 电影, 中国 老 的 黑白 电影, 但是 190 几年 的 一个 黑白 电影, 把 它 染色, 然后 把 它 补 帧, 然后 变成 高清 是 吧, 在 社交 媒体 上 转发 的 这个 比较 多, 这个 技术 有 多难 呢? 这个 技术 我

感觉 还 挺 成熟 的 了, 特别 是 过去 几年, 它 进展 很 迅速。 其实 就是说 你 看 了 很多 彩色电影, 就是 你 彩色电影 很 容易 把 它 变成 黑白 的, 对 吧? 因为 就是 是 一个 deterministic 的 过程, 对 吧? 然后 你 就是 让 计算机 的 这些 深度 学习 算法 看 了 很多 这个 怎么样 从 黑白 变成 彩色 的, 然后 他 可能 这个 模型 内部 他 学到 了 一些 信息, 比如说 色彩, 比如说 这 同一个 物体 它 色彩 应该 均匀分布, 比如说 天 应该 是 蓝 的, 然后 树 应该 是 绿 的 这些 信息, 然后 他 就 把 这些 知识 迁移 到 这些 比如 老电影 上面 或者 老照片 上面, 然后 给 它 上色。 如果

有 老电影 它 是 有 颜色 的 或者 有人 上 过色 它 可以 学得 比较 好 那 如果 没有 人上 过色 那 可能 也 还是 有 困难 的话 他 不 知道 这个 马冠 是 什么 颜色 的 那 可能 他 也 就 上 不 出来 您 说

这个 特别 好, 就是说 这个 东西 在 计算机 机器 学习 里面 就是 叫 多 模态, 就是说 这个 东西 马挂 可能 是 灰 的, 可能 是 蓝 的, 可能 是 黑 的, 比如说 人 开车 有 可能 左拐 直 走 右 拐, 对 吧? 那 怎么样 让 这个 模型 从, 因为 我们 训练 机器 学习 模型 通常 是 一对一 的, 怎么样 能 通过 一个 过去 的 观察 变得 生成 多个 可能性, 这 其实 是 一个 挺 非常 有意思, 很多 人 在 研究 这个,

然后 这 也 是 一个 新 领域 啊, 如何 呀, 这个 多 的 可能性, 选择 一个 更 合适 的, 对, 就

比如说 可能 假设 我 看过 这个 马瓜 是 黑色, 可能 是 白色 的, 是 两种 颜色, 用 传统 的 机器 学习 算法, 可能 就学 出 一个 灰色, 因为 这样的话, 离白 和 黑 的 距离 都 最小, 取 了 一个 中间 值, 哦,

这 也 很 有意思, 对, 未来 的 方向 比较 有意思 的 话题 吗 有 什么 的 方向 吗 我 觉得 刚才

想 了 一个 就 比如说 deepfix 就是 这个 现在 其实 很火 呀 就是 用 机器 学习 算法 造假 视频 哦 这个

好像 非常 火 啊 就 好多 视频 都 是 那 什么 的 啊 对 啊 对 这个 现在 成熟 了 吗

这个 这个 还 挺 多 能 一家 乱战 的 我 感觉 至少 我 看

了 一些 但是 好像 是 什么 各个 公司 都 有 能够 识别 是 AI 选出 来 的 技术 贵 公司 应该

特别 关心 这个 问题 吧, 脸书。 嗯,

对 是 是, 这个 YouTube 也 是 不 允许 嘛, 对 吧, 必须 要 识别 说 脸书, 这个 是 改过 的, 也 是 一个 积极 学习 问题。 就是 他们 就 在

说 嘛, 就 说 当所见 并 不是 为实 的 时候, 很多 这个 社会 运行 的 那些 东西 都 要 崩塌 了。 大家 就 特别 比如说 担心 说 政治 人物 就 会 很 容易 就 被 操纵 民意 就 很 容易 被 利用 大家

都 生活 在 楚门 的 世界 里 所 见 都 是 假 的 好

要不然 我们 就 最后 一个 问题 是 我们 一般 都 会 问 的 问题 啊 就是说 如果 要是 现在 要 成为 一个 计算机 视觉 的 专家 应该 做 哪些方面 的 准备 呢 我 觉得 可以

先 了解 一下 这个 领域 接下来 五年 会 发展 成 什么样 就是 看一看 它 可能 的 应用 然后 需求量 有 多 大 因为 感觉 其实 这个 现在 从业人员 还是 挺 多 的 然后 市场 可能 就是 就业 市场 可能 稍微 有点 饱和

吧 我 这 劝退 的 感觉 吗 这 是 不要 了 是 吧 那 如果 要是 谁 要 想 做 那 应该 必须 要 赌博 嘛 如果 你

有 一个 困扰 你 的 问题 就 比如说 我 想 把 这个 机器人 帮 我 做饭 这件 事情 解决 了 那 我 建议 你 赌博 因为 你 坚持

下来 的 动力 是 这个 吗 慢慢

的 事 了 对 一 开始 只是 博士 想 毕业 嘛 Windy 最近 朋友圈

有 好多好多 做菜 的 如果 有人 让 机器人 做菜 的 事情 也 可能 就

见证 了 对 对 对 指望 孙博士 把 它 做 出来 了 那 这个

还是 需要 读过 对 吧 对 然后

但是 也 有 很多 人 就是 做 一些 可能 比如说 刚刚 说 的 炼丹 炼丹 其实 也 需要 很多 很强 的 工程 能力 然后 有 一些 非常 要 写 什么 Python 吗 可以 用 Python 啊 但是 你 如果 要 想 把 它 部署 在 其他 的 设备 上面 可能 会花 的 精力 会 更 多

对 吧 也 还是 需要 有 一些 比较 基础 的 工程 能力 的 如果 是 要是 一个 本科生 啊 或者说 是 一个 想要 申请 这方面 博士 那 他 应该 在 哪些方面 做 准备 呢 现在

的话 感觉 听 上去 竞争 比较 激烈 那 可能 要 找 一些 国内 的 实验室 或者说 工业界 的 实验室 比如说 字节 跳动 啊 或者说 类似 于 这些 不是 给 他们 打广告 哈 然后 去 或者 微软 亚洲 研究院 去 做些 实习 然后 去 发发 论文 这 可能 是 我们

我们 问 这个 问题 最最 悲观 的 一个 回答 了 感觉 对 多数 人

都 没信 了 所以 微软 亚远院 现在 还是 这个 领域 国内 算是 最 顶尖

的 研究院 吗 他们 这个 方向 好像 人 走 得 差不多 了 走 到哪去 了 走 到 比如 京东 字节 跳动 阿里 就 各种 后起之秀 吧 所以 现在

国内 是 这方面 处在 一个 什么 水平

上 水平 很难 讲 就 看 你 说 什么 水平 说 工程 水平 那 都 非常 讲 然后 研究 水平 那 大家 发 论文 其实 都 挺 多

的 那 就 国内 还是 属于 是 一个 顶尖 水平 了 我 也 有

很多 朋友 在 国内 做 这些 事情, 包括 当 教授 什么 的 现在 国内

也 是 属于 在 AI 军备竞赛 中 也 没有 落下 我 觉得 还 说不定

在 某些 领域 领先 的 对 对

我 觉得 应用 还是 挺 厉害 的

对 呀, 有 数据 对 吧 对,

各种各样 APP, 各种 好用 的 东西 多

很多 感谢 我们 的 孙晨 博士 我们 第三位 节目 中 的 孙博士 来 跟 我们 讲 了 讲 视觉 有 什么 应用 跟 我们 讲 了 讲 视觉 发展 的 历史 为什么 深度 学习 有用 或者 为什么 不 知道 深度 学习 有用 以及 扯 了 一些 比较 哲学 的 问题 最后 我们 讲 了 讲 比较 悲观 的 我们 要 从业人员 要 劝退 的 这些 事情 好 那 我们 就 感谢 大家 收听 我们 的 牛油果 烤面包 节目 喜欢 我们 的 节目 去 各大泛 用型 播客 应用 中 订阅 和 收听 也 可以 在 喜马拉雅 中 订阅 和 收听 好 我们 后会有期 下期 再见 拜拜 謝謝觀 看