#128. 计算机视觉遇上大语言模型

整整 四年 以前, 计算机 视觉 领域 的 专家 孙晨 来到 我们 的 节目 和 我们 介绍 了 计算机 视觉 领域 现在 我们 有幸 再次 请 到 了 孙晨 和 我们 说一说 过去 四年 这个 领域 的 发展 和 我们 想象 的 一样 大圆 模型 给 计算机 视觉 带来 了 很大 的 冲击 但 冲击 的 方式 和 我 想象 的 并 不 一样 四年 前孫晨 說 出 了 一個 他 的 理想 現在 他 會 告訴 我們 這個 理想 實現 了 沒 有 它

是 一個 很 有用 的 工具 但是 你 把 它當 做人 腦一樣 研究 的 話 好像 有 可能 有南轅 北轍 的

風險 AGM 這個 事 有 希望 嗎

這是 一個 信仰 吧 就是 你 是否 相信 你 只能 相信 你 不斷 地 做 一件 事情 就 像 你 拜 耶穌 一樣 你 去 不斷 地 去 拜 祂 那 就 可能 你 就 有 福報 了

大家 好, 我 是 斯托 艾特 這次 我們 又 請 到 了 我們 之前 來過 的 嘉賓 孫晨現 在 已 經是孫 教授 了 上次 孫 教授 來 我們 節目還 不是 教授 還給 我們 介紹 了 一下 計算 機視覺 講得 非常 的 好 我們 都 學到 了 很多 東西現 在孫 教授 已經 是孫 教授 了 他現 在 在 騰校 做 教授 對 吧 在 騰校 做 教授 孫 教授 感覺 在 騰校 做 教授 和 在 大 企業 做 研究 有什麼 區別

嗎 感覺 在 學校 做 科研 和 在 公司 做 科研 還是 很 不 一樣 的 就是 在 學校 的 話 更 多 的 是 以 培养 学生 为 目的 就是说 你 会 发现 学生 一 开始 的 时候 他 可能 很多 东西 他 还 不 太 了解 然后 需要 就是 有 很大 的 耐心 去 去 把 你 的 想法 分享 给 他们 然后 去 给 他们 不断 的 这个 反馈 然后 这样的话 你 做 科研 的 节奏 然后 选题 可能 就 跟 你 在 公司 不 一样 了 对 然后 一 开始 的 时候 我 还是 想着 去 去 让 学生 在 公司 实习 啊 比如说 在 Google 实习 啊 但是 还是 感觉 就是 其实 并 不是 特别 理想 的 一个 状态 吧 就是 毕竟 在 学校 和 在 公司 侧重点

还是 不太 一样 做 项目 要是 要 困难 一些 因为 要 先交 才能 上 手 才能 做出 东西 来 对 对

但是 成就感 还是 很 有 的 因为

你 就是 交出 一人 是 吧 逃离

满天下 而且 是 一個 非常 純粹 的 一個關 係 對 吧 就是 沒有 任何 公司 的 這些 career 相關 的 東西

那麼 在 研究 方面 呢 比如 說 在 大 公司 做現 在 的 這個 機器 學習 研究 或者 是 世界 研究 和 在 這個 大學裡面 做 的 角度 啊 什麼 有 沒 有 什麼 不

一樣 這是 一個 非常 好 的 一個 問題 就是 我 記得 我們 上次 聊 的 時候 您 還說 這個 老 北京 一百年 前有 一個 老電影 然後上 顏色 這樣 對 吧 然後說 為 什麼 能用 機器 視覺 或者 用 生成式 模型 給這個 老電影

上色 上色 還沒有 生成式 模型 啊 那个

也 可以 你 认为 是 一个 生成式 模型 吧 就是 视频 进 视频 出 对 吧 然后 这 过去 三年 这方面 的 进展 非常 非常 的 迅猛 对 吧 你 现在 都 不 需要 这个 给 他 一个 视频 你 别说 老 北京 190 年 街头 的 一个 视频 让 他 自己 给 你 生成 出来 一个 这样 类似 一个 东西 是不是 对 发展 这么 大 啊 对 然后 这样的话 呃 带来 的 影响 就 首先 作为 一个 旁观者 不管 你 比如说 这个 OpenAI 的 SORA 我 不 在 OpenAI 对 吧 或者说 我 在 我 甚至 都 不 在 工业界 我 主要 重心 在 学校 那 这样的话 就 会 被 震撼 到 因为 第一 反而 是 不 知道 他 怎么 能 做到 的 跟 我 认知 的 跟 我 从 paper 上面 读到 的 那种 是 存在 一个 代差 的 对 吧 然后 第二个 就是说 比如说 很多 人 说 这个 东西 你 就是 给 他 足够 多 的 数据 然后 你 有 多 足够 多 的 算力 當然 有 很 好 的 engineer 你 就 能 有 這樣 的 好 的 一個 結果 那 這樣 的 話 其實 對 學生 來講 包括 對 老師 來講 就是 一個 非常 depressing 的 一個 過程 對 吧 因為 我們 既 沒 有 好 的 engineer 我們 有 好 的 工程 師 啊 對 因為 學生 還在

學習 過程 之中 做 研究 的 嘛 是 吧 也 不是 寫代碼 的 啊

對然 後 也 沒 有 這個 計算 計算 的 器材 對 吧 我們 可能

就 對 啊 GPU 那麼 貴 嗎 都 被 meta 屯 了 啊 對

所以 所以 就會 懷疑 是不是 做 的 東西 是 有意 義的 就是 有 這麼 一個 失落 的 幻滅 的 這麼 一個 階段然 後 你 再 去 看 去 接受 這個 事實 了 以 後 你 就 會 去 想 有 沒 有 自己 學校 所 做 的 一些 可以 做 的 事情 對 吧 然後我們 找到 的 這個 角度 當然 我們 肯定 不是 獨創 的 還有 很多很多 的 其他 的 researcher 在 做類 似的 事情 就 比如 說 看 SORA 他 生成 的 这个 视频 他 很多 时候 有 hallucinationSORA 就是

OpenAI 就是 放 了 很多 的 这个 生成 的 视频 但是 还 没有 出 产品 的 那个 东西 啊 很多 人 都 震撼 啊 对 你们 研究 了 一下 他们 视频 啊 对 然后 就

比如说 你 会 看到 这个 一个 蚂蚁 是 应该 是 六只 脚 对 吧 然后 他 生成 的 是 四只 脚 或者说 然后 他 在 这个 呃 人 在 做 一些 活动 的 时候 然后 时不时 就 多出 一个 胳膊 或者说 时不时 就 穿过 了 这个 墙 啊 或者 其他 的 物体 啊 就是说 就是 还是 不给力 就是 还是 他会 有 很多 有 缺陷 啊 错误 的 对 吧 然后 他 可能 缺少 一些 这个 commonsense 对

就 没有 什么 常识 啊 这个 我们

人一看 就 不会 怪 那 叫做 hallucination 是 吧 怎么 翻译 这个 词是 幻觉

吗 叫做 应该 是 幻觉 我 觉得 这 可以 算 吧 就是说 现实 中 不 存在 的 事情 然后 他 编造 出来 这 算是 幻觉 的 一种 吧

可以 算 那 這個 看到 了 它 的 這個 不足 之處 在 從 大學 研究者 的 角度 來 說 那 從 什麼 角度 來 為 這個 領域 做

貢獻 呢 這是 很 有意思 的 一件 事情 對 吧 就是 我們 學生 在 做 的 就是 說 怎麼樣 把 這個 物理 引擎 跟 這個 生成式 模型 接 在 一起 我們 是 相當 於 是 把 這個 生成式 模型 用來 生成 這個 这 怎么 说 呢 奖励 信号 在 这个 强化 学习 的 这个 学习 框架 里面 就是说 我 告诉 你 就是 我 物理 引擎 里面 有 一个 小人 对 吧 这个 小人 可以 你 控制 他 走 或者 跳 或者说 跑 类似 于 这样 的 但是 他 并不知道 怎么 做 这些 东西 我 想 让 他 做 的 事情 呢 就是说 我先 告诉 比如说 SORA 或者 其他 的 一些 开源 的 这个 商场 式 模型 让 他 生成 一个 小人 蹦 或者 小人 跳 或者 是 跑 然后 让 用 强化 学习 的 方式 去 模仿 让 这个 物理 世界 物理 引擎 里面 的 小人 去 模仿 生成 的 那个 视频 然后 他 的 奖励 信号 就是说 我 生成 的 这个 视频 用 这个 SORA 或者 用 其他 的 一些 神经网络 跟 我 这个 小人 用 这个 強化 學習 生成 的 策略 來 演出 來 的 這個 小 時候 的 動作 應該 是 近似 的 越 近似 他 的 這個 獎勵 就 越 高然 後 這樣 獎勵 越 高 呢 那 你 這個 策略 就 會 越 去 鼓勵 他 去 做 這樣 的 這個 模仿 的 這個 決策 我 不 知道 我 有 沒 有 說 清楚 然 後 這樣 的 話 你 可以 認為 就是 說 相當 於 是 我 把 這個 生成 的 一個 視頻 把 它 投影 到 一個 物理 引擎 裏 面 或 真實 世界 裏 面 如果 你 有 一個 機器 人 的 話 那 就是 一個 真實 世界 裏 面去 重現 這個 事情 你 重現 的 這個 過程 之中 呢 你 就 強迫 它 是 去 遵守 這個 物理 的 定義了 對 不 對 因為 你 這個 物理 引擎 就是 implementedhardcodedwithlawofphysics 那 如果 你 是 現實 世界 裏 面 的 這個 機器 人 那 更是 這樣 對 吧 那 也 就是 說 我 希望 去 把 這個 東西 演出 來 但 這演 的 過程 之中 我 必須 要 遵守 這些 物理 的 规律 那 这样的话 就是 一种 方式 让 这些 生成式 模型 能 去 吻合 现实 世界 里面 的 规律

对 吧 就是 孙 教授 现在 做 的 一个 项目 就是说 让 这个 生成式 模型 生成式 模型 就是 我们 现在 这个 大 模型 生成 的 生物 也 不 一定 是 大 模型 了 出来 的 东西 它 可能 有 一些 幻觉 有些 不 对 的 地方 孙 教授 用

一个 物理

就 比如说 像 这个 游戏 里面 那些 建 的 模型 一样 把 这些 生成式 模型 给 演 一遍 这 它 不 就 真 了 吗 因为 这些 演型 都 是 人 做 过 的 是 吧 是 量 过 的 去 测试 过 的 所以 它 就 会 变成 一个 两者 结合 我们 人 的 结晶 和 生成式 模型 的 创造力 不 叫 创造力 了 他们 完成 了 一部分 工作 然后 我们 再 验证 一部分 工作 结果 会 是 一个 更好 的

工作 對 司徒 解釋 得 非常 非常

好孫 教授 上次 最後說 這個 上次 節目裡 最後說 理想 啊孫 教授 理想 孫 教授 還記 得 嗎 理想 就是 在 YouTube 上面 拿下 一段 視頻 做菜 的 視 頻然 後 把 它 生成 做菜 譜 來 這個 理想 實現 了 嗎 這個

理想 實現 了 但是 不是 由 我 實現 的 大家 這個 同行 們 實現 了 對 吧 就是 現在 就 比如 說 我 平時 經常去 看 bilibili 然 後 bilibili 上 有 那個 AI 小 助手 就是 比如 說 一個視 頻然 後 你 去 add 那個 小 助手 他 就 自動給 你 生產 一個 簡介 對 吧 那現 在 做 的 已經 非常

非常 好 了 這就 可以 說明 這個 这个 叫 什么 AI 发展 最近 两三年 有 有 有 多 大 的 发展 是 吧 我们 这个 跟 苏 教授 还 不到 三年 前 吧 这 两年 多 两年 前 的 事情 苏 教授 还 认为 他 是 这 这 这 是 一个 理想 啊 认为 这是 一个 远大理想 啊 现在 就是 一个 随便 一个 公司 B 站 就 可以 把 它 做 出来 啊 就是 为什么 呢 这 两年 会 有 这么 大 的 发展 就 感觉 这个 整个 这个 节目 就 做 完 以后 就 已经 好像 已经 是 过时 了 一样 是 吗孫 教授 先入 了 思考 啊 大 教授 的

思考 啊 我 在 想 為 什麼 呢 我們 20 年 聊 的 時候

還沒有 拆 GPT 對 我們 第 39 期 6 月份 發 的 20 年 6 月份 發 的 所以 應該 可能 已經 那 就 已經 4 年前 錄 的 了 現在 已經 是 204 年

了 是 4 年前 我算錯 了 真的 我 時間 過得 好 快 已 經將 近 4 年前 了 所以 4 年前 孫 教授 認為 的 他 的 感覺 已經 很 遙遠 的 夢 想現 在 就是 已經 是 一個 非常 平凡 的

技術 我 觉得 是 这样 就是 一个 技术 一旦 走通 了 的话 他 就 大家 就 能 把 它 做 的 更好 对 吧 就是说 我 印象 之中 比如说 像 Meta 那个 时候 是 Facebook 就是 在 10 年代 的 时候 大概 就是 七八年 以前 他们 也 想 做 他们 的 Chatbot 然后 杨乐坤 以及 他 的 一些 Collaborators 也 宣传 了 很多 对 吧 然后 最后 并 没有 退货 就是 大家 其实 并不知道 这个 东西 如果 你 给 他 足够 多 的 数据 然后 足够 多 的 算力 以后 他 能 到底 能 做成 什么样 然后 这 其实 是 一个 非常 大 的 一个 投资 是 一个 非常 大 的 一个

赌博 对 吧 对 他们 他们 当年 还是 有 一个 产品 试用 但是 产品 试用 的 时候 后面 是 人 跟 他们 聊 就是 为了 这个 得到 数据 因为 没有 数据 嘛 怎么 跟 他 聊天 啊 后来 后来 这个 产品 也 没有 怎么样 对 吧 虽然 他们 花 了 很多 钱 让 人 跟 人 聊得 了 数据 也 没有 怎么样 对

这 其实 是 一个 非常 大 的 一个 读古 对 吧 就是说 我 把 东西 做到 极致 什么 做要 机制 呢? 就是 我要 有 工程 去 支持 这个 大规模 的 模型 和 训练, 然后 我 需要, 呃 有 足够 多 的 海量 的 高质量 的 数据, 并 不光 是 这个 你 在 互联网 上 直接 抓 的, 如果 你 在 互联网 上 直接 抓, 如果 不 小心 的话, 可能 就 鼓励 你 去 跳 金门大桥 了, 对 吧? 然后 你 需要 去 比如说 甚至 收集 什么 啊, 做 套数 题 的 这些 数据 或者说 我 听到 的 rumor 就是说 OpenAI 花 了 极 大量 的 budget 在 这个 收集 它 的 数据 上面 然后 这个 东西 就是说 你 必须 要 非常 相信 这个 东西 是 能 workout 然后 你 在 在 它 真正 workout 之前 你 所有 这些 东西 都 是 uncertain 对 吧 然后 你 一旦 workout 那 其他 的 这些 国内 的 大 模型 或者 甚至 其他 的 公司 那换 国味来 了 说 那 原来 可以 这样 那 我 可以 也许 把 这个 钱花 在 这个 场面 然后 这个 是 整个 大 模型 的 我 理解 的 一个 警喷式 的 一个 爆发 对 吧 所以

大 模型 我们 说 大 模型 就是 我们 叫 LargeLanguageModel 这个 国内 叫 大 模型 是 吧 就是 就是 OpenAI 的 那个 玩意儿 大 语言 模型 ChadGBT 背后 的 那个 玩意儿 是 吧 那个 玩意儿 就是 是 实际上 受 OpenAI 一手 推动 让 大家 知道 这件 事情 是 可以 做通 的 啊 这 立刻 就 开始 警喷 了 那大 模型 和 这个 菜谱

又 啥 关系 呢 对 然后 这是 非常 好 的 一个 呃 问题 啊 就是说 我 接下来 想 说 的 就是说 处理 很多 人类 的 生成 的 数据 就 比如说 这个 做菜 的 视频 王刚 做菜 或者说 jimmyoliver 做菜 然后 发现 其实 人类 的 语言 是 一个 非常 好 的 一个 中间 媒介 就是说 呃 计算机 视觉 里面 有 一个 模型 叫 socraticmodel 叫 苏格拉底 呃 模型 就是说 像 苏格拉底 跟 其他 的 人 问答 一样 的 去 解决问题 就是 我 只 需要 说 什么 我 只 需要 去 把 这个 视频 里面 啊 这个 做菜 的 人 他 去 怎么 描述 他 做菜 提取 出来 你 甚至 都 不 一定 需要 看 这些 pixel 你 甚至 都 不 需要 知道 他 真正 在 做 了 些 什么 你 只 把 这个 人 的 描述 人 的 语言 去 传给 这个 大 语言 模型 他 用 这个 大 语言 模型 做 一个 计算 的 中心 去 处理 他们 他 就 能 达到 一个 很 不错 的 一个 效果 对 吧 包括 现在 我 学生 在 玩 GPT4.0 就是 他们 刚出 的 模型 他 就 发现 好像 即使 现在 这个 GPT 它 也 是 这么 去 incorporatevisualinformation 它 是 先 把 这个 一个 imagequery 好像 是 先 把 一个 languagequery 变成 一个 prompt 然后 再用 这个 languageprompt 去 生成 一个 图片 就是 在 你 让 他 画 一幅 画 的 时候 然后 他 就 发现 了 一个 什么样 的 failuremode 他 让 他 画 一个 什么 东西 我 忘记 了 比如说 画 一个 好吃 的 In N Out 的 Burger 然后 这个 时候 API 出错 了 然后 那个 API 可能 返回 了 一个 40 或者 返回 了 一个 queryerror 出 故障 了 对 然后 生成 的 这个 图片 不是 说 一个 错误 的 汉堡 或者说 不是 一个 空 的 图片 而是 一个 说 40 但是 这 40 不是 说 是 提前 存好 的 而是 说 它 用 生成式 模型 生成 出来 的 这 就 imply 什么 说明 这个 它 是 一个 pipeline 的 一个 架构 对 吧 就是 流水

線 嘛 就是 流水 線 做 完 一步 再 做 另 一步 再 做 一步 另 一步 一步 一步 來 就是

做 流水 線然 後 這個 流水 線 之中 呢 它 可以 用 這個 人類 的 自然 語言去 做 一個 交互 的 一個 input 輸入 和 輸出 對 吧

第一步 第二步 第三步 每步 中間 它 是 一個 人類 的 語言 自然 語言 在

交互 然 後 這樣 的 話 呢 那 你 中間 有 一個 錯 了 那 在 自然 後 面 的 也 都 錯 了 但是 與 此 同時 呢 如果 如果 用 这样 的 一个 流水线 架构 呢 它 可以 把 很多 非常 强有力 的 模型 给 粘 在 一起 给 串 在 一起 对 吧 然后 做 一些 原本 可能 一个 模型 做不了 的 一件 事情 对 吧 然后 这个 生成 视频 生成 菜谱 就是 这样

我们 说 生成 菜谱 就是 它 先 把 里面 的 语音 提取 出来 然後語 音變成 文字 啊 這 就是 一個 這 ChatGP 非常 擅長 的 工作 了 那 文字 之 後 呢 那 怎麼 怎麼 又 回來 使用 那些 視頻 信息 那些

他 不 一定 需要 使用 視頻 信息 啊 你 就是 說 我 在 什麼 時候 說 了 什麼樣 的 話然 後 就 傳給 大語 言 模型 然後讓 他 生成 一個 總 結然 後 他 可能 就 已 經能 把 這件 事情 做

得 不錯 了 那 他 就 不用 看 吗 他 有时候 就是说 就 没有 啊 我加 了 什么 东西 只有 视频

上 有 载班 呢 嗯 那 就是 你 可以 用 一个 计算机 视觉 来 帮助 这个 过程 是 吧 然后 那 现在 基本上 我 学生 发现 就是说 你 只要 把 这个 视频 里面 随机 抽 一些 关键帧 然后 用 一个 生成 图片 描述 的 一个 模型 去 描述 它 里面 这 张图 里面 发生 了 什么 然后 你 把 这个 几个 关键 针 的 描述 拴 起来 再 把 它

变成 Prompt, Prompt 中文 怎么 说 我

不 知道 呀, 提示 词 吗? 我

不 知道, 提示 词 吗? 反正 就是 Prompt, 大家 都 在 说 Prompt, 提示 词 然后 这么 的 变成 提示 词 啊 对, 我 的 视频 有 这些 关键 针 他 做 的 这个 这个 这个 这个 请 你 生成 一个

菜谱, 这种 感觉 所以 就是说 你 把 一件 事情 做好 以后 它 帮助 了 很多很多 其他 的 事情 对 吧 所以

说 就是说 为什么 盛程 赛普 这件 事情 变得 这么 容易 实际上 他 是 以 一个 自然语言 为 中心 的 大 语言 模型 来 把 很多 事情 把 很多 一个 处理 一个 每 一个 个别 领域 的 事情 能够 串 起来 完成 一个

非常 伟大 的 工作 感觉 就是 这个 流程 给 完全 跑通 了 对 吧 就 一个 盒子 它 里头 装 的 一些 流程 然后 你 无论 往 里头 倒 什么 东西 它 都 能 给 你 出来 你 想要 的 东西 对

就 相当于 你 有 了 一个 非常 强 的 电脑 或 计算器 那 你 想 怎么 用 它 就 可以 变得 非常 creative 但是 怎么 造 这个 电脑 或 计算器 你 需要 花 大量 的 精力 去 等 它 先 跑 通 了 对 吧 然后 后面 再 做 application 的话 就 相对 比较 容易 就 像 GPTS 那些 商店 里面 的 那些 小 的 app 其实 很多 时候 就是 一个 比较 cute 比较 可爱 的 一个 小 的 点子 对 吧 然后 就 能 做 很多 很 方便 的 一些

看上去 這個 大圓 模型 還不僅 是 一個 AI 技術 可以 用 在 各個 地方 它 還是 一個 指揮 中心 是 吧 是 個 控制台 是 吧 它 可以 讓 所有 的 事情 都 以 它 為 中心 在 處理 這些 信息 以 它 為 信息 在 整合 這些 信息 從 這個 角度 來 講作 為 AI 來 講是 一個 很大 的 進步 對

然后 这样的话 对于 学术界 的 人 来说 那 遇到 的 一个 问题 就是说 你 做 的 科研 是不是 已经 被 公司 解决 了 是不是 已经 被 Gemini 或者说 GBT 解决 了 这 其实 是 一个 非常 现实 的 一个 问题 嘛 学术界

需要 寻找 自我 的 过程 啊 需要 一段时间 来 发现 他们 学术界 的 定位

是 什么 对 啊 对 啊 然后 现在 可能 比如说 201 年 是 震惊 然后 20 年 可能 有点 幻灭 然后 203, 4 大家 就 开始, 203 可能 是 大家 急 着 做 各种各样 的 应用 对 吧, 学术界, 然而 今年 的话, 我 觉得 更 多 的 是 发现 他 还有 很多 局限性, 还有 很多 东西 他 做 不好, 就 比如说 刚才 说 的 那个 幻觉 的 事情, 那 就是 我们 可能 需要 去 探索 新 的 方法, 然后 像 比如说 meta 的, 我 总是 cue 杨乐坤, 但是 比如说 他 最近 在 说 你 如果 现在 开始 读博 的话 就 不要 做 这个 大 语言 模型 相关 的 东西 对 吧 那 就 可能 是 说 它 非常 有用

的 一个 工具 就是 你们 AI 这些 人 喜欢 劝退 上次 孙 教授 也 喜欢 劝退 我们 节目 有 一个 传统 嘛 最后 就是 问 嘉宾 那个 如果 想 进入 这个 领域 你 要 做做 什么 准备 有 什么 建议 吗 孙 教授 说 的 是 你 要 想想 现在 做 这个 人 已经 很多 了 你 是不是 要 做 这个 看 这个

建议 还 非常 对哈 我 个人感觉 这个 预言 好像 是 挺 正确 的 因为 现在 人才 确实 很 饱和 了 当然 整个 计算机行业 都 非常 饱和 然后 像 像 做 科研 的话 做 这 人工智能 科研 的话 就 非常 非常 卷 吧

对 刚才 不好意思 打断 了 就是 那个 一 阉 了 困说 怎么样 我 就

说 你 不要 做 这个 大 语言 模型 因为 当然 其实 它 是 有 道理 的 嘛 就是说 首先 这个 在 学校 你 能 做 的 事情 就 比较 有 局限性 然后 除了 一些 非常 有 资源 的 这个 学校 比如 Stanford 啊 MIT 啊 这些 然后 另外 一个 就是说 这个 这个 学习 范式 到底 是不是 它 的 潜力 到底 有 多 大 还是 说 已经 这个 大 数据 大 模型 然后 和 这个 大 语言 模型 这 一套 其实 已经 被 发挥 到 极致 了 其实 大家 谁 也 不 知道 就 比如说 刚刚 看到 的 这个 Gemini 发布会 和 这个 GPT O 的 这个 发布会 你 就 会 觉得 虽然 非常 依然 非常 非常 impressive 但是 好像 并 没有 什么 完全 出乎 我 预料 的 这个 事情 对 吧 就是说 这个

井喷 时代 就 开始 进入 了 一个 比较 之后 进入 了 一个 比较 平稳 的 一个 时代 没有 什么 特别 多 的 特别 大 的 发现 我 觉得 工业界 的 人 就是 喜欢 这么 说 我 也 听到 过 很多 别的 领域 比如说 你 之前 做 系统 这个 工业界 人 喜欢 说 你 不要 在 学术界 做 系统 你们 做 的 这 都 是 啥 那 其实 那 也 是 工业界 的 偏见 嘛 学术界 总归 能够 找到 一个 这个 创新 的 点 他们 能够 要不然 是 长远 的 是 吧 远期 的 或者 是 工业界 的 盲点 是 吧 他们 都 不 爱 做 的 他们 都 有 各种各样 原因 避免

做 的 是 吧 是 是 我们

这个 聊到 视觉 和 这个 大 羽毛 进行 孙 教授 给 我们 更新 一下 知识 上次 讲 的 视觉 这 过去 四年 哇 四年 了 这个 计算机 视觉 的 发展 大概 是 在 哪些方面 吗

对 首先 我 的 以防 观众 我 猜 你们 的 听众 里面 有 非常 多 的 专家 所以 我 这 只是 个人 的 见解 那 肯定 有 了

他们 都 无所谓 我 的 理解 比较

有 局限性 对 然后 我 个人 的 感觉 就是说 首先 各种各样 的 生成式 模型 就是 在 上次 录 节目 的 时候 好像 生成式 模型 还 大家 觉得 是 一个 玩具 就是说 好像 还 并 不能 用 然后 是 很 有意思 的 一个 概念 至少 在 这个 图片 里面 是 这样 的 那个 时候 大家 比较关心 的 是 无 监督 学习 就是 怎么样 给 你 一堆 数据 怎么 让 这个 深度 神经网络 去 利用 这些 没有 标注 的 这些 数据 去 去 学到 一个 非常 强有力 的 这么 一个 模型 吧 对

吧 但是 那个 时候 已经 像 什么 TensionTransformer 已经 都 出来 了 吗 对

吧 20 年 都 出来 的 但是 更 多 的 就是 还是 一个 理解 或者 是 一个 就是 一個 認識 這 世界 並沒有 去 生成 這個 世界 後 面 我現 在 有點 記不清 這個 歷史

了 但是 四年 就 已 經日 新月

異 了 發生 太多事過 去 某 一個 階段 裡面 大家 發現 這個 像 大語 言 模型 一樣 在 這個 大 的 就 傳統 的 這個 視覺 的 生成式 模型 你 在 做 的 非常 好 的 這個 工程化 的 实现 并且 把 它们 模式 参 数量 加大 的 情况 下 它 的 表现 是 非常 不错 的 能 生成 非常 高 保真度 的 图片 甚至 是 一些 视频 这是 其中 的 一个 大 的 进展 然后 还有 一个 大 的 进展 就是 这个 DiffusionModels 我 不 知道 叫 扩散式 模型 还是 叫 中文 叫 什么 就是 一个 新 的 特别 适合 生成 生成 图片 的 这么 一个 机器 学习 的 模型 它 利用 了 这个 之前 就是 比如说 图像处理 里面 这个 图像去噪 的 这么 一个 想法 就是 给 你 一个 带有 噪音 的 这么 一个 图片 然后 我 想 生成 一个 没有 噪音 的 这么 一个 图片 它 相当于 是 什么 呢 它 是 相当于 是从 一个 纯 的 一个 噪声 的 一个 图片 然后 你 去 一步 一步 的 好多好多 步去 逐步 的 去 去 噪声 然后 最终 你 生成 的 这个 图片 就是 一个 高保真 的 图片 然后 我 怎么样 去 让 它 生成 比如说 一个 猫 一个 狗 一个 人 呢 就是 我 在 最 开始 那个 噪声 里面 加上 一个 conditionalsignal 就 比如说 我 说 这个 我 有 一个 一个 句子 的 一个 prop 类似 于 这样 吧 然后 我 去 让 它 生成 就是 这个 是 一个 非常 scalable 的 这么 一个 啊 一个 学习 机器 学习 的 范式 然后 现在 有 很多很多 的 成功 的 案例 包括 openai 的 sora 也 是 也 是 利用 的 這個 叫 什麼 視頻 版本 的 這個 diffusionmodel 我 不 知道 怎麼 說 diffusion 模型 擴散 模型 對然 後 這是 一個 大 的 進展 就 整個 內容 生成 變得 非常 火然 後 這時候 有 很多 工業界

就 突然 生成 模型 就 變得 非常

火 了 嗎 一直 都 有人 做 但是 你 并不知道 这个 东西 有 什么 用 就是 比如说 我 做 languagemodel 我 做 这个 machinetranslation 就是 语言 模型 对 就是说 机器翻译 然后 我 没想到 就 类似 的 这么 一个 算式 我能 用来 生成 这么 强有力 的 这么 一个 像 ChatGPT 一样 强有力 的 一个 聊天 机器人 然后 他 能 记住 这么 多 的 事实 当然 他 也 会 编造 这么 多 的 事实 对 吧 然后 这个 图片 的 这个 生成 甚至 视频 的 生成 也 是 你 并 不 一 开始 觉得 就是说 我 生成 一些 数字 我 生成 一些 64x64 个 像素点 的 这么 一个 低 保真度 的 一个 人脸 或者说 一个 小 的 图片 的 thumbnail 能 有 什么 用 呢 然后 现在 你 一旦 有 了 这个 again 就是说 有人 证明 他 能 做 的 这么 厉害 之后 那 很多 application 马上 就 跟进 了 对 吧 比如说 特别 是 工业界 我 生成 一个 广告 我 把 这个 用户 提供 的 比如说 做 YouTube 的话 我 想 用户 提供 一些 metadata 然后 我 让 他 生成 一个 poster 甚至 一个 短 的 一个 视频 那 就 非常 非常 有 挣钱 的 潜力 对

吧 非 看 的 有用 啊 比如说 像 我们 这个 节目 最 开始 我们 每集 有 一个 图标 对 吧 有 一张 照片 我们 之前 找 这个 照片 都 找 的 非常 的 辛苦 对 吧 各种 图片 网站 上 免费 图片 网站 找 啊 找 啊 来 讨论 现在 也 没有 说 很 容易 吧 但是 我们 就 在 大圆 模型 上升 一升 就 可以 做 的 质量 就 可以 找到 质量 非常 高 的 模型 这 都 是 完全 不 一样 了

然后 这个 就是 还 挺 有意思 的

一个 地方 所以 说 这就是说 技术 发展 到 就 一定 要 一定 程度 是 发现 他 可以 做到 一定 质量 的 这个 生成 出来 的 作品 之后 就 开始 得到 应用 了 那 就 又 会 让 这 领域 变得 更加 的

更加 的 热门 就是 因为 对 对 然后 除了 这个 商场 以外 就 商场 图片 商场 视频 还有 商场 3D 的 模型 就 比如说 我 在 做 比如说 我们 想 做 一个 游戏 或者 甚至 是 电影 然后 我 想 生成 一些 素材 对 吧 我 想 生成 一些 可以 让 这 游戏 里面 的 主人公 去 交互 的 一些 3D 的 一些 物品 那 我 如果 有 一个 生成式 模型 那 我 就 可以 很 方便 的 就是 理论 上 如果 这个 东西 能 做 的话 对 吧 哦 这个

很 厉害 啊 然后 3D 打机 一 打垮 电影 里 一放 是 吧 哇 这 其实 是 非常 的 对 然后

这 也 是 一个 挺大 的 一个

进展 哦 那現 在 看來 是 生成 成 了 一個 熱門 啊 上次 聊 好像 多數 時候 還是 這個 理解 視頻 啊 什麼 之類 的 好像 還是 重點現 在 已經 變成 了 一個 視頻 已經 都 進入 生成式 AI 看來 這個 真 AI 生成式 AI 現在 這麼熱 可能 確實 是 也 有 道理 這個孫 教授 上次 這個 最後給 我們 提到 了 一個 哲學 問題 說 AI 最終 是 一個 哲學 問題 啊 AI 到底 可以 不 可以 理解 這個 東西為 什麼 猴子 刀越

我 当时 这么 中二 呢 就 觉得 这个

AI 还是 不行 是 吧 因为 它 确实 只不过 是 只有 一个 表象 它 没有 理解 这 真正 的 东西 有点像 杨立 坤 最近 说 的 蚂蚁 八只 脚 现在 孙 教授 还是 坚持 这个 观点 吗 还是 会 有 什么 变化 还是 会 有 什么 更 多 的

想法 首先 我 个人感觉 还是 依然 没有 一个 非常 明确 的 定义 什么 叫 这个 模型 理解 了 一件 事情 对 吧 特别 是 这个 深度 学习 的 模型 是 一个 大 的 黑盒子 对 吧 然后 现在 很多 就是 比如说 我们 更大 了 现在 对 我们 学校 里面 的 就是 比如 說 認知 科學神 經科學 的 一些 老師 他們 甚至 對 這個 東西 很 感興趣 他們 想用 他們 去 研究 人 的 方法 去 研究 這個 大 模型 對 吧 就是 說 在 不 知道 它 內部 運作 機理 的 情況 下 怎麼 讓 試圖 去 理解 它 是 怎麼樣 去 運作 就 像 理解 人 的 大腦 一樣 對 吧 這是 他們 在 做 的 事情 但 依然 不 知道 我 從 我 的 角度 來 說 我並 不 知道 什麼 叫做 理解 怎麼 去 定義 理解 一方面 你 去 分析 他们 这些 训练 好 的 生成式 模型 他们 其实 是 学到 的 非常 有 强有力 的 这个 表征 就是 深度 学习 就是 学习 这个 数据 的 一个 表示 的 一个 形式 对 吧 然后 你 把 这个 深度 学习 的 网络 里面 生成式 学习 的 网络 去 抽取 一些 特征 然后 你 让 他 干 很多 的 事情 比如说 我 去 给 视频 打 label 我 给 这个 音乐 我 去 判断 它 的 genre 啊 去 判断 甚至 它 的 音符 啊 类似 于 这些 就是 现在 不有 这 可以 作曲 的 生日 式 模型 吗 你 会 发现 你 能 得到 非常 好 的 高 精确度 的 这个 结果 就 说明 它 的 表征 是 非常 有用 的 可以 用来 理解 这 里面 的 理解 就是说 我 去 给定 一个 任务 然后 我 去 测试 他 能 不能 去 比较 好 的 去 做 这个 分类 的 任务 对 吧 但 另外 一方面 就是 也 有人 去 就是 比如说 像 华盛顿大学 那邊 的 人 去 研究 說 我 這個 生成式 模型 是不是 真正 的 理解 了 這些 內容 呢 他們 發現 並沒有 但是 我 那 篇 paper 我 太久 以前 看過 我 已 經忘記 內容 了 我 唯一 記得 就是 說 因為 大家 做 生成式 模型 的 人 因為 我 理解 在 若干年 前並 沒有 一個 非常 好 的 application 他們 總要 安慰 自己 說用 費曼 的 一個 名言 去 安慰 自己 就是 說 還是 愛 因斯 坦 就是 whatIcannotCreate, Icannotunderstand 就是 我 如果 不能 把 它 创造 出来 的话 我 就 并 不 理解 它 然后 他 就是 想 去 说明 为什么 我们 要 做 这个 生成式 模型 生成式 模型 因为 是 他 去 创造 的 对 吧 然后 这个 华盛顿大学

的 checkmark 了 一下 然后 华盛顿大学 的

这个 paper 就是 论文 就是 在 说 你 虽然 能 创造 但 他 并 不 理解 他 创造 的 东西 到底 是 什么 然后 推荐 大家 如果 感兴趣 的话 可以 看 這篇 paper 但 具體

內容 我 忘記 了 我 對 這個 各種 生成 圖片 的 網站 有 一個 覺得 最 不能 理解 的 事情 就是 我 我 經常 跟 他 說 我們 一家 四口 人 嘛 你 生成 說 你 生成 四個 什麼 什麼 什麼 就 從 來 沒 有 對過 幾乎 就 從 來 沒 有 什麼 三個 五個 六個 就 從 來 沒 有 對過 讓 我 覺得 很 震 驚 就是 他 對 於 這個 簡單 的 一個 數字 從 來 就 沒 有 那 什麼 過對 这个 是 非常 好 的

一个 observation 然后 其实 还有 另外 一个 更 简单 的 一个 情况 就 比如说 我 说 有 一个 图片 里面 是 救火车 英文 就是 firetruck 然后 另外 一个 就是说 这 车 着火 了 爆炸 了 车祸 了 着火 了 叫 truckfire 火车 是 火车 救火车 对 然后 就是 同样 的 英文 里面 是 两个 同样 的 单词 然后 顺序 变 了 然后 人 是 非常 能 容易 去 理解 他们 的 区别 并且 去 visualize 他们 的 这个 应该 是 长 什么 样子 的 但 你 去 问 现在 的 这些 模型 他 就 并 不能 去 做 这件 事情 就是说 他 并 没有 好像 并 没有 学到 这个 更 基本 的 这些 原 概念 就 比如说 什么 是 一个 车 然后 如果 他 被 火 修饰 了 到底 应该 怎么样 去 变 他 的 这个 appearance 包括 你 可能 有 三个 这个 橘子 四个 橘子 三个 人 四个 人 他 并 没有 办法 很 好 的 把 这个 概念 去 原 概念 去 理解 或者 生成 出来 然后 把 他们 组合 在 一起 这 就是 一个 英文 是 compositionality 这 就是 一个 非常 难 的 一个 问题 就 对于 人 来说 毫无 难度 但是 因为 这个 深度 学习 是 一个 黑盒子 你 就 并不知道 他 是 怎么 把 这个 概念 组合 在 一起 他 有没有 一个

真正 的 一个 高层 的 概念 我们 还 不 知道 是 吧 在 有些 迹象 看起来 可能 没有 是 吧 就 我们 不 知道 啊 但是 一个 非常 表象 的 一些 概念 他 没有 提取 出 非常 抽象 的 概念 来 我们 不 知道 他 不曾 也 可能 他 有 抽象 的 时候 只不过 和 我们

人类 的 不 一样 像 是不是 像 什么 奶牛 和 牛奶 这种 就是 两个 词换个 调 个儿 他 就 觉得 迷糊 了 他 本来 觉得 是 一个 东西

有 可能 啊 然后 但是 像 具体 的 这个 您 说 的 这个 例子 有 可能 他 能 认出来 因为 这 两个 太 常见 了 对 很多 呀

就 他 有 很多很多 的 这个 这个 数据 嘛 他 肯定 是 不 一样

的 啊 对 就 人类学 词 的 时候 多少 还是 有 一些 词源 我们 是 就是 学 的 过程 中是 知道 词源 是 怎么 拼 起来 的 他 可能 就是 losttrack 他 就是 看 别人 是 有些 什么 pattern 然后 他 就

照搬 对 对 就是 你 很 难 把 人 的 知识 去加 给 这个 训练 模型 的 训练 过程 你 只能 把 人类 知识 产生 的 结果 用 最 直接 简单 粗暴 的 方式 喂给 他 喂给 他 的 方式 就是 让 他 去 重建 我 的 这个 我 的 这个 句子 对 吧 然后 这样的话 好处 就是说 人 不 需要 装 自己 很 聪明人 认为 自己 很 聪明 的 地方 通常 并不聪明 然后 我加 了 越 多 的 我 人为 设置 的 这个 模型 在 机器 学习 框架 里面 可能 适得其反 这是 好处 但 坏处 就是说 我 明明 知道 一些 非常 基本 的 概念 但 我 没 办法 把 这个 东西 交给 这个 大 模型 包括 大 模型 做 这个 数学题 的话 都 很 容易 错 的 对 吧 一塌糊涂

所以 这个 还有 待 观察 啊, 我们 这个 大 模型 到底 能够 理解 到 多少 的 东西 啊, 那 现在 有 有没有 什么 就是 具体 的 研究 往 这方面 发展 吗? 我 看 好像 好像 杨立 坤 好像 有 很多 在 这方面 的 评论 什么 之类 的。 有 很多

人 在 做, 特别 是 在 学校 吧, 因为 学校 你 没有 计算资源 去 训练 这些 模型, 但是 你 可以 去 分析 这些 模型 然后 所以 就是 学校 里面 还 在 并且 这是 一个 非常

有 意义 的 一件 事情 脑神经 科学 人 看看 啊 但 你 也 在

赌 对 吧 大家 也 在 赌 就 说明 我 之所以 去 研究 它 是 认为 它 值得 研究 那有 可能 这个 东西 并 没有 那么 值得 研究

对 吧 为什么 会 不 值得 研究 呢 就是说 是 研究 不 出 结果

吗 还是 就是说 你 研究 了 它 是 一个 很 有用 的 工具 但是 你 把 它 当做 人脑 一样 研究 的话 好像 有 可能 有 南辕北辙 的 这个 风险 对 吧 就是说 他 有 可能 就是 没有 那些 东西 你 也 没 必要 去 浪费 太 多 时间

没有 必要 戳穿 是 吧 可能 他

就是 不行 当然 这 是 我 的 个人 的 想法 对 这个 孙 教授

曾经 在 这个 微信 朋友 片中 分享 过 一个 视频 啊 就是 什么 三国 时代 有 一个 什么 本来 是 谁 的 下属 变成 了 他 的 什么 这个 上级 然后 怎么 怎么 怎么样 啊 然后 孙 教授 好像 是 发 了 一个 评论 好像 是 什么 过去 是 在 给 试 在 试 的 是 AI 给 刺激 打工 还是 给 AI

打工 是 这样 的 我 当时 可能 是因为 看到 就是 比如 刚刚 说 这个 OpenAI 他 雇 了 很多 人去 标 数据 那有 可能 以后 大家 就是 都 是 给 这个 大 模型 标 数据 打 标的 对 吧 画家 就是 生成 创作 以后 喂给 这个 模型 做 训练 然后 做 数学家 就是 推完 公式 以后 教 这个 大 模型 怎么样 做 推理

对 吧 就 咱们 都 是 实才 是 吧 对 啊 他们 是 JamieOliver

对 他们 才 是 有 大脑 的 人 我们 只不过 是 替 替 替 他们 做 一些 那个 整理 数据 的 整理 信息 的 人 把 他们 喂给 的 人 是 吧 而 过去 我们 这个 我们 这个 都 是 这个 工程师 现在 我们 都 变成 Prom 了 这点 是 吧 我们 都 变成 是 我们 的 思维 方式 过去 是 这个 AI 围着 我们 转 我 记得 好像 隋 老师 那样 说 过去 AI 围着 我们 转 现在 我们 都 在 我们 的 思维 方式 在 调整 成 怎么 能够 给 AI 最好 的 输入 让 他 最好 的 输出 还 不是 想 这个

问题 怎么 解决 啊 您 说 的 这个 非常 好 就是 我 觉得 抛开 这个 所谓 咱们 变成 耗材 这个 担心 不提 更 多 的 就是说 好像 特别 是 工业界 做 研究 的话 现在 同质化 特别 严重 就是 因为 我们 就 比如说 可能 高管 认定 了 这 条路 就是 可以 走 的 一条 路 而且 他 非常 好 预测 对 吧 就是 如果 你 相信 给 他 更 多 的 钱 去 买 设备 然后 标 更 多 的 数据 那 他 就 能 带来 回报 的话 那 他 就 做 这件 事情 就 好 了 对 吧 他 所以 这样 导致 的 情况 就是说 很多 我 认为 非常 非常 才华 讽议 的 这些 科学家 们 在 工业界 的 原来 可能 可以 做 各种各样 的 稀奇古怪 的 事情 然后 现在 可能 做 的 都 是 像 您 说 的 PromptEngineer 或者说 怎么样 优化 这个 大 模型 那 这个 是 一个 好事 对 吧 就是 短期内 能 把 这 东西 做 得 很 好 但 长期 来说 感觉 是 一个 就是 对 人才 的 浪费 我们

这个 没有 解决 一些 非常 核心 的 问题 都 变成 一个 大 模型 的 应用 研究者 了 是 吧 其實 是 一個 問題 我們 一直 我們 都 會 有 個 問題 嘛 就是 說 是不是 AI 在 控制 我們 的 人生 啊 我們 過去 說 我們 人生 的 多少 多少 重要 階段 都 是 AI 控制 的 比如 說 什麼 你 上去 買個 保險 買個 房 是 吧 你 能 不能 買房 最後能 不能 給你批 貸款 實際 上 是 AI 給你批 的 對 吧 你 去 求职 扔个 简历 最 开始 谁 给 你 第一批 筛 简历 能 不能 过 那个 面试 吗 都 是 AI 给 你 筛 的 对 吧 还有 什么 什么 教育 教育 怎么样 现在 都 是 标准化 考试 AI 给 你 给 你 出 哪个 题 哪个 题 哪个 题 是 吧 然后 这个 最近 我 听说 一件 事情 就是说 这个 meta 原来 的 Facebook 不 知道 那個 別 的 公司 怎麼樣 啊 所以 他們 過去 這個 每年 的 這個 績效 考核 嘛 都 是 這個 都 是 你 的 這個 經理 嘛 要給 你 看 嘛

然後給 你 是 現在 不用 了給 你

寫 一個 package 嘛 就給 你 寫 嘛 然後看 你 寫 了 多少 代碼 做 了 什麼 feature 现在 据说 他 Meta 就 不是 真的 据说 是 Meta 就 Facebook 那 公司 他出 了 一个 模型 他 在 系统 里面 可以 看到 你 写 了 什么 文档 你 这个 写 了 什么 代码 你 干 了 什么 事 然后 他 就 给 你 的 管理者 生成 一篇 文章 说 你 干 了 什么 事 据说 这个 文章 非常 的 不错 生成 的 质量 非常 的 高然 後 這些 經理 就 可以 以 這個 文章 為 這個 底板 然後去給 你 做 績效 考核 所以 以 後 可能 你 的 這個 升職 很多 時候 就是 AI 也 決定 了 很大 一部分

那感覺 經理 的 工作 就 更加 危險

了 他們 的 這有點 我們 就 越來 越 像是 那些 比如 說 那些 生產線 上 工人 就是 我 看 一些 些 有些 书 上面 写 的 就是说 几十年 前 比如说 五十年 前 六十年 前 那 时候 流水线 的 工人 的 工作室 实际上 是 他们 他们 的 那些 工头 啊 什么 定 了 他们 非常灵活 的 供 你 干 这个 你 干 这个 每天 车检 主任 定 怎么 怎么样 对 吧 这 是 我们 理想 中 传统 的 这些 流水线 工人 或者 是 產業 工人 現在 都 是 不 一樣 了 現 在 都 是 計算機 就是 嚴格 的 計算 你 幹 這個 你 幹 這個 你 幹 這個 分配 給你 那些 中層 領導 基本上 就 越來 越少 了 越來 越少 基本上 就是 AI 是 你 的 老 闆 產業 工人 我們 以後白領 工人 是不是 也 慢慢 被 我 覺得 有

可能 啊 像 您 說 的 這個 總結 我 覺得 就是 挺 好 的 一個 AI 的 營運 是 嗎 你

們 都 覺得 很 好 是 吧 你 們 覺得 很 可怕 嗎 是

很 可怕 但是 好像 是 一個 比 較 恰如其分 的 一個 營運 對 浪費

很多 時間 搞 這種 東西 對 啊

我們 我們 人生 的 重要 決定 就 都 變成 是 AI 定 了 吧 你 看 以後醫療 也 是 啊 現在 醫療 也 是 現在 那些 看 片子 過去 看 片子 你 知道 我 片子 X光 片 都 有 一些 非常 非常 这个 资深 的 这个 医生 才能 看 你 这 到底 有没有 骨折 你 知道 有没有 肿瘤 对 吧 现在 那 肯定 都 是 AI 给 你 先 看一遍 的 是不是 然后 建议 是 跟 医生 说 建议 多大 可能性 这有 一个 肿瘤 是不是 我 今年 去 洗牙 那个 洗牙 大家 知道 在 美国 中国 也 中国 也 一样 吧 每年 会 给 你 照个 X光 片 嘛 对 吧 看 你 有没有 里面 有没有 什么 这个 曲齿 啊 有没有 蛀牙 什么 之类 的 我 今年 去 了 一次 三年 三月份 然后 那个 医生 还 不是 牙医 是 一个 助理 拿 了 一个 我 去年 三月份 出错 的 X光 片 说 我们 有 一个 AI 程序 看 了 一下 你 这 几颗 牙 还有 蛀牙 需要 补让 我 觉得 非常 的 震惊 这个 听

起来 也 是 一个 挺 恰如其分 的 应用。 就是说

我们 人生 这么 多 重要 的 事情 还有 什么 不是 AI 做出 最 重要

的 决定 吗? 我 觉得 更 多 是 你 跟 社会 交互 吧, 只不过 这个 AI 是 一个 你 实现 交互 的 一个 手段, 对 吧? 提高效率

挺 好 的。 孫 教授 這件 事還 不是 一個 什麼 太大 的 問題 雖然 是 AI 但是 後 面 還是

人 是 吧 是 很大 的 問題 但是 更 多 的 是 你 沒 有 辦法 阻擋 對 吧 就是 你 已經 這樣 我們 已經 是給 AI 打工 了 是 吧 對 啊 就是 比如 說 互聯網 的 內容 的 質量 肉眼 可見 的 在 下降 就是 被 各種 各樣 垃圾 生成 的 內容 所 佔領 那 你 也 沒 有 什麼 辦法 因為 這個 老虎 已經 放出 籠子 了 對 吧 你 不 可能 再 把

它 关回去, 天 啊, 其实 很 可怕

的 样子 啊 我们 来 预测 一下

4 年 之后 哦, 真的, 孙嘉雀来 预测 一下 4 年 以后 会 怎么样 对

啊, 没想到 上次 已经 4 年 之前

录 的 了 哦, 真的, 来 4 年 了, 4 年 后 再 上 我们 节目 预测 一下 怎么样, 不 一定

要 4 年, 可以 明年 就 可以

明年 就 来, 每年 更新 一下 看看,

可以 啊 现在 太快 了, 应该 每半年

来 一次 也 可能 就 慢下来 了 怎么样 来 预测 一下 四年 后 会

怎么样 四年 以后 我 不 知道 我先 特派 下 一个 人工智能 寒冬 又 来 了 然后 就是 就 首先 这次 不 一样 的 地方 就是 他 确实 非常 有用 对 吧 他 能 做 很多很多

事情 上次 也 很 有用 啊 上次 那个 深度 神经网络 那 也 很 有用 啊 那 我们 这个 翻译 都 可以

了 是 吧 但是 那 时候 还 没有 寒冬 啊 就是 一直 热乎 到 现在 嘛 然后 现在 的 主要 问题 就是说 大家 的 预期 会 非常 非常 高 可能 就是说 就 像 这 一个 俗语说 的 你 所有 你 出生 以前 的 东西 就是 takeforgranted 所有 你 出生 的 时候 年轻 的 时候 的 事情 都 是 非常 有用 的 事情 非常 现代 的 事情 所有 等 你老 了 以后 出现 的 事情 都 是 一 一端 对 吧 那 现在 小朋友 就 会 觉得 就是 我会 被 大受 震撼 的 东西 可能 现在 的 小朋友 就 会 觉得 那 就 应该 是 这样 那 他 觉得 就 应该 是 这样的话 那 他 的 预期 就 会 更 高 了 对 吧 但是 现在 的 这个 这个 学习 的 这个 方式 能 不能 deliver 这个 事情 就 比如说 您 说 的 这个 医学 图像 到底 它 能 取代 人到 什么样 的 程度 那 不 知道 对 吧 然后 现在 很多 人 在 做 机器人 那 我 的 理解 我 个人 的 理解 就是说 你 车 还 没 做 明白 呢 那 为什么 就 跑 去 做 机器人 是因为 投车 的 人 都 跑 路 了 吗 还是 因为 什么 对 吧 就

孙 教授 还是 一个 比较 悲观 的 认为 现在 这 这 一波 浪潮 也 很 有 可能 就是说 会 在 很大 一段 程度 上 是 让 未来 的 突破 变得 更难 了 一段 程度 上 可能 就是 只不过 是 消化 这一波 大 数据 的 这个 大圆 模型 的 结果

这 是 我 个人 的 观点 希望

我 是 錯 的 我們 看看 四年 以後怎麼 樣現 在 這個 吵 的 很

兇 的 AGI 叫 什麼 通用 人工智能

是 吧 這個 事 有 希望 嗎

這是 一個 信仰 吧 就是 你 是否 相信 為 什麼 是 個 信仰 呢 這個 東西 你 相信 它 存在 然 後 你 不 知道 它長 什麼樣 你 也 並不 知道 它 通過 什麼樣 的 途徑 實現然 後 你 只能 相信 你 不斷 的 做 一件 事情 就 像 你 拜 耶穌 一樣 你 去 不斷 的 去 拜 他 那 就 可能 你 就 有 福報 了 我 不信 宗教 所以 我無意 冒犯 這個 有 信仰 的 人 我 非常 尊重 你們 當然 我 就是 想 說 這個 東西 更 多 是 一個 人 的 信仰 就是 說 你 看 不見 摸 不著 甚至 沒有 一個 明確 的 一個 定義沒有 一個 明確 大家 認可 的 定義對 吧 那 就是 有點 無 從 談起 了 就是 更 多 的 是 說 我 希望 實現 這麼 一個 東西 我 相信 他 终将 存在 那 我 去 去 做

它 对 吧 哇 听 上去 非常 的 那个 什么 啊 我们 回到 这个 我 回到 从 哲学 层面 回到 这个 现实 层面 哎孙 教授 我 看 最近 做 了 一些 工作 比如说 孙 教授 做 了 一个 什么 一个 bunchmark 是 吧 叫 一个 叫 什么 标准 测试 测试 的 这个 标准 测试 级 测试 级 是 吗 这个 需要 有人 做 吗 现在 还 没有 这些 这个 视觉 的 测试 级 吗 哦 我 不

知道 您 说 的 是 哪个 有 可能 是 有 一个 我们 最近 做 了 一个 宇航员 的 这么 一个 测试 机 就是 它 的 故事 是 这样 的 就是说 我们 这些 所有 的 这些 大 模型 都 是 在 很多 的 训练 数据 上面 训练 过 了 对 吧 收集 收集 了 大量 的 数据 去 训练 了 但是 你 真正 去 部署 这个 模型 的 时候 你 在 通常 是 在 一个 之前 你 没有 见 过 的 一个 环境 里 对 吧 然後有 可能 是 一個 新 的 家 有 可能 新 的 工廠 甚至 是 一個 新 的 戰場 對 吧 當然 這個 不是 我們 關心 的 我們 就是 有 一次 跟 其他 老師 聊天 的 時候 他 說 你 看 了 這個 你 這個 YouTube 上 有 很多 這個 NASA 上傳 的 這個 宇航 員 做 這個 太空行走 的 這個視 頻然 後 我們 就 去 看 了 一下 然後發現 這個 特別 適合 做 這個 我 是 做 視頻 理解 的 我 做 視頻 理解 的 這麼 一個 測試 集然 後 他 主要 的 去 想 去 理解 的 一件 事情 就是 說 我 如果 把 地球 上 的 事情 都 訓練 一遍 他 能 不能 去 generalize 不 知道 怎麼 用 中文 說 怎麼樣 去

普遍化 嗎 叫 什麼 適 用到 這個

一個 之前 沒有 看過 的 領域然 後 這個 為 什麼 知道 你 是 之前 沒有 看過 呢 因為 你 在 網上 的 公開 的 這個 太空行走 的 數據 就是 这么 几步 然后 可能 是 二十几步 然后 你 即使 把 它 用来 做 训练 数据 的话 也 很 难 去 真正 去 记住 它 因为 它 可能 是 几亿 分 之一 的 这么 一个 训练 数据 那 基本上 就是 没有 什么 太大 的 影响 对 吧 那 这样 就是 一个 非常 好 的 一个 测试 机去 测试 现有 的 这些 大 模型 它 是否 能 去 generalize 到 一个 新 的 一个 环境 里面 大概 是 在 这样 做 这件 事情 所以 说

这 找到 一个 角度 就是说 可以 测试 这个 模型 到底 到底 能 不能 应用 于 他们 不是 那么 没有 训练 过 的 东西 啊 最后 你们 测 的

结果 怎么样 就是 大家 都 非常 差 呀 现在 所以 大家 就是 203 年 一个 趋势 就是说 我们 开始 被 这个 OpenAI 的 这些 模型 震到 了 然后 我们 现在 又 想到 一些 这个 它 是不是 不行 那个 是不是 不行 然后 发现 还 真 不行 还有 什么 不行 呢 就是 有 挺 多 的 就 刚刚 您 说 的 这些 算 算数 呀 数 手指头 呀 然后 数 人头 呀 这个 奶牛 牛奶 或者 火车 和 这个 车 着火 类似 于 这些 那 都 都 不行 呀 就是 看来 还 能

找到 看来 这个 学术界 的 一个 存在 感 现在 就是 发现 这个 不行 哪

不行 然后 这个 之后 就是 想 去 解决 这些 问题 当然 解决 这个 东西 到底 是 缝缝补补 还是 说 你 有 一个 真正 比较 根本性 的 一个 解决方案 现在 好像 还 并 不是 特别 明朗 就是 大家 还 都 在 试图 去

做 这件 事情 我们 就 进入 最后 一个 环节 了 就是 我们 再 问 一次 孙 教授 这个 没有 没有 虽然 我 已经 问过 了 就是说 如果 现在 很多 人 看到 大 模型 非常 的 厉害 或者说 计算机 视觉 生成 这个 可以 生成 视频 可以 生成 这个 图片 生成 非常 厉害 他 想要 进入 这个 领域 想要 他们 应该 做 什么 呢 或者 对 他们 有 什么 建议 呢 想要

进入 这个 领域 你 可以 首先 是 一个 非常 好 的 工程师 对 吧 然后 你 把 这个 模型 怎么样 去 部署 加速 然后 節約 資源 這些 都 還有 很多很多 可以 做 的 事情 對 吧 就是 包括 你 像 當時 這個 Google 搜索 的 算法 出來 以 後 你 怎麼樣 把 它 真正 做到 一個 這麼 scalable 的 這麼 一個 system 可能 花 了 十多年 對 吧並 不是 一蹴而就 的 我 覺得 這是 一個 很 好 的 事情 如果 你 相信 它 是 一個 longtermsolution 的 話然 後 另外 如果 你 是 真正 想 做 這個 算法 研究 的 話 那 我 希望 你 有 一個 比 較 清醒 的 一個 認識 對 吧 就是 就是 它 有 非常 好 的 一面 它 也 有 它 的 局限性 的 一面 如果 你 自己 有 一个 非常 独特 的 一个 见解 你 想 去 验证 它 那 你 就 很 适合 比如说 做 一个 读博 通过 读博 的 方式 去 做 研究 对 吧 哎 呦 要 招生 了 吗 没有 啊 我 现在 不 招生 了 我 学人 已经 比较 多 了 所以 我 更 多 说 如果 你 考虑 因为 很多 人想 去 想 去 考虑 比如说 我要 读 有 个 研究生 或者 读 一个 博士生 我 觉得 这个 就是 可以 你 去 想 清楚 到底 到底 你 有没有 一个 你 非你不可 的 想 去 探索 的 期望值 搞 对 啊 对 探索 的 这么 一个

事情 想要 成为 那种 那种 大家 似 人物 已经 机会 比较 少 了 是

吧 对 就 找到 一个 角度 对 我 现在 越来越 感觉 到 就是 我 在 工作 之中 就 特别 是 在 我 的 parttime 在 公司 工作 的 時候 接觸 到 非常 多 非常 優秀 的 沒 有 讀過 研究生 的 同事 然後他 們 科研 做 得 非常 非常 好然 後 他們 的 見解 非常 非常 的 犀利 然後他 們 工廠 能力 還 非常 非常 強 就是 說 在 現 在 的 這種 範式 就是 工業界 做 人工智能 這個 範式 的 話 你 可能 這樣 的 話 能 做 得 更好 你 不 一定 需要 去 去 接受 這個 博士 的 這麼 一個 訓練 那

就 今天 就 這個 感謝孫 教授 來 到 我們 節目 啊 這是 我們 來 到 我們 節 目的 第幾個 教授 啊頭

幾個 他 是 第 39 期 的 嘉賓 應該 是 頭幾個 哦 是 嗎

我們 的 嘉賓 第一 個 成為 教授 的 啊 從 不是 教授 成為 教授 的 啊 這個 感謝 這個孫 教授 對 還是 滕孝 教授 啊 这 就 逼 掉 了 好 吧 感谢 孙 教授 来到 我们 的 节目 给 我们 带来 了 非常 非常 精彩 的 知识 给 我们 更新 了 过去 四年 这个 计算机 世界 领域 到底 发生 了 什么 听 上去 确实 是 天翻地覆 很难 的 变化 所以 就 喜欢 我们 节目 欢迎 在 各大 翻译 型 博客 平台 订阅 和 收听 欢迎 在 我们 的 这个 节目 上面 留言 和 转发 一键 三连 如果 有 什么 问题 或者 需要 帮 我们 转转 的话 可以 给 我们 的 邮箱 发信 所以 我们 就 后会有期 拜拜