#134. 大模型

大 语言 模型 是 什么 如何 评价 DeepSeek 这 一出 圈 的 现象 及 表现 大 语言 模型 的 对立 能力 是 怎么回事 本期 节目 我们 有幸 请 到 了 大 语言 模型 的 专家 梦迪来 和 我们 聊一聊 大 语言 模型

的 发展 它 肯定 有 很多 技术 上 的 创新 但是 你 要说 它 的 特别 本质 的 东西 其实 是

大力 出 新鲜 的 什么 时候 AI 可以 帮 我们 创造 出新 的 学科 就 差 学科 的 知识 吗 我

不 知道, AI 已经 要 把 所有 学科 都 给 灭绝 了 这里 是

牛油果 烤面包 大家 好, 我 是 斯托 亚特 我 是 Kat 我 是 Wendy 今天 我们 有幸 请 到 了 大 模型 的 专家 梦迪 来到 我们 节目 来 给 大家 聊一聊 大 模型 的 事 大家 好, 对梦迪 是 怎么 转做 这个 大 模型 的 呢?

我 PhD 就是 ECS 的, 只不过 就是 我读 PhD 的 时候, 那 时候 机器 学习 还 比较 早期, 但是 上课 讲 的 都 是 supportvectormachines。

支持 夏良 姬古早 古早 可 吃 了

呢 但 一直 做 的 是 算法 这方面 会 做 这种 randomizedalgorithms 随机 算法 然后 各种 算法 角度 的 加速 然后 我 自己 做 科研 的 时候 也 是 说 从 比较 基础 的 算法 包括 从 一些 甚至 是 它 的 复杂度 等等 开始 出发 然后 来 越做越 AI 越做越 AI 然后 这个 领域 也 在 发展 所以 现在 这个 就是 可能 也 没有 学科 没有 划分 的 那么 清晰 了 吧 我 觉得 AI 学科 本来 也 是 就是 包括 计算机 啊 包括 信息论 啊 然后 电子 啊 然后 算法 啊 这些 都 融合 在 一起

那 最 开始 这个 叫 什么 大 模型 叫 LLMLargeLanguageModel 出来 的 时候 那个 时候 你 在 做 哪 方面 的

内容 大 模型 刚 出来 是 21 年 的 1 月份 2018 年 1 月 是 ChatGPT 出來 的 那個 之前 其實 大 模型 並沒有 單獨成 一個 學科 大家 出來 的 時候, 我還 沒 做 大 模型 我們 一直 在 做 強化 學習 的 我們 節目 曾 經有過 一期

做 強化 學習 的 節目, 大家 可以 去 看 你 最 开始 是 做 强化 学习 出身 的 是 吧?

对, 因为 我们 最最 开始 是 做 这个 随机 系统 和 随机 算法 然后 用 这个 动力系统 的 方法 来 研究 系统 或者 研究 怎么样 对 一个 系统 或者 一个 未知 的 过程 进行 建模 并且 去 找 最优 解 所有 这些 最早 的 源头 其实 是 这个 appliedmath 应用 数学 但是 这个 和 强化 学习 它 的 这个 方法论 上 是 一致 的 所以 我们 其实 在 那个 大 模型 之前 的 两三年 一直 在 做 强化 学习 包括 我 在 我 自己 第一次 就是 Sabbatical 学术 假 的 时候 当时 就是 在 那个 GoogleDeepMind 那 时候 还 不是 Google 就是 当时 的 没有 融进 主播 之前 还 不是 Google 的

时候 你 就 在 DeepMind 了 对,

当时 他 有 一个 team 叫 foundationteam 就是 研究 怎么样 从 基础 算法 的 角度 来 加速 强化 学习 所以 在 大 模型 之前 我们 的 积累 其实 都 是从 更 基础 的 算法 和 强化 学习 的 角度 来 积累 对于 什么样 的 系统 怎么样 去 对 它 的 inductivebias 进行 建模 然后 什么样 的 算法 是 更 合适 的 然后 这个 算法 它 能够 怎么样 把 算法 的 不管 是 样本 复杂度 啊 还是 算法 本身 的 这个 效率 给 推到 极限 所以 这个 之前 有 很 长时间 的 非大 模型 但是 纯粹 强化 学习 的

这个 研究 所以 那个 时候 强化 学习 也 都 已经 上 了 一些 深度 神经网络 这些 东西 已经 上 了 一套 东西 了 是 吧, Attention 都 已经

上 了 是 吧 那 当然, 强化 学习 变成 deepreinforcementlearning 是 2015 年 嘛 2015 年 就是说 D1 的 一系列 工作 是 用 强化 学习 去 打 各种 那个 Atarigames 那 是 开始, 后来 就是 AlphaGo 啊 AlphaZero 啊 一系列 等等 所以 到 201 年 的 时候 强化 学习

已经 很 成熟 了 基本上 那些 前面 一代 的 那些 那些 技术 像 什么 transform 那些 基本上 在 强化 学习 上 都 已经 用 上 了 吗 还是

这 都 已经 用 上 了 只不过 强化 学习 它 本身 它 本身 是 个 非常 基础 的 算法 所以 就是 它 取决于 是 强化 学习 做大 模型 还是 做做 机器人 还是 用 强化 学习 去 做 什么 蛋白质 折叠 吧 就 取决于 这个 不同 的 应用 场景 这个 算法 的 形态 可能 会 差别 非常

大 所以 当 你 听说 ChapGP 出来 以后 大家 全世界 都 很 震动 啊 你 当时 的 你 当时 的 感觉

是 什么 我 其实 反应 比较慢 然后 那个 时候 是 我家 正好 老二 快要 出生 然后 大家 虽然 都 在 讨论 这个 事情 但是 我 当时 忙 着 带 孩子 然后 都 还是 处于 听 二手 和 三手 因为 我 当时 自己 并 没有 在 一个 非常 active 做 科研 的 状态 反应 过来 之后 已经 过 了 两三个 月 感觉 已经 慢

了 两三个 月 还 不 就算 慢

了 吗 两三个 月 很 慢 了

反过来 之后 有 什么样 的 思考 对 你们 的 科研 有 什么 变化 吗?

科研 变化 我 觉得 在 之后 的 大概 一年 之内 科研 有 一个 巨大 的 变化 当时 其实 强 化学 是 一个 包括 另外 一个 突破 是 一个 扩散 模型 diffusionmodels 然后 有 很多 的 一些 算法 上 的 突破 可以 让 一些 本来 不能 完成 的 所以 我们 组 当时 就是 我们 组 本来 可能 是 比如 百分之七八十 是 更 从 这个 理论 出发 然后 百分之二 三十 是 做 一些 这个 比如 AIforscience 的 应用 等等 但是 我们 现在 就是 完全 是 allin 大 模型 你 把 diffusion 也 算 上 吧, 因为 这些 模型 multimodality 都 能 连在一起, 所以 我们 现在 是 完全 是 O In 现在 的 大 模型 的 状态, 然后 这样 的 转型 其实 也 就 花 了 一年 多一点 的 时间。

我 想想 我们 节目 好像 真的 没有 介绍 过大 模型 我们 也 不 懂 能 不能 给 我们 稍微 的 科普 一下 最 开始 的 时候 HP 出来 的 时候 那个 时候 大 模型 是 一个 怎么样 的 一个 东西 我们 说

大 语言 模型 吗 对 大 语言

模型 LargeLanguageModel 它 叫 LargeLanguageModel 因为 它

本来 是 LanguageModel 对 吧 它 本来

叫 LanguageModel 什么 叫 LanguageModel 这件 事 我 也 不是 很 懂 languagemodel 就是说

所有 处理 自然语言 的 它 本来 这个 学科 叫 naturallanguageprocessing 然后 呢 自然语言 处理 自然语言 处理 里面 包含 一些 比如 简单 的 任务 就是 不同 语言 之间 的 翻译 或者说 能 不能 把 这个 语言 里面 的 一些 不管 是 词 还是 意象 还是 句子 投射 到 一个 这个 embeddingspace 投射 到 一个 这个 向量 空间 然後呢 除了 翻譯 之外 還有 就是 給我 一句 話 我 能 不能 做 autocompletion 我能 不能 寫 一半 然後把 這句 話給 填 完整 或者 說給 一句 話 我 能 不能 做 它 的 情感 分析 它 是 正面 還是 負面 還是 它 包含 了 一些 隱藏 的 含義還 有 就是 類似 咱們 上 高考 時候 做 那種 丸 形 填空 丸形 填空 其實 相當 於 是 一種 大 模型 的 訓練 方式 啦 就是 說 把 一部分 這個 词句 和 token 给 mask 给 盖住 然后 让 模型 去学 所以 这些 其实 都 是 语言 模型 本来 的

很 基础 的 task 就是 同一个 模型 可以 把 前面 说 的 这些 所有 事情 都 可以 做 掉 吗 以前

其实 不是 啊 这 里面 以前 就是 传统 的 naturallanguageprocessing 里面 有 很多 的 任务 吧 就 包含 我们 刚才 说 的 任务 但 在 大 模型 出来 以前 可能 每个 任务 适合 每个 任务 的 模型 不 一样 比如 更 早 的 一个 也 不是 更 早 吧 其实 现在 还 存在 了 一个 模型 就是 BERT 系列 的 模型 它 可能 就 不是 一个 词 一个 词 的 往后 输入 往后 输出 而是 说 做 完兴 填空 嘛 我 随机 的 删掉 一些 词 然后 把 这些 词 再 补 出来 然后 用 这种 方式 做学点 然后 甚至 还有 一个 更 原始 的 流派 觉得 一定 要 从 这个 语言 本身 来 出发 要 从 语言 对于 以往 Chomsky 之类 的 对 然后 来 理解 语言 而 不能 用 这种 endtoend 的 这种 机器 学习 的 方式 所以 就是 大 模型 出来 之后 其实 传统 的 NLP 可以 说 已经 不 存在 了 就 举个 例子 吧 比如 就是 我们 组 我们 组 完全 不 做 NLP 但是 我们 想 就是 做 这个 前沿 的 大 模型 的 研究 的话 你 其实 pickup 就是 一个 几个 月 到 一年 的 curve 但是 传统 NLP 里面 以前 大家 可能 试 了 一百条 路 对 吧 最后 大 模型 教路 出来 之后 以前 的 九十九条 路 其实 已经 没有 意义 了 或者说 在 研究 的 人 已经 很少 了 然后 甚至 就是说 在 传统 的 NLP 的 大会 上 可能 传统 语言 派 的 学者 就 会 上来 抨击 现在 做大 语言 模型 的 研究 已经 不是 语言 模型 的 研究 他们 试图 把 自己 原教旨 的 研究 方式 和 现在 大 语言 模型 的 研究 方式 完全 区别 开 因为 确实 研究 的 人 也 不 一样 了, 研究 的 问题 也 不 一样 了, 所有 的 事情 都 不 一样 了 唯一 相同 的 就是 它 确实 还是 languagemodel 但是 基本上 内容 和 skillset 和 研究 的 问题 和 它 的 资源 的 级别 都 会 差别 巨大 所以 是 一个 行业 大 洗牌

的 感觉 对 我 一直 非常 糊涂 的 一个 问题 就是说 这 是 个 语言 模型 大家 一起 说话 叫 LMLM 不是 语言 模型 这 语言 模型 为啥 我 啥事 都 能 做 呢 我 问 它 个 什么 问题 都 能 回答 呢 这件 事情 我 一直 觉得 特别 的 困惑 所以 看来 你们 业界 人 也 有 这样 的 困惑 是 吗?

我 觉得 在 最 开始 就是 ChaiGPTMoment 就是说 本来 语言 模型 能 做 的 一些 事情 都 很 基础 嘛 然后 它 突然 一下子 突破 了 这个 临界点 之后 好像 你 能 问 它 很多 事 我 觉得 这 就是 当时 的 ChaiGPTMoment 对 吧 同时 给 全世界 都 带来 了 这个 巨大 的 震动 但

为什么 你们 怎么 解释 说 一个 语言 模型 可以 问 一些 有 很多 的 语义 的 东西 我 也 可以 问对 吧 我 要 问 他 一个 问题 他 也 可以 回答 这 为什么 还是 个 语言 模型 呢 就是 为什么 他 还 叫 语言 模型 或者说 他 还是 语言 的 一部分 吗 还是 说 我们 的 思维 就 都 是 语言 的

哲学 部分 了 這是 一個 好 問題, 我覺 得 一個 簡單 的 理解 可能 認為 人類 的 大部分 知識 都 是 用 語言 的 形式 來 保存 的 吧 所以 說當 你 把 語言 模型 做到 足夠 的 包容 足夠 強大之後它 已經 很大 程度 上 掌握 了絕 大部分 的 知識 当然 就是说 除了 语言 模型 之外 其实 也 有 很多 一些 其他 的 工作 比如 有 的 组 他们 可能 在 这个 视频 模型 上 发现 视频 模型 上 也 能够 做 推理 甚至 是 视频 模型 也 能够 一定 承受 上 反应 人 的 思维 所以 就是 同时 我们 现在 还有 包括 就是 做 这个 worldlab 做 各种各样 世界 foundation 或者 视觉 foundationmodel 这样 各种各样 的 工作 吧 然 後 這些 工作 很大 程度 上 也 代表 了 就是 說 在 語言 之外 人們 還是 就是 AI 科學家 還是 希望 去 找到 語言 之外 的 那些 理解 世界 的 方式 和 把 人類 的 思想 用 其他 的 媒介 來 重現 那麼 它 未來 的 這個 最終 的 這個 AI 肯定 不是 只有 語言 或者 只有 vision 肯定 是 把 這些 不同 的 媒介 和 人 的 observations 都 非常 緊密 的 結 合在一起 的 一個 multimodality 的 一個 思維 方式 那

就是 多模 態 的 意思

人類 的 語言確 實會 影響 思考 方式 的。

没错 没错 是 有点 哲学 方面 是 吧 原 学家 好像 有 争议 了

不是 哲学 这 是 个 科学 来 的 这 是 能 证明 的 这

是 能 证明 这是 科学 其实 比如 就是 我 有 一个 朋友 吧 他 是 一个 怎么 说 呢 他 是 一个 做 代数 结构 的 一个 大家 一个 大 数学家 但是 他 可能 他 并 不 做 大 模型 但 他 给 我 讲 就是说 他 本身 是 一个 华人 但是 他 在 这个 美国 的 高校 嘛 在 那个 做 这个 纯数学 的 研究 但是 他 为了 把 数学 做好 他 需要 去 学法语 他 说 同样 一个 数学 证明 首先 用 中文 是 没法 写 的 你 写 不 出来 你 用 英文 你 可以 写 但是 如果 你 用 法语 写 的话 他 的 逻辑 链 就 特别 清楚 他 所有 的 思维 线 都 是 线性 的 一条 串 下来 非常 优美 他 看 一个 法语 的 数学 证明 就 赏心悦目 看 英语 的 反正 就 很 头疼 然后 其他 有些 语言 根本 写 不了 所以 就是 语言 对于 思维 的 差别 会 非常 大 然后 同样 是 比如 我们 用大 模型 做 数学 证明 或者 数学 推理 就是 你 同样 的 一个 数学 的 解题 方式 你 可以 写 得 很 繁琐 也 可以 写得 特别 简单 你 有 不同 的 写法 那么 不是 每 一种 写法 都 适合 用 模型 去 训练 的 模型 能 训练 的 其实 或者 模型 能够 通过 训练 找到 那个 解法 其实 是 一个 一定 程度 上 是 一个 最 容易 表达 的 一个 flowofthoughts 就是

一个 思想 的 flow 这个 话题 很 好 我们 后面 肯定 要 聊 啊 后面 可以 聊到 梦迪 最近 的 一些 研究进展 啊 刚才 梦迪 说 的 这个 很 有意思 就是 不仅 大 语言 模型 不仅 语言 模型 可以 出现 一些 非 语言 的 一些 知识 这个 视频 光 用 视频 训练 也 可以 啊 这个 很 有 很 有意思 啊 用 什么 媒介 出来 都 可以 训练 出 一些

这个 都 可以 只是 那個 智能 的 程度 其實 不 一樣 吧 我 其 實記 得 我 就是 很小 的 時候 讀過 一篇 論文 就是 講 就是 動物 它 也 是 會 思考 的 只 不 過動物 的 思考 完全 是 在 這個 視覺 層面 它 直接 就是 從 它 看到 的 很多 針來 做 決定 或者 把 它 的 這個 很多 針怎麼樣 tokenize 當然 就 以前 那個 論文裡 沒 有用 這個 語言來 寫 了 但是 很大 程度 上 就是 動物 它 沒 有 語言 但是 它 很大 程度 上 是 可以 通過 視覺 來 進行 思考 那麼 他 有 自己 的 思考 模型 就是 來 自 於 他視 覺系 統外 接出

來 的 我們 回到 這個 ChadGPT 所以 ChadGPT 出來 算是 第一代 的 大語 言 模型 是 嗎 算是 那個 時候 這個 概念 才 會剛 立柱 是 嗎 我

不 確定 ChadGPT 之前 在 他們 這個 NLP 的 這個 相 對 比 較 窄 的 領域 裡面 有 沒 有 這個 大語 言 模型 的 這個 概念 但是 他 破圈 肯定 是 ChadGPTmoment 它 不是 一個子 領域 了 它 本來 是 整個 AI 的 一個 很 具體 的 一個子 領域 它現 在 takeover 了 AI 並且 把 AI 從本來 一個 單一 的 學科 它 甚至 把 人工智能 已經 推到 了 就是 超越 了 計算機 超過 人工智能 而是 跟 各個 學科 緊密 結合 的 一個 一個 更 大 的 潮流 確實

是 出圈 了 這個 那 從 技術 上 來 說 就 ChatGPT 是 它 的 技術 革命性 在 什麼 地方 呢

他 的 技术 革命性 就是 大力 出

奇迹 他 肯定 有 很多 技术 上

的 创新 但是 你 要说 他 的 特别 本质 的 东西 其实 是 大力

出 奇迹 他 是 个 怎么 大力

法 就是 这种 autoregressivemodel 在 XGB 之前 可能 有 一些 小 的 比如 什么 几百个 M 当时 就 已经 很大 了 这 可能 是 一个 公司 的 一个 研究组 或者 一个 大学 的 一个 研究所 大家 用 所有 资源 能 训练 出来 一个 最大 的 模型 可能 大概 这个 级别 但是 從來 沒 有人 說 我 能夠 集齊 整個 一個 大 公司 的 力量, 投 一半 的 錢 訓練 這個 來 模型 隊, 因為 以前 你 每 一個 科研 項目 它 能 達 到 綜合 上界, 它 的 上界 就是 它 在 的 這個 org 或 它 在 的 這個 小組。 虽然 说 在 之前 肯定 是 有 少数 人 看到 了 发现 如果 你 不断 的 把 它 scaleup 那么 它 的 能力 是 会 上涨 甚至 是 会 这种 节约 式 的 上涨 但是 在 OpenAI 真的 做到 这件 事 之前 对于 其他 所有 的 不管 是 公司 还是 大学 来讲 ChaiGPT 以前 的 这种 语言 模型 只是 他们 很多 项目 之一 所以 没有 一个 没有 任何 一个 力量 真正 的 把 它 做到 了 足够 大 和 足够 的 规模化 以及 达到 了 这个 节约 式 的 一个 量变 到 质变 的 过程 所以 它 的

規模 更 大 是 怎麼 做到 的 它 有 更 大 的 更 多 錢 嗎 它 有 更 多 的 這個 叫 什麼 輸入 嗎 還有 訓練級 嗎 它 更 大 是 怎麼 做到

的 好 幾點 一是 模型 本身 更大 參數量 更 大同 時 這個 數據量 也 更 大然 後 我 需要 的 計算量 你 可以 簡單 的 理解 成是 參數 的 數量 參數量 乘以 數據級 是 我 需要 的 計算量

要 参 数量 乘以 数据 级 才 是 它 的 计算

量 对 一般来讲 就是说 参 数量 和 数据 集 应该 是 一块 线性 长 的 嘛 因为 我 如果 数据 不变 的话 我用 一个 特别 大 的 模型 它 也 没有 那么 多 信息 可以 学对 吧 所以 参 数量 大 的话 那么 需要 从 更 多 的 数据 里面 学 这个 数据 可能 包含 所有 互联网 上 能够 扒 到 的 信息 然后 大厂 肯定 用 了 各种 就是 他们 有没有 用 这些 本来 不 应该 用 的 这个 比如 书籍 里 的 信息 啊 这个 也 有 可能 对 吧 然后 这些 数据 还有 就是 人 和 人 之间 交流 的 信息 邮件 里 的 信息 等等等等 吧 然后 现在 基本上 就是 好 找到 的 数据 应该 已经 都 被 训练 进去 了 就

基本上 全世界 基本上 比较 容易 在 网上 发到 的 数据 基本上 就 都 已经 被 训到 大冒险 里 去 了 对 肯定 是 的 那 就是 所以 ChatGP 最 开始 就是说 他 做 了 一个 之前 没有 做 的 事情 就是 他

要

他 想要 训 一个 参数 特别 多 的 模型 用 他 能 找到 的 所有 的 训练 级 把 他训 出来 看能 训到 出 什么 程度 来 然后 就 训出 了 一个 不可思议 的

结果 對 一般 來講 它 為 了 做 這個 事情 就 有 一個 很 重要 的 概念 叫 scalinglaw 嘛 就是 說 我 先 訓練 比如 我 訓練 一個 10million 的 模型 一個 10million 的 模型 50million 的 模型 你 可以 看 它 的 這個 能力 的 增強畫 了 這條 曲線 對 吧 那麼 我 一旦 這條 曲線 我畫 出來 了 我 甚至 可以 擬 合一 個 公式 進去 一個 簡單 的 公式 那麼 我 就 可以 預測 如果 我 再加 10 倍 再加 10 倍 那麼 能 達 到 什麼樣 的 更好 的 能力 這樣 大家 就 可以 去 pitch 找 投資人 說 你 看 我 现在 需要 更 多 的 算力 来 把 它 的 模型 能力 再 推到 更 往前 一个 阶段 所以

OpenAI 当时 就是 看到 它 能 不停 的 能够 出 到 更好 的 结果 不停 的 出到 更好 的 结果 所以 就 有 投资人 愿意 给 它 投钱

进去 对 对 他们 已经 有 了 这个 scalinglaw 并且 能够 就是 extrapolate 到 还 没有 训练 出来 的 模型 能够 看到 这个 模型 更大 数据 更 多 效果 确实 会 更好 那麼 這個 參數

我們 經常 說 什麼 二十 G 啊 多少 G 啊 這個 G 就是 說 有 多少 個 參數 的 意思 是

吧 不是 多少 G 比如 現在 最大 的 模型 大概 是 幾百幣 吧 幾百幣

幾百幣 大概 就是 幣是 十億嘛 千億幾千億個 就是 幾千億個 參數 的 意思 是 吧幣 就是 一個 billion 的 意思 是 吧 billion

的 意思 對 但是 OpenAI 最大 的 模型 是不是 到 Trader 有 可能 到 OpenAI 沒有 說 這件 事情 也 可能

到 万亿个 参数 是 吧 也 有 可能 对 一个 参数 是 个 什么 意思 一个 参数 就是 一个 整数 吗

还是 一个 数 吗 就是 一个 数对 一个 你 神经网络 里面 有 很多 这个

neuron 然后 每个 neuron 每个 节点 上

的 参数 对 每个 神经元 对应 了

一些 参数 对 就 每个 神经元 的 每 一个 参数 它 就 会算 一个 然后 全加 起来 有 多少 个数 就是

多少 个数 准确 来讲 应该 是 神经元 之间 的 连接 吧 你 每个 连接 有 一个 参数 相当于 整个 图 的

边 的 数量 但是 也 有 数量, 也 有 参数 吧 应该 边有 一个

参数 对, 基本上 就是 大脑 里 的 connection 的 数量 就是说 有 多少 个

连接 就是 你 相当于 你 把 弹幕 形 看成 一个 真正 把 它 看成 一个 大脑 吧 就是 它 有 多少 个 连接 有 多少 个 我们 人类 就是 突出 不是 突出 是 吧 snaps 叫 啥 神经元 神经元 啊 多少 个 神经元 吗 不 对 神经元 还有 那个 之间 那个 叫 snaps 吗 人 精 突出 人 精 突出 是 吧 就是 相当于 有 多少 个点 连 起来 就是 那个 模型 有 多 大 对 有 多少 根线 那 這個 在 GPC 出來過 後 的 大概 兩 三年 就是 所有 的 創新 都 在 於 如何 把 這個 模型 變得 更 大 嗎 還有 還是 有 什麼 別 的 趨勢 在

裡面 模型 變得 更 大 是 就 剛開始 的 時候 這些 訓練 是 會分 這個 預訓練 就是 pre training 和 後 訓練 就是 post training 然 後 最 開始 的 時候 說 這個 參數 變得 更 大 的 scalingup 的 意義更 多 是 在 預訓練 上

什么 叫预 训练

预 训练 就是 我 把 各种各样 能 找到 的 数据 以 一个 统一 的 方式 训练 到 这个 模型 里面 这时候 并 没有 细分 我 需要 这个 模型 达到 一些 特别 具体 的 要求 或者说 这个 模型 需要 满足 就是 在 特定 的 任务 上 表现 好 所以 预 训练 一般 会 来 生成 一个 基础 模型 一个 basemodel 那 这个 模型 不是 需要 更大 最 开始 的 scalingup 更 多 的 讲 的 是 预训 链 层面 然后 在 后 训链 就 posttraining 层面 这个 模型 可能 会 需要 为了 能够 更好 的 跟 人 聊天 需要 做 很多 的 各种 意义 上 的 微调 然后 这个 是 以前 意义 上 的 posttraining 但是 传统意义 上 的 这个 预训 链 其实 很大 程度 上 已经 到头 了 所以 现在 就是 比如 今年 我们 说 预训 链 的 时候 可能 它 已经 不 像是 去年 或者 前年 的 预训 链 只是 一个 狭窄 意义 上 的 不断 地 把 数量 叠 上去 现在 的 预训 链 其实 包含 了 更 多 的 东西 比如 包含 了 强化 学习 包含 了 推理 等等 吧 但是 就是 在 最 开始 意义 上 的 预训 链 其实 是 比较 单纯 的 去 收集 更 多 的 各种各样 的 文本 数据 然后 把 它 的 一些 信息 给 提炼 到 模型

里面 所以 比如说 有 相当 长 一段时间 就是 大家 比赛 这个 参数 数量 对 吧 多少 B 什么 8B20B40B 之类 的 那个 时候 就是说 它 实际上 是 预 训练 的 数据 更 多 这样的话 它 的 预 训练 出来 的 模型 更大是 这样 一个 比赛 吗 就是 这样 或者说

就是说 数据 那么 多 但是 你 模型 更大 的话 它 的 效果 就 更好 然后 一般来讲 你 的 成本 是 模型 参数 大小 的 平方 模型 参数 大小

的 平方 就 会 更 大 那 肯定 我们 现在 知道 后来 又 出现 了 一些 变化 对 吧 突然 像 在 几个 月 前 好像 不是 几个 月 前 一个多月 前 突然 大家 都 在 说 deepseek 这件 事出 了 之后 大家 又 开始 说 我们 几个 月 之前 就 有 了 什么 什么 那 這件 事 是 怎麼 回事 呢 我們 從 DeepSeek 開始 講吧當 你 聽 說 DeepSeek 的 時候 是 一個 什麼 感覺

DeepSeek 一直 都 很 出名 不是 去年 才 火 的 就是 DeepSeek 的 那個 DeepSeekV2 應該 是 去年 年初 還是 前年 年底 具體 時間 我 忘 了 去年 年初 就 出來 了 DeepSeek 做 這個 已經 很長 時間 了然 後 DeepSeek 的 模型 比如 我們 做 研究 的 時候 也 都 會 去 評測然 後 他 的 論文 就是 我覺 得 學術界 吧 或者 包括 TheTech 界 大家 都 會 看 所以 我覺 得 做 大 模型 的 人 沒 有人 會 說 不

知道 DeepSeek 但是 很早以前 就 會 知道

DeepSeek 對 他 一直 是 一個 就是 比較 重要 的 一個 player 那 他们

的 论文 读 起来 他们 有 什么 比如说 在 出圈 前 他们 的 论文 读 起来 有 什么 特别之处 吗 就

比如 他 提高效率 的 一个 技术 叫 那个 就是 LatentAttention 吧 相当于 就是 用 了 一个 这种 LowRank 就是 低质 的 一个 数学 上 的 分解 然后 提高 了 整个 这个 Architecture 这个 Attention 的 一些 这个 运行 的 效率 其实 这个 是 应该 是 V2 版本 就 有 的 然后 呢 这个 也 是 它 后来 整个 效率 提高 里面 的 一个 最 重要 的 几个 基础 突破 之一 吧 然后 DeepSeek 比较 有意思 的 点 在于 就是 DeepSeek 非常 注重 从 这个 MachineLearningSystem 角度 来 提高 这个 模型 的 训练 以及 这个 influence 的 效率 然后 这个 很大 程度 上 来源于 他们 就是 DeepSeek 本来 是 一个 高频 量化 的 团队 嘛 然后 就是 如何 提高 這個 任何 一個 AI 算法 的 這個 推理 效率 然後把 這個 算法 的 這個 Latency 降低 這個 其實 是 高頻 算法 教育 裡面 最 重要 的 事情 所以 很大 程度 上 就是 DeepSeek 他們 天然 有 這個 基因 來 做 這個 事然 後 相比 來講 OpenAI 因為 他們 想永遠 想 做 第一 個 到 AGI 的 公司 嘛 並且 他們 有 足夠 的 資源 也 沒 有 在 那個 算力 上 被 卡脖子 所以 他們 可能 就是 相對 於 就是 關注 效率 來講 他們 的 優先級 肯定 是 先想 怎麼樣 大力 突襲技 把 事情 做 上去 再 說 但是 DeepSeek 因為 相 對 來 講資源 沒有 那麼 充沛 所以 DeepSeek 一上 來 就 同時 在 關注 效率 所以 這件 就是 從 效率 的 提升 角度 來講 DeepSeek 是 第一 個 做到 的 公司 的 話 其實 非常 合理 嗯

那 他們 出圈 之 後 被 提到 的 幾件 事 是 一個 是 他們 的 他們 推理 需要 的 資源少 另外 一個 他們 出 了 這個 叫 什麼 RE 是 吧 就是 號稱 是 有 推理 能力 的 雖然後來 OpenEye 說 他們 也 有 只 不過 他們 沒有 放出 來 只 不過 他們 沒 有 把 推理 過程 寫 出來 那 這兩件 事情 那個 出圈 之 後 你 們 業內 人士 是

怎麼 看待 的 首先 就是 我 这里 就 有 一个 中文 上 含糊 的 点, 推理 英文 上 有 两个 词嘛, 一个 是 说 我 调用 这个 模型, 它 速度 快 不快 就是 influence, 然后 另外 一个 推理 讲 的 是 reasoning, 就是 它 能 不能 就是 做 一系列 的 思维 上面 的 推导, 然后 最终 解决 一个 更 复杂 的 问题。 首先 就是 先 做 出来 这个 reasoning 的 肯定 是 OpenAI 是 O1 先 做 出来 reasoning 并 不是 DeepSeek 但 DeepSeek 确实 很快 就 catchup 了 并且 用少 了 多 的 资源 就 达到 了 和 这个 O1 甚至 O3 差不多 的 水平 所以 它 从 reasoning 的 层面 其实 应该 你 可以 理解 成 就是说 在 reasoning 的 这些 大厂 的 player 里面 它 一定 程度 上 就是 打破 了 OpenAI 的 垄断 吧 但是 reasoning 本质 上 其实 就是 一个 强化 学习 算法 然后 强化 学习 在 大 模型 上 不管 是 做 alignment 就是 对齐 还是 做 reasoning 其实 在 学术界 一直 甚至 很 早就 有 很多 的 工作 只不過 學術界 能 做 的 模型 都 非常 小 就是 這種 7B 或者 32B 的 這 些小 模型 所以 我覺 得 就是 從 特別 本質 的 方法 上來講 這裡 沒有 什麼 是 大家 不 知道 的 事情 或者 說 在 很多 的 一些 toyproblem 上 其實 也 有 各種 各樣 的 重現 但是 你 把 它 真的 scale 到 這個 幾百 B 的 模型 裡 并且 把 整个 的 事情 做 完整 那么 确实 我 觉得 最先 做到 的 是 OpenAI 然后 是

DeepSight 像 你 这么 说 这件 事情 是 一个 业内 大家 都 知道 的 方向 那 为什么 OpenAI 突然 就 做 成功 了 呢 还是 说 别人 就 都 没有 成功 呢 他们 有 什么 独门 秘技 呢 还是 说 他们 那

为什么 这个 事情 是 OpenAI 先 做

出来 的 呢 我 觉得 在 那个 本质 的 方法论 上 其实 没有 特别 多 的 未知 但 这 里面 有 很多 具体 技术 须要 甚至 是 工程 上 的 细节 需要 摸索 然后 更 重要 一点 就是说 你 做 这种 大 的 模型 尤其 是 这种 reasoningmodels 你 需要 很强 很 深厚 的 数据 上 的 积累 然后 数据 上面 的 积累 就 我 怎么 收集 数据 和 我 怎么 训练 模型 这 两件 事情 又 需要 在 一起 做 甚至 是 迭代 式 的 来 做 那 我 觉得 在 这个 层面 上 OpenAI 的 积累 肯定 是 远远 大于 DeepSeek 对 就是

怎么 出 大力 的 这件 事情 OpenAI 很 有 工程 的 经验 就 不光

是 工程 还是 数据 收集 标 数据 是 最最 重要 的 事情 那 可以

给 我们 大概 的 科普 一下 为什么 为什么 推理 的 reasoning 这件 事情 是 靠 这个 强化 学习 做 出来 的

做 推理 就是 做 reasoning 的 意思 就是 說 比如 解數 學題 嘛 就是 我 不是 說 我 看到 一道 數學題 就 直接 蹦出 一個 答案 而是 我 要解 這個 數學題 我 可能 有 一步 兩步 三步 我 可能 會要 調用 一些 引理 或者 說 我 這裡 什麼 用 一下 什麼 歐拉 不等式 我 那裡 用 一下 什麼 空算 的 一個 什麼 函數 這些 我 已經 都 忘 了 說 實話 所以 你 做 數學題 是 需要 一步 一步 的 來 做 一個 形式化 的 推導 那麼 這件 事情 它 必須 讓 這個 模型 能夠 也 一步 一步 的 把 問題 解出 來 那麼 一步 一步 的 解一個 問題 其實 很大 程度 上 就 像 比如 很 像是 走 一個 迷宮 或者 說 很 像是 我 在 打 一個 遊戲 或者 我 在 下棋 我 需要 有個 策略 我 需要 知道 在 這個 時候 該 幹什麼 那個 時候 該 幹什麼 所以 怎么样 在 一个 迷宫 里面 找到 一条 路 或者说 在 一个 复杂 游戏 环境 里面 找到 一个 策略 或者说 我 找到 一个 从 题目 到 数学题 的 解 中间 的 这个 推理 的 路径 这些 本质 上 一个 问题 它 都 是 强化 学习 能

解决 的 问题 那 强化 学习 训练 出来 的 这个 推理 能力 是 一个 可以 普遍化 的 一个 比如说 他 训练 了 一些 他用 了 很多 这个 数学题 是 吧 我们 小学 时候 初中 做 的 证明题 训练 出 了 初中 的 这个 证明题 的 能力 它 可以 泛化 成 我 也 可以 推理 一些 我 日常 的 事情 吗 还是 说 它

还是 局限 的 對, 非常 好, 我覺 得 答案 就是 同時 是 yes 和 no 吧 就是 它 肯定 有 泛化 的 能力 那 比如 先 從 yes 講起 首先 就是 說 我 要 做 這個 強化 學習 那麼 我 需要 這個 模型 它 本身 能夠 解 一些 簡單 的 數學題 就 比如 說 我 知道 知道 1 加 1 等 於 2 這是 為 什麼 呢? 這是 因為 我 最終 是 需要 找到 一條 路徑 一個 推理 的 路徑 但裡面 的 每 一條 每 一個 轉彎 或者 每一 小步 至少 這個 基礎 模型 需要 知道 這一 小步 怎麼 走 那麼 當他 知道 很多 小步 怎麼 走 之後強 化學習 能夠 做到 的 事情 是 通過 這個 就是 这种 长链 上面 的 训练 把 很多 本来 零散 的 小步 和 零散 的 技巧 给 串 起来 最终 找到 一个 整体 的 搜索 策略 所以 这是 强化 学习 做 的 所以 从 这个 角度 来讲 的话 强化 学习 本来 就是 一个 从 简单 到 难 的 泛化 过程 它 就是 把 一些 简单 的 经验 和 简单 的 知识 把 它们 能够 组合成 一个 更 复杂 的 一个 problemsolving 的 方法 所以 一定 程度 上 強化 學習 就是 在 做 泛化 但是 就是 它 泛化 能到 什麼 程度 其實 有 很多很多 的 questionmarks 比如 舉一個 例子 就是 說 我們 其 實先 不 說 強化 學習 你 可以 先問 就是 大 模型 本身 有 沒 有 泛化 能力 然 後 比如 舉一個 例子 的 話 就是 說 首先 大 模型 現在 這個 最強 的 模型 它 一定 程度 上 是 能夠 破解 人 给 他 的 一些 暗号 和 这个 密语 的 就 比如 就是 我 想 跟 他 说 一句 话 但是 我 总是 把 一些 关键词 转化成 一些 一些 其他 的 暗号

藏头诗 这种 是 吧 不光 是 我

没有 告诉 他 是 藏头诗 或者说 我 永远 把 橘子 说成 狗 之类 的 之类 的 之类 的 吧 就 如果 我 给 它 很多 这种 有 密语 的 这些 话 这些 prompt 的话 这个 模型 是 能够 学会 这 一点 的 然后 这个 其实 是 模型 安全性 的 一个 重要 问题 就是说 如果 你 不断 地用 一个 密钥 跟 它 交流 的话 它会 学会 你 的 暗号 并且 它会 通过 暗号 的 方式 把 不 应该 泄露 的 信息 泄露 出去 那么 为什么 要说 他学 暗号 是 什么 意思 呢 他学 暗号 的 意思 就是说 当 你 跟 他 不断 地 说 我 本来 要说 苹果 和 橘子 对 吧 但 我 说 的 是 苹果 和 狗 但是 我 如果 不断 跟 他 强调 的话 他 其实 可能 会 把 本来 苹果 和 橘子 之间 的 那个 映射 给 联系 到 苹果 和 狗 上 那么 他 造成 的 结果 是 什么 呢 造成 的 结果 就是 他 可以 通过 人们 给 他 的 信息 把 他 学到 的 一些 事物 和 事物 之间 的 关联 也 就是 一些 attention 很大 程度 上 它 可以 把 這個 attention 變成 不僅 是 A 和 B 之間 而是 把 A 和 B 之間 的 這個關 係 把 這個 數學 運算 本身 給 抽象 出來 所以 就是 我 可能 可以 把 蘋果 和 橘子 的關 係 變成 蘋果 和 狗 的關 係 通過 這個 密語 的 方式 所以 那為 什麼舉 這個 例子 呢 這個 例子 想 說明 就是 說 大 模型 它 确实 能够 学到 事物 间 的 关系 并且 事物 间 的 这个 关系 或者说 这个 可 计算 的 关系 它 是 能够 从 它 的 这个 attention 里面 提取 出来 的 这 也 是 为什么 就是 当 我们 给 大 模型 很多 这个 就是 demonstration 吧 我 给 大 模型 很多 例子 之后 它 能够 根据 我 看到 给 它 的 那些 例子 把 例子 里面 的 潜在 的 逻辑关系 学 出来 来 举一反三 这是 为什么 incontextlearning 在 大 模型 里面 是 能 用 的 你 可以 给 它 很多 例子 它 就 可以 按照 这些 例子 帮 你 写 邮件 或者 帮 你 完成 一些 workflow 等等 这个 其实 也 是 现在 做 智能 体做 agents 的 一个 重要

技巧 所以 说 大 模型 就 不是 完全 的 被动 它 还是 有 一定 能力 可以 就是 你 这个 例子 是 想 证明 它 还是 有 一定 的

放话 能力 我 想 证明 它 有 一定 的 放话 能力 继续 说 就是说 那 这个 方法 能力 到底 能 不能 强 呢 比如说 解 数学题 吧 就是 解 数学题 如果 我 只 给 他 一些 examples 而且 没有 做 训练 的话 可能 效果 不会 特别 好 因为 数学题 还是 比较 难嘛 但是 我解 数学题 的话 比如 我 现在 给 他 一个 数学题 是 说 我 有 一个 二次 两个 二次曲线 嘛 然后 中间 两个 二次曲线 中间 有 一个 有 一个 叫 什么 有个 intersection 的 区间 让 他 去 算 中间 这个 区间 的 面积 就 比如 给 他 这样 一道 数学题 那么 如果 我 先 给 了 他 第一道 题 然后 我 把 答案 和 解法 告 他 了 那么 现在 我 给 他 另外 一道 题 但 我会 把 第一道 题 里面 这些 曲线 的 位置 里面 一些 参数 改一改 这个 时候 会 发生 什么 呢 这个 模型 是 能够 学会 那道 原题 里面 的 解题 方法 的 那么 他 看到 第二 道理 之后 他 发现 那个 数变 了 他 会 把 变 的 那个 数插 到 原题 的 那个 解法 上面 也 就是 原题 里面 可能 是 3 我 变成 7 之后 他 还是 能 做 对 他 像 因为 他 的 这个 思维 链 你 可以 认为 他 内部 有 一个 电路 只不过 我 把 3 改成 了 7 但 他 这个 计算 还是 继续下去 了 他 又 能 找到 正确 的 答案 所以 从 某种意义 上 来讲 他 是 有 一定 的 抽象 能力 并且 他 能够 把 抽象 的 一些 思维 逻辑 进行 举一 反算 并且 能够 带入 一些 不同 的 条件 所以 从 这个 程度 上大 模型 是 有 犯化 能力 的

那 这个 为什么 是, 我 听 这个 例子 为什么 它 是 一个 犯化 的 能力 为什么 它 不是 一个 patternrecognition 它 为什么 不是 一个 pattern 比 对 一下 它 为什么 是 个 犯化 能力 呢

首先 就是 patternrecognition 你 也 可以 理解 成是 犯化 能力 但是 PatternRecognition 是 这个 机器 学习 里面 一个 更 早 的 概念 了 就是 它 大 模型 确实 没有 在 操作 层面 在 procedure 操作 层面 去 做 PatternRecognition 但 我 觉得 你 其实 也 不妨 可以 这么 理解 因为 它 本质 上 只是 说 我 在 什么 程度 抽象 了 这个 Pattern 我 是 在 一个 事物 本身 的 层次 还是 在 语言 层次 还是 在 一个 数学 推理 的 层次 它 其實 都 是 pattern, 你 可以 理解 成 這個 模型 其實 都 是 把 我 看到 的 各種 語言, 各種 數學, 各種 科學 變成 了 不同 級別 的 pattern。 那麼當 我 有 一個 新 的 問題 的 時候, 我 真正 activate 了, 就是 我 真正 哪個 tutu 被 激發 了, 那麼 我 激發 的 可能 我 激发 了 一个 计算器 或者 我 激发 了 一个 什么 思维 方式 你 可以 认为 这个 激发 的 过程 很 像是 我 match 到 了 本来 数据 里 的

某 一个 pattern 这个 有 道理 啊 就是说 它 是 个 大 语言 模型 但是 它 出 的 结果 好像 是 它 可以 模式识别 呀 可以 识别 出 一个 模式 说明 了 它 还是 学习 出 了 这个 这种 一个 模式识别 的 能力 是 吧 大概 是 是 的

包括 就是 有 一些 我们 有 一些 研究 吧 然后 就是 希望 是 在 一個 大 模型 比如 解數 學題 或者 回答 問題 或者 幹什麼 都 可以 啊 就是 在 他 做 不同 task 的 時候 去 打開 整個 這 模型 看 哪些 神經元 被 激發 了 甚至 是 能夠 看到 比如 什麼 第 17 層 的 第幾個 神經元 就 對 應 了 某 一個 特別 簡單 的 數學 邏輯 這些 有 一些 很 簡單 或者 說 很 明顯 的 一些 邏輯 和 一些 意象 你 是 能夠 找到 它 對 應 哪個 activation 的 當然 就是 特別 複 雜的 意象 你 就 很 難 找到 了 因為 複 雜 意象 可能 就是 它 對 應 的 這個 神經元 調動 的 會 非常 非常 多 你 不 容易 很明確 的 把 這個 複 雜 意象 給 提取 出來 但是 也 有 一些 研究所 他們 試圖 通過 在 這個 大語 言 模型 的 網絡裡 面去 加一層 特別 特別 寬 的 一層 希望 中間 插 進去 一個 特別 寬 的 一層 然後用 吸收 的 方式 希望 這個 特別 寬 的 一層 裡面 我 每次 只 激發 非常少 的 神經元 希望 用 這個 方式 去 提取 更 複 雜的 意象 或者 更 複 雜的 這個 不管 是 語言上 的 描述 還是 更 複 雜的 一些 數學 或者 推理 邏輯 就是

他們 想要 讓 他們 歸納 出來 更 抽象 的 知識, 把 牛頓 三定 御 歸納 出來。

就是 現在 的 模型 不 一定 歸納 出來 了 更 抽象 的 知識, 但是 你 希望 能夠 有 一個 更, 就是 能夠 把 它 打開 看 的 方式, 相當 於 去 做 一個 外科 手術 嘛, 我 希望 能 打開 看看 它 哪些 東西 抽象 出來, 哪些 東西 沒 抽象 出來。

有意思, 我们 回到 刚才 的 问题 是 说 它 的 局限性 是 啥, 它 确实 是 有 泛化 的 能力 的 吧 但是 它 的 泛化 的 局限性 啊, 你 刚才 肯定, 你 既然 说 yesorno 了, 还有 no 的 一部分, 对

吧 对, 它 有 局限性, 就是说 它 的 这个 泛化 的 层面 就是, 因为 如果 是 数学 是 个 很 好 的 例子 嘛, 数学 你 永远 可以 从 這個 小學到 高中 然後越 來 越 抽象 所以 如果 是 舉數學 例子 的 話 比如 就 同樣 的 是 說 我算 兩個 曲線 之間 它 交叉 的 面積 如果 這兩個 曲線 都 是 二次 曲線 可能 我 怎麼 改 怎麼 改 這個 曲線 的 數它 都 能 算 對 但是 如果 突然 把 二次 改成 三次 的 話 它 可能 要麼 沒見過 或者 說 它 之前 見 到 的 東西 比 較 少 它 可能 就 做 不 對 了 而且 它 可能 會試 圖去 套用 本來解 二次 曲線 的 那個 解法 來 去 解 這個 三次

这 我们 人类 也 都 这样 啊

我们 也 不会 而且 這個 你 可以 認為 這是 一種 lackof 泛化 性 但是 這個 東西 也 有 好 處 就是 說當 他 看到 三次 函數 也 會 認為 是 二次 的 話 這其實 是 一種 魯蚌性 他 在 一些 安全性 的 就 比 較 注重 安全 的 場景裡面 他 其實 是 一個 好 的 性質 就是 他 能夠 發現 你給 我 這個 情況 跟 以前 不一樣 那麼 他 可以 autocorrect 就是 他會 認為 這個 世界 上 只有 二次 的 問題 如果 你給 我 一個 三次 元 函數 的 話 那 就要 提 就 出错 了, 但是 这件 事情 可能 可以 让 这个 模型 在 某些 情况 下 比较 鲁棒, 而 不会 被 一些 这个 Attacker 通过 改 Prompt 的 方式 来 影响。

嗯, 所以 这个 和 我们 人类 所谓 的 繁华 性 比较, 它 是 一个, 我们 人类 如果 学过 二次 函数, 看到 一个 三次 函数, 我们 就 知道 我们 不会 的 吧。 这个 他 这个 季 学期 他会 他 会 硬来 是 吧 硬套 一下 看看 是不是 出 结果 是 吧 对 他

会 硬来 但是 在 他 硬来 过程 中 如果 你 强行 让 他 比如说 你 先 硬来 一个 十分钟 实在 不行 的话 你 就 自己 给 自己 加 一个 wait 或者 加 一个 AHA 就 如果 你 中间 强行 给 他 一些 这种 提示 词 的话 在 他 总共 不 出来 的 时候 加进去 的话 他 可能 就 可以 换 一条 轨道 来 重头 想 或者 找 一些 其他 的

方式 所以 就 这个 强化 学习 就 跟 我 理解 强化 学习 就 跟 我们 这个 AI 这个 什么 那个 走 迷宫 一样 嘛 他 肯定 是 事事 事事 不行 就 换 一个 是 吧 那 这个 最终 的 局限性 在于 它 没有 真正 的 理解 它 就 会瞎试

是 吧 这个 大概 就是 对 就是 比如 现在 解 数学题 有 很多 模型 它 可能 解 你 让 它 试 30 次能 对 一次 这 其实 还是 个 重要 的 指标 如果 它试 30 次能 对 一次 的话 这 说明 我们 会 认为 它 还是 知道 怎么 做 这道题 的 那么 这时候 你 可以 通过 一些 额外 的 不管 是 强化 学习 的 方式 或者 一些 自动 纠错 的 机制 让 它 把 30 次 对 一次 变成 可能 十次 對 八次, 就 這時候 如果 它 還是 有 可能 做到 做 對 這道題 的 時候 那麼 說明 你 可以 通過 一個 相對 簡單 的 方式 提高 它 的 準確性 但 如果 這個 模型 特別 差, 它 可能 做, 它 怎麼 做 都 做 不 對 那 這個 時候 其實 是 就 不 太 可以 救藥 了 就是 你 一定 要 從 一個 比 較強 的 basemodel 出發, 那麼 它 可以 不斷 提

那 我们 回到 我们 最 开始 的 问题 就是说 它 比如说 在 数学 里面 训练 的 推理 的 能力 它 有 多 大程度 上 可以 泛化 在 比如说 别的 地方 我们 数学 推理 了 一下 我们 在生活中 也 能 推理 一下 这个 这些

问题 吧 我 觉得 就是 除非 这个 生活 中 推理 的 问题 它 确实 需要 解 数学 就是 确实 有 一些 数学 的 层面 吧 那 如果 就是 一个 纯粹 生活 的 一个 就是 比较 没有 那么 精确 的 推理 的话 我 觉得 数学 上 推理 的 能力 至少 现在 没有 看到 很 明显 的 就 是从 数学 到 一个 比如 人文学科 的 推理 的 这个 繁华 那么 比如 我们 想 做 如果 想 做 一个 什么 人文学科 啊 或 心理 学科 啊 等等 的话 那么 最好 是 有 这个 学科 专门 的 这种 reasoningdataset 和 reasoningbenchmark 然后 并且 在 这个 具体 的 学科 上面 进行 强化 学习 的 微调 那么 就 可以 提高 这个 具体 领域 的 推理 能力

那什麼 時候 AI 可以 幫 我們 創造 出 這個 新 的 學科, 就 差學科 知識 嗎?

我 不 知道, AI 已經要 把 所有 學科 都 給滅絕 了。

所以 推理 這件 事情, 孟迪覺 得 在 未來 會 向 什麼 方向 發展 嗎? 就是 它 已經 走 到頭 了 嗎? 還是 說 還有 什麼 未來 的 更 厲害 的 推理 方向 嗎?

如果 是 在 科學上 或者 更 複 雜的 事情 上 推理 的 話 就是 現在 這些 其他 領域 的 推理 的 Bottleneck 實在 在 數據 上 因為 我 很多 推理 我 需要 最終 有 一個 goldenanswers 我 需要 知道 答案 对 吧 至少 我 需要 知道 问题 和 答案 它们 需要 非常 的 welldefined 然后 这时候 才能 让 模型 试图 去 找 这个 问题 和 答案 之间 的 路径 但是 如果 它 不 像 数学 这么 清晰 的话 很 有 可能 我 不光 需要 问题 和 答案 我 还 需要 知道 里面 的 推理 路径 那么 这样 的 数据 要 让 人 标注 的话 就 更 难 吧 所以 我 觉得 就是 怎么样 把 人 的 知识 以 一种 特别 简单 的 方式 变成 可以 训练 模型 的 数据 我 觉得 这个 会 是 很多 具体 领域 的 一个 难点 然後更進 一步 是 模型 本身 到底 有 沒 有 對 世界 的 理解 足夠 抽象 我覺 得 這是 一個 更 深刻 或者 更 哲學 層面 的 問題 我 覺得現 在 其實 還沒有 特別 好 的 量化 然 後 大家 對大 模型 的 理解 也 都 還在 這個 研究 的 階段 我 覺得 也 有 可能 一件 事情 就是 說 如果 模型 它 沒 有 那麼 深刻 的 抽象 能力 的 話 那麼 可能 它 所有 的 推理 最終 還是 會 受限 於 這個 本身 基礎 模型 它 對 世界 的 抽象 能力 和 理解能力 那麼 你 抽象 到 什麼 程度 你 的 推理 就 只能 到 什麼 程度 所以 到 那個 時候 的 話 可能 就 必須 要 回到 預訓練 甚至 是 模型 的 基礎 架構 本身 再 去 試圖 更 抽象 的

理解 世界 看来 这 未来 一段时间 的 可能 是 我们 把 现在 这个 推理 的 这种 方法 在 用 在 各个 地方 看看 能 用 大力 出个 什么 奇迹 然后 出不来 我们 再 看 这个 技术 模型 是 吧 大概 梦迪 觉得 未来 是 带 着 这个 方向 对

我 觉得 是 的 对 我们 说

推理 那个 最近 在 deepseek 出来 之后 我们 那个 学到 一个 我 之前 这个 圈外人 不 知道 的 概念 叫 征流 叫 征流 征流 是 咋 回事 啊

征流 是 一个 就 反正 就 也 都 没有 多少 年 吧 但 也 是 存在 了 很 挺长 一段时间 的

概念 所以 大 模型 出来 之后 这个 时间 都 静止 了 是 吧 觉得 几个 月 前 就是 好像 古代 一样

没有 没有 这征流 至少 几年 前 了 对 有 征流 就是 我 拿 大 模型 的 输入输出 我 拿 一个 模型 的 输入输出 去 训练 另外 一个 模型

的 输入输出 那 是 为什么 要 这样 做 呢 这 为什么 叫 征流 呢

哦 徵流 的 意思 一般 來講 它 是 把 從 大 的 訓練成 小 的 所以 它 相當 於 一個 取其 精華 的 概念 吧 所以 它 叫

徵流 就 為 什麼 是 精華 呢

首先 為 什麼 是 精華 就是 首先 你 知道 一個 模型 我給 了 輸入 之後它 一個 token 一個 token 的 輸出 對 吧 但 它 每次 真正 的 輸出 不是 一個 token 它 輸出 的 是 一個 logit 它 輸出 的 是 所有 token 的 概率 分 佈 只不过 它 生成 的 时候 我 在 里面 再 采样 采出 了 一个 token 的 序列 所以 当 我 征流 的 时候 我 其实 是 用 它 每个 token 当时 的 这个 条件 概率分布 来 做 训练 那 也就是说 我 比起 用 一个 样本 来讲 我用 它 整个 的 条件 概率分布 来 做 训练 的话 我 信息量 就 大多 了 所以 我 做 徵流 的 話 我 可能 不 需要 預訓練 那麼 多 的 數據 就是 說 我們 自己 用 XGBT 的 時候 它 每次 生出 來 的 結果 都 是 隨機 的 對 吧 我 這時候 拿到 的 是 一個 樣本 一段 話 就 一個 樣本 但 我 徵流 的 時候 我 不會 從裡面 採一個 樣本 我 是 直接 會 拿到 每一個 token 的 概率分布 所以 我用 整個 的 概率分布 去 做 訓練 它 比起 只用 一段话 一个 样本 来讲 它 的 信息量 要 大 非常 多

如果 它 已经 采样 成为 一个 concrete 的 Apple 了 你 就 没有 那么

多 的 信息 了 是不是 对 哦 对 bytheway 就征 留有 两种 我 刚才 说 的 这个 是 传统 就是 比如 我们 征留 deepseek 的话 就会用 这种 方式 但 如果 你 想 征留 OpenAI 你 是 看不到 概率 的 你 只能 看到 最后 这个 样本 这个 时候 就 还是

得 大力 出 奇迹 那 我 觉得 因为 这个 孟迪 自从 话系 出身 的话 你们 喜欢 一些 信息论 是 吧 因为 三个 论是 吧 信息论 之一 这个 事情 我 理解 不了 的 一件 事 就是 大 模型 它 里面 有 这么 大 的 这么 多 的 信息 为什么 它 蒸馏 一下 它 就 可以 小 了 并且 它 的 信息 还 不 丢失 呢 这件 事是 怎么 一个 原理 呢 还是 说 它 训得 不够 这 只要 大 模型 再 继续 训续 它 还

可以 训得 更 小 吗 就是 征流 這個 概念 以前 是 很 精準 的 這個 概念 現在 大家 都 亂 用 了 就 比如 就是 DeepSeek 它 出來 這個 R1 的 時候 它 自己 做 了 幾個 征流 的 版本 它 做 了 一個 Lama 的 征流 版本 還做 了 一個 什麼 Q1 的 征流 版本 它 的 征流 其實 是 在 別人 的 基礎 模型 上用 自己 大 模型 生成 的 數據 和 這個 概率 分 佈 信息 又 去 做 了 微調 所以 至少 DeepSeek 自己 征流 著給 大家 玩 的 那些 小 模型 它 不是 一個 從 零開始 征流 它 也 是 用 征流 的 方式 進行 微調 的 所以 就是 我 認為 就是 實際 中 其實 征流 你 還是 可以 把 它 理解 成是 一個 微調 或者 是 一個 增強 或者 是 一個 一個 後 訓練 吧 是 一個 後 訓練 它 還是 會 有 一個 得到 的 小 模型 它 也 是 從 另外 一個 更 基礎 的 經過 了 預訓練 的 小

模型 開始 的 所以 它 的 能力

会 丧失 吗 它 能力 肯定 会 丧失 它 能力 会 丧失 很多 相当于 大 模型 我 学到 了 很多 的 这些 非常 长链 的 思维 方式 嘛 那 蒸馏 的 过程 中 这些 长 的 链 可能 就 被 打断 了 你 也 不 知道 它 哪儿 断 了 但是 它 可能 能够 取决于 你 模型 有 多 大 吧 不同 大小 的 蒸馏 模型 丧失 的 能力 有

不断 的 差别 那 为什么 我们 人用

起来 看不出来 呢 你 用 起来 看不出来 是不是 你 给 它 的 prompt 太

简单 了 是 吗? 那 你们 如果 给 了 一些 比较复杂 的 问题 还是 蒸馏 出来 还是 不如 原来 的 模型 是 吗?

是 不如 的, 对, 比如 像 数学 和 那个 编程 这些 task 上 都 是 有 非常 完整 的 测评 的 肯定 是 不如 的 那 我 把

我 脑子里 想 的 东西 一 泼 乱糟糟 的 写成 文字 写 下来 也 算是 一种 蒸馏 吗?

你 得 把 它 变成 模型 参数 才 算 蒸馏 你 把 你 的 信息 写 出来 然后 用 它 去 微调 模型 的话 就算 整个 大 模型 生成 数据 它 是 会 有 一个 prompt 的 数据 集 的 就是 我 得 先 问 你 一堆 问题 然后 你 才能 给 我 回答 对 吧 而 我 并 不能 让 你 同时 回答 实际上 所有 问题 所以 蒸馏 模型 的 时候 一个 很 关键 的 问题 是 它 怎么 设计 这个 promptdataset 所以

说 征流 就是说 要 把 这个 大 模型 里面 最 适合 回答 我 这个 我 想要 那些 提问 的 那些 部分 把 它 拿 出来 这样的话 如果 你 设计 出来 就是 这些 问题 就是 我 最 在意 的 那 可能 就 非常 重要 了 是 这个 意思 吗 就 这个 结果 就 非常 好 因为 如果

我们 喜欢 这些 问题 对 我 觉得 实际上 公司 在 做 这些 事情 的 时候 它 肯定 会 有 一个 自己 的 数据 集 因为 它 知道 用户 关心 什么 就 肯定 会 有 这样 一个 数据 集对 只不过 一般 大 模型 还是 希望 它 是 一个 通用 的 如果 是 我们 只在乎 某个 具体 领域 的话 那 可能 就 我 也 可以 做 具体 领域 的 征流 了 对 那 可能 更 像是 一个 一个 一个 微调

那 一个 学生 officehour 跑 去 问 老师 一堆 这 周 课程 的 问题 算不算 就是 征留 走 了 老师 关于 这 周 课程 的 信息 那

应该 算 吧 那 也 也 足够

努力 就是 你 这 不 叫 征留 你 这个 Vindy 先 把 课学 完 了 然后 你 问 他 几个 关于 考试 问题 你 这 叫 征留 吧 Vindy 学 出来 的 那个 被 考 的 那个 内容 都 被 你 学会 了 你 把 它 征留 出来 了 那 這個 就 成為 一個 這假設 我們 用 同樣 的 問題 再 用 蒸餾過 的 模型 再 蒸餾 一次 應該 結果 基本上 差不多 的 對 吧 因為 它 這麼 聽 上去 蒸餾 是 根據 你 想要 問的 一些 問題 得到 它 的 一些 一個 更 小 的 模型 這個

anyway 就 取決 於 你 的 這個 應用 程序 有 多 繁華 反正 這裡 有 很多 具體 的 工藝 的 問題 比如 你 徵留 的 時候 是不是 需要 把 預訓練 的 模型 預訓練 的 數據 拿 來 混 在 一起 再 重新 訓練 等等 如果 我 只用 一個 特別 專業 的 數據 機來 做 徵留 或者 做後訓 練 的 話 它 可能 反而 會 讓 模型 變笨 它 會 讓 模型 忘 了 一些 這本來 的 commonsense 所以 實際 操作 裡面 有 很多 工藝 上 的 講究 這個 數據 怎麼 配比 然後怎麼樣 說 第一波 先訓練 誰 第二 波再 訓練 誰 可能 分成 好多 stage 对

学而不思 则 罔 思而 不学则 怠 是 吧 你 不学光 思考 也 不行 还 得 没事 得学 一学 那 最近 这个 DeepSeek 之后 出来 经常 我们 看 新闻媒体 啊 这个 公众 号 经常 各种各样 的 非常 奇怪 的 新闻 说 哪个 哪个 哪个 大学 又 花 了 多少 百 美元 又 把 它 做出 了 一个 一样 强 的 模型 哪 哪 哪 大学 又 做 了 一个 几十 美元 也 不是 几百美元 了 最近 这堆 东西

是 咋 回事 啊 这些 都 是 标题 党, 人家 论文 可能 并 没有 这么 写, 只不过 有些 公众 号 标题

党 好 吧, 那 最近 实际上 这些 研究 都 在 做 一些 什么样 的 工作 呢?

实际上 的 研究 没有 啊 其实 就是 这些 研究 大家 本来 就 在 做 只不过 就是 你 可能 正好 是 deepseek 出来 的 时候 你 的 结果 也 出来 了 然后 显得 好像 在 蹭 deepseek 热度 一样 但是 就是 deepseek 之后 反正 有 一些 就是 征留 deepseek 的 因为 你 可以 你 只要 用 deepseek 的 解数 为题 的 答案 征留 了 之后 去 训练 模型 效果 都 会 更好 相当于 你 对 着 一幅 蒙娜丽莎 照张 照片 你 这 照片 也 特别 好然後有 這樣 的 工作 然後也 有 的 工作 就是 只是 那個 就 本來 在 做 這個 事然 後 在 做 一個 小 模型 然後也 在 做 這個 模型 上面 的 強化 學習 對 吧 然 後 你 也 肯定 會 有 就 能 看到 效果 嘛 然 後 就是 從 公眾號 角度 就 顯得 好像 你 在 付現 deepseek 一樣 就是 其實 這些 事情 隨便 便 本來 就 在 做

所以 隨便 便 本來 也 在 做 一些 工作 就是 說要 通過 徵流 的 方法 或者 方法 還不讓 它 變得 更 小 模型 變得 更 小 變成 inferiority

變得 更 小 学术界 也 不能 这么 说, 学术界 本来 只是 在 自己 做 reasoning 而已, 只不过 就是 有些 组 他们 用 deep seek 的 数据 来 做 强化 学习, 因为 强化 学习 需要 数据, 那 我 可以 用 deep seek 的 数据 来 做 对 吧, deep seek 生成 的 数据, 那么 这个 生成 数据 就 会 quality 很 高, 所以 很快 就 可以 把 一些 榜 刷上去。 我们 的 paper 是 deep seek 出来 之前 就 有 的, 我们 没有 用 deep seek, 也 没有 整理 过 它 的 数据, 我 看到 有 一些 论文 用 了 但 你 看 公众 号 看不出来 反正 有些 论文 用 了 有些 论文 没用 它 论文 里面 是 写 清楚 的 但 公众 号 看不出来 所以

说 现在 一个 大 趋势 就是 DeepSeek 的 这个 推理 能力 使得 一些 研究 工作 就 变得 更好 做 了 是 吧 因为 他们 可以 提供 更好 的

没 啥 关系 我们 没有 用 DeepSeek

不是 你们 呀 就是 很多 其他 的

工作 并 没有 就是 没有 就是 本来 也 可以 用 OpenAI 嘛 就是 如果 你 需要 就 构造 一个 数据 集嘛 因为 就是 你 要 做 研究 你 总 需要 构造 数据 集嘛 如果 你 用 谁 构造 的 数据 集 然后 有 一些 标准 数据 集 比如 我们 之前 做 的话 用 的 都 是 一些 大家 都 用 的 标准 数据 集 然后 现在 这些 模型 推理 能力 更好 的话 那么 你 用 这些 模型 生成 数据 集 可能 比 本来 的 学术界 用 的 数据 集 效果 还好 但是 它 其他 的 也 没有 什么

能用 的 对 那 我们 说完 了 现在 这个 deepseek 那 在 未来 这个 领域 在 往 什么 方向 发展 呢 好像 deepseek 把 这种 基础 模型 研究 的 热点 又 变得 更 热 了 可能 去年 很多 人 都 觉得 这个 应用 是 这 就 差 应用 了 大家 又 突然 又 开始 关注 这个 基础 这个 模型 怎么 做 了 那 这个 模型 本身 未来 的 这个 方向

会 是 什么 呢 首先 就是 DeepSeek 并 没有 带 出 任何 热度 啊 就是说 不是 说 它 没有 DeepSeek 肯定 有 热度 但是 用 RL 做大 模型 这件 事情 是 开始 了 很 长时间 了 而且 确实 是 OpenAI 先 做到 的 我 觉得 DeepSeek 可能 更 多 的 是 在 中文 媒体 圈带 了 很多 热度 让 很多 不 关注 大 模型 的 人 开始 关注 了 所以 好像 是 就是 outofnowhere 一樣 但 其實 不是 的 就 包含 就是 說 我們 組 之前 有 很多 畢業生 他們 都 是 在 去年 年初 或 前年 年底 被 招到 OpenAI 去 做 RL 然后 你 就 会 知道 就是 其实 OpenAI 做 RL 也 就 一年 多一点 然后 DeepSeek 做 的话 那 时间 其实 会 更 短 但是 学术界 完全 知道 OpenAI 是 什么 时候 开始 做 的 然后 就是 大家 其实 都 在 做 其实 非常 像 的 就是 从技术上 就是 技术 思路 都 是 非常 像 的 大家 是 在 同时 试 这些 不同 的 东西 但是 就是说 谁 把 产品 做 出来 了 或者 谁 特别 出圈 我 觉得 这 很大 程度 上 是 是 獨立 於 它 真正 的 這個 底層 技術 的 發展 的 過程 的 剛才

說 那個 詞 叫 什麼 R O L 是 什麼 R L 吧 R

L, 強化 學習, reinforcelearning 強化 學習, reinforcelearning

就是 這個 方向 是 大家 就是 從 OpenAI 就是 這樣 做 的 大家 所有人 都 是 這樣 做 的 一個 普遍

的 知識 但是 這也 不是 open eye 先開始 的, 就是 reasoning 的 前身 是 alignment, 或者 說用 強化 學習 的 方式 去 做 各種 微調, 比如 就是 比 推理 更 簡單 的 一個 task 就是 說 我 需要 做 對 齊 嘛, 對齊 可能 就是 說 比如 Wendy 特別 喜歡 簡潔 的 對 話, 然 後 Stuart 特別 喜歡 囉 嗦 的 對 話, 吧? 那么 它 需要 根据 你 的 这个 喜好 来 微调 把 这个 模型 它 的 这个 聊天 风格 微调 到 各种 用户 这个 做法 也 是 强化 学习 只不过 它 强化 学习 学到 的 东西 相对 更 浅层 面 一些 数学 推理 你 可以 理解 成 它 是 一个 更 抽象 的 层面 那么 它 对 数据 和 这个 强化 学习 的 这个 长度 和 深度 Horizon 要求 更高 但是 这 一套 算法 一直 在 用 只不过 就是 做 的 task 越来越 难 了

哦 是 这样 那 这个 强化 学习 最 推理 就是 未来 一段时间 的 热点 吗 还是 说 这个 大 模型 领域 还有 别的 更 多 的 这种 技术创新 在 或者 技术创新 的 方向 在 推理

就是 一个 是 数学 一个 是 coding 除了 数学 coding 之外 其他 的 推理 其实 非常 看 数据 非常 看 你 能 不能 拿到 这个 数据 并且 在 其他 的 领域 不管 是 科学 领域 还是 商业 领域 你 这个 推理 你 怎么 证明 它 是 对 的 所以 我 觉得 就是 数学 和 coding 是 最 标准 的 也 是 全世界 最 通用 的 但是 其他 领域 其实 就 不是 一个 纯 技术 问题 了然 後 今年 最火 的 肯定 是 AIAgents 然 後 AIAgents 也 要 和 推理 結合 起來 但 AIAgents 很大 的 問題 也 是 需要 數據 什麼 叫 AIAgentsAIAgents 就是 你 把 這個 大 模型 給它 加上 各種 各樣 的 手 和 腳 和 工具 和 眼鏡 讓 它 能夠 有 視覺 能力 讓 它 能夠 操作 你 的 操作 系統 讓 它 能夠 操作 你 的 Chrome 然 後 這樣 它 就 可以 幫 你 去 自主 的 幫 你 做 一系列 你 想 做

的 事情 那 最近 這些 公司 談 OpenAI 喜歡 談 AGI 是 吧 AGI 中文 怎麼 說 還是 不用 解釋 大家 都 知道 AGI 是 什麼 通用 人工智能 對 這個 OpenAI 經常喜 歡講 通用 人工智能 那 是不是 我們 就 通過給 這些 智能 增加 推理 能力 就 可以 去 通用 人工智能 了 嗎 還是還 需要 什麼 別 的 哪 方面 還 需要 更 多 的 創新

通用 人工智能 首先 就是 大 模型 推理 只是 语言 层面 并且 它 现在 到底 是不是 足够 的 深刻 对 吧 它 能 不能 了解 人 能够 理解 的 一些 更 抽象 甚至 是 更 vague 的 一些 概念 我 觉得 这个 还 不 知道 然后 呢 其他 的 模态 啦 当然 我 觉得 就是 声音 啊 然后 图像 视频 这是 所有人 都 有 的 但是 除了 这些 模态 还有 科学 的 模态 比如 天體 物理 就 觀察 了 什麼 引力波 的 數據然 後 基因 的 數據然 後 你 其實 想像 真正 通用 人工智能 它 應該 是 能夠 理解 和 分析 所有 這些 模態 不光 是 普通人 常見 的 模態 還有 科學 的 模態 還有 商業 的 模態 還有 各種 各樣 的 模態 我 覺得 就是 到 了 到 了 這個 階段 吧 可能 人工智能 就 不 只是 說 一個 公司 或者 說 一個 技術 或 一類 技術 或 一個 學科 了 它 要 在 其他 的 模態 和 其他 的 就是 它 需要 能夠 長 出 有 其他 更 多功能 的 手 和 腳來 跟 這個 真實 的 世界 來 交互 因為 任何 一個 AI 它 其實 不能 真正 完全 在 死 的 數據 上 訓練 出來 一個 AI 它 要 變成 AGI 的 話 它 一定 要 跟 世界 交互 它 不管 是 跟 用戶 交互 還是 跟 科學 設備 交互 還是 跟 觀測 交互 還是 跟 誰 交互 一定 要 不斷 交互 才能 夠更 多 的 迭代 然後更 多 有 進展 那麼 這樣 的 交互 怎麼 實現 我 覺得 這其實 是 一個 ecosystem 或者 說 是 一個 社會 層面 的 改變然 後 我們 並不 知道 這個 社會 層面 的 改變會 從 哪裡 先 開始 這看 來

還是 有點 距離 啊 不僅 是 一個 做 模型 做 得 更好 它 就 變成 了 還是 需要 有 一些 非技術

的 層面 的 東西 在 有 非常 非常 多 的 非技術 的 層面 的 東西 需要 stakeholders 大家 都 能夠 對

齊 看来 是 这个 梦迪 还是 在 技术 方面 表示 乐观, 只要 是 达到 了 数据 在 了, 只要 是 训练 的 场景 在 了, 我们 AI 做到 通用 人工智能 还是 一个 指日可待 的 事情。

接着 前面 的 一个 问题 就是说, 就 像 NLP 会受 AI 一个 彻底 的 洗牌 一样, 对于 比如说 你们 所在 的 ECE 的 这些 department 还有 说 这 以外 的 其他 的 大家 会 有 这种 对于 洗牌 的 就是 对于 未来 吧 未来 科研 会 怎么 走 有

什么 看法 吧 呃 我 觉得 其实 所有 所有人 都 很 迷茫 吧 就 是从 从 老到 小 应该 都 非常 的 迷茫 对 我 其实 觉得 就是 很多很多 的 以前 的 工作 方式 或者说 一些 具體 的 課題 啊 方向 等等 他們 確實會 越來 越 不 relevant 但 我 覺得 很大 程度 上 這個 學科本 來 就 所有 的 學科本 來 也 是 流動 的 然後學科 也 是 有 自己 的 一個 自然 的 過程 甚至 是 自然 選擇 的 過程 吧 只 不過 是 我 覺得 AI 的 發展 它 其實 就 我 覺得 它 還是 超出 了絕 大部分 人 的 預測還 甚至 超出 了 很多很多 做 AI 的 人 的 預測 所以 我 觉得 当 它 过于 快 的 时候 因为 你 想 一个 技术 它 如果 是 慢慢 发展 和 它 很快 发展 它 对 同样 的 不管 是 一个 社会 体制 还是 一个 研究 的 体制 它 的 这个 冲击 的 方式 是 不 一样 的 所以 我 觉得 它 到底 这样 这个 以前 的 一些 传统 的 学科 或者 传统 的 科研 体制 它 和 这个 非常 快 的 技术 发展 这 两件 事情 最后 怎么样 达到 一个 稳态 我 觉得 这个 其实 非常 难 非常 非常 难 预测 但 但 所有人 都 知道 吧 就是说 我 觉得 以前 的 过去 正在 非常 非常 快速 的 在 坍塌 然后 这个 川普 也 在 推动 这种 坍塌 我们 也 都 很 迷茫 但

我 总体 会 觉得 好像 在 这 一代 的 就是 比如说 你们 这个 训练 的 这 一代 的 科研 者 或者 学者 来说 可能 碰巧是 比较 幸运 的 因为 大家 都 还 就是 正值 这个 青壮年 然后 就是说 可能 也 可能 是

最后 一代 学者 了 是 吧 或者

最后 一代 人类 但 我 觉得 就是 你 想一想 我 觉得 我们 至少 我们 遇到 的 事情 都 是 大 概率 的 事情 对 吧 就 比如 一个 经典 的 数学题 就是 如果 你 现在 上 了 一辆 火车 你 不 知道 它 有 多少 节车厢 比如 你 现在 记 20 节车厢 但 你 不 知道 一共 有 多少 节 那 你 认为 这个 火车 最有 可能 一共 有 多少 节车厢 这个 答案 就是 20 吗 就是说 一代 你 上 了 这 班车 你 很 有 可能 上 的 是 最晚 一 班车 对 吧 因为 你 想 人类 人类 的 数量 本来 就是 不断 的 增加 那 我们 天然 是 最后 一代 很 有 可能 而且 我们 还是 在 中国 出生 的 中国 也 是 人 最 多 的 地方 然后 最后 一代人 然后 研究 AI 然后 去 大厂 也 是 最 多 的 对 吧 所以 我 觉得 所有 事情 都 是 这个 最大 自然 概率 然后 没有 世界 上 没有 什么 新鲜 的 事 你

这个 人泽定 应用 了 一下 是 吗 怎么 说 到 这么 严肃 的 话题 了 我們 說 到 AI 的 這個 模型 本身 啊 說 大家 的 關注點 最近 又 回到 了 這個 模型 本身 不是 半年前 一年 前 大家 很多很多 業界 的 關注點 是 怎麼 應用 AI 了 是 吧 那 最近 大家 學界會 怎麼 看 AI 應用 這件 事情 對 AI 應用 的 這個 觀點 有 變化 嗎

還是 誰 是 學界 沒 有 是

吧 就是 讀 paper 的 人 我們 不讀 paper 你們 沒事讀 paper 去 開會

的 人 对, 我 觉得 就是 不 做 AI 的 人 还是 会 有 一个 更 谨慎 更 skeptical 的 状态 吧 然后 对于 做 AI 的 人 来讲 我 觉得 就是 大家 都 会 觉得 AIwilltakeitall 为什么 呢 为什么 这个 就 很 明显 啊 因为 你 做 任何 事情 只要 用 AI 你 的 效率 就是 几十倍 的 提高 嘛 这 是 最 简单 的 一点 然后 AI 的 发展 很 有 可能 以后 很多 的 技术 岗位 不再 需要 PhD 了 你 不 需要 科学家 了 或者 需要 很少 的 人 那么 有 很多 学科 以前 可能 需要 比较 大量 的 人力 并且 是 需要 大量 的 这种 受过 高等教育 甚至 是 博士 教育 的 人力 但 可能 做 一些 其实 挺 无聊 的 重复性 的 事情 那 这样 可能 以后 就 不 需要 了 对 吧 那么 它 对于 这些 学科 本身 也 会 是 一个 很大 的 改变 对于 教育体制 也 是 很大 的 改变 然后 我们 以后 不管 是 教 博士生 教 大学生 或者 教 小朋友 那教 他 什么 就是 我 觉得 这些 问题 没有 一个 人能 回答 但 至少 了解 AI 的 人 应该 都 知道 这些 以后 都 会 发生巨变

那 我们 最后 这个 进入 我们 节目 的 一个 标准 问题 就是 我们 会为 各个领域 的 专家 问 如果 这个 领域 这么 好 大家 想要 进入 这个 领域 应该 做 什么 准备 应该 学习 什么 呢 这个 领域 估计 这个 问题 估计 大家 都 会 非常 想 回答 大家 想要 做 这个 是 吧 想要 进入 AI 的 核心 圈 应该 做 什么 准备 吗 有 什么 应该 做 哪 方面 的 训练 吗 你 是

说 要 比如 想 去 OpenAI 还是 说 想 去 读 PhD 还是 想

干嘛 比如说 现在 这个 通用 式 人工智能 这么 热门, 你 想要 为 通用 人工智能 进入 这个 领域, 比如说 去 业界, 应该 做 什么 事情?

我 觉得 至少 可以 把 开源 版 的 GPT 2, 把 它 的 预训 链 自己 做 一点。

就是 自己 学 一下 是 吧?

对 对 就 有 很多 开源 教程 有 很小 的 模型 就 几百个 mini 甚至 更 小 的 模型 然后 它 的 整个 architecture 都 是 就 完全 开源 对 甚至 是 你 可以 有 一些 开源 的 数据 然后 你 可以 自己 在 这个 很小 的 模型 上 把 整个 的 流程 走一遍 哦 所以

就是说 先学 一下 基础知识 然后 自己 练习 一下 在 这个 叫 GPT 2 是 吧 GPT 2GPT 2 的 开源 模型 就 自己 把 它 训练 一遍 那

不是 要花 很多 钱 你 就 少 跑 两个 epoke 看一看 哦 然后 然后

就 可以 了 就 可以 就 可以 进入 这个 领域 了 对 看上去 门槛 也 不是 太高 啊 我 也 学

一下 我 现在 不是 有 一些 高中生 他们 也 不 需要 去学 什么 数学 codingcoding 还是 要学 的 他们 不用 上 什么 大学 的 课 就 自己 看看 paper 然后 下 两个 package 就 就 自己 搞 起来 我 觉得 门槛 可能 也 不是 很 高 吧 我 是

这样 的 我 还 以为 都 要学 很多 数学 了 之类 的 大家 都 不 需要 就 直接 在 这个 网上 试试 就 可以 做 模型 了 吧

反正 听说 一些 动手 能力 很强 的 小朋友 他们 就是 直接 试 也 不管 原理 也 能 试出来 这么 厉害 原来

我 还 不 知道 这个 语言 是 这 样子 的 那 我们 今天 就 非常感谢 梦迪 来到 我们 的 节目 给 我们 讲解 了 很多 我 的 不 知道 的 概念 或者 是 四种 非 懂 的 事情 给 我们 讲 一 讲 这个 业界 发展 的 方向 好 的 好 的 谢谢 大家 那 就 這個 喜歡 我們 節目 歡迎 歡迎 在 各大泛 用型 播客 平台 訂閱 和 收 聽 我們 就後會 有期 拜拜