#136. 从自然语言处理到大语言模型

本期 节目 我们 请 到 了 做 大 语言 模型 一线 研发 工作 的 DavidDavid 一直 是 自然语言 处理 的 专家 从 自然语言 处理 领域 的 视角 给 我们 讲解 了 大 语言 模型 的

兴起 以及 之后 的 发展趋势 我 类比 于 小孩 在 妈妈 肚子 里 或者 包括 基因 都 是 预 训练 生 出来 之后 然后 你 开始 教 他 这 是 后 训练 從 GPT 123 一直 到 其他 GPT 出來 其實 經過 了 一個 漫長 的 過程 那麼 試想 在 大 公司 有 沒 有 一個 team 能 有 超大 的 資源 而 前 四五年 做 的 東西會 被 其他 業界 吊打 才給 他 這種 信任 讓 他 能夠 繼續 做 下去

大家 好, 我 是 斯特 達特 我 是 尚恩 我 是 Windy 今天 我们 有幸 请 到 了 在 大 语言 模型 领域 的 一线 工作者 David 来 跟 我们

聊一聊 欢迎 大家 好 我 是 David 非常高兴 来到 安德鲁 哥 烤面包 David 我

看 最 开始 是 一个 自然语言 处理 的 专家 是 吧 是 一个 自然语言 处理 的 研究者 因为 这个 语言 模型 大 语言 模型 也 是 一个 自然语言 处理 的 模型 我 还 一直 非常 感兴趣 看 听 一 听 一直 在 做 自然语言 处理 的 人 怎么 看待 大 模型 这件 事 最 开始 David 听说 最 开始 GPT 出 了 一个

paper 是 吧 对 最 开始 因为 GPT 它 有 好几代 的 paper 最 开始 是 GPT 1 那 大概 是 哪 年 应该 是 189 年 的 时候 20189 年 对 应该 是 这样 就是说 GPT 1 应该 是 17 年 然后 GPT 2 是 和 BERT 差不多 一起 出来 的 GPT 2 才 是

和 BERT 一起 出来 的 对 BERT 就是 一个 谷歌 出 的 一个 非常 革命性 的 就是 在 颠覆 世界 的 一个 原 模型 是 吧 对 可以

说 那 时候 对 虽然 语言 研究者 来说 冲击 更大 的 是 BERT 而 不是 GPT 那 时候 的 GPT 从 质量 到 影响力 到 它 采取 的 架构 在 那 时候 都 不算 是

流行 那 它 跟 BERT 的 区别

在 什么 有 几个 区别 第一个 BERT 本身 是 不 产生 语言 的 也就是说 它 是 一种 语言 理解 模型 比如说 你 给 他 一句 话 他 可以 回 这句 话 是 一句 很 礼貌 的话 或者 不 礼貌 的话 就 分析 一下 它 也 可以 告诉 你 一个 yesorno 的 标签 它 也 可以 告诉 你 这句 话 每个 词是 一个 什么 词性 也就是说 它 只会 给 这句 话 在 整个 sequencelevel 或者 wordlevel 给 你 分个 类 所以 它 本质 上 是 个 分类 模型 我们 叫做 naturallanguageunderstandingmodel 自然语言

处理 的 叫 理解 是 吧 理解

模型 对 而 GBT 它 是 一个 语言 产生 模型 也就是说 你 给 它 比如说 一句 话 他 可以 去 继续 把 它 补全 或者 是 生成 下 一个 turn 或者说 是 给 我 一个 礼貌 的话 对 或者 是 给 你

一个 礼貌 的话 生成 模型 那 他 不 也 理解 嗎 我 說 話

他 不 也 理解 嗎 那 當然 對 所以 其實 兩個 也 比 較 相通 比如 說 你 可以 給 GBG 輸入 一句 話然 後 你 幫 我 分類 一下 它 是 禮貌 的 還是 不禮貌 的 他 也 可以 給你吐 一個 詞禮貌 或者 不禮貌 所以 其實 他 也 可以 那麼 用 但是 至少 那時候 18 年 的 時候 一般 認為 如果 要 分類 的 話 顯然 是 用 BERT

會 更好 一些 但是 听 上去 在 GPT 2 出来 的 时候 跟 BERT 差不多 的 时候 它 是 它 的 愿景 是 要 做 一个 更 全面 的 模型 是 吧 不仅仅 可以 理解

还 能 说 对 那 时候 是 这样 就是说 绝大部分 的 语言 模型 它 都 是 分 就是 如果 你 要 产生 语言 的话 它 都 是 分 两个 module 就是 两个 模块 第一个 模块 叫做 编码器 encoder 另 一个 模块 叫做 解码器 decoder 那么 绝大多数 它 都 是 有 这 两边 是 分开 的 就是

两个 模型 是 吧 它 是 一个

模型 两 部分 就 像 心脏 分 两边 一样 基本上 都 是 这么 做

的 那 中間 是 個 什麼 東西

中間 它們 互相 相連 就 像 血管

一樣 它 先 編碼 先 編碼 是 吧 編成 了 一個 它裡 面解 碼器

理解 的 一個 東西 對 比如 說 你 跟 他 說 這是 一句 話 幫 我 分類 一下 它 的 情感 是 什麼 好 你給 的 這些 輸入 它 全部 輸入 到 編碼器 因為 這些 已經 是 給定 的 輸入 了然 後 編碼器 把 它 編碼 成 一堆 因為 計算機 咱們 知道 就是 一堆 數字 再 由 解碼器 去 讀 這對 數字 然後往 外 一個 詞一個 詞 的 圖 所以 它 這兩 部分 是 相當 於 它 耳朵 和 嘴巴 是 分開 的 而 GPT 是 那 時候 很少 的 只有 嘴巴 它 把 嘴巴 和 耳朵 做到 一起 去 這個 在 當時 是 認為 是不是 很 好 的 一種 設計 為 什麼 呢 因為 是 這樣 我們 在 做 語言 比如说 我们 在 说 语言 的 时候 我们 说 的 下 一个 词 他 会 跟 前面 的 所有 词 就 只 跟 他 前面 的 所有 词 产生 关系 他 是 个 因果关系 对 吧 比如说 我 是 David 那么 这个 是 这个 字 他 只 跟 我 产生 关系 他 不会 跟 后面 产生 关系 所以 呢 你 在 解码 的 时候 他 是 一个 字 一个 字 出来 的 所以 这件 史德 如果 是 GPT 来 处理 这句 话 我 是 David 那 他 每个 词 他 会 参照 这种 说话 的 这种 方式 每个 词 只 和 前面 去 产生 关系 也就是说 他 在 分析 是 这个 词是 什么 意思 的 时候 他 就 去 看 我 他 往回 看 他 只 往回 看 但是 如果 把 编码器 和 解码器 分开 那么 编码器 这边 有 我 是 David 他们 之间 完全 没有 任何 障碍 就是说 是 也 可以 看到 DavidDavid 也 可以 看到 我 可以 看到 是 所以 我們 認為 那 時候 認為 編碼器 就 應該 做 編碼器 的 事情 對 吧 把 這件 事應 該

分開 這是 耳朵 到 嘴巴 之間 要過

一下 腦子 我 先 把 這句 話 全部 都 理解 完 了 我 再 回答 是 吧 深思 熟慮 Bert 當時 好像 還是 吹 了 一通 是 吧 他 能 全 理解 是 吧 不用

這個 對 Bert 他 當時 是 只 理解 當然 Bert 之 後 Google 又 出 了 很多 重量 級 的 就是 又 帶 耳朵 又 帶 嘴巴 的 模型 比如 說 T5 也 是 当时 非常 非常 有名 的 一个 模型 所以 当时 我 感觉 TPT 在 18 年 19 年 20 年 属于 我 个人 表述 被 吊打 的 模型 包括 TPT3TPT3 出来 以后 当时 刚 出来 还 可以 但是 一年 之内 所有人 都 把 他 当 贝斯 拉 都 可以 碾压 他

就是 大家 认为 他 的 整个 思路 就 不 对 是 吧 对 当时

是 没有 太多人 觉得 他 这套 方法 是 对 的 而且 他 一直 坚持 下来 我 觉得 这 也 是 他 最后 成功 的 一个 他 在 比如

在 会议 上 或者 是 paper 上 他 有 解释 他们 为什么 要 这样

做 吗 他 是 这样 解释 的 他 解释 是 这样 因为 他 这种 方式 因为 他 当时 设计 的 时候 他 就是 希望 以后 能够 用人 用 语言 来 驱动 这个 模型 来 做 事情 而 这时候 的话 你 其实 给 他 一个 之前 一个 指令 他 认为 整个 的 思考 过程 应该 是 连 应该 是 一致 的 统一 的 而 不是 就 说 OK 你 给 他 的 指令 他 单独 用 的 编码器 然后 他 吐出来 的 部分 用 解码器 这 两 部分 他 不 同意 所以 他 认为 这 应该 是 一个 完全 统一 的 在 训练 的 时候 他 就 把 输入 和 他 想要 的 输出 统一 处理 所有 词 都 是 指望 回弹 这样 他 有 个 好处 因为 模型 不是 会越 变越 大 吗 又 有 编码器 又 有 解码器 的话 你 需要 分配 一下 一般 可能 解码器 大 一点 编码器 小 一点 但 你 总得 分配 一个 比较 大 的 模块 给 编码器 而 他 如果 只有 解码器 的话 他 就 把 所有 的 参数 全部 都 可以 集中 在 这个 地方 我 个人 觉得 是 一个 技术 上 的 优势 吧 听 上去 他 最

开始 的 解释 他 是 认为 他们 的 这个 模式 是 更 能够 让 这个 语言 模型 能够 听到 指令 去

做 事情 是 吧 对 就是 听到 一个 前面 的话 然后 再 产生 接下来 的话 那么 他 想 把 这件 事情 做 的 统一 所以 就 只用 这种 我们 叫 decoderonly 就 叫 只用 解码器 这么 一种 结构

所以 所以 这个 是 我们 说 的 GPT 2GPT 2 的 时候 大家 就 认为 这是 一个 落后

的 方法 一二 包括 三 就是 三 当然 就是 三 跟 二 比 肯定 是 进步 了 但是 很快 也 被 其他 的 模型 就是 吊打 了 就是

三 出来 时候 它 还是 一个 它 的 结果 还是 领先 的 对 我们

就 会 认为 它 是 another 模型 不会 觉得 它 是 一个 特别 标杆 的 模型 我 觉得 那 时候 是 GoogleNLP 做 的 最 如日中天 的 时候

他们 就是 这套 过去 从 Bart 这个 方向 发展 出来 他们 的 愿景 他们 的 发展 方向 作为 自然语言 是 个

什么样 的 Google 的话 我 感觉 出 了 很多 这种 很 有名 的 模型 但是 最后 觉得 临门一脚 还是 差 了 一点 呃 我 个人感觉 临门一脚 是 GPT 当然 在 后面 其他 GPT 大家 都 知道 了 是 把 模型 做 的 非常 非常 大 这 可能 是 当时 也 就是 至少 Google 公开 的 这些 论文 没有 做到 的 规模 所以 我 觉得 这个 OpenAI 是 有 非常 强烈 的 这种 从 量变 引 到 质变 的 这么 一种 执念 然后 这件 事情 其实 要花 相当于 赌注 一样 你 要 下 赌注 因为 你 不 做到 那个 量 你 就 达 不到 那个 值 但是 你 要 做到 那个 量 你 就要 花 极大 的 成本 投入 而且 并 不是 说 你 比如说 你 做 一个 1billionparameter 的 model 对 他 训练 的 很 好 然后 你 说 我 把 它 扩大 10 倍 10 倍 原来 的 code 就 可以 用 不是 这样 的 他 会 出 各种 奇奇怪怪 的 问题 原来 都 work 的 一些 东西 他 可能 训练 突然 会崩 了 就 这些 其实 應該 是 OpenAI 是 第一 個 吃 這個 螃蟹 的 就 把 這條 路給 走通 了後面 當然 是 我 覺得 就是 後 來者 就是 模仿

那 比如 說 我 隨便 做個 假 設會 不會 在 當時 比如 說 Google 其實 比 OpenAI 更先 的 去 用 超 巨量 的 參數 去 解 這個 問題 說 不定 那個 時候 Google 的 其他 的 模型 可能 就 會 幹

得 比 GPT 更好 對 我 覺得 是 有 這個 可能 但是 我覺 得 這個 可能 跟 其他 很多 人 都 聊过 为什么 Google 不是 第一个 做 出来 如果 你 采访 一万 人 可能 9 个人 都 说 应该 是 Google 先 做 出来 了 我 感觉 可能 还是 和 大 公司 本身 有 关系 因为 大 公司 的话 做 NLP 不 可能 只有 一个 team 在 做 会 有 好多 team 在 做 这时候 他们 就 会 有 一个 资源 的 竞争 分配

的 问题 Director 就 开始 打架 了

对 这 是 第一个 就是说 你 不 可能 有 一个 team 会 拿到 所有 的 资源 而 OPH 就是 完全 下 赌注 整个 公司 朝着 一个 方向 我 觉得 是 第一个 重要 的 原因 那 就是 第二个 重要 原因 是 就是 一个 相对 比较 长期 的 投入 从 GBT123 一直 到 这个 CHPT 出来 其实 经过 了 一个 漫长 的 过程 5 年 左右 那么 试想 在 大 公司 有没有 一个 team 能 有 超大 的 资源 而前 四五年 做 的 东西 会 被 其他 业界 吊打 还给 他 这种 信任 让 他 能够 继续 做 下去 我 觉得 这个 也 是 没法 这么 轴 大家 可能 在 大 公司 待过 可能 也 有 这种 感觉 如果 有 的话

大家 会 八卦 那个 teamlead 是不是 公司 CEO 的 什么 小舅子

说 这个 好像 我 记得 上次 孙晨 也 了解 过 这个 问题 说 这个 ChadGPT 他们 就是 能够 一直 往前走 那 这个 GPC3 大概

是 什么 时候 出来 的 GPC3 应该 是 我 记得 是 20 年 20

年 那离 ChadGPT 出来 还有 将近 两年

是 吧 对 3 和 4 之间 就是 ChadGPT 之间 还 隔 了 一个 3.53. 5 是 在 中間 出來 的 也 是 就是 說 又 進 了 一步 就 大家 看到 3.5 的 時候 大家 已經覺 得 OpenAI 還是 比較 厲害 的 出來 3.5 但是 它 仍然 沒有 到 那種 就是 那種 捅破

那層 窗戶紙 所以 看 這邊 3.5 大概 是

什麼 時候 出來 的 3.5 我 記得 應該 是 是不是 2 年 對, 我 記得 好像 是 20 年 3.5 它 的 學 名叫 InstructGPT, 20 年 20 年, InstructGPT 指令 GPT 對, 從 這個 名字 就 可以 看出 來 它 已經 是 完全 buying 這種 用 指令 去 驅動 電腦 做 事情 它 當時 就 有 這種 想法 讓 大 语言 模型 成为 人机 新 的 接口 你 可以 直接 跟

他 打字 所以 他们 的 愿景 是 认为 GPT 这个 语言 模型 是 一个 能够 驱动 别人 做 事情 的 事情 他们 的 愿景 从来 就 不是 一个 给 你 输入 语言 生成 什么 东西 是 他们 要 对 我 觉得 你

这句 话 说 的 非常 对 因为 之前 的话 可能 大家 操纵 电脑 可能 只有 少数 会 写 计算机 语言 的 人 或者 我 懂得 用 键盘 鼠标 让 他 做 一些 事情 但是 他 当时 是 想 用 自然语言 你 会 什么 你 就 直接 说 这个 是

个 革命 这个 还 蛮有意思 的 因为 比如说 我用 最 简单 的 理解 比如说 我 的 目的 最后 是 让 它 来 做 一些 操作 的话 那么 看上去 像 Birds 之前 那种 想法 说 我 先 有 个 encoder 再有 个 decoder 看上去 是 更 合理 的 我 encoder 先 把 语言 变成 一个 什么 东西 decoder 我 再 变成 相对 应 的 操作 但是 像 GPT 一 开始 说 OK 我 输入输出 都 是 语言 反而 是 这样 的 架构 更 适合 于

以后 去 操作 东西 对 所以 试想 一下 比如说 我 说 第一句 话 模型 说 第二句 然后 我 又 说 第三句 用 GPT 来 这种 decoderonly 就 特别 顺 你 就 第一句 放 那 然后 它 自然 生成 第二句 然后 在 后面 我 再 把 第三句 进去 它 第四句 就 出来 了 但 你 想 一下 如果 又 有 一个 encoder 又 有 一个 decoder 你 先 第一句 它 出来 第二句 你 再 把 第一句 第二句 拼起 再 放 回到 编码器 然后 它 再 做 第三句 你 很快 就 觉得 这个 不是 一个 非常 自然 的 一种 方式

这 听 着 很 有 道理 如果 用 GPT 这种 模型 的话 它 整个 一个 模型 可以 接管 对话 这件 事情 如果 用 过去 模型 的话 你 实际上 是 人工 在 做起 几个 模块 要 拼出来 才能 让 它 对话 不 像是 我们 做出 一个 智能 的 是 人类 帮 它 拼 东西 是 吧 对

当然 我们 这些 就是 马后炮 了 就是说 在 ChadGPT 出来 之后 我们 再 回头 看 这件 事情 发现 decoderonly 真的 是 非常 有 道理 自此 所有 大家 熟知 的 大 毛线 全部 是 decoderonly 现在 已经 基本 没有 人 做 encoder 加 decoder 的 这种 架构 了 所以 在

ChadGPT 出来 之后 David 最 开始 是 怎么 听说 ChadGPT 出来 这件 事 HPT

我 是 也 是 跟 大家 应该 是 同步 知道 这件 事情 然后 我 就 去 试 了 一下 我 感觉 这个 已经 完全 不是 类比 于 之前 我 见到 的 所有 的 生成 语言 模型 因为 我 做 NLP 研究 比较 久 我们 当时 基本上 遇到 一个 大 的 困难 就是 生成 语言 一长 基本上 是 长 5 句 或者 10 句 话 以上 它 的 生成 会 非常 的 不 稳定 经常 是 生成 了 他 会 重复 一个 词 比如说 生成 前 十句话 然后 开始 就 出现 这种 情况 差 这么 远 对 或者 是 他 repetitively 就 不停 的 说 一句 话 对 以及 逻辑 就 开始 乱 了 现在 回过 头 看来 看 的话 我 不 认为 架构 是 这个 根本 的 原因 我 认为 根本原因 是 模型 没有 做大 因为 那 时候 比如说 T5 这种 大小 的 也 就是 这个 几个 B 列 BERT 就 更 小 了, BERT 当时 只有 几百 兆 所以 当 ChinaGPT 后来 大家 知道 了 应该 是 有 10 多比列 的 这么 一个 10

多比列 就是 10 亿, 10 亿个 参数 对, 10 亿个 参数 过去 除了 ChinaGPT 之前 大家 参数 都 是 在 几百万 是 吧, 几百万 几千万 这个 量级 應該

有 也 有 B 鏈級 別 的

也 有 10 億級 別 的 對

10 億級 別 的 但 沒到 千億 不是 很 好 對 這個 就 牽 扯 到 另外 一個 問題 就是 雖然現 在 有 非常 好 的 這種 比如 說 什麼 mini 這 些小 的 模型 我 一直 認為 包括 我 聽 到 的 信息 都 是 你 先 做 一個 巨大 的 非常 強的 模型 然後倒 過來 用 他 來 當老師 來 教 更 小 的 模型 而 不是 你 一開始 就 对 着 那个 小 的 模型 就 开始 拿 它 训练 一般 训练 出来 的 训练 不好 所以 要 先 走 到 大 而 大 这个 投入 其实 是 非常 多 的 所以

David 作为 一个 自然语言 处理 的 专家 用到 XGPC 感觉 非常 震撼 的 感觉

对 对 对 对 我们 研究者 的 冲击 可能 跟 大家 感觉 到 了 不 一样 因为 可能 就 是非 NLP 从业者 可能 更 多 是 哦 我 可以 跟 他 说话 了 他 终于 说 的 比较 就 不 像 我们 不能 说 他 是 人工 智障 了 对 吧 之前 不 经常 说 人工 智障 哎 他 还是 还是 挺 好 的 从 我们 来看 NLP 从业者 我们 最 关心 的 就是 那些 Benchmark 也就是说 那些 标杆 的 测试 级 看 他 能 刷 多少 分 这样 然后 我们 当时 试 了 一下 感觉 到 非常 惊讶 就是说 我们 花 了 那么 多 心血 做 了 那么 长时间 的 一些 非常 精致 的 模型 不断 的 刷分 其实 很多 论文 也 就 这么 出来 我 比 你 高 1% 你 比 他 高 0.5% 这样 paper 就 出来 了 而 用 那个 大 模型 过来 之后 我 只要 加 一句 话 啊 你 现在 要 做 一个 这个 数据 集 你 要 干 的 是 一件 什么 事 啊 不管 他 是 要 生成 一句 话 也好 生成 这个 总结 文本 总结 或者 是 对话 生成 对话 或者 是 分类 你 就 给 我 ABCD 你 就 生成 一个 字母 A 或者 B 或者 C 这种 就 我 不能 说 百分之百 吧 可能 百分之八十 到 九十 是 吊打 是 吊打 我们 所以 这 我 就 我们 就 比较 慌 了 因为 这是 我们 赖以生存 的 一些 这 论文 写 到 一半 该 怎么办 对 就 该 怎么办 而且 它 是 在 某些 数据 上 是 10% 2 的 这种 比 之间 也 要 更 高 所以 特别 是 一些 分 的 比较 细 的 领域 比如说 我们 总结 我 觉得 这个 是 一个 之前 很火 的 一个 子 领域 如果 大家 去 NLP 的 会议 的话 文本 总结会 专门 有 一个 session 就是 也 有 自己 的 各种 的 研究者

我 这里 好奇 一下 现在 NLP 的 大会 还有 文本 总结 这个 session 吗? 有 还是 有

还是 有的是 吧 对 对 对 有 就是 纯 NLP 的 会议 还有 还有

这个 会议 说明 这 是 纯 NLP

就 没 了 吗? 很爽 是 这 样子 的, 你 如果 去 看 现在 的 NLP 的 会议 的话, 基本上 80% papertitle 里面 都 有 LM 或者 是 howtouse 什么 的, 你 接下来 继续 提。 不光 是 NLP,

什么 会议 都 有 LM。 对 对

对 所以 他 是 是 这样 一个 所以 呢 就是 导致 了 两个 现象 第一个 呢 就是 原来 分 的 比较 细 的 这些 领域 真的 做 不 下去 了 怎么 下去 并 不是 说 他 做 不 出来 了 而是 做 出来 了 很 可惜 不是 他 自己 做 出来 了 对 他 是 这个 大 模型 你 把 这个 问题 给 就是 基本 你 比如说 9% 的 准确率 那 还 做 什么 就 没有 必要 做 了 然后 呢 就是 真的 有 一些 领域 的 人 开始 在 转 就是 他 他 无法

再 做 下去 了 刚才 说 这个 在 ChatGPT 出来 之前 有 这个 文本 总结 这个 比较 热门 的 领域 那个

时候 是 怎么样 出来 之前 我们 总结 还是 那 时候 还是 有 的 做 的 有 一些 很 著名 的 数据 器 我 记得 有个 专门 叫 CNNDailyMail 这个 是 非常 非常 火 的 数据 器 大家 在 上面 刷分 刷 的 不亦乐乎 这个 满分 是 10 分 当时 刷到 40 就算 比较 高 的 分

你 們 這個 追求 也 太 低

了 吧 是 最好 的 模型 他 只能 做到 40 個 對 然後刷 到 有 刷 到 457 的 就 被 大家 視作 非常 牛 非常 牛 的 這種 模型 然 後 這個 GVT 出來 之 後 一出 來 之 後 呢

我 考試 考 45 分要 被 我媽

打 了 對 他 這個 分數算 起來 比 較 複 雜 就是 並 不是 一個 完全 線性 的 然後出 來 以 後 一方面 他分 非常 高 但 另一方面 就是 大家 看 他 生存 的 總結 用人 去 評判 就 即使 当分 不到 40 多 的 时候 人 基本上 都 认为 是 GPT 生存 的 好 这个 领域 就 没有 没有 的 做 头 了 就是 这个 我们 进一步 做 了 很多 模型 基本上 都 可以 都 可以 忘掉 因为 任何人 只要 在 模型 里面 给 他 输入 是 下面 是 一段 文章 请 帮 我 总结 文章 一 贴出来 了 比 你 任何 模型 做 的 好 当然 这 本身 也 是 一件 比较 比较 sad 的 事情 但是 另一方面 就是 科技 的 进步 所以 是

有 这么 一个 影响 你们 这个 领域 的 人 比如说 开会 碰头 你们 是 怎么 谈论 ChaiGP 这件 事情 的 他们

刚 出来 的 时候 我 真的 是 聊过 一些 是 他们 说 很 慌 就是 比如说 最 直接 的 就是 他 Benchmark 刷 不 上去 了 对 吧 然后 就是 还要 我们 研究 人员 干什么 因为 当时 甚至 认为 这些 大 模型 你 只要 写个 prompt 就 在 前面 写 一些 提示 词 就行了 那 我 為 什麼 要 去 學什麼 神經 網絡 就是 我們 賴以 生存 的 這些 knowledge 很多 都 變得 就 過時 了 但是

他們 沒有 沒有 反思 一下 這個 技術 方向 是不是 就是 就是 對 的 或者 就是 你們 有 沒 有 在 技术

上面 怎么 想 呢 就 大家 现在 都 觉得 大 模型 是 对 的 但 问题 是不是 我 今天 在家 觉得 大 模型 是 对 的 我 就 可以 去 做 因为 这 需要 花 极大 的 资源 所以 它 导致 了 一个 就是 这种 垄断 嘛 就是 有 比较 大 的 公司 一种 很多 的 资源 他 可以 采取 做 这件 事 那 我 作为 一个 比如说 单个 从业者 或者 我 有 几个 人 的 一个 研究 团队 如果 我 想 利用 它 的话 我 只能 把 那个 模型 拿 过来 如果 它 是 避远 的 那 更惨 我 只能靠 它 的 API 我 改一改 那个 Prom 所以 有 一段时间 怎么 写 那个 提示 词 又 变成 一个 比较 卷 的 一个 领域 但 这部分 已经 卷 完 了 其实 这个 时候

卷 提示 词 的 原因 也 是因为 在于 你 也 没有 什么 其他 事情

可以 做 了 对 对 我 认为 是 这 样子 的 就是 那个 大

模型 你 也 没法 自己 手 搓

对 就 没 办法 手作 开源 的话 你 还 可以 稍微 function 一下 但是 现在 开源 的 也 变成 大到 可能 很多很多 组他 都 没 办法 去 做

这件 事情 所以 那个 时候 GPT 出来 之后 很多 的 研究者 认为 这个 领域 是 我 玩 不起 的 是 吧 他 就 认为 在技术上 不管 怎么样 这件 事情 跟 我 就是 很难 很 难

竞争 对 你 要不然 就 去 工业界 因为 那 几个 公司 加入 他們 對 吧 繼續 去 改進 這是 一部分 但 這個 人 不會 很多 還有 部分 就是 跟 大家 捲 關於大 模型 的 還剩 的 一些 研究 能 做 的 一些

研究 大 模型 還剩 什麼 研究 在

自然 語言 方面 首先 大 模型 本身 的 研究 就 全部 相當 於 歸籠 因為 原來 可以 說 我 是 做 文文 總結 我 是 做 對 話 我 是 做 分類 我們 井水不犯河水 大家 年 年 都 發頂會 非常 happy 现在 相当于 所有人 都 集中 在 一个 赛道 你 做 什么 都 是 关于 大 模型 啊 所以 导致 了 这个 领域 第一 竞争 极其 激烈 第二 创新 的 速度 比 以前 快 的 多 的 多 就 现在 paper 出来 的 速度 比 以前 快 的 多 那 是 为什么 呢 这 不是 这些 人 都 来 了 在 一个 地方 所有 最 精密 的 人 全部 都 集中 在 都 在 做 大 模型 然后 刚才 斯 德拉 特问 这个 有 哪家 可以 做做 这 东西 还是 有 呃 分 几块 吧 一块 是 我 不能 动 这个 模型 我 只能 去 我 想 去 了解 它 就 像 这 是 一种 新 的 你 把 大 模型 看作 一种 外星 生物 我 把 它 捕获 了 然后 我 还 不能 解剖 因为 第一 太 大 第二 很多 还是 避远 的 但是 我 可以 观察 比如说 他 喜欢 白天 吃 草 晚上 喝奶 这种 就 去 了解 一下 它 哪些地方 比较 这个 一些 特性 让 我 想到

上次 一个 嘉宾 他 提到 就 有 研究者 去 研究 不同 大 模型 的

MBTI 天 哪 就 类似 于 这样 或者说 我 怎么 骑士 词 怎么 写 是不是 写 的 理貌 一点 他 回 的 结果 就 好 一点 然后 是不是 在 他 骑士 词 里面 加 一些 例子 加 什么样 的 例子 他 就 会 出来 的 更好 一些 就 相当于 就 有点像 我们 也 不 知道 他 里面 具体 怎么 工作 当然 有 做 解释性 的 但 这个 就 比较 少 了 比如说 拿针 扎 一下 他 左腿 抬 一下 然后 你 发现 扎 这个 地方 他 总是 抬 这 就是 一篇 论文 如果 你 想 让 他 左腿 抬 你 可以 扎 这 毛人模 像

当代 但 我 觉得 还是 挺 语言 研究者 让 我 想起 一部 电影 叫 降临 这部 降临 就是 讲 突然 有个 外星人 来到 了 地球 然后 一帮 语言学家 去 尝试 跟 他 去 沟通 去

了解 他 的 语言 体系 对 我

还 挺 感兴趣 这个 领域 有 什么 重要 成果 吗 研究 外星人 领域 吗

对 降临 的 成果 是 什么 比如说 像 大 语言 模型 的话 一个 是 我们 去 看 对方 问 了 一个 问题 那 这个 问题 可能 大猿 模型 自己 不太 清楚 那 他 就 需要 去 搜索 搜索 了 当然 不是 他 自己 去 搜 啊 就是说 背后 会 有 引擎 去 搜 搜 出来 的 东西 把 加到 他 的 这个 提示 词 里面 然后 搜 哪些 东西 搜索 用 的 这个 查询 是 什么 加进去 以后 怎么 让 大 模型 能够 输出 的 更好 确实 发现 你 搜 和 不 搜 它 这个 结果 会上 很多 这是 一个点 我们 把 它 叫 RAGRATRetrieveAugmentedGeneration 这是 一个 还有 一个 可能 大家 听 的 更 多 叫 思维 链 对 吧 ChainofThought 这 也 是 就是说 你 让 它 别光 输出 你 输出 个 数学题 最后 加 一句 话 你 一步 一步 想 就 这个 pleasethinkstepbystep 就是 一个 咒语 一样 然后 说 了 以后 他 一步 一步 想 然后 准确率 哗 了 一下 能 上去 10% 到 20% 这是 一个 典型 的 用 真渣 然后 他 出来 是 对 一个 例子 像 这样 的 还有 挺 多 的 我 很

好奇 在 那个 阶段 作为 一个 之前 大 语言 模型 的 研究者 研究 这些 东西 的 心态 是 怎么样 的 会 不会 觉得 之前 我 在 那边 搞 数学 搞 高维 建模 这 是 很 高级 的 东西 但是 现在 我 在 那边 研究 如何 让 他加 一句 话 用 真渣 一下 他 出来 的 结果

更好 这个 确实 首先 研究 内容 会 有 落差 对, 会 变化, 然后 对 我们 研究者 来说 是 希望 我们 的 成果 有 两个 方面 的 特征 第一个 是 它 当然 有 重要性, 这是 第一第二 是 它 technicallychallenging, 它 足够 难 而 我 觉得 一 可能 还有 吧, 一 可能 也 降低 了 因为 真正 能 决定 的 其实 是 做 那些 大 模型 的 公司 OpenAI 这些 公司 二 的话 这个 明显 觉得 没什么 难度 了 对 我们 当时 就 说 过 就 看 对 开玩笑 什么 人 都 能 来 做 吗 对 变成 社会 学者 了 文化 学者 对 比如 来 一个 本科生 他 试过 试过 他 也 可以 写个 很 好 的 论文 所以 我们 当时 就是 觉得 这是 一件 悲哀 的

事情 对 我们 继续 说 那些 拥抱 大 模型 的 这 拨 人 他们 开始 投敌 的 一些 人 改进 大 模型 的 这些 人 这些 人 他 大 模型 之后 作为 一个 大 语言 模型 他 有 什么 主要 的 发展

吗 那 挺 多 的 一个 是从 本身 来说 我 就 说 基本上 是 每 一年 或者 每半年 再卷 一个 东西 然后 卷 完 了 再 卷 下 一个 我 可以 大致 说 一下 一 开始 是 卷 预 训练 预训 链 非常简单 就是 你 给 他 很多 海量 文本 每次 让 他 预测 下 一个 词 这 大家 应该 都 知道 这个 概念 了 那 预训 链 的话 有 很多 这个 话题 比如说 怎么 让 预训 链 这个 数据 可以 变得 更 多 对 吧 这 是 一 第二 因为 预训 链 的 那个 模型 很大 你 训练 一次 可能 要 几百万 几千 万美元 那么 你 不能 你 如果 一个 最大 的 模型 你 训练 错 了 对 吧 你 不 希望 这个 这件 事情 发生 很 可能 你 只有 一次 对 吧 相当于 就 就 只能 扔 一次 硬币 这种 那 你 肯定 想 降低 风险 那么 有 很多 的 研究 就 在 说 OK 我 看 一下 训练 只有 它 千分之一 大小 的 模型 百分之一 大小 的 模型 十分之一 大小 的 模型 在 这些 下面 因为 我 可以 反复 的 做 实验 哪些 选择 是 对 的 就是 是 最好 的 比如说 我 想 知道 某 一层 的 一个 大小 大家 发现 它 有 一种 叫 scalinglaw 或者 叫 扩展 法则 就是说 你加 更

多 的 东西 它 就 给 你 同样 的 这个 叫 什么 收获 对

吧 对 我 就 举个 例子 你 如果 想 知道 用 多少 数据 来 训练 一个 模型 是 最合适 的 首先 这 不是 越多越好 这个 是 常识 你 会 发现 千分之一 的 大小 用 比如说 一 本书 的 知识 是 最好 的 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来来来 来

就是说 预 训练 pre training 这个 词 我 就 觉得 非常 奇怪 为什么 叫预 训练 就是说 他 的 这个 叫 什么 技术革新 的 方向 就是 要 让 你 不停 的 加 更 多 的 数据 更常花 更 多 钱 它 的 产出 是 能够 值得 你 给 它 花 的 更 多 钱 的 就是 证明 了 这

是 个 人民币 玩家 的 游戏 对

然后 跟 预 训练 对应 的 就是

后 训练 最最 开始 半年 是 在

卷 预 训练 是 吧 预 训练 可能 稍微 长 一点 吧 可能 一年 更 多一点 的 时间 然后 特别 从 去年 开始 就是 开始 卷后 训练 后 训练 原来 就 有 啊 只是 开始 没有 那么 卷 什么 叫 后 训练 呢 后 训练 就是 预 训练 结束

之后 预 训练 就是说 我们 把 大 模型 都 算 完 了 它 输出

是 把 文本 给 他 你 跟 他 说 一段话 比如说 说 一半 他会 接着 往下 说 因为 他 训练 就是 比如说 司徒 亚 他 会 回 to 然后 继续 是 一个 好 青年 这种 他会 这样 继续 往 下 但是 你 不能 跟 他 对话 因为 比如说 我想 买个 东西 然后 他 可能 不 知道 回 什么 因为 他 可能 觉得 他 以为 要 写篇 作文 是 吧 他 就 往后 写 那么 像 这种 后训 就是 让 他 有 这种 跟 人 沟通 的 能力 就是 预 训练 就是

光有 语言 是 吧 训练 出来 就是

有点像 语言 模型 语言 就是 他会 说话 他 认字 然后 呢 他 也 会 写点 东西 但是 他 不太会 按照 你 的 指令 来 写 东西 我 举个 例子 比如说 你 要 续写 斯图亚特 是 什么 你 在 前面 加个 指令 把 主人公 写 的 非常 高大 上 以及 把 主人公 写 的 像 一般 人 一样 那么 预设 出来 的 模型 是 不 能够 理解 这件 事情 的 就

不能 理解 他 就是 一个 把 它 当成 一个 完整 的 文本 简单 的 续写 就是 写 一个 作文 就是 再 摆 一个 作文 写 他 没有 说 你 把 作文 写成 什么样 他 就 改 一下 这个 作文 他 就 不 知道 这件 事情 他 所有 的话 都 是 在 这篇 作文 里面 的 从来 不能 跳出 这个 作文 是 吧 你

给 我 修改 一下 对 然后 后 训练 的话 就是 特意 去 培养 他们 这方面 的 能力 让 他 可以 和 人 进行 对话 因为 我们 会 给 他 的 数据 就是 对话 数据 啊 就是说 比如说 我要 把 这句 话 写 的 很 很长 然后 呢 给你个 topic 他 就 写 的 很长 然后 很 短 然后 又 跟 他 说 你 必须 训练 书写 的 很 短 那 训练 的 这个 阶段 呢 有 大概 有 两个 一个 呢 就是 我 称之为 就是 就是 老师 教课 老师 跟 你 说 一加 一 等于 然后 老师 说 答案 是 1 加 1 等于 2 就 像 小朋友 跟读 一样 那么 这个 语言 模型 就是说 他 收到 1 加 1 等于 几 这个 东西 他 必须 回 1 加 1 等于 2 他学 的 部分 就是 1 加 1 等于 2 要 生成 这部分 当 给定 是 1 加 1 等于 几 的 时候 所以 他 有 个 对话 的 过程 在 里面 这个 叫 老师 教课 那 第二个 子 过程 呢 叫做 就 现在 应该 大家 很多 人 都 知道 叫 强化 学习 嘛 reinforcementlearning 对 吧 这 呢 我 称之为 要 做作业 然后 老师 批改 这 什么 意思 呢 就是 1 加 1 等于 几他 也 不 跟 您 说 等于 几 你 那 也 没得学 你 自己 随便 写 你 因为 他 这个 大国 性有 随机性 嘛 所以 你 也 可以 sample 比如说 你 自己 写 等于 3 等于 2 等于 4 等于 等于 六 这种 然后 呢 有 一个 rewardmodel 一个 奖励 模型 过来 只要 不 等于 二 的 一个 耳光 刷 过去 不行 啊 你 这个 奖励 是 负 的 然后 等于 二 了 小红花 接上 给 他 一个 一个 一个 奖赏 那 语言 模型 就 在 这个 情况 下 变得 更加 的 就是 灵活 一般 认为 在 强化 学习 的 他 会 学到 比 刚才 我 说 的 这个 老师 教课 我们 叫 supervisedfinetuning 学到 更 多 的 更 广泛 的 可以 generalize 到 更 多 场景 的 这么 一个

模型 所以 所以 这个 两 部分 老师 教课 和 批改作业 这个 是从 一 开始 就是 的 吗 从 chatterbt 出来 一 开始 就是 这个 架构 吗 对 一

开始 还有 一点 不 一样 就 OpenAI 有 一篇 就是 开山 之作 叫 RLHFReinforcedLearningfromHumanFeedback 从 人类 反馈 中 强化 学习 当时 呢 这个 老师 教课 这部分 就是 SupervisedFunctioning 是 一样 的 后面 这部分 就是说 老师 批改 他 当时 呢 是 一个 叫 离线 批改 是 什么 意思 就是 这个 老师 教 其他 小孩 打耳光 和 这个 小红花 这个 数据 把 拿 过来 跟 他 說 你 看看 那個 小孩 做 這個 就 被 打耳光 做 這個 就 得 小紅花 那 時候 是 把 別人 其他 書籍 的 數據 拿 過來後來轉 化成 這種 叫 在 線 onlinereinforcementlearning 就是 他 自己 在 做 的 同時 老師會給 反饋

這怎麼 能夠 把 別 的 模型 拿過

來 是 这 样子 的, 就是 离线 的 收集 一些 比如 1 加 1 等于 几 然后 呢 让 模型 生成 很多, 什么 1 加 1 等于 3 啊 1 加 1 等于 5 啊 1 加 1 等于 2 然后 呢 那 时候 就是 开山 之作 那 时候 还是 靠 人 去 看 哦, 等于 3 这个 是 错 的, 等于 2 这个 是 对 的 就是 它 是 离线 的, 就 事先 把 批改 过 的 作业 还 得 打 标签 对

打 标签 这要 雇人 去 做 是

吧 哎 对 当当 是因为 这种 大家 也 发现 这种 标注 的 难度 大大降低 因为 他 就 给定 一个 题 然后 呢 给 几个 输出 你 就 比 哪个 好 你 也 不 需要 说 出来 他 为什么 好 就是 你 自己 感觉 比如说 你 你 就 喜欢 这种 输出 有 格式 的 哎 那 你 就 你 就 打 好 就 可以 然后 真的 模型 学 这个 以后 它 就 慢慢 会 生成 合适 越来越 好 的 这个 输出 所以 那个 时候 是

靠 人 的 OpenAI 是 雇人 花钱

花钱 雇人 做 先 雇人 花钱 然后 呢 对 然后 呢 再 用 一个 模型 去 代替 人 因为 你 不 可能 在 输出 的 过程 中 始终 有 个人 站 在 那个 地方 他

还是 学了 一下 人 标注 的 用 一个 模型 学了 一下 人 的 标注

对 去 学 一下 然后 后面 呢 就 逐渐 演变成 这种 在线 特别 是 最近 DeepSeek 比较 火 就是 因为 它 做 数学 和 编程 因为 这 相当于 是 客观 题 因为 客观 题 的话 它 可以 直接 按照 因为 它 其实 背后 有 正确 答案 的 它 收集 的 题目 都 有 正确 答案 对 就是 1 不 对 就是 0 就是 这种 方式 但 你 要 再 拓展 的话 其实 现在 还 没有 找到 特别 好 的 方法 就是说 你 想 主观题 证明 或者 是 给 写篇 作文 然后 模型 写 了 好几篇 作文 怎么 改 就 这个 还是 openquestion 所以 呢 就是 还是 沿用 原来 就是 在 人 的 标注 的 情况 下写 一个 模型 但是 这个 模型 通常 情况 下不太准 就是说 还 行 但是 不是 像 人 那么 准 这个 模型 叫做 rewardmodel 奖励 模型 那就是说

那 确实 用 强化 学习 的 方法 后 训练 这个 数学 和 编程 是 比较 容易 的 因为 对 就是 对 不 对 就 不 对 是 吧 数学 你 只要 能够 理解 那个 数算 出来 是不是 有 一个 模型 能算 出来 你 可以 比 对 就是 了 编程 你 能 运行 是 吧 但是 你 不能 运行 就 不 知道 了 你 运行 出来 结果 就 对 了 就

对 了 不能 运行 就 直接 给 他 零分 然后 能 运行 的话 要会 事先 准备 一些 unittest 这种 测试点 然后 让 他 去 测 所以 这些 都 是 事先 做好 的 但 你 说 你 再 扩展 一下 因为 人 嘛 这 不 可能 每天 只 做 数学题 和 编程 这种 简单 的 东西 一 扩展 所以 这 也 是 现在 大 模型 我 感觉 还 没有 這種 真正 到 達 AGI 我覺 得 最 後 可能 臨門 一腳 這個 是 關鍵 中

的 一環 我們 剛才 說 到 捲 我們 開始 捲 預訓練 了 很長 時間 然後後來 又 開始 捲 後 訓練後訓練 主要 有什 麽 突破 嗎 或者 有什 麽

重要 的 改變 嗎 最 開始 捲 的 是 後 訓練 數據 怎 麽 來 那 麽 有 一些 大 公司 他 有 錢 的 話 有 這 方面 資源 他 可以 雇 很多 人去 這種 比如 老師 教課 你 能標 10 條他 能標 10 萬條 這個 其實 還是

有 差別 的 有 錢 人家 的

孩子 真是 討厭 對 其實 就是 這個 道理 然後之 後 的 話 就 開始 捲 後 面 的 當然 在 剛才 捲 的 過程 中 比如 說 我 的 公司 沒錢 我 只能 給 小孩 補兩門 課語 文數學 我 很 有 錢 我還 可以 讓 他 補 編程 多磨炭 是 吧 这个 使用 工具 现在 很火 的 ToolUse 什么 Agent 这些 我 这些 数据 都 可以 来 所以 他 其实 跟 这个 数据量 其实 以及 数据 的 质量 都 很 有 关系 然后 呢 之后 大家 发现 这个 东西 不是 很 有 拓展 性 那 其实 我 很 推荐 最近 这个 就 有 一个 教授 叫 RichardSutton 他 写 了 一篇 叫 YearofExperience 就是说 如果 你 始终 用人 去标 数据 的话 那 这个 大家 也 知道 他 从 这 里面 学 的 人 模型 肯定 永远 也 不会 超过 他 说 希望 模型 在 运行 中 能够 获得 世界 的 反馈 那 这 就是 后面 选 的 这个 怎么 让 他 在 在线 的 时候 边学边 有人 跟 他 说 对 还是 不 对 这件 事 其实 非常 重要 突然 让 我

想到 比如 刚才 说 理科 题目 是 比较 容易 可以 有 一个 固定性 答案 文科 题 比较 难嘛 我 就 在 想 是不是 可以 文科 题写 一篇 文章 发到 网上 看 哪篇 点赞数 最高 我

觉得 这 也 是 一种 因为 我们 其实 很多 标注 数据 就是 看 如果 这个 比如说 几个 人 就 同时 打分 然后 看选 这个 人多 我们 就 认为 他 好 我们 也 不 知道 为什么 好 反正 就 把 这个 东西 送给 模型 他 自己 又 figureout 我们 刚才

说 到 了 多 模态 多 模态

是 个 什么 东西 多 模态 就是 我 刚才 说 的 基本上 都 是 文字 因为 我 也 是 做 NLP 出身 的 那么 多 模态 就是 有 语音 包括 语音输入 和 输出 包括 图像 输入 和 输出 包括 视频 输出 对 大概 是 这 几个 方面 那 这

几个 方面 跟 这个 大圆 模型 有

什么 关系 首先 是 这样 就是 自从 原来 特别 是 像 这个 就是 可能 说 Transformer 大家 都 知道 这个 架构 原来 是 NLP 提出 来 的 那 篇 AttachmentsAllYouNeed 本来 是 个 纯天然 的

NLP 的 模型 自然语言 处理 就是 Transformer 电信 灯是 为了 自然语言 处理 件 的

一个 技术 对 但 后来 发现 这个 用 在 其他 领域 效果 比 之前 那些 领域 用 的 都 好 所以 呢 大家 也 都 送过来 送来 之后 有个 好处 就 相当于 这个 都 用 Transformer 之后 那 我 就 可以 把 不同 模态 的 东西 数据 就 合在一起 了 因为 反正 大家 都 拿 Transformer 来 做 当然 这 里面 一些 技巧 因为 多 模态 的 东西 它 不 像 瓷 这种 是 离散 的 所以 要 稍微 做 一些 处理 包括 输入 包括 输出 端 那 这个 之后 呢, 其实 训练 的 方式 有 很多 比如说 有 一个 你 在 训练 的 时候 把 图像 也 转化成 一个 字 一个 字 有 专门 这种 技术 就是 转化 成像 字 一样 正义 点 像 这 一张 图 就是 什么 worth10words 真的 是 用 大概 几千个 这个 文字 token 来 做 的 但 这个 文字 不是 我们 看到 的 文字 是 那种 就是 我们 叫 imagetoken 叫 图像 文字 那 把 它 送进去 之后 让 它 图 出来 是 什么 比如说 给 一张 图 里面 有 几只 鸟 然后 你 问题 是 这个 图 里面 有没有 鸟 你 把 整个 这个 东西 当做 一个 文字 的 序列 输进去 它会 回来 有 有 几只

所以 它 是 把 这个 图像 也 编码 成文 就是 token 一样 的 对

编码 成 这种 就是 again 就是 数字 嘛 就是 数字 项链 就是 也 是 给 这个 transformer 变形金刚 去 处理 所以

那多 模态 是 在 大圆 模型 出来 之前 就 有 的 概念 是 吧

对 那 是 的 就是 之前 就 有 但是 做 的 呢 我 感觉 第一 任务 比较简单 第二 就是 质量 当然 也 是 那 时候 就 比较 差 一些 就 之前 很 著名 的 多么 他 就 一个 叫 VQAVisualQuestionAnswer 就 给 张图 给 句 话 一个 问题 然后 你 回答 选 ABCD 这种 当时 是 比较 限定 的 比如 我 有 两张 图 怎么办 我 想 多 问 几句 怎么办 那 这 都 做不了 都 是 非常 非常 限定 的 很 八股 的 那种 模型 就是 我们 之前 研究 人员 做 的 那些 东西 后来 发现 大 模型 员 他 不但 能 做 这个 他 还 能 五张 图 十个 问题 他 也 可以 回答 你 不但 让 他 回答 问题 他 还 能带 你 总结 一下 或者说 下 一张 图 应该 说 什么 我 感觉 这个 是 一个 技术 上 的 一个 突破 带来 的 应用 上 我 觉得 是 有 个 极大 的 扩展 但 这块 现在 做

的 人 很多 吗 就是 它 进展

大 了 对 多 模态 的 大 模型 我 感觉 做 的 质量 上 来说 相对 于 文字 还是 要 差 一些 虽然 做 的 也 很 好 我 说 相对 还是 要 差 一些 有 一些 比较 专一 的 领域 比如说 生成 图片 生成 视频 这些 大家 都 看到 了 还是 不错 的 对 吧 但是 还有 很多 未 完成 的 东西 比如说 人 一天 能够 连续 看到 这么 多 东西 就 像 这么 多针 那 我 能 把 这么 大 的 数据 都 输进去 然后 让 他 做 一些 事情 就是 之前 的话 研究 就 比较 局限 吧 因为 首先 你 模型 也 没有 那么 大 输入 也 没有 那么 多 所以 我 我 感觉 多莫泰 可以 说 这个 引申 出 巨多 的 应用 我 举个 最 简单 的 例子 你 忘 了 钥匙 放在 哪 如果 你 带 了 一个 比如说 智能 眼镜 他 后面 是 大 模型 然后 他 把 你 一天 东西 全 拍下来 你 就 直接 拿 语言 问 他 我 的 钥匙 丢 哪 了 他 会 在 你 之前 的 图像 里面 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜 搜

突然 我 想到 一開始 我們 聊 的 GPT 的 想法 就是 自然 語言作 為 輸入 的 想法 是不是 就 符合 他 當年 的

宏大 願景 對 我個 人覺 得 就是 這樣子 的 他 很早 很 早就 看出 來人際 交互 的 新 接口 新 入口 是 語言 我 覺得 這個 是 很

了不起 的 一件 事情 那現 在 這些 比如 生成 圖片 生成 視頻 這種 它 都 是 放到 大圓 模型 裡 生成

的 嗎 就是 现在 有些 做 这就是说 比如说 OpenAI 做 这个 新 的 这个 视频 生成 模型 SORA 它 还是 个 单独 的 东西 它 并 不是 放在 GPT 里面 然后 GPT 会 帮助 它 生成 一些 数据 包括 处理 一下 语言 但是 它 还是 得 专门 做个 模型 我 是 希望 在 不久 的 将来 能够 用 一种 模型 可以 处理 各种 你 想要 的 智能 操作 比如说 现在

做 生成 图片 视频 还是 利用 大 语言 模型 训练 一个 新 的 单独

的 模型 是 吧 因为 毕竟 比如说 生成 图片 这个 模块 还是 一个 比较 单独 的 这么 一个 部分 以及 生成 图像 里面 有些 细微 的 操作 这个 跟 语言 模型 还是 多多少少 有些 区别 所以 现在 基本上 还是 比如说 从 架构 上 就 会 有 两 进去 做 这件 事情 就 是从 公司 架构 上

就是 两个 不同 的 组 一个 做 大圆 模型 一个 做 比如说 生成 图片

生成 视频 对 大部分 还是 这种 架构

但是 至少 从 输入 上面 来说 听 上去 就是 大圆 模型 已经 大 一通

了 对 就是 这种 一个 字 一个 字 的 输入 这种 这种 方式 所以 现在 他 图片 什么 的 过来 其实 还是 一串 一串 东西 啊 他 不是 一个 哎 没有 没有 其他 对 毕竟 第三级 就是 读 这种 东西 对 对

对 那 我们 说 到 刚才 这个 卷预 训练 卷 完 了 卷 后 训练 后 训练 就是 老师 怎么 判 作业 这部分 那有 什么 最新 的 发展 吗 或者 未来 有 什么 大家 的

热点 吗 对 一个 就是 我 刚才 说 的 这个 老师 这件 事情 现在 还是 人来定 的 因为 什么 是 对 什么 是 错 包括 deepseek 那篇 paper 也 写 的 非常 清楚 就是 跟 正确 答案 去 比 那 如何 能 把 这件 事情 变成 就是 我用 大 模型 真正 的 去 处理 这件 事 来说 出 什么 是 好 什么 是 不好 我 举个 例子 我们 在 用 大 模型 训练 的 时候 最近 卷 这个 推理 对 吧 都 是 比较 火嘛 做 数学题 会 发现 他 写 的 越长越 好 所以 它 是 在 训练 中会 有个 自然 的 现象 但是 发现 模型 竟然 会 这种 投机取巧 就是 它 为了 获得 更 高 的 分 当然 这个 不是 它 有意识 这个 是 数学 本身 包括 优化 产生 这个 大家 不用 惊慌 不是 它 脑子 里面 想 的 它 会 故意 把 输出 变 长 怎么 变长 它 就 把 一句 话 散布 出 20 遍 30 遍长

说 一遍 上次 的 以前 那个 作文 是 有 字数 下限 然后 我 就 反复 把 一句 话 反复 说 了

那种 对 对 对 因为 这 为什么 因为 我 在 优化 的 时候 会 跟 他 说 你 的 导数 就是 你 想 优化 的 方向 就 应该 是 跟 这个 奖励 函数 增大 这 方向 是 一致 诶 他 试 了 几次 发现 咦 我 怎么 偶然 这个 随便 多写 了 一点 咦 分变 高 了 好 我 就 往长 了 写 那 后来 就 研究 人员 发现 之后 哦 你 重复 是 吧 好 我 来治 你 就 往里面 加 一个 叫 惩罚 汉说 如果 发现 有 这种 几个 词 出现 多次 减分 然后 加 了 以后 明显 这个 现象 就 没 了 但是 这件 事情 是 人 用人 眼 发现 的 然后 再 去 做 这件 事 非常 的 不 artificialintelligence 我们 希望 如果 是 别的 对 吧 或者 是 更 subtle 的 一些 不是 那么 直接

的 对 人类 不 一定 能 发现

的 了 微妙 的 更 微妙 的 一些 那 怎么办 呢 或者 你 不能 量化 怎么办 所以 我 就 希望 之后 的 这个 我 觉得 一个 方向 我 也 知道 有些 地方 正在 做 就是说 怎么 把 这个 奖励 就是 老师 这件 事 能够 做 得 更 自动 不 需要 人去 介入 现在 当然 人 介入 也 很易 比 以前 少 了 但是 我 认为 真正 要 突破 这个 人类 智能 的话 这个 人 介入 应该 达到 一个 最低点 就 完全 让 他 自己 去 弄 这个 类比 于 AlphaZero 下围棋 大家 發現 這個 兩 模型 自己 學 吧 學 吧 然 後 最後達 到 一個 極高 的 高度 就是 為 什麼 就是 因為 它 兩個 在 自己 學 的 話 它 這個 速度 會快 很多 因為 這是 電嘛 對 吧 電子 嘛 Singularity 啊 基本上 不 需要 人人 一 介入 什麼 東西 都 變慢 了 你 想 什麼 流程 只要 人 在 裡面 它 肯定 就 變慢 了 對 吧 所以 我 就是 一個 發音 所以 需要

一個 AI 的 教導 主任 來 看 著 那個 AI

这个 听 上去 在 数学 上 是 有 可能 的 有些 可能 是 不 可能 是 比较 难 的 比如说 有些 我们 人类 的 价值 判断 啊 就 人文 的 比较 困难 但是 数学 上 听 上去 可能 的 呀 有 一天 这个 弹幕 星 可以 判断 出 证明 对 不 对 了 之后 那 你 就 可以 自己 出击

自己 做 了 呗 对 对 包括 证明 这件 事情 其实 现在 已经 有 一些 工作 就是 把 它 形式化 就是说 所有 证明 我 都 可以 用 严格 的 逻辑 推演 它 有 一套 自己 的 语言 就是 就 像 程序 一样 可以 运行 出来 但是 把 数学 证明 这个 都 解 了 我 还是 不 觉得 非常 惊讶 因为 又 是 人 专门 为了 这个 做 了 一套 系统 非常 的 special 非常 的 特别 那 我 怎么 就是 更 多 的 时候 我 说 普罗 大众 他 关心 的 不是 什么 你 这 模型 能得 IOIIMO 金牌 这 跟 我 有 什么 关系 更 多 是 你 这个 能解 我 生活 中 的 一些 事情 比如说 教 我 怎么 教育 小孩 对 吧 怎么 选 我 下 一份 工作 这些 能够 做 的 更加 智能 一些 我 觉得 这些 是 是 大家 更 关心 的

需要 巴菲特 去 教 一下 一般 的 人教 一下 還 不行 如何 讓 模型

有 這種 巴菲特 這種 智慧 而且 能夠 我 覺得 真的 我 認為 的 AGI 是 他 可以 就 你 真的 信賴 為 你 做 一些 好 的 決策 非常 關鍵 的 一些 事情 甚至 跟 你 的 生活 你 的 家庭 工作 非常 非常 關鍵 的 一些 決策 我覺 得到 這個 時候 它 真的 是 一個 就 你 把 它 當做 一個 非常 trust 非常 可以 信任 的 這麼 一個 智能 體對 這個 時候 我 覺得 它 是 大道 的 AGI 所以 現在 還有

距離 這有 一個 問題 就是 因為 回到

刚才 的 后 训练、 预 训练 来说 它 还是 一个 靠 做作业、 做题 集 做 出来 的 这样 一个 模型 就是 它 没有 根据 说 比如说 你 会 觉得 有 一个 值得 你 信赖 的 财产 的 咨询师 他会 说 我 之前 帮 这些 人 做 过 财产 咨询 他们 都 很 好 所以 说 你 觉得 他 可以 信任 他 但是 现在 这个 模型 过来 说 我 做 八年 高考 五年 模 你 做 得 很 厉害 但是 你 就 不 可能 构建 这样 的 行人 对

这 问题 就是 你 如何 替 人类 做 人类 做 不到 的 事情 这个 还是 有 困难 的 是 吧 对

就是 包括 能 做到 的 事情 但是 人要 花 很长 的 时间 最近 一个 比较 卷 的 应用 就是 deepresearch 这 大家 可能 听说 了 就是 用大 模型 去 做 一些 怎么 说 咨询 公司 经常 做 的 一些 事情 比如说 分析 一下 市场 他 写 了 非常 长 的 报告 其实 底层 来看 是 一些 比较 起离 火 对 吧 你 可能 要 看 一百两百 个 网站 看 别人 的 报告 最后 得出 一个 很 有 条理性 的 报告 这件 事情 我 觉得 是 蛮 有 意义 的 因为 本身 是 一个 比较 繁琐 但是 又 需要 一定 的 语言 的 功底 以及 市场 分析 的 才能 去 做 像 这些 领域 我 认为 会 一个 一个 被 单个 击破 但是 之后 下 一步 怎么 走 能够 让 它 更加 坚韧 比如说 刚才 说 的 是 人能 做到 的, 那 人 不能 做到 的 是 什么? 现在 已经 有, 就是 拿 这个 大 模型 去 做 一些 科研 研究, 我 觉得 有点 类似 于三体 啊, 就是 让 他 去 比如说 发展 出新 的 理论, 在 新 的 理论 上 做出 一些 新 的 东西, 当然 现在 呢 就是 绝大部分 的 大 语言 模型 英文 还 并 没有 物理 化 他 能 说出 很 好 的 一篇 文章 对 吧 但是 你 桌子 上 有 张纸 他 也 不能 动 或者 怎么样 对 吧 他 并 没 跟 物理 世界 联系 起来 当 他 跟 物理 世界 能够 联系 起来 的 时候 我 觉得 这 是 他 更加 强大 的 一个 环境 的 钥匙 因为 他 可以 持续 的 从 环境 中 得到 反馈 因为 你 如果 大家 想人 因为 我 一直 觉得 因为 我 自己 也 有 小孩 我 觉得 我 类比 于 小孩 在 妈妈 肚子 里 或者 包括 基因 都 是 育成 的 生 出来 之后 然后 你 开始 教 他 这 是 后 训练 因为 我 一直 觉得 人生 出来 的 时候 脑子 已经 其实 非常 聪明 了 除了 他 不会 跟 你 交流 对 吧 但是 一一 压压 的 这 不 就 跟 预 训练 一样 吗 对 吧 要 出来 东西 对 吧 出来 这 模型 你 还 不能 跟 他 对话 但是 他 其实 很 聪明 然后 你 跟 他 包括 做 题 包括 更 多 的 这种 反馈 嘛 你 不能 这样 你 应该 这样 其实 我 个人 觉得 大 模型 发展 其实 可以 去 进行 一下 教育学 经理 学 这些 其实 是 有 一些 这方面 的 研究 但 我 觉得 还 不是 很多 当然 你 也 可以 说 电脑 或者 计算机 为什么 跟 人 学习 的 模式 得 是 一样 当然 当然 不 一定 要 一样 这 不 一样 因为 它 是 大量 的 知识 灌 到 一个 这个 智能机 里面 去 人 是 这种 分散 的 对 吧 但是 我 觉得 还是 有 很多 借鉴 的 因为 至少 现在 人 还 强于 他 对 吧 他 是 人 发明 的 又 不是 他 发明 的 人 所以 我 觉得 可以 从 这 里面 去 汲取 一些 如何 去 让 一个 智能 体 更加 智能 的 一些 经验 那 我们

先说 物理 世界 物理 世界 先放 一放 因为 物理 世界 很 复杂 我们 之前 有 做 过 一期 节目 是 采访 一个 机器人 的 专家 他 就 说 物理 世界 太 复杂 的 原因 是因为 数字 世界 它 的 电量 是 有限 的 但是 物理 世界 电量 是 无限 的 无限 你 觉得 那个 牛顿定律 弄完 之后 发觉 超 光速 还有 一个 新 的 定律 就是 这个 无限 扩展 的 东西 但是 数字 世界 相对来说 就是 变量 是 有限 的 那么 现在 在 现在 的 情况 下面 有没有 就是 大圆 模型 可以 通过 跟 数字 世界 的 互动 然后 能 做 一些 比较 fancy 的

事情 跟 數字 世界 互動 我 覺得 還是 挺 多 的 就是 比如 說現 在 把 它 作為 之前 希希 也 聊過 比如 說 當作 一個 character 去 和 人 去 聊 天然 後 獲得 一些 反饋 包括 把 大 模型 去 你 可以 其實 你 自己 可以 做 一些 事情 比如 說 讓 大 模型 處理 一些 你 的 工作 流當作 你 的 agent 幫 你 去 買 東西 這些 他 獲得 反饋 比如 說 他 去 login 去 登录 然后 结果 密码 错误 了 或者 发生 其他 情况 他 可以 获得 他 的 feedback 这些 都 是 这个 数字 世界 的 对 他 的 一些 反馈 当然 就是说 你 完全 在 数字 世界 本身 也 是 人 创造 的 就 这 里面 的 一些 rule 一些 就 怎么 去 有 哪些 反馈 有 哪些 规则 应该 怎么 去 交流 其实 都 是 人 制定 的 还是 一个 相对 比较 人工 的 一个 环境 那 物理 世界 其实 很多 跟 人 都 没有 关系 它 是 一个 固有 属性 或者说 你 刚刚 说 的 对 就 有 很多 未知 的 变量 那 这个 就 更 难 但是 我 感觉 既然 人能 把 这个 处理 好 我 相信 这个 模型 之后 应该 也

可能 我 看 有 的 說法 認為 什麼 這些 AI 做 這些 智力 性 的 工作 這麼行 物理 性 的 不行 是 因為 我們 生物 和 物理 世界 交互 幾十億年 的 歷史 從 生物 出現 開始 就 一直 和 物理 世界 交互 有 幾十億年 的 進化來 優化 如何 和 物理 世界 交互 而人類 出現 語言出 現高級 智能 就 只有 幾十萬年 就是 你 從 進化 時間 上 來 說 是 一萬倍 的 差別 所以 說人類 智力 其實 就是 不行 的 因為 就 根本 沒有 多少 年 進化 而 物理 世界 對 於 生物 來 講處理 物理 世界 是 非常 厲害 的 人類 作為 一個 生物 幾十億年 進化 的 結果 對 於 和 物理 世界 的 交互 是 非常 非常 厲害 的 這麼 一種 說法

我 感觉 速度 倒 不是 问题 因为 计算机 的话 它 处理速度 非常 快 它 这个 域性 链 这些 数据 可能 人要 花 几十亿年 才 可以 读完 这倒 不是 问题 最大 的 问题 是 这个 没有 相关 的 这个 电子化 的 物理 数据 来 送给 这个 模型 因为 一个 模型 你 可以 认为 它 绝大部分 或者 它 整个 它 就是 由 它 见到 的 数据 所 决定 它 没见 过 那 它 就 完全 不会 那么 像 这 几十亿年 是 生物 很 缓慢 的 过来 但是 这 几十亿年 比如说 他 摸 了 石头 然后 手疼 了 这个 反馈 它 没有 记录 在

记录 在 你 的 基因 里 对

记录 在 基因 里 人生 记录 但是 没有 记录 在 电脑 可以 理解 的 这种 数据 上 所以 他 就是 吃亏 现在 再 反过来 我 去 收集 一些 东西 但是 很难 因为 比如说 我 去 打 一个 硬 的 东西 我 手会 疼 这件 事情 你 怎么 去 描述 以及 你 有 多少 数据 可以 做 这件 事情 得 靠 多少 人去 采集 这种 数据 因为 很多 常识 这 常识 其实 小孩 刚生 出来 他 自己 都 会 寫 在 基因 里面 怎么 让 计算机 能够 了解 现在 还 必须 经过 这么 一个 人工 转换 的 过程 生物

花 了 几十亿年 不断 的 自然选择 试着 生存 出来 的 这些 东西 我们 怎么 能要 交给 我们 的 AI 学会 也 是 非常 困难 不能 靠 生物学 会 的 道路 那 实在 是 太慢 了 得 让 人类学 会 的 道路 我

还 蛮 好奇 就是 现在 AI 的 这些 产品 至少 就 聊天 机器人 这样 的 一个 形式 吧 现在 每天 都 有 那么 多 的 人 的 交互 然後那麼 多人 實際上 他們 每次 交互 都 上 是 個 反饋 嘛 那 這樣 的 話 會 加速 至少 在 數字 世界 這個 AI 的 迭代 就會 因為 這麼 多 人 跟 我 反饋 跟 我 聊天 之 後 那麼 我 就 這些 數據 那 至少 我應 該 知道 是 應該 更好 的 聊天 比如 每天 的 那些 反饋 結果 可能 會變 得

更好 对 这个 是 的 因为 包括 很多 做 聊天 机器人 的 这些 公司 不管 是 情感 聊天 也好 或者 是 客服 聊天 也好 他们 拿到 大量 的 反馈 去 不断 迭代 他们 的 模型 这个 确实 是 这样 的 但是 呢 我 就 说 他 他 会 变得 更加 适合 更加 懂 聊天 但是 不 代表 他 更加 懂 这个 物理 世界 或者 更加 懂 解题 这种 因为 聊天 嘛 一般 都 是 比较 相对 就 日常生活 这种 交流 嘛 你 不会 去 跟 他 说 非常 深刻 的 东西

或者 他 就 会 变得 越来越 油嘴滑舌

哎 对 就是 他 他 他 他 很会 说话 对 很会 逗 你 开心 对 就 就 就是说 你 就是 种瓜得瓜 你 给 他 什么 信号 他 就 怎么 选 吗 对 是 是 一个 非常 因为 模型 虽然 大家 说 是 黑盒子 我们 还是 知道 它 是 什么 的 它 里面 都 是 人定 的 所以 它 是 通过 数学 那些 推导 然后 去 优化 去 做到 的 所以 它 完全 是 信号 驱动 你 给 它 什么 信号 它 就 往 哪

走 现在 我们 说 说 这个 领域 比如说 大 模型 领域 或者说 AI 这个 领域 现在 都 好像 都 有点 分不太清 了 过去 是 好像 OpenAI 一直 独秀 是 吧 大家 都 在 后面 追 后来 猜 他们 在 做 什么 现在 是 一个 怎么样 的 形式 吗 现在

对 现在 的话 从 公司 角度 来说 的话 现在 有 越来越 多 的 大 模型 的 公司 后起之秀 都 追赶 上来 了 就 现在 来说 的话 我 认为 啊 个人观点 第一名 还是 OpenAI 但 明显 差距 已经 比 两年 之前 要 小 不少 那么 可能 新 的 公司 大家 都 知道 就 赶上 了 Anthropic 包括 最近 的 DeepSeek 包括 国内 我 一直 觉得 国内 其实 做 得 非常 好 国内 的 一些 论文 我 都 在 经常 阅读 我 发现 他们 做 东西 做 得 非常 的 细 我 很 欣赏 所以 我 觉得 这边 反而 有 一些 想 的 不是 那么 深入 可以

大概 举个 例子 什么 叫做 细 吗

我 就 举个 例子 比如说 deepseek 它 最 核心 的 算法 叫做 gipo 然后 那 本身 是 一个 公式 不是 个 等式 只是 他 自己 去 优化 的话 他 用 那个 准则 那 里面 大概 有 四五个 部分 吧 我 看过 很多 国内 论文 把 那 四五个 部分 研究 到 细到 不能 再细 就是说 这个 部分 其实 你 可以 把 它 怎么 调 一下 于是 可以 变得 更好 那个 部分 我们 其实 如果 你 发现 这个 训练 出现 这种 情况 的话 应该 把 它 怎么 改进 一下 相对 应 的 我 在 就是 美国 这边 并 没有 看到 相对 应 那么 细 的 做 的 效果 很 好 的 所以 反而 这方面 我 认为 是 至少 我 知道 的 周围 的 做 的 这个 理念 是 有 因为 他 反而 已经 是 公开 的 这个 知识 了 看来 是 这个

国内 确实 是 踏踏实实 的 做 一些 东西 啊 美国 人 喜欢 讲大 的 大道理 讲大愿景 是 吧 对 对 对 bigidea 要 smallidea 也 不 愿意 没什么 啊 过去 有 段时间 大家 都 是 在 猜 openeye 下 一步 在 哪 走 啊 那 现在 还是 这样 吗 还是 说 大家 基本上 都 已经 计算 方向 大家 都 已经 确定 了 大家 就 还是 就是 看 谁 先 走

到 对 这个 是 我 的 一个 观点 因为 你 如果 把 它 看作 第一名 的话 我 认为 是 这样 就 两年 前 第一名 和 23456 差 很大 他 是 这么 一个 水平 别人 都 在 这 那 在 两年 过后 呢 我 感觉 就是 得 第一名 当然 有 进步 但 大家 都 至少 有 可能 四五家 都 已经 到达 了 第一名 的 这个 区域 可以 跟 他 拜拜 手腕 但是 我 感觉 就是说 第一名 本身 并 没有 一个 质量 的 废语 也就是说 从 QI GPT 出来 到 今天 应该 已经 有 两年 半 了 我 不 觉得 就是 模型 本身 有 一个 那么 大 的 质点 就 像 GPT 4 和 3.5 之间 那个 代差 一样 我 至今 没有 看到 所以 这个 可能 也 是 OpenAI 本身 研究 到 了 一個 瓶 頸 OPI 也 有 很多 問題 包括 他們 一些 人員 的 流失 發展 遇到 各種 各樣 的 問題 包括 組織 架構 也 出 了 一些 問題 但 不 影響 他現 在 是 第一 但 我 更 關心 的 是 這個 大家 期待 的 GBT5GBT5 正在 做 嗎 這我 不 知道 就是 說 我 更 關心 的 不是 代號 而是 它 真 出來 這個 能力 水平 有 多少 至少 最近 出來 的 這個 应该 是 4.5 吧 就是 并 没有 4.1 并 没有 达到 我 预期 的 这么 一个 效果 就是 没有 达到 一个 哇 又 提升 了 一大截 我 感觉 还是 有 一些 瓶颈 所以 现在 看来

业界 期待 一个 革命性 的 新 突破

现在 还 看不到 这个 其实 蛮 重要 的 就是 不管 是 哪家 做 出来 对 整个 这个 行业 都 是 有 积极意义 的 那 这个 突破 可能 会

在 什么 方向 吗 大家 可能 肯定 在 寻找 嘛 可能 整个 这个 行业 都 在 寻找 嘛 大家 有没有 看到 大家 认为 哪个 方向 会 有 突破

呃 现在 大 模型 的话 就是说 粗 看起来 是 不错 呃 你 可以 让 他 写 写作文 这些 都 没有 任何 问题 但是 就是说 你 要 做 让 他 做 一些 精细 的 事情 比如说 让 他 驱动 你 的 agent 做 一个 很 复杂 的 工作 流 或者 是 让 他 去 就 说 让 他 生成 的 东西 百分之百 不要 胡说 不要 瞎猜 就 说 说 出来 东西 都 真实 可靠 他 还是 做 不到 就是 我 希望 不是 说 他 这个 新 的 IMO 又 得 了 满分 这 我 完全 不 关心 我 关心 的 是 就 这些 更 底层 的 就是说 更多人 所 关注 的 这些 方面 能够 做好 我 觉得 现在 就是 大圆 模型 还 没有 到 这种 翻天覆地 的 这种 革命 的 一个 主要 原因 是 大家 还 对 他 不够 信任 对 他 不够 信任 并 不是 一个 大家 的 就是 心理 问题 而是 确实 有些 地方 没 做好 他 确实 即使 是 最强 的 模型 他 还是 会 有时候 会 胡说 所以 你 不能 完 百分之百 的 去 去 依赖 他 所以 我 觉得 这个 是 我 期待 下 一步 模型 真正 突破 的话 达到 AGI 这是 一个 我 希望 能 看到 所以 大家

往 哪 方面 看 还是 预 训练 还是 后 训练 还是 有 什么 架构

改变 我 个人 觉得 可能 要 都 要 改变 不是 这种 简单 的 incremental

这种 加法 可能 还是 整体 架构 都 要 有 一个 革命性 的 改变 对

比如说 它 的 数据 不是 因为 现在 数据 就 是从 网上 来 download 下来 但是 就 网上 数据 和 真实 的 人们 这个 看到 的 世界 以及 真实 的 价值观 是 有 差距 的 那 为什么 模型 会 胡说 那 就是 因为 这个 数据 里面 有 胡说 吗 那 大家 不负责任 的 在 网上 贴 一些 东西 自然 就 被 他 选去 了

包括 現在 有 專門 一個 新 的 領域 就 相當 於 是 師承 SEO 就 相當 於 是 在 那邊 如何 在 網上 散 佈 一些 數據 能夠 被 大 模型 pick 從 而 能 讓 我 的 產品 被 大 模型

推薦 對 就是 雖然 有 很多 的 數據 清洗 但是 這個 肯定 清洗 不乾淨 這些 問題 如果 在 一開始 灌給 交給 了 這個 模型 之 後 你 想 在 後 訓練 你 想 把 它 掰 過來 那 是 很 難 的 一个 人要 基因 出 了 问题 你 后面 想 把 他 掰 过来 那 是 非常 非常 困难 的 所以 我 觉得 与其 在 但 后面 也 需要 了 因为 后面 我 觉得 更 多 是 一些 微操 让 他 可以 变得 更好 但是 他 的 根 来源于 他 从 最 初始 数据 怎么 来 包括 应该 给 他 一些 价值观 其实 这方面 我 知道 就是 比如说 anthropic 其实 anthropic 是 一个 比较 看重 这个 安全性 大 语言 模型 安全性 他们 写 了 一个 叫 AI 宪法 constitutionofAI 有点像 以前 我 记得 有个 机器人 三 定律 阿斯 莫夫

机器人 三 定律 对 什么 不能 伤害

人 什么 听人 指令 的 他 就是 写 了 一下 这个 你 不能 提示 啊 就 把 这些 东西 放在 他 的 数据 的 制作 的 过程 中来 灌输 当然 这个 也 不能 保证 百分百 但是 确实 是 有 积极 的 意义 就是 让 这 模型 更加 的 安全 我 觉得 这些 东西 需要 从 最 根本 去 解决 所以 我 就 说 需要 有 革命性 的 改变 因为 你 要 期待 这个 数据 清洗 突然 有个 非常 神奇 的 数据 清洗 工具 我 也 觉得 不太可能 因为 这 确实 也 很 难 那 是不是 可以 就是说 两个 非常 model 之初 性本善 的 两个 模型 互相学习 学习 然后 就 这样 他 学到 东西 更 纯粹 一些 但 同时 你 又 让 他 能够 听人话 就 到 達 這麼 一個 地步 我覺 得 這是 一個 可以 探討 的 方向 它 變成

一個 AI 的 科學界 讓 他們 互相 辯論 是 吧 互相 peerreview 是 吧

對 就 而 不是 把 人 的 一些 糟粕 的 一些 東西 因為 就是 人嘛 總有 那些 邪惡 的 人 或者 怎麼樣 就是 會體現 在 數據 上 而 我們 現在 就是 通過 它 作為 載體 來 去 訓練 模型 所以 就 導致 了 現在

所以 我们 看看 下 一个 大 模型 的 整体 架构 会 有

什么 翻天覆地 的 改变 对 对 架构 的话 我 觉得 都 大同小异 吧 这么 多年 穿梭 嘛 有 一些 变化 我 不 觉得 他 是 他 是 怎么样 就是 有点像 这个 外星人 是 长成 正方形 还是 圆形 其实 不是 最 重要 的

听 上去 这个 领域 差不多 了 呀

我 觉得 还 差 那么 临门一脚 有

什么 之前 说 要 问 的 问题

吗 对 我 觉得 刚才 其实 David 已经 提到 了 就是 我 觉得 从 应用层 的 角度 来看 就是 还是 会 有 一个 很大 的 代差 就是 你 觉得 它 可以 做 很 fancy 的 东西 包括 每次 大厂 出来 新 模型 都 会 做 一些 demo 但是 现在 作为 开发者 来说 你 不信 这种 鬼话 了 就是 你 这个 demo 做 得 再 天花乱坠 我 还是 不 信 因为 就 知道 就是 你 要 它 百分百 准确 百分百 可以 就是 很难 包括 像 有些 比如 做 一些 可以 犯错 的 领域 的 应用 还好 但 比如说 做 一些 finance 相关 的 那些 公司 就是 基本上 就是 苦不堪言 就 觉得 在 那边 去 做 accounting 就是 就 一定 会 犯错 而且 一 犯错 造成 的 结果 就是 一定 是 很 难 去 纠正

和 处理 对 对 确实 是 这 样子 所以 我 一直 认为 就是 大 模型 本身 是 一个 非常 强大 的 通才 generalist 他 懂得 很 宽泛 但 作为 这个 具体 应用 或者 你 做 应用 或者 你 使用 它 你 需要 的 它 是 一个 非常 精通 的 精彩 专彩 应该 都 这么 说 专彩 那 从 通彩到 专彩 的 这个 过程 呢 很多 人 就是 OK 我 就 写 几个 提示 词 这 只是 最 初步 的 初步 也就是说 这个 lastmile 可能 这个 只 占 1m 那 剩下 还有 好多 那 其实 有 很多 比如说 你 这个 领域 的 特有 的 数据 特有 的 模型 怎么 跟 他 能 联系 起来 你 这个 领域 所 特有 的 一些 要求 他 的 比如说 他 的 成功率 要 9 .% 他 达 不到 你 怎么 去 改 这 并 不是 改 几个 提示 词 可以 做 的 所以 这些 我 我 之前 就是 从业 的话 也 是 做 了 一些 这方面 的 这个 工作 那 总体 说来 呢 我 感觉 还是 比较 繁琐 也就是说 这 一套 非常 繁琐 的 东西 做 完 了 也 只能 干 这么 一件 事 怎么 让 这件 事 可以 可以 自我 去 复制 我 觉得 还 没有 完全 自动化 就是说 里面 还是 有 很多 半自动 就 我 去 介入 来 去 思考 这个 问题 能 不能 把 这个 过程 也 变成 让 大 模型 去 想当然 这样 想 我 就 没有 工作 了 至少 现在 还是 需要 大量 的 人工 去 做 这些 事情 这 也 是 很多 科技 企业 包括 就是说 我们 要 刷 大 模型 大 模型 很 好看 绑带 很 好 结果 后来 一试 非常 烂 然后 我起 虎 难下 我 改 了 十版 几十次 都 是 很烂 我 怎么办 其实 里面 有 非常 细 的 东西 在 里面 就 跟 大家 平时 工作 一样 只是 可能 你 对 大 模型 的 可能 就是 大家 对大 模型 的 容忍度 可能 没有 对 人 的 容忍度 那么 高 比如说 你 过来 一个 人 你 不能 说 第一天 他 工作 不好 你 就 把 他 给 开 了 但是 大 模型 真的 你 过来 试 一套 你 说 这 什么 东西 但是 人 怎么 就 可以 从 错误 中 从 包括 整个 比如说 你 具体 要 作为 公司 的 应用 怎么 跟 其他 去 磨合 那

人 我们 都 面试 了 才能 进来 比 他们 先 那 什么 多 了

那 有 感觉 就是 以后 人 在 公司 里面 就是 做 一个 大模 新人

员工 培训师 对 而且 这种 培训 可能 就是 因为 公司 本身 也 在 迭代 你 比如说 你 今天 想 做 这个 事 中间 有 一个 组件 它 更新 了 你 是不是 又 得 培训 一下 就是说 这些 东西 我 觉得 就是说 要 反复 的 去 迭代 去 做 通材 这件 事情 我 不 认为 任何 时候 10 年 以后 20 年 以后 会 有 一个 大 模型 他 什么 都 不 需要 拿 过来 就 可以 做 任何 的 专才 这 是 不 可能 的 但是 就 怎么 能 缩短 这个 过程 大家 在 平时 工作 中 也 会 有 体会 有些 同事 一教 他 就 会 了 有些 同事 可能 要教 很 久 你 可以 把 它 作为 一个 一教就会 了 当然 他 都 不 需要 你 人 真正 去 教 他 看 一下 整个 你 培植 的 环境 就 可以 去学 了 当然 中间 你 可能 会 给 他 一些 反馈 告诉 他 什么 是 对 的 什么 是 不 对 的 但 我 觉得 就是说 人 怎么 去 思考 他 要 学会 这套 本质 的 价值观 那 还是 有用 的 现在 我 还是 没有 看到 所以 现在 大家 还是 在 一个 就是 这是 一个 高级 工具 嗯 所以 大家 还有 工作 现在 大家 还有 工作 对 而且 工作 就是 更好 一点 就是说 他 可以 帮 你 做 很多 事情 吗 就是 这 正好 是 吗 而且 我覺 得

這是 他 即便 以後進 入 到 David 出道 那個 版本 那麼 人 還是 有 工作 人 的 工作 更 像是 一個 老師 或者 是 一個 前輩帶 你 大概 了解 一下 認識 一下 告訴 你 要 怎麼 做 這個 只能 工作 就 完 了 就是 下一個 階段 可能 是 這種

狀態 對 以及 反過 來 你 可以 讓 他 教 你 一些 東西 哎呀

反 了 我們 給他 打工 啊 倒

反天 綱人 可以 去 做 一些 更 有意 義的 事情 比如 說 我們 可以 去 大家 都 去 做 一些 慈善 讓 大家 生活 得 更好 他們 給我們

指揮 我們 去 送 外賣 我們 去 送 他們 決定 我們 去 送 哪家 我們 就 送 哪家 就 我 记得

我们 有 一天 在 那边 有 一个 对 我 来说 很 神奇 的 瞬间 就是 我 的 电脑 我开 了 Devon 就是 AI 的 代码 编写 助手 我 让 他 再 帮 我 写 三个 不 一样 的 task 然后 我 自己 本人 在 那边 装 我们 办公室 新 进来 的 那个 桌子 你 再 给

他 setup 好 工作 环节 都 是

我们 给 他 打杂 啊 我 这 开始 时候 有个 问题 我 忘 了 问 了 啊 就是说 我们 第一个 听 起 语言 模型 是 一个 我们 过去 的 想法 就是 你 一个 语言 模型 可以 翻译 吧 我 给你个 中文 你 翻译成 英文 或者说 我 给 你 做 一件 非常 具体 的 事情 对 吧 但 为什么 我们 GPD 出来 之后 发现 他 还 能 回答 我们 的 问题 啊 为什么 这 语言 模型 出来 他 还 能 就是 他 还 很 有 知识 这个 你们 作为 自然语言 领域 的 学者 最 开始 看到 ChatTP 出来 可以 做 这些 事情 是 个 是 个

怎么样 的 一个 想法 对话 的话 我们 之前 都 有 对话 模型 就 小 一些 就 简单 的 对话 还是 可以 的 比如说 三 五轮 还是 可以 的 但是 就是 你 不能 让 他 写 很长 或者 聊 很 深 这 还

不行 但是 ChatGP 你 可以 问 他 问题 啊 问 他 知识 啊 美国 的 首都 是 哪 他 会 告诉 你 美国 首都 是 哪 是 吧

这个 以前 模型 也 可以 做 的

也 可以 做 的 是 吗 我们

叫 QA 模型 QA 本身 就是 一个 相当于 文本 总结 的 一个 领域 所以

过去 在 ChatGP 之前 就 有 语言 模型 比如 叫 QA 就 问答 模型 他 就 已经 把 知识 都 已经

放进去 了 对, 但是 一般 考察 到 的 数据测试 级 都 比较 小 比如说 都 是 什么 地理知识 或者 是 历史 知识 不是 能 问 十万个 为什么 像

之前 那个 IBM 很早 很早以前 那个 深蓝 就是 在 那边 答题 不是 去 干

这个 事情 对 对 对, 就 这些 还是 可以 做 的 哪怕 在 后面 接 一个 搜索引擎 也 可以 在 ChinaGPT

最 开始 出来 是 没有 引擎 它 也 可以 回答 好像 很 复杂 的

问题 对 吧 对 这个 是 我 个人 觉得 最 重要 的 第一 方面 就是 它 大 而且 它 大 的 超乎 想象 就是 大于 之前 模型 的 10 倍 10 倍 就 至少 50 倍 吧 这个 量级 然后 他 找到 了 一个 成功 训练 这么 大 模型 的 一套 形式 有效 的 办法 我 觉得 这是 两个 最 重要 的 这个

步骤 所以 说 对于 一个 自然语言 处理 的 这个 专家 里面 并不认为 自然语言 处理 可以 回答 包罗万象 的 各种 知识 这件 事情 是 一个 对 语言 模型 是 一个 很 惊讶 的 事情 语言 模型 就 自然而然 它 只要 它 的 模型 学 的 语料 里面 有 这些 地理知识 它 就 可以 回答 地理知识 是 吧

我们 是 这么 看 的 就是说 回答 他 见 过 的 问题 不算 难 但是 能 拓展 回答 一些 他 没见 过 的 比如说 我 可以 组合 各种 元素 在 一个 问题 里面 我 觉得 我 可以 保证 之前 的 数据 里面 肯定 没有 但 他 还 能 答对 这个 其实 是 他 当时 在 卷域 训练 的 时候 有 一个 我们 叫 借阅 或者 是 这个 叫 涌现 能力 叫 Emergence 他 就 看 了 嘛, 模型 十亿 二十亿 三十 亿都 不行 然后 突然 到 一百亿 开始 他 突然 这个 准确率 一下 就 从 0% 左右 降 不到 30% 4 左右 所以 说 在

ChadGPT 的 时候 他 已经 有 很多 的 涌现 了 是 吧 已经 有

很多, 对 的, 涌现 其实 就是 因为 ChadGPT 后来 他 突然 打通 了 对

对 对 所以 在 chadgpg 之前 是 很少 有 涌现 这件 事情 发生 了 是 吧 但是 有 的 人 很少

是 吧 之前 我们 基本上 没 听 过 涌现 这个 没有 听过 这件 事情

但 chadgpg 就 大家 认为 会 涌现

这种 事情 对 对 对 就是 当

你 家里 足够 有钱 了 你 就 能 无所不能 以前 大家 都 不 知道 有钱 的 人 生活 是 什么 样子

对 就 不 知道 有钱 是 什么

样子 的 不是 为什么 呢 为什么 这 有没有 思考 就是说 所有 的 解释 就是 只要 模型 更大 就 所有 的 好 事情 就 都 出来 了 吗 量变

到 质变 是 吧 就 我 的 超能力 是 我 的 超能力 有些 解释 是 这样 就是说 它 其实 还是 个 连续 的 只不过 你 看到 是 涌现 是 怎么回事 呢 一般 测 这种 涌现 就是 用 这种 多选题 ABCD 在 联办 是 胡 猜 嘛 25% 这种 然后 突然 一下 能够 涨 到 百分之 就 很 高 了 是 为什么 呢 比如说 ABCD 里面 B 是 对 的 如果 你 只 看到 答对 的 个数 是 突然 涌现 了 但是 你 看到 答对 的 那个 的 他 因为 他 ABCD 他 每个 会出 一个 选择 的 概率 然后 最后 人去 选 那个 他 觉得 概率 最高 的 那个 这个 B 是 突然 一下 他 到 第一 了 但是 他 其实 他 概率 一直 在 涨 就 这个 涨 的 过程 是 连续 的 只不过 他 一直 被 上面 的 A 压着 然後話 他 出來 所以 就是 說 他 本來 比如 說 你 一直 第二名 然 後 突然 你 變成 第一 了 但是 這個 過程 它 其實 是 一個 連續 的 所以 我 也 更 傾向 於 這種 解釋 OK 就是 量變 引起 質變 只 不過 看 你 最 後 怎麼 去 評判 這件 事情 所以

在 自然 源 方面 你們 也 研究 過也 有 很多 學者 研究 湧現 這件

事情 是 吧 對 對 對 就是说 看 模型 在 不同 大小 的 时候 做 一些 事情 会 有 个 突然 叫 无法解释 有点像 这个 电流 你 说 超导 什么 本来 是 没有 有 电阻 突然 一下 没有 电阻 对 对 就

大家 突然 发现 在 ChatGPT 之后 有 一些 他 没有 不是 具体 的 能 问答 的 不是 有 一个 具体 的 问题 的 变一变 就 过去 一个 学过 这个 问题 把 问题 回答 稍微 变一变 你 就 可以 可以 答 的 就 完全 没有 过 这个 问题 然后 他 通过 几个 问题 之间 他 能够 就是 变 出来 你 也 能 回答 的 就是 ChatGPT 是 第一次 大家 会 去

突然 觉得 就 对 对 对 但

我 想到 我 自己 体验 一个 让 我 第一次 惊艳 的 时候 是 我 在 问 他 一些 比如说 问 他 一些 知识型 的 问题 这时候 我 问 他 说 A 和 B 的 关系 如果 我 这么 类比 的话 你 觉得 对 不 对 然后 他 跟 我 回答 说 可以 这么 类比 是因为 这样 让 我 就 觉得 哇 这 很 啊哈 因为 我 猜想 就是 这个 世界 上 可能 从来 没有 一个 人 把 A 和 B 的 关系 和 这 两个 事情 做 类比 对 对 对

好 我们 就 非常感谢 David 来到 我们 节目 给 我们 以 一线 专家 的 视角 以 亲历 历史 的 视角 来 给 我们 讲 一 讲大元 模型 这 到底 是 怎么回事 过去 这些 年 发生 了 什么 非常感谢 我 学到 了 很多很多

东西 给 我 最大 的 一课 就是 有钱 就是 能 为所欲为 好 谢谢 大家

對

忘 了 從 來 都 問的 問題 就是 我們 一般 會問 我 一般 會問 一個 嘉賓 問題 就是 說 如果 這個 領域 覺得 這 麽 好 如果 你 想要 進入 這個 領域 現在 應該 做 什 麽 準備 準備 錢 吧

你 要 看 你 想 做 什么 就 分 几种 第一种 你 想 从 零 搓 一个 大 模型 出来 那 你 需要 很多很多 的 钱 有钱 也 不 一定 可以 因为 你 买不到 卡 并 不是 说 你 把 10 亿拍 到 NVIDIA 了 然后 JasonHuang 就 会 给 你 卡 他 没有 对 吧 他 的 一定 买 二手 对 二手 也 少 别人 为什么 要 卖 呢 好不容易 这个 最 简单 的 还是 让 JasonHuang 成为 你 的 爸爸 其實 現代化 自己 的 GPU 都 很少 我 就 說 他們 公司 就絕 大部分 都 賣 掉 了然 後 你 需要 數據然 後 你 需要 網絡 一批 聰明 的 人 大概 是 這樣 基本上 是 這麼 一個

套路 網絡 一批 人 是 嗎 對 聰明 的 人 哪 方面 聰明 的

人 最好 是 有 這 方面 現在 已 經有 這些 有 經驗 的 人 了 沒經驗 咋 辦 明天 那 就是 第二套 了, 就是 普通人, 没钱 的 人。 对, 普通人 你 可以 去 从业。 那 你 说 我 零 技术, 他 不要 我 怎么办? 那 可以 首先 就 做 一些 跟 这些 相关 的 工作, 比如说 像 提到 做 一些 这方面 的 应用, 从 这个 开始。 因为 做 应用 的话, 他 有 很多 应用 他 也 涉及 到 后行 的, PostTraining。 所以 你 有 这方面 经验 之后 你 可以 再 进去 然后 再 把 里面 每个 环节 都 做 一下 其实 我 越来越 感觉 做大 模型 的 这个 因为 我 是 亲密 嘛 做 大 模型 我 有时候 把 它 想象 就是 很 像 一个 航空母舰 你 在 航空母舰 上 工作 你 是 擦 炮台 的 那 人 是 烧 锅炉 的 就是 每个 人 做 的 都 是 里面 的 一小部分 他 现在 已经 变成 了 一个 非常 庞大 的 工程 不 可能 有 任何 一个 人 知道 所有 细节 这 已经 非常 大 了 这 不 像 我们 以前 做 model 就 是从 零 做起 我 完全 知道 是 每 一行 代码 都 是 我 写 的 现在 是 不 可能 因为 代码 本身 也 很长 你 要 在 那么 多 GPU 上 训练 有 专门 负责 infra 的 人 有 专门 负责 代码 迭代 的 人 有 专门 负责 整理 数据 的 人 很难说 你 每 一部分 都 会 这 不 可能 但是 你 可以 你 知道 一部分 就是说 你 很 专业 就是说 你 是 专才 你 那 部分 精通 但是 其他 的 你 都 知道 一些 就 我 刚才 说 的 这些 我 也 不是 每 一个 我 都 是 知道 我 自己 也 是 做 其中 的 一部分 所以 并不需要 面面俱到 但是 我 觉得 就 不管 你 是不是 做 这个 行业 的 我 就 了解 一下 还是 有 有 必要 的 因为 否则 的话 很 容易 被 一些 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體

所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大

的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所 誇大 的 媒體 所

誇大 的 媒體 所

好 那 就 非常 非常 感謝 來 到 我們 的 節目 喜歡 我們 節目 請 到 各大泛 用型播 客平 臺 訂閱 和 收 聽 那 我們 就後會 有期 下期 再見