#145 AI Agent - 智能体

本期 节目 我们 邀请 到 了 一位 返场 嘉宾 也 就是 第 134 期大 模型 那集 的 嘉宾 梦迪 他 会 和 我们 一起 聊一聊 AIagent 也 就是 智能 体从 基本概念 发展 脉络 到 实际 落地 时 可能 遇到 的 挑战 以及 它 在 未来 科学研究 中 的 潜在 方向 这里 是 牛油果 烤面包

大家 好,

我 是 斯托 亚特 我 是 Kat

我 是 Windy 我 是 David 我们 这次 节目 请 回 了 我们 大 模型 那期 的 嘉宾 梦迪 来到 我们 节目 Hello 对 上次 上期 我们 和 梦迪聊 了 大 模型 啊 呃 这期 我们 要 跟 梦迪聊 一聊 agentaiagent 中文 叫 什么 来 着 就 上次 我们 上次 我们 做 数据库 那集 我们 管 他 叫 智能 代理 感觉 好像 大家 都 不 知道 是 什么 我 打算 就 叫 agent 大家 怎么样 是 有 中文 的 智能 体是 吗 哇 这个 太 高大 上 了 啊 这期 我们 要 要 智能 智能 体 还是 要 agent 有点 不 习惯 啊 这个 听众 朋友 们 有点 多 包含 我们 还 叫 agent 啊 这个 agent 火 了 有 一年 了 吧 差不多 几乎 不到 一年 不到 一年 是 吧 嗯 嗯 但 agent 是 什么 东西 啊 其实

远远 比 一年 长 agent 是 强化 学习 力 的 概念 因为 强化 学习 讲 的 就是说 你 要 训练 某個 東西 在 環境 裡面 能夠 自主 的 去 執行 任務, 完成 一系列 task 那麼 那個 東西 就是 執行 策略 在 環境 裡面 拿到 獎勵 在 環境 裡面 迭代 的 這個 主體 就 叫 agent 所以 他 本来 最早 可能 出现 在 强化 学习 的 论文 里 比如 就是 呃 甚至 是 在 游戏 里面 因为 游戏 里面 你 的 主人公 他 如果 是 由 这个 算法 驱动 在 游戏 里面 完成 一系列 任务 拿到 奖励 或者说 去 下棋 等等 那么 这个 游戏 的 主人公 也 被 称为 agent 比如说 就 游戏

里 的 npc 就是 一个 agentnpc 一般

如果 NPC 有 智能 的话 也 别

认为 他 是 个 agent 比如说 你 如果 做 机器人 踢球 比赛 里面 那个 踢球 那个 就是 agent 也 不能 这么

说 我 觉得 可以 可以 勉强 这么

说 对 那 这个 强化 学习 提到 这个 玩意儿 有 多久 了 呢 可能

是 一个 几十年 了 还是 强化 学习 有 几十年 吗 我 觉得 二十年 应该 差不多 有 吧 对 就 像是 论文 一个 概念 就 强化 学习 的 目标 就是 去 训练 一个 所以 我們 翻譯成 中文 就是 一個 智能 體能夠

决定 了 一些, 做 一些 事情, 在 动态 的

环境 里面 找到 自己 的 最优 策略, 去 随着 环境 状态 的 变化, 去 选择 自己 的 行为, 以 达到 最终

的 胜利, 就是说 一个 智能 体, 它 可以 和 环境 来 互动 的, 就是 不仅仅 是 你 给 一个 问题 它 回答, 或者 你 给 一个 输入 给 你 输出, 它 能 和 环境 互动 的, 做 事情 他 还 能 在 里面 找到 最终 的 策略, 他 走 迷宫, 他 走走 走走 走走 到 路上, 不是 说 给 你 一个 迷宫 的 图, 你 告诉 他 怎么 走, 你 还有 一个 互动 的 补偿, 原来 是 这样 的, 那 最近 这 一批 AIAgent 肯定 是 在 大 语言 模型 出来

之后 的 对, 现在 说 的 智能 体 概念 应该 差不多 来自 于 去年 的, 最早 可能 是 去年 的 春天 吧, 或者 是 更 早 的 时候 它 就是说 基于 大 语言 模型, 然后 因为 大 语言 模型 有 很 强 的 这个 推理 和 决策 的 能力 那么 如果 把 大 语言 模型 给予 它 一些 它 可以 调动 的 外部 工具 让 它 在 一个 环境 里面 去 触发 一系列 的 行为 达到 一些 目的 这时候 最 开始 我们 会 把 它 叫 基于 这个 大圆 模型 的 智能 体而 现在 的 智能 体讲 的

都 是 这种 嗯 就 最 开始 的 名字 比较复杂 现在 就 基于 大 语言 模型 的 智能 体现 在 就 直接 叫 AIAgen 有点 绕口 啊 反正 就是 叫 AI 智能 体 智能 智能 体 啊 就是 人工智能 智能 体 啊 讲 的 是 基本上 讲 是 就 以 大 语言 模型 为 核心 的 这个 智能 体 最近 我们 看到 有 什么 具体 的 具体 的 用力 吗? 具体 的 这个 agent 或者 叫 智能 体 能够 做 哪些 方向 的 事情?

应该 已经 到处 都 是 了, 过 好几 波。

举 几个 例子, 我 没有 注意 到。

写 论文 的 智能 体, 帮 你 这个 做 财务 分析 的 智能 体, 帮 你 做 PPT 的 智能 体, 帮 你 去 分析 Excel 表格 的 智能 体, 然后 帮 你 去 linkedin 上 找 人 的 智能 体帮 你 这个 发 虚假 广告 的 智能 体

嗯 这个 我 都 没有 用过 呀

帮 你 写 代码 的 没有 吗

帮 你 写 代码 的 应该 有 是 吧 那个 叫 那个 叫 agent

对 那个 就是 马龙 最爱用 的 那

这些 技术 到 什么 程度 啊 现在

到 什么 程度 呃 在 一些 数据 非常 丰富 的 task 上 应该 达到 了 和 最强 的 人类 差不多 的

水平 吧 具体 是 哪些 领域 呢

呃 比如 我 忘 了 比赛 叫 写 代码 不是 最近 有 应该 是 几个 月 前 有 个 比赛 吧 好像 是 日本 的 一个 人类 还是 非常 努力 的 超过 了 当时 最强 的 codingagent 但 现在 应该 已经 可能 不会 再 组织 这样 的 比赛 了

为什么 我 觉得 他们 写 代码 都 不行 啊 可能 是 某 一类 竞赛

的 某 一类 竞赛 的 大佬 竞赛

的 大佬 有些 算法 的 这种 可能

是 我 这里 有个 好奇 的 问题 就是 为什么 就是 等 LM 出现 了 之后 我们 才 突然 就是 智商 体 这个 概念 才 这么 锋利 爆发 虽然 它 已经 存在 有 20 多年 了 但是 像 比如说 前些时候 比如 像 AlphaGo 出来 的 时候 它 也 是 它 有 智能 它 可以 打败 人类 然后 那个 时候 我们 并 没有 称 它

是 个 智能 体对 就是 这 实际上 是 回到 强化 学习 了 强化 学习 一般 是 一个 就是 非常 强 的 能够 在 复杂 环境 里面 找到 这个 最后 策略 的 一个 一套 算法 但是 强化 学习 之前 有 很大 的 局限性 就是说 在 不同 的 这个 游戏 的 环境 里面 比如 那种 视频 游戏 还是 下棋 还是 机器人 还是 等等等等 吧 就是 不同 环境 里面 就 强化 学习 算法 它 需要 经过 这个 大量 的 调整 和 适应 到 具体 的 环境 它 才 work 它 才能 训练 出来 一个 可行 的 策略 它 的 本质 原因 就是说 如果 我 任何 一个 不管 是 游戏 还是 一个 具体 的 环境 都 要 丛林 训练 的话 那么 它 这样 去 使用 大量 的 这种 数据 和 实测 去 逼近 最后 策略 它 是 效率 非常低 的 然后 大 模型 本质 上 是 它 给 了 一个 大家 非常 强 的 一个 鲜艳 的 策略 因为 大 模型 已经 对 很多 跨 領域 的 環境 和 跨 領域 的 遊戲 和 現實 中 的 問題 有 很強 的 理解 所以 當你 把 這個 智能 體的 概念 搭載 在 大 模型 的 基礎 上 的 時候 那麼 它 的 強化 學習 可能 就 不是 是 在 那個 策略 本身 的 一個 神經 網絡 參數 空間 上面 從 零開始 了 而是 它 可能 是 從 這個 大圓 模型 開始 去 讓 把 大圓 模型 裡面 的 那些 普世 的 常識 調動 起來 所以 他 这样 的 智能 体 就 能够 很 容易 的 去 解决 很多 就是说 你 用 原来 方法 丛林 训练 不 出来 的 站 在 了

前人 的 肩膀 上 这个 我 听懂 了 就是 过去 的 智能 体是 一个 婴儿 你 训练 他 一个 婴儿 来 你 训练 他 走 迷宫 现在 招 的 那些 智能 体都 是 大学毕业 了 大学毕业 了 虽然 你 没学过 编程 那 你 大学毕业 了 然后 我 给 你 一些 书 让 你 看一看 你 赶紧

去 编程 上个 booktime 就 能够 编码

了 大圆 模型 他 已经 有 他 的 这个 知识 了 他 已经 有 他 的 知识 大学 上过 了 啊 这个 有 道理 啊 这个 梦迪能 帮 我们 介绍 一下 大概 这个 智能 体是 一个 怎么 一个 架构 啊 是 怎么

做 的 智能 体有 非常 多 的 架构 一个 简单 的 一个 工作 流 智能 体 就是 他 的 脑子 嘛 他 脑子 是 这个 大 模型 然后 可能 事先 上 你 要 给 他 定义 比如 他 能 调用 什么 工具 比如 他 是 能够 调用 googlesearchgooglemap 还是 他 能够 调用 这个 有 协成 的 API 那么 他 能 做到 的 事情 就是说 他 能够 根据 你 的 这个 上下文 或者 这个 用户 的 需求 他会 大概 推理 出来 他 需要 调动 什么 工具 对 吧 他 用 这个 工具 做 什么 然后 一步 一步 的 来 实现 他 最后 的 目标 然后 很多 时候 就是说 他 在 一个 相对 就是 解法 不太 明确 的 情况 下 因为 他 有 常识 嘛 他 已经 是 个 大学生 了 所以 你 把 问题 给 他 他 很多 时候 他 能够 自己 把 问题 分解成 我解 这个 问题 我 应该 怎么样 我 第一步 是 应该 打开 我 的 邮箱 第二步 我 应该 怎么 怎么样 所以 智能 体 最 简单 的 智能 体 架构 是 一个 不断 地 根据 当前 变化 的 这个 环境 的 context 去 选择 他 要 调用 的 工具 并且 一步 一步 完成 任务 的 一个 就是 一个 简单 的 工作

的 智能 体 所以 他 就是 一个 相当于 如果 放在 用 chatgpt 或者 是 用 别的 这些 聊天工具 来说 他 就 实际上 是 一个 对话 你 跟 他 说 什么 什么 他 说 你 做 什么 他 做 完 之后 你 跟 他 说 结果 是 什么 什么 然后 他 下 一步 建议 什么 他 就 继续 往下 做 大概 是 这么 一个

對 他 可以 他 可以 自主 的 完成 你 只 需要 一次 prompt 如果 他 的 任務 的 分解 和 每次 執行 都 順利 的 話 他 應該 就 能夠 直接 完成 但 如果 不順利 的 話 你 有 很多 的 方式 可以 去 調度 他 讓 他 自己 回到 這個 breakpoint 在 不断 的 尝试 去 咬心 的 解法 所以 说 这

是 一个 最 简单 的 一个 架构 就是说 你 相当于 一个 XGB 的 绘画 连上 它 能够 外部 做 的 事情 然后 返回 信息 它 就 一步 一步 一步 一步 做到 最后 那 这个 听 上去 就算 是 再 厉害 的 一个 大圆 模型 它 这 一个 绘画 可能 也 不 一定 够 对 吧 但 这个 那 那 还有 什么 别的 架构 吗 能够 解决 这个 更 复杂 的

问题 就是 有 很多 不同 的 方法 吧 比如 就是 另外 一个 常见 的 概念 是 多 智能 体 系统 然后 多 智能 体 系统 也 分 很 多种 比如 每个 智能 体 可以 分配 一个 不同 的 角色 然后 让 智能 体在 聊天 的 过程 中 走 他们 每个 角色 的 这个 该 做 的 事情 然后 完成 一个 复杂 的 任务 然后 这么 这 里面 就 需要 这个 对 不同 任务 然后 怎么样 对 这个 多个 不同 的 进程 做 Autistration 另外 就是说, 对于 一个 特别 复杂 的 任务, 这个 智能 体它 可能 会 需要 调动 其他 的 智能 体 你 也 可以 列成 它 是 一个 这个 分层 的 结构 那么 当有 很多 智能 体 同时 在 运转, 或者说 当 我 这个 智能 体它 有 一个 多层次 的 结构 的 时候 这 里面 就 涉及 到 就是 我 怎么 去 管理 它 的 memory 我 怎么 去 管理 它 的 context 然后 甚至 是 我 如果 有 很多 智能 体 他们 同时 在 这个 做 influence 的 时候 那么 可能 还会 涉及 到 就是 kbcache 是不是 有 可能 有 更好 的 管理 啊 等等等等 啊 我们

能 不能 这个 举 一个 具体 的 例子 有没有 什么 稍微 复杂 一点 的 智能 体 的 例子 可以 可以 想 啊 比如说 我们 要建 一个 什么 比如说

我们 是 这个 现在 的 构建 一个 招人 的 智能 体 那 也许 一 开始 的 时候 是 有 一个 最上层 的 这个 做 orchestrator 就是 决定 调动 底下 哪 一个 具体 的 subagent 或者 底下 具体 的 agent 的 这么 一个

大 的 调度 的 一个 档案 那 我们 应该 怎么 分 呢 比如说 我们 是 招人 这件 事情 招人 有 什么

事 那 比如说 我们 招人 就 拿 招人 这个 例子 来说 是 谁 用 这个 招人 的 这个 谁 要 用 这个 事情 对 比如说 老板 或者说 一个

recruiter 就是 招聘 人员 人力资本 部 的

一个 人 没错 那 他 以前 招 人 的话 他 是不是 比如说 他 得 先 去 网上 去 先 post 一个 jobposting 他 先 post 一下 然后 呢 发 一个 广告 对 先发 一个 广告 然后 呢 他 得 收到 简历 根据 这个 广告 对 他 可能 去 他 首先 可能 要 reach 一些 人 就是 所谓 的 他们 叫 sourcing 嘛 就是 他 先 根据 这个 jobquestion 他 把 比如说 工作 年限 是 多少 然后 在 什么 地区 然后 他 可能 会 某些 技术 是 java 呀 python 啊 等等等等

是 吧 然后 一看 就是 招 了

很多 人 对 招 了 很多 人

然后 把 这个 把 这个 信息 都 这个 requirement 都 filled 好 了 之后 他 开始 叫做 这个 outreach 他 现在 开始 给 别人 就是 发 这种 所谓 的 codecall 呀 或者说 linkedin 的 inmessage 说 我 这 有 这个 职位 然后

你 感 不感兴趣 这个 已经 很多 了 我们 先 一步 一步 来 啊 他 的 第一步 任务 是 他 要 发 广告 对 可能 说 打广告 会 有 一个 智能 体给 他 打广告 吗 会 吗 有 可能 有 一个 啊 就是 会 有 一个 智能 体给 打广告 另外 一个 智能 体会 帮 他 这个 找到 他们 已有 的 网络 里面 的 一些 人 这会 是 不同 的 智能 体 吗 对 那 这 里面 就是说 你 这 一个 智能 器 负责 打 我 猫 比如说 你 告诉 他 你 要 招 什么 职位 那 他 会 帮 你 写 一些 招聘 词写 的 很

专业 可能 这个 JD 就是 这个 JobDescription 可能 是 那个 质量 体写 的 然后 我 只要 告诉 他 说 我 大概 需要 什么 样子 的 用户 画像 什么样 的 profile 的 人 他 可能 就 会 自动 根据 我 的 company 的 这些 name 的 一些 information 他 可能 就 会 自己 写成 一个 jobposting 的 一个 具体 的 一个 profile 然后 他

可以 可能 会 帮 你 发布 到 网站 上 帮 你 发布 到 这些 社交 平台 外部 的 平台 上 那 那 这个 智能 体 比如说 他 可能 就是 一个 单线 的 智能 体 他 能够 做 所有 所有 一些 事情 那 你 会会会 有 另外 一个 智能 体会 专门 来 做 比如说 Outreach 就是 去 联系人 联系人 啊 那 这 两个 东西 我们 刚刚 提到 Occupation 就是 英文 词 怎么 协调 他们 这 两个 智能 体有 什么 地方 需要 协调 吗 比如说 第一个

智能 体 然后 在 这个 这个 协调 就是说 比如说 它 可能 会 有 之间 会 有 一些 dependency 的 关系 对 吧 比如说 你 jobpost 出来 之后 可能 我 在 这样 去 outreach 的 时候 会 有 一个 基础 会 有 一个 contact 那 它 会 有 一个 先后 的 这 一个 dependency 的 关系 然后 包括 后面 可能 有些 后续 的 一些 步骤 得 在 前面 的 一些 步骤 完成 之后 前面 一些 智能 体 完成 他们 工作 之后 我 再 把 他们 的 这个 内容 收集 起来 然后 再

做 下 一步 的 角色 有 道理 啊 我 就是说 像 两个 智能 体 可能 需要 协调 看看 你 发 了 我 才能 找 你 你 找 完 的 人 我们 看能 找到 什么 人 可能 我们 还要 调整 这个 啊 我们 招到 人 就 撤掉 了 或者 招 的 人 不够 我们 可能 调整 一下 他 的 这个 第一步 还 得 改 语言 啊 什么 这类 的 那 这 两个 怎么 协调 他们 呢 是 需要 这个 什么 方法 协调 呢 这个 这 是 到 了 梦迪 的 这个 所以

DH 就是 把 一些 statemachines 连在一起 吧, 因为 智能 体 你 可以 把 它 定义 好, 它 的 输入 和 输出 都 可以 是 结构化 的, 然后 相当于 是 它 变成 了 一种 比 变成 语言 要 灵活 得 多 的 一种 更 简单 的 一种 用 自然语言 设定 的 程序 然后 所以 就 可以 当 你 了解 一个 复杂 任务 的 时候 你 可以 先去 把 任务 分解 然后 把 它 相关 的 这个 子质 能体 就 相当于 每 一个 是 一个 statemachine 然后 把 它 连接起来 状态机 那 它

互相 之间 怎么 通信 呢 取决于 是

什么 系统, 就是 其实 大部分 任务 如果 是 能 单线 成为 解, 尽量 不要 让 多个 主体 共享 同时, 会乱 是 吧, 会乱 而且 会 成本 很 高,

哦, 那 万一 要是 就是 不行 的话

呢, 就是 太失杂 了, 对, 如果 两个 组 中间, 这 两个 组 一定 不能 交换 太 多 信息, 那 可能 就 得 做 两个 智能 品 但是 如果 他 那个 事 一个 智能 体 一条线 能 做 的话, 那 尽量 用 一条线

吧 如果 两个 智能 体 他们 怎么办 呢, 万一 必须 两个 智能 体 他们

怎么 两个 智能 体 可以 预先 定义 他们 之间 这个 通信 的 协议 他们

智能 体 不能自己 定义 一下, 我们 人类 定义 一下, 那 不是 协议 吗 最好

还是 人类 定义 一下

人家 又 要

他们 聊着 聊着 把 你 的 这个 tokens 全聊光 了 那 他们 的 这些

过程 了 这些 进展 他们 都 是 通过 什么 来 存储 或者 交换 比如说 我 我 现在 DP 我发 了 我 给 一百个 人 发信 了 我 是不是 先先 等一等 然后 这些 东西 一般 都 是 比如说 就 会 放到 普通 的 数据库 里 吗 还是 说 有 什么

特别 的 就 取决于 他 那个 自己 的 任务 吧 有 很多 定义 方式 比如 最 简单 的 你 可以 做 一个 summarizer 或者说 你 可以 事先 想 好 一个 结构化 的 方式 来 存储 包括 有 的 智能 体它 可能 里面 会 需要 调度 很多 已经 预定 已好 的 一些 以前 的 策略 或者 以前 的 knowhow 这时候 你 可以 把 这些 预定 已好 的 一些 流程 吧 比如 把 它们 比如 都 写成 一些 jsonformats 然后 放在 一个 library 里 这时候 智能 体它 需要 调度 需要 解决 一个 具体 的 事情 的 时候 它 就 去 那个 library 里面 retrieve 到 相關 的 那個 knowhow 这样 继续 往前走 那么 他 解到 一个 新 任务 的 时候 他 如果 能够 总结 出来 一些 新 的 一些 结构化 knowhow 的话 他 也 可以 把 这个 再加 到 他 的 library 里面 所以 取决于 这个 任务 的 难度 取决于 他 自己 的 这个 存储 的 架构 等等 其实 有 非常 非常灵活 的 让 智能 体 扩展 自己 并且 不断 地 叠加 自己 knowhow 的 方式 等

一下 knowhow 的 中文 是 什么 来 着 知道 什么 知道 怎么 做好 知道

怎么 做 经验 这个 还 很 有意思, 就是 你 学到 的 东西 还要 把 它 存 进去, 然后 下次 再 把 它 放 回到 它 的 提示 词 里面, 然后 再 学到 的 东西 再放回 提示 词 里面, 这个 东西 有 什么 名词 吗?

每 一个 智能 计 的 framework 都 会 起 一个 自己 的 名字, 我们 管它 叫 thoughttemplate 好 吧 这个 我们

就 放个 templates 啊 嗯 所以 智能 体 这个 他 最大 的 技术 难点

在 哪 呢 哦 技术 难点 是 他 经常 不 work 这个 说 如果 他 需要 呃 比如 一个 吧 比如 我 给 他 20 个 工具 他 每到 一个 不同 的 状态 他 需要 知道 这 两百公里 你 哪个 他 需要 哦 这个 事情 并 不是 很 好 解决 的 太 复杂 他 太 复杂 了 对 所以 有些 就是 可能 要 为了 让 这个 智能 体 能够 调动 合适 的 工具 要 专门 做 这个 toholding 的 训练 专门 为 toholding 做 posttraining 嗯 比如 这 就是 一个 问题 他 更 容易 过 了 点 就是 比如 他 要解 一个 复杂 task 对 吧 他 可能 三十步 或者 七十步 或者 两百步 那么 它 这 20 个 之间 大 模型 一点点 的 hallucination 它 就 不 work 了 然后 如果 它 中间 错 的 时候 它 自己 还 不 知道 那么 它 继续 往前 rollout 就 会 浪费 非常 多 的 资源 那

这个 我们 说 第一个 问题 第一个 问题 看来 就是说 还是 说大原 模型 自己 刚 大学毕业 还 不行 就是 还 不 知道 用 这些 工具 那現 在 通用 的 方法 就是 實際 上 就是 做 一些 微調 嗎? 還是 說 你 用 一些 上下文 把 它 教育 他?

現在 通用 的 方法 太多 了, 有 做 微調 的, 當然 微調 你 不見 得 是 專門 為 了 調動 工具 做 微調 你 也 可以 在 整个 的 这个 reasoningtrajectory 上 对 这个 任务 去 做 后 训练, 这 就是 对 整个 agent 做 RL, 而 不是 只 对 那个 basemodel 做 训练 嗯 这

也 是 实际上 可以 做 模型 做 调整 也 是 可以 的 专门 训练 一个 知道 怎么 用 这些 工具 的 或者说 训练 一个 跟 这个 领域 知识 有 关系 的 一个 对 这个 应该

是 现在 最 通用 的 范式 吧 但是 他 对 这个 资源 的 需求 也 比较 大 就是 你 在 训练 模型 能力 的 时候 就是 甚至 是 基础 模型 的 时候 你 就要 把 它 在 智能 体 的 框架 里面 去 训练 所以 这个 模型 的 天然 就 很 强地 调用 各种 工具 在 那里 能够 执行 各种各样 的 任务 那

这些 训练 集都 从 哪来 呢 好

问题 这个 训练 级, 首先 就是说 你 要 做 一个 很 复杂 的 智能 体, 它 要 在 一个 环境 里面 能 reason, 首先 它 需要 一个 环境, 比如 我 需要 训练 一个 智能 体 能够 在 excel 里面 操作, 那 我 就 需要 一个 excel 的 环境, 然后 比如 现实 中 如果 是 frontierlab 做 的话, 他们 会 去 买 一个 环境 因为 有 一些 很多 的 这种 startup 公司 他们 是 专门 卖 强化 学习 用来 训练 的 环境 的 比如 他会 模拟 一个 Excel 或者 他会 模拟 一个 Xpedia 这样 是 专门 用来 训练 智能 体 的 或者说 训练 拆 GPT 的 然后 大量 的 数据 而且 还是 本质 上 是 人 标的 那么 就 涉及 到 这个 数据 标注 行业 嗯 数据

标注 行业 有 有 什么 非 资料

吗 非 资料 就是 一个 非常 深 的 我 能 说 是 水 非常 深 的 行业 对 哦 对 就是 他们 需要 不断 的 去 找到 新 的 就是 找到 模型 解决不了 的 问题 然后 呢 把 这些 模型 解决不了 的 问题 卖 给 大 模型 厂 这样 大 模型 厂 就 可以 用 这样 的 数据 提高 他们 的 模型 能力

哦, 就是 专门 的 公司 做 这个?

有 很多 公司, 包括 比如 ScaleAI, SurgeAI 是 比较 大 的, 还有 很多 新 的 startup 想 再 做 这些。 卖 数据, 卖 环境, 都 是 为了 更好 的 去 训练 模型 和 模型 对应 的 智能 体 能力。

嗯, 所以 它 把 环境 卖 给 你, 这个 环境 是 一个 可以 模拟 的 环境?

环境 就是 可以 跑 嘛。

嗯, 它 和 比如说 你 去 买 一个 Excel 区别 在 哪?

可能 不能 在 Excel 上 做 rollout 吧。 只能 用 它 就是 用 你 不能 把 它 啥 叫做 rolloutrollout 是 训练 强化 学习 的 时候 你 训练 强化 学习 的 时候 就是 我用 当前 的 模型 要解 一个 问题 那么 我 就 rollout 一 整条 这个 reasoningtrajectory 然后 看 它 有没有 工具 调用 对 了 最后 把 excel 的 这个 任务 解决 就

比如 这有 一百步 我 从 第一步 开始

就让 他解 一次 让 他解 一次 但是 他 在 训练 过程 中 他 可能 一百次 里面 可能 只能 解对 几次 这个 例子 所以 他 就 会 用解 对 几次 的 这个 数据 来 给 他 打分 来 打分 然后 去 算 这个 强化 学习 的 比如 PBO 的 里面 的 一个 update 的 项 去 更新 他 的 权重 但是 他 需要 rollout 最终 这个 rollout 是 要 在 环境 里面 让 这个 大 模型 去 完成 任务 吧 所以 rollout 的 过程 就是 去 让 大 模型 做 influence 然后 同时 跟 环境 脚步 看 它 的

结果 那 我们 刚才 说 这个 一个 挑战 是 这个 模型 不够 好 它 通用 模型 不 知道 该 怎么 钓鱼 一些 工具 如何 分析 一些 结果 啊 我们 需要 调整 模型 那 刚才 说 还有 另外 的 一个 挑战 说 它 可能 这个 模型 没有 办法 处理 这么 大 的 工作量 啊 把 这个 分成 20 步 它 就 就 就 糊涂 了 嗯 就 迷失 了 对 中间

会 出岔子 然后 后面 都 全错 并且

就是 又 非常 的 执迷不悟 啊 那

怎么办 呢 这个 有 就是 功能 上 的 功能 上 你 可以 就是 有 很多 中间 不 验证 比如 一个 简单 的 方法 是 这个 LOMasajudge 就是 再 弄 个 党国 棋让 他 当 裁判 在 中间 看着 盯 着 看看 着 觉得 不 对 的 时候 就 叫停 或者说 是 他 可以 一 上来 对 吧 不惜成本 的 就 做 个 实测 然后 在 这 实测 里面 比 对比 对 然后 看 哪个 更 靠 谱 最终 得到 一个 最终 结论 就 这个

并 不是 一个 训练 过程, 是 在

实际 的 过程, 对, 这是 testtimecompute, testtimeinference, 什么 叫, testtime 就 是非 训练, 测试 的 时候, 测试 的 时候 多干 一些 活, 使得 他们 最终 得到 的 那个 总体 的 结果 更 靠 谱 一些。

所以 说 测试 的 时候 有 一个 有 一个 老师 看着 你 对 但是

这个 老师 也 不见得 特别 靠 谱 但是 你 知道 当 老师 去 看 别人 干活 总 比 自己 干活 要 容易 所以 那个 老师 他 稍微 脑子 清楚 一些 也 能够 给 到 这个 在 干活 的 智能 体 很多 feedback 对 就 能够 提高 整体 系统 的

主报 性 所以 这样的话 你 就 在 测试, 并 不是 训练 网络, 测试 网络 的 时候, 你 可以 看到 这个 问题 了, 看到 问题 它会 调整 提示 词 吗?

比如 最 简单 的 就是 啥 也

不 调整, 就 多试 几次 那 测试 的 结果 是?

但是 结果 比如 我 我 弄 14 对 吧 然后 我 让 这个 老师 模型 来 打个 分 最后 做 一个 投票 嗯 majorityvoting 这样 呢 就 已经 能够 很大 程度 上 提高 这个 模型 的 准确 就是 解 任务 的 准确性

哦 那 还是 叫 训练 模型 是

吧 这 不是 训练 模型 就是说 让 模型 多试 几次 然后 再换 一个 模型 给 他 打个 分 或者 给 他

投个 票 就是 真正 执行 的 时候 他 也 会 这样 做 真正 执行 的 时候 也 会 做做 14 代

的话 呃 有些 任务 会 有时候 可以

这么 做 那 如果 不 可以 的话 就是 你 测试 过程 中 实地 打 了 分 我们 这个 是 最好 那 他 怎么 体现 出让 他 变得 更好 让 他 在 实际 过程 中 呃

如果 像 实际 过程 中 通用 稳定 的 变得 更好 还是 要学 两个 模型

哦 还是 要学 两个 模型 这是 我们 说 的 两个 挑战 一个 是 模型 不够 好 一个 是 整个 这个 模型 糊涂 了 需要 用 另外 一个 模型 就是 监工 一下 当 个 老师 那 这 是 就是 主要 就是 这 两个

的 挑战 嘛 主要 有 非常 多 的 条件 就是 比如 就是 我们 刚才 说 的 还是 一个 初步 的 架构 比如 让 这个 智能 体它 是 可以 有 这个 自动 扩展 能力 的 比如 现在 一般来讲 我们 讲 的 最 基本 的 架构 就是 给 他 预先 定义 好 一堆 工具 或 一堆 mcp 然后 预先 跟 他 说 大概 是 这些 问题 那么 你 在 给 他 工具 的 时候 你 相当于 已经 给 他 负能 了 然后 你 会 认为 这个 模型 多多少少 已经 会 用 这些 工具 了 如果 不会 的话 你 就 训练 它 它 能会 然后 它 就 能解 这些 任务 但是 现在 大家 都 爱 说 的 是 这种 self evolvingAI 就是 有 自 进化 能力 的 智能 体 那 它 能 做到 的 事情 是 可能 它 每次 看到 一个 新 的 问题 它 可能 不见得 着急 解 而是 它会 琢磨 琢磨 它 需要 什么 工具 然后 它 自己 写 code 把 这个 工具 写 出来 哦 这么 厉害 对 而且 它 还 可以 就是 在 解新 的 问题 的 时候 因为 如果 它 现在 是 在 一个 它 哪个 新 问题 想 找到 解 的 时候 它 可以 就是 多试 几次 不同 的 道路 嘛 那么 它试 的 过程 中 也 可以 把 这个 成功 的 经验 再 录下来 所以 就是 你 的 智能 体是 可以 设计 到 让 它 在 智能 体 外面 再包 一层 这种 meta 的 资金 化 能力 让 它 不断 地 迭代 自己 最 简单 的 就是 迭代 工具 或者 是 迭代 它 的 一个 一个 这种 经验 的 template 经验 的 library 然后 取决于 就是 你 怎么 去 构建 这个 系统 吧 你 可以 把 它 构建 到 一个 能够 很大 程度 上 给 自己 反馈 甚至 是 你 在 反馈 过程 中 还 可以 让 它 自己 调 自己 的 prompt 就是 这种 我们 管它 叫 scaffolding 吧 就是 脚手架 脚手架 其实 是 可以 搭 的 非常复杂 只不过 当 这个 脚手架 和 智能 体 的 这种 结构 非常复杂 的 时候 它 的 这个 成本 也 会 变高

我 有 一个 问题 啊, 您 刚才 说 这个 智能 体 可以 在 解 一个 复杂 问题 的 时候, 它 先 不 着急 解, 它 先 琢磨 琢磨, 然后 自己 开发 出来 一个 工具 去 解决 那个 问题, 那 这个 和 它 自己 直接 去解 的 区别 在 哪里?

区别 在 就是 它 本来 可能 没有 解 这个 问题 合适 的 工具, 它 如果 硬要 用 现成 的 工具 可能 找 不到 一个 解法, 但 如果 就是 我 现在 解个 问题 里面 我 就是 需要 有 一个 能力 就是 把 这个 视频 一帧 一帧 的 读出来 就 我们 之前 有个 论文 就 有 选过 这样 一个 任务 那么 他 找遍 了 Github 也 没有 找到 这样 一个 工具 他 就要 自己 调用 自己 的 coding 的 能力 自己 写出 这个 工具 来 所以 本质 上 就是 因为 现在 的 agent 有 很 强 的 coding 能力, 所以 当 他 有 他 不是 马上 就 能解 的 问题 时候, 他 是 可以 任务 分解 之后 试图 自己 去 写 代码, 把 每 一个 字 人物 解了。

我 听说, 这个 有点 扯远 了, 我 听说 最 开始 的 时候, 大 语言 模型 不 经常 解 数学题 都 是 错 的 吗? 就是说 的 很 像 要 解释 简单 的 家法 什么 都 是 错 的 据说 后来 那些 打 语言 模型 都 在 后面 写个 代码运行 一下 才能 把 自己 答案 做 对 扯 得 有点 远 了 啊, 所以 这么 说 起来, 其实 大猿 模型 过去 也 有点 这个 智能 体 的 意思, 就是 你 在 跟 ChatGVT 在 聊 的 时候, 他 自己 其实 也 做 一些 简单 的 工具。

就是 模型 和 智能 体 本来 就是 一件 事嘛, 就是 ChatGVT, Yamanai 背后 都 调用 很多 工具, 但是 它 的 API 端 和 网页 端 他们 能 调用 的 工具 还 不 一样。 本质 上 就是 模型 要 增强 它 的 能力, 它 为 了解 一个 问题, 它 需要 能够 找到 一条 reasoningtrajectory 或者 reasoning 加上 tocoding 的 trajectory, 最终 能够 解到 这个 问题 所以 就是 通过 这种 智能 体 的 方式 也 生成 了 能够 提高 模型 推理 能力 的 数据 所以 智能 体 你 可以 理解 成是 模型 外面 的 脚手架 然后 脚手架 可以 延伸 模型 的 能力 去解 本来 模型 解 不了 的 问题 但是 它 延伸 了 之后 它 的 这个 数据 又 会 反补到 模型 所以 就 模型 又 会 从 里 往 外涨 把 脚手架 吃掉 但是 模型 变 厉害 你 又 可以 在 外面 搭 更 多 的 脚手架 去 继续 拓展 它 能力 的 边界 所以 智能 体 和 模型 本身 就 他们 一直 是 个 有机 的 整体 就是 一个 脚手架 和 它 内核 一起 增长 一起 拓展 的 一个 一个

机制 问 一个 有点 过去 在 网上 经常 讨论 的 问题 啊 就是 所谓 的 上下文 大小 啊 这个 大圆 模型 就是 是 除了 拼 这些 评测 之外 他们 还 拼 一个 东西 叫做 上下文 大小 啊 这个 就 叫 contactsize 嘛 就是 我 理解 就是说 你 给 他 能够 输入 多少 东西 对于 这个 我们 这些 智能 体 来说 你 一个 绘画 能 做 的 东西 你 就 得 这个 上下文 就 多 对 吧 但是 以 另外 一种 观点 认为 你 上下文 窗口 大 没有 用 你 根本就是 真给 他 塞 了 这么 多 东西 他 就 不 理解 还是 不行 这事 是

真的 吗 就 看 哪个 角度 吧 就是 context 的 size 和 模型 的 reasoning 能力 是 两个 完全 不同 的 技术指标 反正 就是 它 是 一个 一个 技术指标 吧 就是说 给 它 多 大 的 context 它 能 在 里面 回答 出 多少 问题 这些 都 有 这个 标准 的 benchmark 然后 同样 就是 有 数学 推理 啊 或者 agent 的 能力 也 有 各自 的 benchmark 就 我 只能 说 这 两件 事情 有 很大 相关性 但 它 可能 是 非常 不 一样 的 技术指标

这个 最近 这个 蒙迪 的 学生 吧 发表 了 一篇 论文 啊 论文 的 这个 题目 里面 有 智能 体 的 内容 啊 他们 做 了 一个 物理 竞赛 的 解 物理 竞赛题 的 一个 智能 题 对 对 我 让 大冒险 读 了 下 成本 跟 我 说 这个 主要 思想 就是 你试 一遍 然后 再试 一遍 再试 一遍 然后 你 每次 再试 心里 面 的 时候 你 把 前 面试 的 那个 经验 把 它 写进去 然后 写 出来 就 写 出来 是 真的 这么 简单

吗 我 覺得 大概 的 意思 就是 這樣, 就是 testtimecompute, 就是 trainingfree 的 進化, 因為 這個 的 就是 一個 基礎 框架 來 自 於 我們 更 早 的 一篇 論文, 五月份 有篇論 文叫 Alita, 就是 它 只用 了 三個 預先定 義的 工具, 當時 就 在 一个 就是 非常 重要 的 一个 智能 体 榜单 上面 拿到 了 世界 第一 那个 榜单 叫 Gaia 是 杨尔昆 搞 的 然后 当时 的 意思 就是说 他 有 一套 自己 自 进化 一边 试 一边 给 自己 写 工具 把 自己 的 经验 记下来 的 系统 然后 当时 那个 物理 智能 体是 有 一个 实习生 好像 是 清华 瑶班 的 一个 实习生 吧 然后 他 自己 以前 搞 物理 竞赛 可能 没有 拿到 金牌 也许 拿到 了 如果 拿到 了 可能 就是 错 了 然后 他 这个 就 通过 智能 体 的 方式 这个 反正 拿到 了 金牌 而且 不光 是 金牌 就是 在 金牌 选手 里面 也 是 就是 遥遥领先 的 一个 数 所以

专业 人来 训练 智能 体 就 训练 的 更 厉害 他 的 思想 是 说 他 并 没有 训 模型 他 只不过 是 把 前面 的 事情 总结 出来 放回 下 一个 提示 词 里面 然后 再 总结 放 回 提示 词 就是 一个 简单 的 回路 嘛 还是 有 更 复杂 的 这个 要么 是

一个 回路 要么 是 两个 回路 吧 但 本质 上 这些 就是 确实 是 可以 在 context 层面 解决 的 或者 相当于 是 这个 模型 已经 有 了 比较 强 的 数学 基础 能力 和 物理 基础 能力 相当于 就是 这个 智能 体 就是 一个 非常 会 自己 训练 自己 的 一个 很 聪明 的 一个 选手 他 能够 总结经验 但是 他 总结 出来 的 那些 经验 本质 上 变成 上下文 也 是 可以 放在 提示 词里

的 好像 最近 是 有 一些 类似 这样 的 争论 嘛 所以 他 怎么

都 能 拿 物理 金牌 了 是

吗 那个 智能 铁是 吗 怎么 都 能 拿 物理 金牌 了 对 他

拿到 物理 金牌 了 但是 这里 的 一个 先决条件 吧 就是 他 的 这个 基座 模型 本身 就 有 很 强 的 这种 对 物理 的 基本 的

理解 这 还 不是 一般 的 模型 就行了 啊 这 确实 这样 有 一些 人 主张 说 可能 在 你 这个 提示 词 里面 做文章 存点 东西 给 它 放回 提示 词 里面 可能 比 微调 模型 还要 还要 有效 最近 有

这样 的 讨论 吗 在 学术界 这个 讨论 去年 就 有 了 一般来讲 就是 如果 你 提示 词 就 能 解决 的 问题 就 不要 微调 因为 微调 也 可能 出 别的 问题 所以 现在

是 什么样 的 问题 大概 提示 词 就 能 解决 了 什么样 的 问题

还是 需要 微调 就是 简单 回答 是 试 了 才 知道 然后 它 的 原理 是 取决于 模型 本身 的 知识 范围 吧 就是 是 它 的 多多少少 在 它 知识 范围 内 那么 它 可能 放在 上下文 就行了 就 比如 是 一个 老板 为 一个 员工 这个 员工 他 已经 有 了 这个 行业 的 知识 他 老板 只要 跟 他 说 几句话 就行了 但是 如果 这个 人 是 一个 完全 没有 做过 这行 的 他 啥 也 不 知道 那 你 可能 就 需要 做 一些 这个 训练 哦 所以 很大 程度 上 是 取决于 这个 任务 和 模型 本来 的 训练 数据 里 他们 在 这个 概率分布 上 有 多 大 的 程度 有 overline 嗯

看来 光读 个 大学 可能 还 不行 你 还 得 重新 去 读个 硕士 你 如果 读 的 顺 出来 也 可能 给 你 随便 讲 两句 啊 稍微 的 点拨 点拨 转行 了 专业 不 对口 对接 起来 是 这个 重新 试炼 一下 啊 这个 我 有 感兴趣 上次 那个 物理 的 那个 他 学到 的 知识 比如说 他 通过 做 题 学到 的 一些 提示 词 他 可以 犯 的话 吗 什么 叫 犯话 比如说 他 可以 存在 哪 以后 再 遇到 新 的 题 他 可以 做 得 更 快 吗

如果 新 的 题 多多少少 也 在 那些 套路 范围 内

的 哦 所以 说 就是 通过 这些 所谓 的 上下文 工程 也 可以 让 这个 模型 的 效果 智能 体 的

效果 大幅 提升 对于 一个 就是 具体 的 一个 问题 一类 问题 或者 一个 垂鱼 的话 其实 智能 体 然后 这种 skyfolding 脚手架 已经 能够 解决 很多 事情 但是 你 希望 模型 有 很 强 的 通用 能力 的话 那 一定 得

训练 什么 叫 通用 能力 通用 能力

就是 你 让 他 做 啥 给 他 接点 工具 他 能 做 这 是 通用 能力 如果 就是 我们 今天 就 说 招人 这件 事 我 有 快意 这件 事 我 说 一类 物理 问题 那么 只要 这 类 问题 就是 足够 的 垂直 那么 很多 垂直 的 具体 问题 都 是 可以 用 智能 体 拿到 一个 觉得 百分之八九十 分 的 一个 解决方案 哦 有 专才 跟 通才

哦 对 呀 就是 你 你 学会 了 招人 你 在 这个 公司 招 人 比如说 和 那个 公司 招 人 可能 有点 相似 但是 你 通过 上下班 工程学 到 可能 就 不 太 够用 你 得训 一下 模型 他 才能 签 一个 例子 可能 也 不太好 啊 但是 大概 就 这个 意思 是 吧 有 这个 签 一下 这 还 没有 不是 真的 学到 东西 啊 还是 这个 有 一些 小本 的 记下来 的 东西 嗯 所以 上下文 工程 这个 东西 和 这个 叫 智能 体有 关系 吗 就 在

学术界 一般 不太会 提 contextengineering 这个 词 我 感觉 这是 一个 业界 的 词 哦 业界 的 词 嗯 对 但是 肯定 有 关系 啊 就是 你 构建 智能 体 就 包含 设计 上下 的

哦 我 还是 第一次 听说 学界 不太讲 这个 上下文 工程 这种 这 这 回事

啊 你 学界 不 讲 工程 这

回事 那 学界 讲 RAG 吗 RAG

里面 还是 有 一些 学术 问题 我们 先说 RAG 是 啥 RetrievalAugmentedGeneration 就是 在 一个 数据库 里面 拿到 一个 跟 提示 词 相关 的 一部分 文本 把 它 放在 上下文 里面 相当于 给 模型 更 多 的 这个 背景 信息 让 模型 去 回答 问题 或者 解决 新 的

任务 哦 就 比如说 比如说 我 我 是 一个 客服 的 一个 AI 我 在 回答 问题 之后 我 先 我 先 在 数据库 里面 搜索 一下 对

搜索 一下 这个 人 这个 人 是不是

一个 刺头 哦, 搜索 一下 这个 人 是 什么, 这个 问题 本身 的 这个 知识 系统 是 什么, 然后 AI 都 读 一下, 然后 就 融会贯通 了, 再 回答 这个 问题。 那 这个 这个 叫 reg, retrieval, argument, generation。

中文 这三词 分别 是 什么 呀?

照肥 增强 生成式。

嗯, 所以 这个 有 什么 学术 问题 吗?

呃 有 啊 就是说 比如 如果 是 这种 unstructured 的 然后 有 一些 这种 就 relationunstructured 或者 是 relationaldata 这时候 你 怎么 首先 你 怎么样 有效 的 做 retrieval 嗯 对 吧 这个 是 然后 那么 做 retrieval 又 需要 对 这个 数据 上面 有 合适 的 一个 embedding 来 衡量 它 的 similarity 那么 在 一个 比如 具体 的 数据库 或者 一个 企业 内部 的 数据库 或者 DataLake 里面 可能 不能 用 外面 通用 的 引白铃 而是 要 为 它 特制 一个 引白铃去 描述 去 更好 地来 索引 和 搜索 它 内部 的 数据 然后 比如 就是说 如果 这些 数据 它们 天然 之间 就 有 一些 relations, 一些 更强 的 一些 逻辑关系 的话, 那么 可能 在 做 retrieval 的 时候 需要 能够 把 它 和 这种 graphneuralnetwork 结合 起来, 这样 你 在 把, 做 retrieval 的 时候 你 递 露出 来 的 可能 不是 就 一段, 对 吧, 你 想 递 露出 来 一个 图, 或者 递 露出 来 一套 这个 带有 逻辑关系 的 一套 这样 的 数据 怎么 做 这些 事情 怎么 最 有效 他 的 embedding 怎么 是 最 能够 描述 这 类 数据 的 所以

看来 光有 一个 向量 数据库 还 不够 还要 把 那个 叫 什么 embedding 我们 也 不 知道 中文 是 什么 就是 看来 光有 向量 数据库 还 不够 啊 还要 用 高科技 选出 更好 的 这个 就 embedding 就是 向量 数据库 的 那个 搜索词 才能 搜 出来 这 可能 还 不够 还要 有 类似 于 像 图 学系 图数 来 检索 这些 信息 啊 这个 跟 网页 搜索 可能 不太 一样 哈 网页 搜索 是 是 写 的 文字 啊 这个 可能 是 要 有 更 多 的 语义 理解 这个 语义 才能 搜索 出大 语言 模型 需要 的 东西 所以 这个 领域 的 还是 还 热 吗 还是 都 已经 研究 的

差不多 了 去年 特别 热 但是 今年 肯定 这个 概念 没有 去年 热 但 应该 还有 挺 多 可以 优化 的

问题 哦 那 今年 都 什么 热

你 说 整个 大 模型 领域 啊 对 啊 今年 最热 的 是 智能 体 嗯 但是 智能 体 也 是 就是 非常 的 工程 它 可能 在 那个 特别 基础 研究 层面 上 也 有 很多 问题 但 它 因为 工程 上 实在 是 直接 就 能 用 所以 它 的 热度 更 大部分 来自 于 就是说 他 能够 马上 解决 很多 问题 也 来自 于 就是 不管 是 大 公司 小 公司 还是 有 很多 新 的 创业 创业 的 项目 都 希望 能够 用 智能 体 的 方法 去 推进 他们 本来 解 不了 的

问题 嗯 我 也 好奇 一个 问题 啊 就 回到 刚才 物理 竞赛 的 这个 打牛 训练 出 了 一个 可以 解 物理 竞赛 金牌 的 智能 体 啊 为什么 他 就 能 训练 出来 呢 为什么 其他人 就 训练 不 出来

了 你 可能 其他人 没训 了, 你 还是 需要 真的 很想 解决 这个 问题

还是 说 这 事情 变得 很 简单 嘛, 还是 说 这 还是 需要 很多 的 科技, 就是 智能 体验 是 给 人 一个 什么 印象, 就是说 三年 前 大家 说起 大 语言 模型, 觉得 这是 一个 特别 高科技 的 事情 对 吧, 都 是 一些 我 都 不 知道 里面 有 啥, 就是说 起大 语言 模型 就是 非常 高科技 现在 三天 后 的 今天 大家 一一 说起 智能 体 大家 好像 所有人 都 能 说 点 没学过 技术 人 都 能 说 点 这 是 是 真的 是 这样 吗 还是 说 这 里面 就 还是 说 这个 这个 事情 的 门槛 就 专业 门槛 就 变低 了 还是 说 确实 还是 有 很多 专业 能力 在 里面 行

呃 我 觉得 从 就是 构建 简单 的 智能 体 完成 一些 就是 自己 建 一个 自己 感兴趣 的 应用 角度 来讲 他 这个 门槛 会 呃 比 以前 学 编程 的 门槛 要 低 很多 但是 说 你 怎么样 让 一个 智能 体一是 通用 二是 在 longhorizon 的 问题 上 能够 不 出错 然后 让 它 很 可靠 很 稳定 那么 这个 事情 它 就 可以 技术 上 和 工程 上 都 就是 arbitraryhard 那 它

攻坚 需要 哪 方面 的 知识 呢

看 目的 是 什么 目的 是 为了 做 一个 应用 还是 目的 是 为了 让 它 有 通用 的 能力 比如说

做 一个 应用 对 因为 我 不

太 需要 很多 知识 吧 嗯 那

就是 熟 了 熟练 熟练 那就好 对 哦 这 贴上去 其实 含量 不是 很

高 啊 对 我 觉得 做 一个 就是 workflow 的 智能 替 应该 现在 是 一个 比较 好 上 手 的 可以 教 小朋友 的 事情 对 可以

是 个 小朋友 呀 给 小教 小朋友 做做 啊 嗯 梦迪 最近 好像 有些 论文 讨论 一些 比较 大 问题 一个 非常 大 的 问题 啊 什么 能够 自 演化 的 什么 ai 什么 之类 的 这件 事情 和 我们 人类 说 的 什么 起点 有 关系 吗?

我 觉得 自 演化 的 AI 无非 是 多 了 一层 的 脚手架 吧 因为 我 觉得 现在 可能 所谓 自 演化 的 AI 就是说 当 你 在 训练 模型 的 过程 中 你 也 希望 这个 训练 模型 或者 提高 模型 能力 这个 过程 很大 程度 上 也 能够 automate 所以 我們 說 的 這個 self evolving 的 智能 體它 不管 是 用 寫 工具 的 方式 還是給 自己 積累 經驗 的 方式 其實 很大 程度 上 也 是 把 人本來 開發 智能 體的 過程 自動化 就 像 大家 也 想 把 人 試煉 模型 的 能力 自動化 我 覺得 這 方面 也 有 很多 的 研究 包括 我們 也 想 就是 用 智能 體的 方式 去 構造 這種 多學科 的 這種 AIscientist 然 後 很大 程度 上 也 是 希望 就是 可能 会 用 这种 刚 开始 会 用 脚手架 再 加上 强化 学习 agenttraining 的 方式 去 让 整个 这套 系统 能够 去解 越来越 复杂 的 任务 甚至 是 调动 不光 是 软件工具 甚至 还是 硬件 能够 让 它 在 一个 更 复杂 的 这种 不能 出错 的 环境 里面 也 能够 很大 程度 上 的 一 是 自动化 二是 比人 做 得

更好 嗯 这 是 一个 非常 宏大 的 目标 就是 他 能 做 一个多 学科 的 ai 科学家 对 嗯 最终 这个 科学家 做 出来 就是 可以 帮 我们 做 科学研究 吗 我 觉得 是

啊 就是 在 科学 发展 其实 是 非常 非常 慢 的 而且 有 了 ai 之后 呢 科学 发展 呃 其实 是 变慢 了 的 有 一个 文章 啊 是 那个 普林斯顿大学 一个 做 aipolicy 的 一个 老师 他 叫 阿尔文 的 他 寫 了 一個 文章 就是 在 講其實 AI 把 科學 發展 變慢 了 為 什麼 呢 因為 科學 發展 靠論 文嘛 對 吧 就是 因為 大家 交流信息 靠論 文有 了 AI 之後論 文數量 太多 了 太水 了 然后 心造 比 就 比较 低, 导致 让 大家 在 里面 找到 拥有 信息 比 以前 更难 了。 但是 就是 AI 的 发展 是 很快, 但是 对于 科学 来讲 它 反而 就是 它 反而 也 会 带来 一些 新 的 问题。 对, 然后 另外 它 影响 科学 发展 的 问题 就是说 这个 名校 的 博士生 都 不 去 搞 科学, 都 去 搞 AI, 所以 科学 发展 快要 传递 不 下去 了。

所以 需要 AI 科学家 来 做。

我 觉得 AI 肯定 是 能够 帮助 科学 发现 只不过 科学 发现 是 一个 就是 它 在 就 是从 智力 角度 它 本来 就是 在 人类 所 承担 的 工作 里面 就是 需要 较 高 的 智力 水平 但是 它 很大 程度 上 会 受益 于 AI 比如 就是 为什么 我们 说 科学 里面 会 隔行如隔山 吗 那 本质 上 就是 因为 我 不管 是 我 先学 了 物理 我 实在 学不懂 化学 了 而 我学 了 数学 我 实在 学不懂 什么 量子 了 对 吧 就是 因为 人 的 脑 容量 有限 人 的 contactlength 有限 但是 AI 其实 是 能够 解决 这个 问题 的 只不过 让 用 AI 解决 科学 问题 的 时候 它 是 一个 非常复杂 的 过程 因为 科学 问题 不 只是 纸上谈兵 科学 问题 涉及 到 各种 更 复杂 的 这种 数学 这个 逻辑 上 的 推理 涉及 到 高性能 计算 然后 涉及 到 实验 甚至 涉及 到 这种 非常复杂 的 有 组织 的 这种 多 机构 的 这种 合作 所以 AI 虽然 肯定 能 在 里面 发挥作用, 但是 现在 AI 能 做到 每一件 事情 其实 相对 来讲 是 一个 单点 的, 不管 是 这种 alphafold 还是 什么 RNA 大 模型, 还是 我们 现在 能 说 的 比如 可能 能 做 一个 去 做 某 一类 实验设计 的 智能 体 等等, 它们 其实 还是 单点 的。 但是 如果 你 希望 AI 能够 真正 的 就是 数量级 从 数量级 上 就是 十倍 百倍 的 提高 科学 的话 那 他 需要 的 可能 不是 单点 的 突破 他 希望 还 需要 的 是 系统 上 你 能够 把 科学 发现 里面 很多 不同 的 步骤 甚至 不同 组织 软硬件 不同 的 knowhow 能够 把 它 连接起来 然后 系统 上 做 科学 方面 的 推理 但是 这件 事情 现在

还会 离得 非常 远 嗯 所以 梦迪 在 做 这方面 的 研究 啊 是 希望 能够 把 这些 知识 都 通过 一个 AI 联系 起来 吗 还是 它

是 一个 对 我们 希望 能 做到 这件 事情 因为 就是 做 这个 计算 意义 上 的 智能 体 已经 做 了 非常 多 了 但是 科学 的 瓶颈 不是 ideation 就是 用 AI 做 ideation 是 很 容易 的 AI 可以 一天 生成 一千个 看上去 非常 sexy 的 ideas 嗯, 有些 想法 都 可以 形成 嘛 是 的, 但是 科学 是 需要 严格 验证 的 比如 我要 做 物理 上 一个 假设, 我 可能 需要 6 个 sigma 的 精确度 嗯 但是 验证 又 需要 很 高 的 成本 所以 人类 的 科学 发展 一直 就是说 人 在 找 不同 的 新 的 idea 新 的 hypothesis 然后 又 要 在 用 非常 有限 的 资源 这个 资源 包括 就是 成本 上 的 资源 包括 时间 上 的 资源 来 选择 我 到底 去 验证 哪些 hypothesis 那么 这个 验证 当然 是 非常复杂 的 验证 才 是 科学 发展 最大 的 瓶颈 也 是 最 应该 用 AI 来 解决

的 嗯 那 AI 能够 怎么 来

解决 这个 我們 最近 在 做 一個 工作 就是 想 解決 這裡面 一個 非常 bottleneck 的 問題 就是 說 首先 就是 不管 哪個 學科 吧 是 什麼 量子 物理 啊 還是 這個 生物 啊還 是 製 藥 等等 他 要驗證 的 話 最終 一定 會 在 一個 實驗 室裡 然后 在 一个 实验室 里 尤其 是 在 一个 未知 的 领域 如果 你 随便 走进 一个 比较 厉害 的 实验室 它 一定 是 乱七八糟 的 就 因为 科学 的 过程 就是 在 非常 多 的 线索 里面 去 不断 的 尝试 然后 呢 这样 的 一个 实验室 它 里面 的 发生 的 所有 事情 其实 跟 AI 完全 是 脱节 的 它 可能 都 完全 没有 数字化 那么 人 他 可能 做 了 一个 事情, 他 可能 忘 了 自己 当时 怎么 做 的 了, 然后 做 对 做 错, 最后 你 不 知道 怎么回事, 没有 记录下来, 然后 包括 Nature 上面 70% 的 论文 是 不能 复现 的, 就是 谁 也 不 知道 是 怎么回事 就 那样 了, 是 吗, 对, 所以 我 最近 做 一个 工作 就是 我们 做 了 一套 那个 智能 眼镜 的 系统, 然后 呢, 智能 眼镜 本身 是 个 操作系统, 就 可以 把 AIagent, 就 把 多膜态 能力 的 AI 放到 智能 眼镜 上, 所以 这时候 你 可以 认为 就是 这个 AI 它 就 可以 完全 站 在 人 的 旁边, 它 完全 看到 这个 人 做 的 是 什么, 看到 这个 人 的 操作, 也 能够 实时 的 一 是 能够 记录, 二是 实时 的 可以 教 他 该 怎么 做。 这样的话 你 可能 不 需要 一个 老师傅 来 一步 一步 做 而是 可能 一个 高中生 他 只要 按照 这个 AI 的 指导 一步 一步 就 能够 把 很 非常复杂 的 需要 多少 年 经验 的 这样 的 一个 物理 实验 把 它 做 完 那么 他 最终 能够 形成 的 事情 就是说 我 的 AI 不光 是 在 电脑 里 我 的 AI 还 在 这个 人 的 身边 那么 这时候 整个 从 干 实验 到施 实验 整个 流程 的 数据 和 action 都 变成 了 AI 的, 也就是说 它 是 AIperceivable, 也 是 AIoperable 的, 那么 我们 就 可以 把 每 一个 这样 的 实验室 变成 一个 强化 学习 可以 运行 的 环境, 然后 再 往后 的话, 那么 这 里面 可能 不光 是 人 还 会 有 机器人 还会 有 各种各样 的 这种 新 的 交互方式 等等 但是 很 关键 一步 就是 能 不能 把 AI 从 电脑 里面 推 到 这个 physical 的 环境 让 这些 数据 能够 被 收集 能够 被 收集 的话 就 能够 去 让 AI 更好 的 去 整理 去 reason 和 找到 这种 新 的

突破口 这 听 上去 用 这个 研究 以后 我们 就 会 给 AI 打工 了 他 指挥 我们 干活 我们 指挥

他 干活 就 人机 协作 HumanAICollaboration 呃

我 想 知道 对于 普通 个人 来说 自己 做个 智能 体 这个 东西 从 开头 到 做 出来 有 多 难度 呢 而且 基于 的 假设 是 他 只能 用 市面上 有 的 大 模型 而 不是 像 你 能够 自己 训练

大 模型 一样 呃 比如 有 一些 那个 创业 公司 n 对 了 他 就是 一个 就是 完全 可视化 的 一个 智能 体 构造 系统 然后 OpenAI 最近 也 出 了 一个 类似 于 NBA 的 一套 就是 智能 体 构建 的 一个 editor 相当于 就是 可以 用 这个 codingfree 的 方式 就 很大 程度 上 把 你 的 逻辑 变成 一个 runable

的 智能 体 那 看起来 还是 挺 简单 的 大家 有 兴趣 可以 自己 动手做 一做 对 吧 你 试过 吗

你 要 做 吗 我 还 没有

试过 呢 但 可以 试一下 这个 要

多少 钱 这种 东西 的 要 花钱

是 吗 不用 多少 钱 是 吗 几块钱 哦 这么 便宜 吗 这么 便宜

吗 买 几块钱 20 块钱 每个 月

我 猜 他 第一个 月 会 免费

吧 startfreeyeah 来 cut 一个月 之后 跟 我们 再录 一集 播客 对 的 一个月

之后 跟 我们 说一说 你 这个 从头 搭建 智能 体 嗯 嗯 我 比

較 好奇 這個 問題 是 怎麼樣 從 因為 我們 上 一波課 的 時候 聊到 你 以前 的 這個 求學 啊 研究 背景 對 不 對 你 以前 本科 是 學自動化 的 然後後來 是 ECE 然 後 你 是 怎麼樣 一步 一步 從 自動化 ECE 到 AI 然後到 現在 就是 你 的 研究 興趣 變成 了 AIforscience

自動化 本來 就是 做 智能 體的 我 本科 的 時候 就 搭過 機器 人 只 不過 我 一直 是 就是 喜歡 理論 大 於 喜歡 行動 所以 就是 特別 早期 的 時候 比較 喜歡 做 一些 就是 信息 論 啊 然後機器 學習 的 這種 基礎 理論然 後 以及 強化 學習 的 基礎 理論 只 不過 這裡面 就是 其實 它 核心 的 主線 吧 就是 說當 我 有 一個 複 雜系統 我 怎麼 去 找到 它 的 一個 optimalpolicy 然 後 不管 是 就是 自動 控制 機器 人 的 控制 還是 我們 現在 說 的 這個 大圓 模型 上面 的 這個 agenttrainingreinforcementlearning 他們 其實 的 所有主 線 都 是 一直 在 找 這個 optimalpolicy 所以 從 這個 角度 來講 的 話 我 覺得 可能 我 自己 的 研究 方向 從來 沒有 真的 變過 下次

不是 問這個題 嗎過 但是 我們 今天 討論

的 是 AIscientist 就是 AIagenttoAIscientist 就是 從 純理論 的 這個 研究 慢慢 工作 到 就是 說 你 現在 你剛 提到 你 的 智能 眼鏡 它 實際上 已經 是 跟 一個 幹 實驗室 實驗室 一個 物理 的 一個 世界 一個 真實 存在 物理 世界 產生 連結 了 就 已經 不再 是 純 的 理論 研究 了 對

不 對 对, 我 当时 做 理论 研究 的 时候 是因为 当时 算法 还 不太能 实际上 用, 所以 当时 觉得 应该 先 研究 理论。 但是 现在 的话 就是, 其实 就是 在 那个 大 模型 出现 以后, 有 很多 这种 研究 信息论 的, 研究 这个 CerebralComputerScience 的 这种 科学家, 他们 都 来 直接 做大 模型 了。 这个 很大 程度 上 原因 是 原来 早期 的 算法 它 离 这个 实践 还 比较 远 那么 大家 觉得 应该 去 先 去 研究 那些 非常 fundamental 的 问题 那么 当 这个 技术 突破 之后 就是 它 就 变成 了 一个 非常 有意思 的 一个 playground 那么 这时候 就是 你 对 算法 和 模型 有 一个 一定 程度 的 理解 之后 你 就 可以 用 它 去 做 很多很多 的 事情 所以 现在 这个 就 变成 对 我 来讲 最 exciting 的 研究 方向。

我 觉得 我 有 个 问题 就是说, 咱们 上次 录是 半年前, 你 觉得 过去 这 半年 的 这个 整个 发展 吧, 跟 你 想象 的 一致 吗? 还是 说 有些 什么 特别 意料之外 的 东西 吗?

我 觉得 学科 的 发展 跟 之前 的 这个 理解 和 想象 是 差不多 的 但是 工业界 的 发展 是 感觉 就是 因为 现在 技术 发展 到 了 一步 就 像 当年 的 那个 就 互联网 的 早期 嘛 他 已经 就 是不是 一个 纯粹 的 学术 上 的 事情 所以 我 这 半年 觉得 最大 的 变化 是 就是 我 以前 會 完全 從 一個 就是 學校 fundamentalresearch 角度 來 看 AI 的 發展 但現 在 可能 就是 說 在 一個 視角裡 面多帶 了 一些 對 整個 這 industryAI 對 industry 的 影響 可能 會 在 這裡面

多 了 一些 感受 哪些 感受 呢

展開講 哪些 感受 就是 首先 現在 如果 要 繼續 scaleupAI 它 的 這個 方法 論是 強化 學習 这个 是 大家 共同 拥有 的 共识 但是 强化 学习 一定 要 在 一个 环境 里面 这是 为什么 我们 刚才 讲 到 就是说 FrontierLabs 会 去 买 很多 的 ArialEnvironments 这 也 说明 什么 呢 一个点 就是说 原有 的 这些 数据 已经 不足以 让 AI 再 一次 进步 了 当然 大家 还是 可以 想 办法 去 收新 的 数据 只不过 那些 数据 越来越 难收 了 然后 强化 学习 的 环境 才 能够 让 AI 更 进步 但是 强化 学习 的 环境 就是 能够 被 卖 的 强化 学习 的 环境 也 是 有限 的 那么 如果 要 从 这条 skillup 强化 学习 的 方式 让 AI 再 进步 的话 那么 AI 需要 在 更 复杂 的 环境 里 那么 这个 环境 可能 是 科学 实验室 也 可能 是 这个 大 的 enterprise 内部 你 可能 就 走 不通 了 对 所以 它 就 不是 一个 纯粹 的 算法 上 的 问题 它 变成 了 一个 一个 是 很大 程度 上 变成 了 一个 组织性 的 问题 还有 一定 程度 上会 是 商业性 的 问题 所以 我 觉得 现在 就 到 了 一个 这样 的 交汇点 这是 为什么 就是 不管 是 在 算法 上 research 上 frontierlabs 大厂 里面 还是 在 传统 的 企业 里面 这 里面 会 发生 非常 奇妙 的 化学反应 然后 我 并 不 能够 预测 会 发生 什么 但 我 觉得 现在 就是 这个 化学反应 要 刚刚开始 发生 的 时候 就是 突飞猛进 的 跑跑 跑 冲 啊 冲 啊

冲冲 到 有 个 地方 的 时候 觉得 怎么办 呢 还 挺 有意思 的

那 我们 就 这样 吧 非常 非常感谢 梦迪 再次 来到 我们 节目 给 我们 更新 了 过去 半年 的 进展 上次 给 我们 科普 了 大 模型 这次 给 我们 科普 了 智能 体 我们 学到 了 非常 非常 多 的 东西

我 发现 我们 已经 有 五万 粉 了 在 小 宇宙 上面 刚好 是

今天 了 感谢 大家 收听 本期 节目 那 我们 下期 再见 下期 再见 拜拜 后会有期 拜拜