#79. 强化学习——阿尔法围棋背后的技术

阿尔法 狗 接连 战胜 李 适时 科杰 两位 围棋 世界冠军 给 了 大家 极大 的 震撼 大家 可能 不 知道 阿尔法 狗 其实 是 强化 学习 技术 的 一种 今天 我们 有幸 请 到 了 强化 学习 领域 的 专家 给 大家 介绍 一下 强化 学习 是 什么 这里 是 牛油果 烤面包 大家 好 我 是 斯托 亚特 今天 我们 有幸 请 到 了 Facebook 人工智能 研究院 的 研究员 及 经理 田 博士 来 和 我们 聊一聊 强化 学习 田 博士 跟 大家 打个招呼

大家 好 我 现在 在 FacebookAIResearch 我 是 研究员 也 是 研究 经理 今天 应 这边 的 邀请 给 大家 讲 一下 强化 学习 我们 非常 的 荣幸

能够 请 到 这样 的 专家 来 给 我们 介绍 这样 的 知识 田 博士 其实 一个 比较 有名 的 在 网上 中文 互联网 上 比较 有名 一件 事情 是 在 前 阿尔法 狗 时代 就是 在 阿尔法 狗 出现 之前 他 曾经 主导 过 一个 围棋 对弈 软件 当时 也 是 属于 顶级 的 软件

对 不 对 不能 说 特别 有名 嘛 但是 确实 我们 当时 是 也 是 前 几个 就是 用 神经网络 来 做 围棋 的 那么 当时 呢 水平 是 达到 了 跟 其他 的 软件 差不多 水平 当然 那些 软件 都 特别 差 对 吧 都 肯定 没有 办法 去 战胜 那个 人类 的 非常 强 的 棋手 啊 都 是 属于 这种 业余 的 比较 高 的 水平 那么 当时 我们 是 做 了 一个 软件 叫 呃 DarkForest 当时 是 跟 那些 当时 著名 的 一些 其他软件 比如说 像 Zen 啊 像 ChrisStone 他们 是 打 了 一些 比赛 还是 挺不错 的 那

后来 您 听说 了 AlphaGo 这个 事情 出来 之后 是 什么 感觉 当时 是

这样 吧 就是 我们 是 15 年 做 的 那么 15 年 年底 的 时候 呢 这个 效果 还是 不错 的 但 等到 16 年 头上 的 时候 就 16 年 1 月份 的 时候 呢 就是 那个 AlphaGo 是 来 了 对 吧 确实 他们 的 效果 是 比 我们 这边 要 好 很多 当然 是 是 这 样子 一个 一个 过程 当然 了 我 听到 这个 消息 这个 也 有 一些 惊讶 但是 确实 也 是 正常 的 因为 确实 我 当时 我们 也 听到 过 有些 流言 一些 传言 我们 就 看 这个 时候 DeepMind 也 在 做 那个 围棋 这个 事 当时 我们 我们 知道 的 就是 只是 说 没有 想到 会 来 那么 快 啊 这个 是 主要 是 这样 的

所以 当时 deepmind 呢 也 已经 是 一个 非常 有名 的 一个 公司 所以 大家 知道 他 是 非常 厉害 没有

那么 有名 当时 就是 现在 非常 有名 现在 大家 都 知道 他 非常 厉害 呃 15 年 的 时候 14 年 的 时候 呢 可能 Google 是 买 了 DeepMind, 当时 其实 我 当时 14 年 还 在 Google, 其实 内部 也 有 一些 声音 觉得 买 了 DeepMind 不值, 因为 好贵 啊, 但是 后来 其实 它 是 证明 了 它 的 用处, 确实 是 非常 厉害 的。

稍微 说 说 AlphaGo 这个 吧, 因为 这个 也 是 大家 非常 熟悉 的 一件 事情 啊 就是 当时 我 看 媒体报道 啊 就是 经常 会 提到 一个 词叫 自我 对战 啊 就是说 他们 这个 左右 互搏 他 这个 真的 是 那么 神 吗 真的 是 一个 他 新 的 一个 技术 吗 左右 互搏 这个

事情 呢 实际上 就是 一 开始 是 15 年 16 年 的 时候 AlphaGo 第一版 出来 的 时候 呢 左右 互搏 是 个 比较 次要 的 方案 基本上 还是 从 那个 人类 的 棋谱 里面 去 学习 学到 一个 比较 好 的 走子 的 方案 对 吧 包括 策略 啊 包括 那个 对 那个 当时 盘面 的 评估 啊 有些 比较 好 的 方案 那么 学到 之后 呢 然后 可以 举一反三 啊 在 新 的 盘面 上 也 有 也 有 比较 好 的 突破 那么 当时 是 这样 的 一个 一个 一个 结果 当时 其实 没有 字 对 异 啊 字 对 异 呢

相当于 是 第二步 第一步 就是 他 公布 那个 和 什么 职业 五段 的 那个 起谱 之前 算 第一版 吗 是 职业

二段 吗 对, 那个 是 很早以前 的 第一版, 就是 有 一个, 对, 有 一个 比较 比较 不错 的 一个 一个 版本, 对 吧? 那个 时候 呢, 可能 还是 就是 基于 那个 模拟 学习, 呃 有 模拟 学习 的 结果 之后 呢, 然后 把 模拟 学习 结果 拿 出来, 就是 看 那个 能 不能 得到 比较 好 的 结果, 对 吧? 然后 在 这 上面 可以 做 一些 简单 的 自对异 的 一些 一些 工作。 比如说 用 reinforce 这样 的 算法, 用 强化 学习 算法, 然后 让 他 能 找 得 起 更好 的 解。 是 这样 的, 这是 第一版 的 一个 结果。 到 了 最后 呢, 比如说 等到 2017 年 年底 吧, 就是 有 了 第二 版, 就是 AlphaZero。 对 吧 那么 2.0 呢 就是说 完全 通过 自对异 完全 不 需要 人类 起谱 我们 就 可以 啊

得到 更好 的 结果 啊 就是 第一版 就是 对 李 适时 都 算是 第一版

对 呃 其实 它 内部 有 很多 小 版本 的 对 直接 二段 那个 和 对 李 适时 那个 是 不 一样 的 李 适时 那个 可能 比 对 之前 那个 要 好 一定 要

好 挺 多 的 所以 自对异 是 在 李 适时 那个 版本 就 已经

用 了 吗 应该 还 没有, 应该 还 没有, 对, 就 完全 的 自对翼 是 在 后面 的 版本, 就是说 就是 AlphaZero 那个 版本 上 是 用 的, 对, 在 对理 事实 那个 版本 应该 是 相当于 就是 加入 了 对于 那个 直 网络 的 那个 直 网络 现在 可能 训练 的 更好 了, 然后 直 网络 的 效果 可能 比 之前 的

效果 要 好。 这个 对翼 这件 事情 是 他们 发明 的 吗? 这个

不是, 这个 很早以前 就 有 了。 科学技术 都 是 这样 的, 并 不是 说 是 某个 人 突然 拍个 脑袋 说, 我 是 天才, 我 想 说 新闻,

就 这 样子。 那 为什么 之前 都 没有 人用 过 呢? 为什么 他 突然 开始 用 呢? 其实 很多

人用 过, 就是 并 不是 没有 人用 过。 你 去 看 很多 的 围棋 的 文章, 其实 都 是 用 过 自 对弈 的。 就算 是 围棋 这个 领域, 你 看 很多 的 就是 在 deeplearning 之前 的 文章。 比如说 他们 用 的 是 单层 的 基于 模型 模式识别 的 一些 维修 软件 他们 也 是 用 自制 的 方案 去 学习 有没有 一个 更好 的 策略 但是 这个 效果 没有 那么 好 主要 原因 是因为 一个 是 之前 资料 资源 不够 这是 一个 然后 另外 一个 呢 就是 基于 这种 模型 特征, 基于 那些 盘面 特征 的 东西 呢 就是说 它 可能 就是 这个 模型 本身 对于 新 的 数据 的 吸收能力 不够 强, 所以 它 不 像 神经网络 那样 可以 拟合 任何 函数, 所以 这样的话 自对 出来 的 东西 可能 就学 不会 了, 所以 它 就 反而 没有 不用 自对 的 好, 而且 自对 的 东西 不是 很 可控。 那 R4Go

它 是 用 了 一个 什么 技术 能够 把 这些 自作孽 的 结果 学

出来 呢? 对, 首先 是 用 了 那个 深度 学习, 对 吧? 有 深度 学习 之后, 那 你 就 会 有 一个, 比如说 有 神仙 网络, 这 神仙 网络 它 对于 这个 就是 拟合 的 能力 就 远远 高于 以前 的 模型。 以前 的 模型 可能 就是 比如说 比较 参数 的 模型, 比如说 我用 线性 模型 来 拟合, 或者 用 其他 的 模型 来 拟合, 那么 它 的 问题 是 就是说 它 对于 这个 信号 的 要求 比较 高, 就是 如果 信号 本身 是 线性 的, 那用 线性 函数 拟合 没有 问题, 如果 你 信号 本身 不是 线性 的, 那 你 用 信号 函数 拟合 可能 会 有 很多 问题, 所以 这个 是 一个 很大 的 一个点, 但是 神经网络 相对来说 呢, 就是 它 的 拟合 能力 比较 强, 然后 他 也 有 一些 有 一定 的 局移 反散 能力 所以 因为 这个 呢 其实 这样的话 让 他 以后 就 会

非常 好 说 在 2015 年 应该 已经 是 神经网络 已经 是 非常 普及

的 了 对 吧 没有 没有 2015 年 不能 说 非常 普及 了 因为 13 年 刚 开始 这一波 然后 14 年 呢 就是说 首先 他 可以 在 一些 比较 就 比较 图像 图像 上 就是 有 一些 一 开始 一 开始 其实 并 不是 一 开始 应该 说 是 应该 是 说 语音, 语音 这边 是 先 出来 的, 就是 你 网络 先 出来 然后 再 是 图像, 图像 有 了 效果 之后, 意思 你 有 效果 之后, 那 马上 就 有人 想到 了 围棋 跟 图像 很 像 啊 对 吧 围棋 也 是 有 格子 嘛 那 为什么 不 拿来 做 围棋 呢 所以 这才 会 连 上 所以

说 围棋 和 图像 还是 比较 对

所以 才 会 有人 去 想 说 我 可以 拿来 做 图像 是 这样

所以 您 当时 的 DarkForest 是 用

了 吗 是 用 了 就是 为什么 它 能够 很快 能 达到 很 好 的 水平 的 原因 像 我们 之前 也 没 做 我 也 没 做 围棋 所以 如果 我要 按照 正常 的 路子走 的话 可能 需要 10 年 的 时间 或 更 久 的 时间 才能 达到 比如说 传统 软件 的 水平 但是 你 用 了 神经网络 相当于 我 作弊 了 相当于 就是说 OK 我 通过 找到 一条 shortcut 我们 就算 不 知道 围棋 的 具体 的 那个 领域 知识 的 情况 下 我 还是 能够 学到 很多 的 就是 围棋 高手 才 知道 的 知识 并且 把 它 浓缩 在 神经网络

里面 就是说 田 博士 当年 也 是 靠 神经网络 能够 这个 弯道 超车 啊 达到 了 世界 顶级 水平 啊 那 看来 二发 狗 使用 深度 学习 也 不是 他 的 发明 对 吧 因为 田 博士 之前 也 都 用 了 那 他 的 这个 左右 互搏 也 不是 他 的 发明 是 吧 那 他 强 在 什么 地方 呢 他

强 在 那个 地方 就是说 这些 东西 呢 就是说 其实 每 一部分 都 没有 完全 的 就是说 都 是 他 发明 的 每 一部分 其实 都 是 别人 以前 有 的 比如说 神经网络 的 神经网络 本身 其实 就 已经 有 了, 而且 其实 用 神经网络 做 围棋 也 不是 说 是 首创, 说 实在 的, 以前 有人 做过, 但是 也 做 不 出来。 有些 填墨室 啊。 不 不 不, 不是 指 我, 我 是 指 那个 就是 就算 13 年 12 年 的 时候, 你 有 看到 也 有 很多 文章 嘛。 有 文章 做 神经网络 的 哦 真的 啊 对 就是说 并

不是 一二一 三年 就 有人 用 神经网络

做 的 对 甚至 零 几年 就 有人 用 神经网络 做 就是 只是 那 时候 神经网络 还 不 发达 你 训练 的 时候 你 训练 个 十层 二十 层 根本 训练 不动 你 可能 最 多 训练 两三层 那 效果 就 达 不到 了 这 是 一个 那么 现在 就 能 训练 很多 层 这 是 一个 然后 第二个 就是说 神经网络 也 并 不是 首创 然后 你 搜索 也 不是 首创 因为 门内 卡拉 数 搜索 这个 部分 是 零 六零 七年 的 时候 对 067 年 的 时候 那个 才 开始 就 开始 有 了 然后 这 段时间 正好 是 围棋 的 AI 有 一个 巨大 突破 的 时间 在 067 年 之前 的 围棋 AI 是 完全 不能 看 的 他 可能 打 不过 一个 学 围棋 没有 几个 礼拜 的 选手 但是 有 了 那个 门内 卡拉 处所 之后 呢 就是 开始 能 打 了 就是 有 一些 业余 段位 了

真的 在 06、 7 年 是 一个 革命 其实

是 有 一个 革命 但是 革命 到 现在 对 革命 到 13、 4 年 的 时候 也 是 停住 了 对 因为 没有 好 的 函数 拟合 器 因为 没有 好 的 函数 拟合 器 呢 那 你 就 不要 说 了 那 肯定 是 肯定 是 有 问题 的 对 所以 就 会 卡住 那么 就 到 了 那个 15、 6 年 的 时候 它 才 会 在 网上 突破 那 是因为 有 好 的 函数 拟合 器 就 因为 有 神经网络 所以 就是 它 其实 是 有 一个 内在 规律 在 里面 并 不是 说 它 每 一部分 都 是 原创 的 它 都 是 把 很多 的 比较 原创 的 或者说 是 以前 用过 的 确实 有效 的 东西 放在 一起 然后

真正 把 它 做 出来 我们 说 搜索 因为 我们 有 很多 听众 朋友 可能 也 不是 专业 的 就是 我 理解 的 搜索 就是 按照 我们 本科 这个 科学 的 就是 比如说 走 迷宫 是 最 典型 的 搜索 就是 我们 往 这边 走 一 走 不行 往 那边 走 一 走 那边 走 一 走 是 大概 是 这个 意思 吗

可以 这么 说 吧 就是说 因为 下棋 都 是 通过 某种 方式 的 一些 要 做 计划 做 规划 嘛 所以 才能 下棋 对 吧 所以 就是 你 要 规划 下 一步 要 走 哪里 然后 你 走 到 这 一步 的话 可能 会 有 什么 得失 你 要 算 一算 你 要 算 完 算清楚 之后 你 再 去 看 OK 哪 一步 是 对 哪 一步 不是 对 的 所以 这个 是 就是 这棵树 可以 非常 深 如果 谁 比 你 我 比 你 多算 一步 也许 我能 找到

一个 更好 的 我 能 算 的 更 快算 的 更 多 部署 这 就是 搜索 技术 的 提高 我们 了解 的 深度 学习 更 多 是 像 比如说 图像 啊 语音 啊 这样 有 一个 非常 明确 的 函数 是 吧 有 一个 明确 的 输入输出 一个 模型 在 里面 但 这个 模型 如果 用 在 比如说 围棋 上 它 会 用 在 什么 地方 呢 它 是 在 围棋 中 怎么 用到 这个 函数 呢 这么 一个 模型 呢 这 模型 有

两种 一种 是 说 我 怎么样 去 预测 下 一步 是 怎么 走 的, 对 吧? 这是 一种, 就是 叫 策略 网络。 叫 策略 网络? 对, 就是说 我 可以 给定 当前 的 局面, 我下 一步 要 怎么 走。 另外 一个 就是说 叫 那个 直 网络, 直 函数, 就是说 你 根据 现在 的 盘面, 我能 不能 知道 谁 比较 好 一点, 黑方 好 还是 白方 好? 就是

价值 的 值 对 价值 的 值 啊 就是说 这个 东西 判断 这个 盘面 给 个 分 打个 分 啊 这个 高 这个 胜率 高 这个 胜率 低 啊 对 是 的 大概 就是 这样 深度 学习 训练 出来 的 模型 是 用到 这 两个 方法 一个 是 策略 一个 是 我 这 一步 下 一步 应该 走 在 哪 下步 走 到 哪 不是 主要 靠 搜索 吗 他 也 靠

模型 吗 对 策略 网络 来说, 策略 网络 是 不会 给 你 搜索, 它会, 策略 网络 说 我 就 告诉 你 这 一步 要 怎么 走, 或者说 给出 每 一步 走 的 概率, 然后 在 这 策略 网络 基础 上 你 再 去 做 搜索。 策略 网络 其实 它 建模 的 是 直觉, 你 比如说 一个 非常 厉害 的 骑手, 他 看 了 一个 局面 之后, 第一步 下意识, 我要 做 什么样 的 一个 事情, 就是 非常 下意识 的 一个 想法。 那么 这个 想法 是 通过 下 了 很多 盘棋 慢慢 慢慢 积累 起来 的 你 会 有 这个 感觉 你 要 怎么样 下 那么 在 这 感觉 基础 上 然后 再 去 做 搜索 对 你 比如说 你 看 这 一步 我 感觉 上 不错 我往 下摆 了 个 几步 发现 有 问题 这步 不能 走 然后 再 去 换 一个 方式 是 这个 方式

这 可能 和 围棋 有 关系 啊 比如说 你 如果说 国际象棋 我能 走 的

没有 多少 地方 啊 不是 国象 也 是 一样 的 也 是 一样 你 也 是 一样 要 简直 你 还是 有 感觉 因为 其实 你 能 走 的 步 虽然 没有 围棋 多 但是 啊 也 是 很多 的 就是 你 可能 每 一步 可能 要 还是 要 有 20 种 可能 或者说 十几种 可能

有 这么 多 能够 下指 的 地方 我们 也 要 用 模型 先来 算 一下 哪个 是 最 可能 的 我们 把 那些 优先 然后 算 那边 是

吧 大概 这个 意思 啊 对 可以 可以 这么 说 可以 这么 说 还有

一个 就是 值 函数 啊 就是 评价 这个 局面 是 怎么样 的 啊 所以 说 这个 就是 α 狗 我们 长 了 很多 的 知识 α 狗 原来 是 这么回事 我们 为什么 要 谈 这么 多 围棋 呢 其实 也 和 我们 今天 的 主题 强化 学习 有 关系

是不是 呃, 对, 那 是因为 就是说 这是 一个 比较 成功 应用, 就是 强化 棋是 一个 比较 成功 的 应用, 强化 棋是 个 方法, 这 方法 非常 虚, 对 吧? 大家 可能 觉得 这 东西 很 像 抽象, 一般 大众 来说 呢, 可能 会 讲 啊, 我们 需要 做 什么样 的, 就是 这个 东西 能 干什么? 那么 可能 一个 另 一个 应用 是 OK, 我们 可以 拿来 下棋, 我 可以 拿来 做 别的, 比如 下国 象棋 也 可以 啊, 或者说 你 下 其他 的, 或者说 你 比如说 可以 拿来 打 那个 dota, 对

吧? 所以 我们 说 到 强化 学习 这个 词 可能 很多 听众 比较 陌生 但是 我们 一说到 围棋 或者 是 游戏 AI 可能 就 知道 原来 那些 都 是 强化 学习 原来 强化 学习 就 在 我们 身边 我们 和 电脑 打游戏 你 电脑 也 在

强化 学习 是 吧 首先 第一点 就是说 我们 跟 电脑 打游戏 电脑 不是 在 做 强化 学习 比如说 我们 先 跟 电脑 打 星际 电脑 星际 在 跑 的 时候 它 里面 的 AI 可能 并 不是 用 强化 学习 写 的 可能 是 通过 一些 规则 通过 一些 人类 引诱 的 知识 把 它 写 出来 的 不 一定 很强 对 吧 可能 是 这 样子 所以 并 不是 一定 要 强化 学习 参与 的 强化 学习 只是 一种 手段 说 可以 训练 一个 比较 强 的 AI 二发 狗

之后 在 围棋 方面 有没有 什么 革命性

的 进展 吗 在 这 之后 现在 可能 DeepMind 可能 也 不再 做 这个 我们 之前 2018 年 的 时候 曾经 复现 过 DeepMind 的 UpperZero 当时 打算 拿来 做 一个 OpenGO 这样 的 一个 围棋 AI 也 是 比较 强 当时 能够 跟 韩国 棋院 的 那 四个 比较 职业 的 棋手 下 都 能够 赢下 了 20 比 0 这么 厉害 对 当然 这个 相当于 是 第一个 围棋 AI 就是 用 单块 GPU 然后 能够 赢 他们 每 一个 人 然后 给 他们 每个 人 足够 的 时间 去 思考 当时 是 也 是 挺 有趣

的 所以 说 这个 就是 相当于 他们 发表 出来 以后 这个 技术 已经 是 一个 非常 成熟 的 技术 对 就是说

现在 慢慢 慢慢 这个 技术 就 大家 都 变得 平民化 了 因为 大家 都 知道 怎么 做 了 所以 也 并 没有 特别 的 革命性 的 进步, 特别 的 有 说 有 革命性 的 突破 啊 什么, 那么 再 往上走 呢 就 就 有点 困难, 比如说 像 最近 那个 快手 他们 做 了 一个 叫 那 豆子 的 东西, 就是说 用 它 来

打斗 地主, 大家 都 打 不过 他们

了, 对, 就是 他 好像 水平 还 不错, 对 吧, 但是 而且 是 一个 就 一个 习近平 可能 做 了 几个 月 吧, 或者说 一年, 然后 用 他 的 用 他 的 那个 软件, 你 可以 训练 几天 就 可以 训练 出来。 这样 的 一个 AI 所以 也 是 非常 强 的 所以 就是说 你 可能 就 会 慢慢 慢慢 就 会 发现 就是说 做 棋牌 呢 可能 就是 或者说 做 AI 就是 游戏 AI 呢 相当于 是 慢慢 慢慢 进入 了 一个 千万家 或者 进入 了 相当于 比较 常规 的 这样 的 一个 方式 了 就是 没有 说 我 一定 要花 很多 时间 或者说 代价 把 它 算

出来 他们 前段时间 媒体报道 说谷歌 还是 DeepMind 做 叫 什么 通用 学习 叫 叫 什么 就是 做 了 一个 AI 就 所有 的 游戏 都 可以 用 呃

他 有 说 过 吗 我 不 记得 了 你 说 一个 像 那个 AlphaZero 或者说 MoveZeroMoveZero 可能 可以 就是说 ok 我 做 一个 可能 可以 通用 用 用 其他 地方 但是 就 这 也 有 很多 的 局限性 嘛 就是 一个 他 是 他 还是 需要 很多 的 就是 他 现在 就是 OK 我 我 现在 并不需要 模拟器 了 啊 我 把 模拟器 去掉 我 现在 并不需要 围棋 规则 我 可以 从 对弈 的 棋谱 中 自动 学会 规则 这个 是 一个 一个 比较 大 的 进步 对 吧 我 现在 可能 并不需要 我 告诉 他 怎么 下围棋 他 是 通过 你 看 别人

下 就 能 把 规则 学 出来

你 看 别人 的 下棋 棋谱 我 能够 把 它 的 规则 反推 推出 来 对 吧 然后 根据 这个 反 推出 来 的 规则 我 继续 做 搜索 然后 得到 更好 的 结果 这个 就 比 AlphaZero 更进一步 因为 AlphaZero 还是 需要 那个 人工 告诉 它 规则 的 但是 Museo 其实 不 需要 告诉 他

规则 这个 就 更 厉害 了 我

可能 连 规则 都 不用 告诉 他

对 都 不 需要 会 下围棋 就 可以 学会 还 可以 打败 世界 第一 的 这 也 很 厉害 了 我们 说完 AlphaGo 我们 花 了 很 长时间 说 AlphaGo 因为 大家 都 非常 的 感兴趣 但是 我们 终于 可以 说 我们 今天 的 正题 了 就是 强化 学习 刚才 我们 说 过 这个 游戏 也 是 强化 学习 的 一个 应用 强化 学习 到底 是 什么 东西 呢 你

可以 认为 就 相当于 它 可以 更 类似 于 人类 的 日常生活 就是说 我 是 一个 智能 体 我 经常 会 做 一些 它 有 围困 的 行为 可以 选择 然后 根据 不同 的 行为 的 选择 可能 会 看到 不同 的 结果 然后 根据 不同 的 结果 我 去 训练 自己 然后 让 自己 能 获得 更 多 的 奖励 或者说 长期 的 一些 奖励 它 跟 金融 学系 的 不同 的 地方 是 这样 就是 对 金融 学系 来说 那个 金融 学习 就 像 什么, 像 比如说 你 一个 员工 坐在 一个 办公室 里面, 然后 每天 老板 会 给 你 数据, 给 你 一些 资料 让 你 去 学会, 你 学会 之后, 然后 你 把 它 背 出来 了, 然后 你 举一反三 去 处理 剩下 的 事情。 那么 数据 啊 资料 都 是 老板 给 你 的, 你 是 没有 权利 去 改变 这些 数据资料 的 分布 的。 强化 学习 就是 另外 一回 事情, 强化 学习 将来 你 像是 在 幼儿园 或者 在 一个 就是 在 一个 广阔天地 里面 的 一个 孩子 然后 你 可以 随便 做 你 想 做 的 事情 然后 你 获得 的 经验 也 是 跟 你 过去 的 知识 跟 你 过去 的 行为 是 有 挂钩 的 这 是 一个 关键 的 点 所以 就 说 比如说 你 对于 棋牌 的 游戏 来说 特别 是 对于 AlphaZero 这样 的 一个 东西 来说 它会 发生 什么 事 呢 就是 你 现在 训练 的 数据 是 基于 你 过去 的 行为 的 你 过去 下 了 很 臭 的 棋 你 现在 训练 上 的 数据 就是 很 臭 的 棋 所以 是 这样 的 一个 过程 对 就 就 并 不是 说 并 没有 一个 老板 说 我 支持 你 给 你 的 资料 你 去 那边 背 出来 啊 没有 个 老板 你 实际上 你 是 你 自己 的 老板 你 过去 的 那个 棋谱 拿 过来 自己 去 学习 然后 下 出 更好 的 棋谱 来 啊 比如说 是 这 样子 所以 说 我

这么 理解 就是 过去 的 监督 学习 这样 大概 就 相当于 就是 学 那么 一把 就 完 了 我 就学 完 之后 然后 就 用 了 我 上 了 学 然后 我 就 用 十年 的 知识 那 强化 学习 就是 需要 不断 的 学习, 它 是 一个 过程, 是 吧? 它 就是 不断 的 学学 学, 它 是 自己 学会, 是 吧? 有点 类似 于 就是说 在实践中 学习 这种 感觉,

是 吧? 对, 你 可以 认为 什么? 一个 是 书本知识, 或者说 一个 照着 书本 学, 还有 一个 是 说 你 在实践中 自己 创造

经验, 自己 学习。 强化 学习 这个 是, 我 好像 在 我 上 本科 时候 啊, 20 年前 左右 好像 书上 没有 太 强调 这个 东西, 这个 东西 是 什么 时候

开始 的? 其实 很早以前 就 有 了, 你 要 去 看 嘛, 一九七 几年, 一九八 几年, 就 这个 东西 源自 于 什么? 源自 于 控制 理论, 1965 年, 对, 就 有 了, 就是 强化 威胁 的 那些 比较 著名 的 公式, 比如说 Biomalfunction, 这种 其实 都 已经 在 五六十年代 的 时候 就 已经 提出 来 了, 当时 是 为了 解决 控制 问题。 机器人 怎么 控制, 怎么 把 机器人 的 手 从 一个 地方 到 另外 一个 地方, 怎么 去 抓取 物体, 怎么 把 物体 抓 起来, 怎么 规划 自由 路线, 是从 这些 东西 里面 慢慢 搞 出来 的, 是 这 样子 的。 从 这些 物理 任务 上 来说, 你 可以 抽象 出 一个 数学模型, 这 数学模型 就是 成为 了 现在 强化 器 的 一个 基础, 所以 说 它 的 历史 是 非常 久远 的, 所以 并 不是 说 是 最近 两年 突然 冒出来 的 所以 这个 是 一个 很大 的 一个点 就是说 其实 没有 什么 数学 技术 是 突然 冒出来 的 大家 都 是 有 渊源 的 这些 渊源 只是 说 过去 呢 大众 里面 大众 看不到 这些 渊源 大众 只能 看到 最火 的 技术 是 什么 这个 最火 的 技术 之前 是 什么 是 它 处于 什么样 的 伏笔 状态 下来 为什么 突然 大家

提 的 有点 多 呢 因为 我 印象 中 十多年 前 的 时候 很多 课本上 还 在 说 机器 学习 分为 监督 学习 和 无 监督 学习 两种 是 吧 到 了 比如说 多少 年前 就 开始 说 我们 机器 学习 分成 三种 监督 学习 无 监督 学习 和 强化 学习 那 什么 时候 突然 开始 它 的 地位 就 变得 这么 高

了 呢 我 觉得 那 是因为 强化 学习 本来 就 没有 找到 特别 好 的 应用 所以 就是 一直 是 书本上 的 一些 公式 或者说 只能 解决 一些 比较简单 的 问题 比如说 做 迷宫 那么 这样的话 可能 大部分 人 对 他们 的 关注 幅度 不是 很 高 对 我 觉得 是 这 样子 直到 他 表现 出来 他 能够 用来 做 比如说 制造 AI 这个 AI 非常 强超 人类 那 这个 时候 别人 会 觉得 这个 东西 是 有用 的, 他 才 会 把 它 提出 来, 就是 反过来 倒逼 说 这个 方法论 还是 有用, 他 才 会 把 它 拿出 来说 作为 一个 研究 对象, 吸引 更多人 过来 研究。 所以 说

像 类似 于 AlphaGo 这样 的 应用 对 强化 学习 这个 领域 的 这 整个 的 发展 还是 一个 很 重要 的 一件 事情。

是 这 样子, 就是说 对, 就是说 因为 AlphaGo, 因为 有 AtariGames, 或者说 各种 在 游戏 上 的 一些 惊人 的 表现, 这个 让 强化 游戏 成为 了 一个 比较 火 的, 或者说 比较 有意思 的 一个 领域 来 愿意 去 做 它。 因为 如果 一个 数学 框架 或者 一个 一套 方法 没有 什么 用处, 没有 人 愿意 去 做 它。 那

我们 说 一个 技术 AI 或者说 游戏 它 确实 是 很 厉害 很 让 人 觉得 不可思议 但是 在 游戏 之外 还有

什么 应用 呢 这 正是 我们 现在 要 做 的 东西 我 最近 也 在 思考 这个 问题 然后 我们 现在 可能 会 我 这边 也 可能 会 有 一个 会 有 个 team 去 一起 做 这样 的 一个 就是 怎么样 把 墙面 推广 到 游戏 之外 的 一些 方向 上去 那么 就是说 一个 可能 的 应用 有 很多 有 东西 可以 做 就 比如说 现在 你 可能 之前 也 看到 过 比如说 我 可以 拿 强化 器 做 机器人 对 吧 或者 拿 强化 器 做 一些 就是 传统 控制 上 的 一些 问题 但 机器人 其实 没有 那么 好 做 因为 像 最近 OpenAI 也 有 个 新闻 就是 OpenAI 把 机器人 组 解散 了 然后 让 他们 去 做 别的 东西 去 了 那么 主要 是 一个 是 现实生活 的 很多 的 一些 问题 就是 它 首先 一个 没有 数据 第二个 是 模拟器 也 不是 不够 好像 游戏 什么 都 是 有 模拟器 的 所以 因为 有 模拟器 的 所以 你 可以 在 那个游戏 里面 进行 成千上万 或者说 百万 一次 的 这样 的 一个 模拟 有 这个 模拟 之后 呢 就 有 冲突 数据 那么 这个 冲突 数据 可以 用来 驯养 强 化学系 的 AI 这 是 它 为什么 那么 厉害 的 基础 人类 可能 没有 玩过 那么 多局 然后 机器 能 玩

那么 多局 在 这个 机器人 上 不行 啊 因为 不 可能 用 这个 真实 的 一个 机器 去 做 那么 大 数据 搞 出大 数据 的 对 这个

是 一个 比较 难 的 一个 问题 啊 就是 有 很多 方法 解决 一种 是 说 我 建立 一个 模拟器 这个 模拟器 去 模拟 机器 的 行为 那么 这个 问题 是 在 于是 现实生活 里面 有 很多 的 东西 很难 模拟 或者说 是 那个 跟 那个 一些 表面 的 一些 那个 碰撞 啊 这 东西 很 难明 这 这 东西 的 外观 都 非常复杂 所以 模拟器 的 一些 偏差 就 会 导致 强化 学习 的 整个 问题 效果 不好 你 可以 在 虚拟 实际上 做 得 非常 好 但 你 一旦 到 了 那个 现实 世界 呢 效果

就 不行 这条 路 现在 又 走

的 不 太顺 对 我 觉得 就是说 一个 可能 的 用法 就 比如说 你 拿 强化 学习 来 做 什么 啊 比如说 你 去 解决 比如说 优化 问题 啊 解决 一些 那个 现实生活 中 的 一些 就是 相对来说 比较 容易 模拟 的 啊 但是 又 是 有 深远 意义 的 一些 问题 啊 那么 这些 问题 其实 比较 比较 容易 就是 相对来说 就是 比较 满足 能 满强 化学 的 胃口

嗯 优化 问题 我们 平时 理解 就是 各种各样 的 这些 比如说 调度 啊 像

这些 东西 吗 对 这种 肯定 是

会算 优化 问题 比如说 像 类似 像 电路板 设计 这样 的 也 算 优化

问题 吗 对 这种 也 是 就是 像 最近 那个 Google 有 一篇 文章 嘛 就是 用 强化 IC 来 做 芯片 设计 啊 这个 也 是 一个 有 很大 的 优化 问题 那 我们

生活 中 应该 还是 还是 能 找到 不少 的 优化 问题 啊 你 比如说 像 调度 这种 可能 会 觉得 可能 不用 AI 也 能 OK 但是 有没有 什么 就是 不用 比如说 强化 学习 做 的 非常 差 的 东西 我们 需要 用 强化 学习 来 解决 一下 对

这 是 个 很 好 的 问题 就是说 现在 调度 问题 呢 就是 比如说 用右 的 方式 可以 觉得 很 不错 了 对 吧 所以 如果 强化 学习 你 说 为什么 好 的 哪里 对 吧 这 是 一个 问题 那么 首先 一个 就是说 有些 调度 问题 是 比较 敏感 的 或者说 怎么样 敏感 就是说 如果 你 解法 不够 好 的话 你 就 会 损失 比如 很多很多 钱 就 这种 肯定 是 你 当然 是 需要 找到 更好 的 算法 那么 如果 你 的 算法 能够 让 你 调度 的 那个 策略 更加 精准 或者说 更加 好 的话 你 肯定 会省 很多 钱 那 这种 其实 当然 是 跟 广告 是 一样 的 就是 你 当然 是 那个 希望 这个 东西 越 精准 或者说 那个 策略 质量 越好 那 你 最后 的 结果 就 越 好 那么 这是 一种 可能 另外 一种 就是说 比如说 有些 时候 你 要 去 解决 大量 的 但是 非常 相似 的 调度 问题 或者 非常 相似 优化 问题 你 比如说 你 每天 要 解决 大量 的 一模一样 的 问题, 可能 就是 有 一些 地方 出现 了 差别。

每天 吃 什么 饭 啊? 每天 吃

什么 饭, 这个 可能 是 一个 可能 的 例子 吧。 但是 就 比如说 你 每天 USPS 或者说 每天 邮政局 都 包裹 你 都 送到 哪个 地方 去 那么 可能 就 这么些 程式 就 固定 的 对 吧 那 但是 每次 每天 包裹 的 不 一样 今天 可能 类型 A 的 包裹 多一点 每天 类型 B 的 包裹 多一点 或者 后天 可能 就是 节假日 包裹 比较 少 对 吧 所以 说 这些 问题 都 很 相似 但是 又 不 完全 一样 如果 是 完全 一样 的话 那 你 大不了 把 以前 的 昨天 的 策略 拿 过来 再 抄 一个 就 好 了 但是 并 不是 这样 因为 策略 和 策略 就是 它 的 那个 条件 是 不 一样 的 所以 你 还要 重新 再 计算 那么 如果 你 用计 学习 或者 强化 学习 的话 也许 这些 计算 这些 重复 计算 就 可以 去掉 或者说 你 也 可以 通过 过去 的 经验 你 去 更 快 的 获得 更好 的 结 比如说 一个 有 经验 的 调度员 他 可能 看到 这个 情况 他 马上 知道 怎么样 调度 是 最好 的 那么 这个 经验 是 他 根据 过去 比如说 十几年 的 调度 经历 慢慢 学会 的 这样的话 就是 强 化学系 也许 能够 学到 他 的 经验 啊 能够

调度 的 更好 我 是 做 数据库 的 嘛 有 的 时候 我 去 那个 开 数据库 的 会议 就 看 有 的 人 说 提出 未来 的 愿景 因为 数据库 里面 有 有 各种各样 的 这些 indexexecution 嘛 有 的 人 就 认为 我 的 curvemessage 都 应该 做成 强化 学习 啊 数据库 里面 那些 怎么 执行 那些 查询 所有 东西 有 的 人 就 应该 全部 用 这个 强化 学习 取代 啊 然后 那有 的 人 就 很 不 同意 啊 有 另外 的 人 就 认为 这个 现有 的 数据库 技术 做 的 非常 好 我们 为什么 要 重新 把 他们 重新 做 一遍 啊 所以 这 也 是 一个 当然 现在 我们 各个领域 啊, 就 不沾点 机器 学习 啊, 就 觉得 落后 了 一下 啊, 但是 确实 这个 强化 学习 也 出现 在 数据库 领域 也 是 经常 出, 出现 了 一个 词汇

啊, 对, 就是说 这个 其实 在 几年 前 Google 那边 有 是 有 篇文章 的 啊, 是 就是说 做 机器 学习 和 数据库 的 那种 那个 retrieval 的 这样 一个 结合 是 有 的 因为 就 主要 是 就是说 关系 到 就是 哪些 数据 放在 哪些 位置 上, 有些 位置 有些 数据 被 访问 的 非常 频繁, 所以 它 放 的 位置 呢 就 应该 是 更 便于 那个 读取 对 吧, 有些 数据 可能 那个 存放 的 那个 或者说 读取 的 频率 不是 很 频繁, 那么 它 就 应该 把 它 被 放在 一个 比较 并 不是 很 方便 存取 的 角落 里面。 对。 我 记得 他们 当时 好像 是 用 的 是 笔 加数, 在 笔 加数 上 怎么样 做 一个 简单 的 那个 计学 性 模型。 去取

里面 的 数据 那个 好像 不是 强化

对 那个 不 上去 但是 它 至少 能 寄

学习 我 印象 中 在 数据库 领域 还有 很多 人要 把 其他 的 组件 换 为 强化 学习 因为 数据库 你 要 数据 过来 慢慢 的 学 怎么 执行 这些 查询 好 了 我们 扯远 了 强化 学习 能 不能 跟 我们 说 说 具体 的 技术 呢 就是 比如说 我们 大家 对 监督 学习 都 非常 的 了解 了 基本上 神经网 网络 嘛 这样 当然 不是 说 大家 都 会 做 啊 但是 大家 都 大概 怎么 回事儿 的 都 非常 的 了解 那 强化 学习 是 怎么 训练 的 一个 过程 呢 强化 学习 它 有

很多 种类 别 比如说 一个 比较 大 的 类别 就是 model free 的 还有 一个 是 model based 就是说 一个 是 无 模型 的 还有 一个 是 记忆 模型 的 这个 名字 的 中文翻译 其实 并 不是 很 好 所谓 无 模型 还是 有 模型 的 只是 说 无 模型 是 指 它 对于 现实 世界 是 没有 建模 的 比如说 我 就 相当于 我 在 学习 一个 AI 这个 AI 它 对 这个 世界 没有 什么 期望 也 没有 什么 预测 它 只是 根据 本能 在 进行 行动 它 的 本能 就是说 OK 我 成年 网络 我 做 一个 机器人 我 有 个 策略 网络 这 策略 网络 告诉 我 干什么 我 就 干什么 这个 叫 无 模型 的 强化 学习 那么 就是 一 开始 就是说 比如说 之前 的 就是 那个 AtariGames 当时 的 那个 DQN 就是 一个 无 模型 的 计算 学习 方法 之后 的 有 一些 算法 比如说 那个 A2C, A3C 对 吧 还有 像 DDPG 啊 就是 或者说 像 ACAC 这些 都 是 无 模型 就 训练 出来 最后 呢 它 是 训练 出来 一个 策略 网络 那么 这个 策略 网络 呢 我 通过 运用 这个 策略 网络 可以 让 AI 我 可以 让 Agent 在 一个 环境 里面 达到 一个 比较 好 的 效果 阿尔法 狗 算是? 阿尔法 狗 其实 不算 阿尔法 狗 算是 有 模型 的 有 模型 的 或者 应该 这么 说 就是说 它 没有 建模 它 没有 做出 本能 的 这样 一个 决定 就是 OK 我 根据 我 的 策略 网络 我 可以 直接 跑 它 不是 这 样子 它 一定 会 用 现在 的 策略 网络 和 知识 网络 做 搜索 从 本质 上 来说 它 还是 一个 基于 模型 其实 这个 模型 是 给定 的 比如说 是 别人 告诉 你 这个 围棋 是 怎么 下 的 然后 把 这个 模型 放到 你 这个 搜索 里面 去 所以 这个 基因 这是 基于 模型

的 一个 地方 如果说 用 无 模型 比如说 做 围棋 那 可能 就 不 需要 搜索 直接 算 出来 一个点 就

下 对 但是 这个 一般 是 很 难 一般 很难 对 一般来说 无 模型 的 这种 围棋 下 法 总是 有 破绽 因为 他 总是 会 看到 有些 地方 他 的 那个 第一 直觉 是 不 对 的 所以 它 还是 需要 做 一些 搜索 的 你 可能 做 一百次 两百次 可能 都 比 没有 做要 好 很多 它 可以 就是 弥补 掉 一些 非常明显 的 错误 所以 说 类似

于 像 alpha 狗 这种 需要 用 搜索 数 搜 一下 的 这 就 叫做 有 模型 了 对 因为 alpha

狗 这样 用 搜索 数 搜 一下 那种 算 比较 高 一些 的 一般来说 有 模型 的话 就是 甚至 不用 做数 了 你 可能 你 就 直接 就是 用 你 的 模型 去 做 一些 叫 randomrollouts 就 比如说 OK 我 从 当前 的 状态 出发 你 可以 用 一些 那个 叫 randomshooting 这样 的 一个 方法 就是 我 随机 的 走 几步 然后 我 走 若干次 然后 看 哪 一步 做 出来 的 最后 结果 不是 最好 然后 就 选 那 一步, 那么 这样的话 呢 就是说 一定 会 让 大家 说 有些 那个 计划 有些 规划 只是 这种 计划 规划 没有 那么 系统, 就是说 我 随机 规划 一下, 看看 有没有 效果 那么 当然 这个 比 那个 正经 的 搜索 速, 搜索 数 呢 要 质量 要 差一点, 但是 速度 会快 一点 很

有意思 啊, 这是 两种 强化 学习 的 这个 方法 能 不能 给 我们 讲 一 讲 大概 比如说 一个 训练 强化 学习 的 一个 工程师 或者 是 研究员 他 大概 工作 是 什么 样子 我们 知道 一个 普通 的 监督 学习 人员 他 可能 他 把 数据 整理 好 放在 那 然后 就 跑 PyTorch 或者 TensorFlow 跑 一下 看 一下 结果 怎么样 然后 再 跑 一下 再 看 一下 结果 怎么样 调一调 这个 再 跑 一下 那 他 可能 跑 完 一下 这个 模型 做 完 了 然后 就 把 它 部署 到 比如说 应用 的 地方 然后 他 就 做 这个 推理 就 可以 了 那 作为 一个 强化 学习 的 研究员 或者 是 工程师 那 他们 的 工作 日常 工作 会 是 什么样

的 吗 他们 上 工作 也 是 有点 类似 吧 但是 他 其实 有 很多 的 那个 比较 工程 的 部分 对于 一般 的 那个 经济学 系 来说 呢 就是 基本上 框架 都 已经 搭好 了 啊 你 就 把 数据 弄 干净 然后 往里面 一放 就 可以 训练 出来 模型 这个 是 一个 非常 标准 的 流程 啊 但 对 强 化学系 来说 呢 啊 比如说 你 要 把 环境 设好 对 吧 然后 它 跑 起来 然后 同时 呢 就是 你 还要 应付 很多很多 的 其他 的 一些 问题 比如说 模型 不 收敛, 或者说 两次 模型 跑 完 之后 结果 完全 不 一样, 或者说 是 整个 系统 速度 不够 快, 要 不要 怎么样 让 它 起速, 它 有 很多 工程 和 科研 夹杂 的 一些 任务, 这个 其实 就 比 那个 有机 论 学习 要 困难 很多, 因为 强化 学习 到 现在 为止 呢, 就是说 算 它 的 那个 学习 算法 并 没有 特别 的 那个 稳定, 或者说 没有 特别 那个 鲁邦。 所以 有些 时候 比如说 你 跑 个 5 次 你 可能 会 有 完全 不 一样 的 结果 这是 一个 比较 正常 的 现象 所以 强 化学系 有 这样 的 一个 问题 那

工作 也 大概 都 是 拿 一些 数据 来 跑 一下 PyTorch 或者 TensorFlow

然后 看一看 你 要 这么 说 那 大家 都 是 这样 了 但是 它 可能 有 很多 工程 部署, 甚至 要 想 怎么 把 它 变快, 怎么样 让 它 变得 跑 得 更好, 会 不会 稳定, 用 什么样 的 方式 能够 比如说 改变 Environment 的 执行 速度, 或者说 改变 算法 的 迭代 的 速度, 或者说 算法 的 一些 参数 这些 都 要 改。

那 这个 模拟器 这部分 算 强化 学习

研究 的 一部分 吗? 就是说 传统 上 来说 不算, 因为 模拟器 是 给定 的, 但是 现在 也 有 一些 相 关系 的 方向 是 开始 对 这 模拟器 要 下手 了, 就 比如说 我 可以 就是 所谓 基于 模型 的 那个 modelbasedapproach, 那 你 可以 把 模拟器 换掉 换成 一个 用 神经网络 计算 出 模拟 结果 的 这样 一个 神经网络 的 那个 对于 世界 的 建模 叫 worldmodel 那么 这样的话 呢 你 就 会 有 一个多 一个 东西 出来 就 像 你 这里 有 三个 东西 一个 是 一个 是 策略 网络 一个 是 直 网络 你 可能 还有 一个 就是 对于 这个 世界 的 建模 这是 一个 叫 前线 网络 或者 叫 世界 modelworldmodel 那么 有 这些 东西 之后 呢 你 就 有 三个 东西 要 玩 了 所以 每个 东西 有 不 稳定 的 地方 就 更 难 这 是 一个 很大 的, 那么 这个 时候 就 没有 模拟器 了 就是 用 这个 Word 模拟器 去 建模 这个 世界 这样的话 你 就 可能 会 对 这个 世界 有 更 大 的 自由度 就是 跟 那个 Museo 是 一样 的

就是 连 这个 世界 的 模型 都 不用 给 建 了 他 都 给 可以 办 自动化 的 做 出来 了

但是 这个 很难 这 就是 为什么 强化 器 现在 没有 办法 落地 的 一个 大 的 原因 就是 这个 worldmodel 很难 控制 它 的 精度 现在 比如说 最近 AlphaFold 它 为什么 那么 火 就是 因为 它 对于 经济学 系 的 人 来说 它 其实 提供 了 一扇 跟 现实 世界 的 接口 就是 我们 现在 知道 了 那个 是 蛋白质 的 那个 结构 呢 我 可以 通过 这个 模型 预测 出来 而 不是 说 是 需要 人工 去 做 实验 把 这 蛋白质 的

模型 算 出来 所以 那个 也 算是

一个 对 这个 在 我 的 眼睛 里面 我 觉得 这 也 是 算 我 的 model 就是 因为 这样的话 他 就 对 这个 现实 世界 有 非常 精确 的 建模 了 那 接下来 很多

事情 可以 做 这个 非常 厉害 以后 可以 用 这个 AI 把 世界 建模 出来 啊 我们 是 什么 都 可以 做 摩擦力 啊 什么 都 是 小事

但 这个 也 很 难, 我 觉得 可能 Mortari 可能 还 更 难 一点

DNA 还是 蛋白质 还要 更难 但 DNA

的 造型 已经 做 出来 了, Mortari 有 很多 的 因器, 不同 的 材质, 不同 的 什么 都 会 影响 到

它 那 我们 这个 田 博士 说 了 好多 强化 学习 现在 的 方向 那能 不能 跟 大家 说 一下 大概 总的来说 强化 学习 这个 领域 未来 的 这个 大家 的 愿景 或者说 大家 比如说 你 去 开会 啊 那些 大佬 都 会 说 我们 未来 往 什么 方向

走 呢 对 愿景 当然 是 有 很多 吧 具体来说 呢 我 觉得 应该 有 两到 三点 吧 就是 一个 呢 就是说 就 跟 他 刚才 说 就是 他们 我们 怎么样 能够 把 世界 建造 好 这 是 一个 很大 的 问题, 就是 世界 建模 的 好 呢, 就是 你 每 建模 好 一个 世界, 这个 世界 就 会拉到 模拟 世界 里 来, 然后 你 现在 拉 到 模拟 世界 来 了 之后 呢, 那 你 想要 怎么 搞 就 怎么 搞 了, 对 吧, 你 可以 使用 大量 的 计算资源 啊, 就 会 获得 一个 更好 的 一个 一个 一个 一个 一个 结果, 或者说 更好 的 策略 啊, 这样的话 你 就 会 非常 的 方便, 那么 就是 有 多少 东西 能 拉进来, 它 能 解决 多少 问题, 怎么 对 设计师 们 怎么 建模, 就 可能 要 归结到 比如说 新 的 网络结构, 或者说 新 的 有 线路 学习 的 一些 方法, 或者说 无 线路 学习 的 一些 方法, 那么 这个 其实 是 一个 很大 的 问题, 也 是 一个 口子。 那么 第二个 呢, 就是说 你 要 解决 就是 数据 不足 的 问题, 因为 强化 信息 需要 很多很多 数据, 就 比如说 Alpha 或 说 比如 Alpha0 这样 的 我 这边 也 浮现 过 浮现 过 的话 我 就 知道 就是 你 需要 20 块 GPU 训练 一个 两个 礼拜 在 过程 中 你 可能 需要 比如 你 会 得到 比如说 几个 Million 或者 10 个 Million 的 这样 一个 对局 那 很多很多 对局 那么 那么 那么 多 对局 是 为什么 就是 通过 这个 对局 可以 得到 很多很多 数据 然后 去 去 喂给 那个 机器 那么 所以 强 化学系 就 需要 大量 的 数据 去 训练 它 这 是 很大 的 一个 问题 但是 人 在 做 这样 的 一个 学习 的 时候 是 只 需要 一点点 训练项目 就 可以 了 所以 这有 很大 的 鸿沟 这 鸿沟 怎么 解决 不 知道 所以 接下来 就是说 我们 怎么 去 设计 一些 学习 起来 非常 有效率 的 算法 能够 让 强化 学习 很快 能 完成 那么 这个 又 是 很大 的 问题 所以

媒体 经常 说 这 AGI 叫 什么

对 就是 ArtificialGeneralIntelligence 这个 是 他们 的 一种 说法 但是 这个 名字 就 非常 虚 就是说 非常 虚 的 意思 就是说 我们 知道 这个 事情 应该 是 能够 实现 的 就是 人脑 就是 名正 但是 怎么 实现 的 并不知道 就是说 现在 还

非常 的 遥远 只不过 是 这么 一个

方向 对 现在 确实 还 不好 说 因为 我们 现在 连 同样 它 的 途径 都 不 知道 所以 就 没有 办法 说 一定 要 走 过去 所以

现在 只不过 还是 在 说 能够 减少 数据量 的 这么 一个 阶段 是 吧

对 就是说 怎么样 去 减少 那个 训练样本 的 数据量 怎么样 在 那个 更少 的 训练样本 下会 得到 更好 的 结果 这 很 难 这 对 强 化学系 来说 是 很大 的 一个 问题 因为 现在 所有 强 化学系 的 成功 都 是 通过 数据 堆 出来 的 所以 这个 是 很大 的 一步 当然 了 现在 可以 更往 上 来说 就是 现在 所有 的 深入 学习 成功 都 是 数据 堆 出来 的 所以 怎么样 让 数据 量变 少, 能够 让 在 小 数据 上 能够 有 更好 的 结果, 这个 都 是 不好 讲 的, 现在 都 是 questionmark。 这方面 就是说 你 要 去 理解 这个 生命 学习 的 工作 原理 了, 这是 另外 一个 问题。 那么 这 方向 还要 跟 这个 结合 起来, 就是说 现在 可能 又 有 一个 方向 叫 强化 学习 有 一个 叫 offline 的 reinforcement, 就是 离线 强化 学习, 就是 完全 不用 模拟器, 我 就 只 拿到 一些 就是 数据, 一些 就是 用 模拟 术 得到 的 数据, 那么 我 对 模拟器 是 一点 都 沾 不 上 了 就 没有 办法 access 模拟器 那么 在 这种 情况 下 为什么 要 训练 出 一个 更好 的 策略 来 这个 是 另外 一个 一个 设定 这个 设定 其实 也 是 一样 你 还是 要 找到 一个 更好 的 方法 能够 你 用 更 小 的 数据 来 获得 一个 更好 的 策略 这个 也 是 一个 很大

的 一个 方向 没有 模拟器 为什么 会 叫 强化 学习 呢 它 还是 对

它 听 起来 像 那个 越来越 像 有 限度 学习 了 对 吧 但是 他 的 目的 最终 还是 希望 我 训练 出来 的 策略 能够 在 有 模拟器 或者说 正式 情况 下能 做 得 更好 所以 他 的 目的 是 跟 那个 平衡 学习 还是 有 一点 不

一样 好 那 我们 就 说 了

三个 方向 对 吧 对 一个 是 就是 对 世界 的 建模 对 吧 第二个 是 如何 去 比如说 那个 降低 样本 的 复杂度 如何 用 更 少 的 样本 获得 更好 的 策略 不用

这个 20 块 GPU 算 两 星期

了 对 不 对 对 对 这个 不 需要 对 那么 最后 一点 就是说 怎么样 就是 用理线 的 数据 然后 去

学到 更好 的 策略 我们 最后 我们 会 问 每 一个 嘉宾 一个 问题 就是 如果 有 哪个 听众 想要 做 这方面 进入 这个 领域 比如 他 要 作为 强化 学习 的 工程师 或者说 是 研究员 那 他 应该 做 什么 方面 的 准备 呢 应该 学 一些 什么 东西 或者 甚至 做 一些 哪 方面

的 工作 对 我 觉得 如果 要 进入 这个 领域 其实 一个 很大 的 问题 就是说 你 可能 先 要 比如说 从 别人 已有 的 代码 出发 对 吧 然后 想 办法 去 复现 别人 的 工作 或者 想 去 playwith 别人 的 code 去 玩 一玩 别人 的 代码 然后 去 体会 一下 他们 每个 人 的 问题 这是 一个 然后 可能 用 这些 已有 的 代码 或者说 已有 的 经验 知识 去 解决 一个 简单 的 问题 比如说 这样 的 一些 可能 的 方向 这样的话 可能 对 这 东西 的 了解 会 比较 深入 跳棋 做 一下 啊 啊 对 可以 做 就是 像 跳棋 它 的 那个 空间 就 比较 小 了 啊 没有 那么 大 啊 就 比如说 你 可能 每个 字 只能 走 两到 三种 选择 没 可能 啊 所以 这种 棋 相对来说 就是 可能 可以 做 可以 试试看 可能 会 有 一些 就让 你 做 完 一个 这样 的 项目 之后 呢 就是 对于 这个 问题 有个 直观 定性 的 了解 你 可以 比较 定量 的 一个 一个 知识 也 会 有 那么 在 这 上面 呢 就是说 可以 看 文章 啊 可以 去 思考 别人 怎么 去 思考 这个 问题 那么 在 这 上面 咱们 再 去 看 怎么样 创新 这是 一条 路 那么 这 是 要 科研 的 路 还有 一条 就是说 怎么样 把 它 变成 一个 工程 的 就 比如说 我们 做 的 是 要 落地 的 那就是说 我们 对于 具体 问题 拿 过来 比如说 调度 这种 问题 你 可以 用 一下 你 以前 有 的 强化 学习 工具 然后 看 它 是不是 有效 然后 有 什么 问题 在 哪里 那么 再 去 做 一些 分析 如果 有 分析 能力 的话 那么 就 在 这种 情况 下 就 可能 会 有 得到 一些 自己 的 想法 自己 的 思路 那么 用 这些 思路 去 解决问题 是不是 解得 更好 呢

那么 就 可以 了 今天 我们 的 田 博士 来 给 我们 介绍 了 深度 学习 从 阿尔法 狗 开始 然后 讲 到 阿尔法 狗 是 怎么回事 然后 讲 深度 学习 是 什么 然后 讲 深度 学习 的 未来 的 愿景 还有 我们 的 技术 然后 如果 要 做 这方面 应该 从 什么 地方 开始 所以 非常感谢 我们 的 田 博士 来到 我们 的 节目 给 我们 做出 非常 专业 的 科普 所以 感谢 收听 我们 的 牛肉 果课 本报 节目 希望 我们 的 节目 请到 各大泛 用型 布荷 平台 收听 和 订阅 有 什么 想 说 的 可以 去 我们 可以 留言 的 地方 以及 听友群 进行 讨论 好 那 我们 就 后会有期 下期 再见 拜拜