#62. 将AI算法转化为应用——机器学习平台

将 机器 学习 应用 在 实际 产品 中 仅仅 有 好 的 算法 是 不够 的 还 需要 有 强大 的 系统 平台 支持 机器 学习 的 系统 平台 不仅仅 将 算法 转化 为 实际 的 产品 还 帮助 大型 团队 协同 开发 和 维护 机器 学习 的 生产 系统 今天 我们 的 嘉宾 就 来

聊 一聊 机器 学习 平台 機器 學習 平台 它 的 目的 就是 讓 大家 建 模型 找 數據算 特徵 更加 方便 這就 涉及 到 一個 更加 徹底 的 刪除 用戶 要求 刪除 的 數據 你 得 追 蹤 這 些 模型 是 什麼 時候 訓練 的 這個 模型 用 了 哪些 輸入 數據然 後 這個 模型 的 輸出 有 可能 被 另外 一個 模型 用 了 那麼 另 一個 模型 也 會 有 問題 這 裏 是

牛油果 烤 麵 包 大家 好 我 是 苏特 亚特 我 是 尚恩 今天 我们 又 回到 了 久违 的 AI 话题 今天 我们 又 请 到 了 我们 之前 来 给 我们 讲过 搜索 的 我们 的 嘉宾 现在 在 做 机器 学习 平台 的 宏诚来 给 我们 讲 一 讲 机器 学习 平台 大家

好 我 是 宏诚 非常高兴 再次 做客 悠悠 果 烤面包 这个 节目 跟 大家 聊一聊 机器 学习 平台 讲 到 机器

学习 平台, 我 在 想 就是 我们 之前 其实 聊过 很多 机器 学习, 也 请 了 很多 孙博士, 聊过 说 机器 学习 用来 做 落地 是 跟 传统产业 去 结合, 也 有 说 机器 学习 用来 做 自然人 处理, 也 有 说 用来 做 同样 识别, 那么 平台, 我们 说 到 平台, 那么 就 会 跟 他 对比 说, 那 我 没有 这个 平台, 我 一个 人 做, 那么 平时 一个 人来 做 这个 机器 学习 的 时候, 大概 是 个 什么样 的 步骤?

这个 问题 非常 好, 就 说 你 做 机器 学习 的 目的 是 什么? 你 无非 就是 要 训练 一个 模型 出来 然后 用 这个 模型 做 一些 事情 如果 你 一个 人 做 了 你 就 可以 用 一些 现有 的 工具 现在 的 生态系统 是 非常 发达 的 你 就 可以 用 现有 的 工具 找些 数据 然后 自己 在 自己 的 甚至 在 你 的 笔记本电脑 上 就 可以 训练 一个 模型 出来 你 就 完成 了 整个 模型 训练 的 过程 然后 你 再 把 你 的 模型 放到 你 的 线 上 服务 或者 放到 其他 地方 让 他 去 接受 输入 产生 输出 就 完成 了 整个 可以 说 机器 学习 平台 做 的 事情 但是 你 是 在 一个 人 的 基础 上 做 的 你 做 的 规模 比较 小 我们 曾经

去年 有 一期 节目 我们 请 到 了 张一飞 给 我们 讲 了 推荐 系统 我们 当时 用 了 一个 例子 就是 我们 如果 要 做 一个 抖音 短 视频 的 克隆 我们 怎么 推荐 这个 短 视频 能 不能 继续 用 这个 例子 我们 听过 这期 节目 的 可能 比较 熟悉 如果 我们 要 做 一个 抖音 短 视频 的 推荐 我们 会 有 几部 呢 我 一个 人

就 做 这个 事情 我 觉得 我 很 厉害 我 可以 抄抖音 那么 他 还 会 做 哪些 事情 呢 可以

可以 像 的话 如果 像 来 做 这件 事情 的话 就 做 不成 了 是 吧 肯定 做得成 因为 这些 是 有 现成 的 一些 步骤 可以 去 学习 的 然后 按照 现成 的 步骤 走 就行了 所以 我们 想 回到 机器 学习 的 本质 它 机器 学习 现在 的话 就是 主要 是 三个 要素 它 有 算法 模型 和 这个 数据 那么 其实 算法 这些 都 已经 很 成熟 了 有 一些 继续 学习 研究者 开发 了 各种各样 的 算法 然后 怎么 训练 一个 模型 怎么 表示 一个 模型 这个 模型 有 哪些 算子 啊 有 哪些

结构 啊 稍微 给 不太熟悉 的 听众 解释一下 啊 就是 个 函数 那个 叫 算法 那 模型 是 什么 东西 呢

模型 的话 在 这里 代表 的 是 说 这个 函数 应该 大概 长 什么 样子 它 有 哪些 参数 这个 函数 呢 你 可以 是 一个 数 模型 是 吧 我们 叫 这个 决策 数 这 是 一种 模型 这个 模型 长 这个 样子 他 就 决定 了 说 他 有 哪个 参数 你 在 这个 定 下来 的 模型 长 什么 样子 基础 上 再 去 训练 拿到 这些 参数 你 有 可能 是 一个 回归 模型 或者 线性 模型 你 来 决定 模型 就 决定 了 模型 长 什么 样子 然后 决定 了 后来 你 怎么 大概 怎么 训练 这个 模型 怎么 得到 这些 参数 的 值 我们 可以 这样

理解 这个 问题 就是 如果说 算法 是 一个 输入 到 输出 的 函数 输入 可以 就是 这些 比如说 我们 用抖音 这个 例子 输入 可以 就是 所有 的 视频 的 特征 和 我们 这个 用户 的 特征 输出 就是 给 你 推荐 那个 视频 这个 简单 的 算法 可能 就是 比如说 输入 是 xy3x 加 4y 就是 我们 的 输出 比如说 那 3 和 4 就是 这个 模型 如果 换成 5 和 6 这个 模型 就 换成 了 5 和 6 是不是 可以 这样 理解

这件 事 其实 这里 对模型 的 理解 还是 有些 偏差 了 三 和 四五 和 六 都 是 模型 的 参数 你 把 三 和 四 换成 五 和 六 其实 你 选择 的 还是 同样 一个 模型 这个 模型 说 有 两个 参数 而且 它 是 要 用 线性 的 方式 加 起来 把 ax 和 y 但是 你 可以 选 另外 一种 模型 这个 模型 就 比较 特殊 了 它 说 三 乘以 x 的 平方 加上 四 乘以 y 的 平方 这个 模型 就 涉及 到 二次 项 了 不单单是 线性 的 你 选择 了 更 复杂 的 模型 模型 就是 写

下来 的 那个 函数 可以 这么 认为

对 这个 函数 长 什么 样子 你 不能 说 我 有 个 函数 我 也 不 知道 它长 什么 样子 那 算法 就 无所适从 不 知道 怎么 去 训练 这些 参数 了 你 至少 得 告诉 他 说 我 这个 函数 大概 有 一万个 参数 这 一万个 参数 跟 你 的 输入 大概 怎么 结合 起来

的 所以 模型 就是 一个 函数 的 一个 这个 框架 里面 有 一些 参数 没有 定 算法 就是 能够 帮 这个 模型 把 这个 参数 定 下来 对 啊 那 数据 又 是 什么 东西

呢 数据 就是 你 这些 参数 的话 你 可以 随便 给 他们 一些 值 你 就 拿到 一个 最终 产出 的 模型 注意 这里 的 模型 是 说 最终 产出 的 所谓 的 参数 都 有值 的 一个 模型 一个 实实在在 可以 用 的 模型 但 这个 模型 的 性能 可能 很 糟糕 因为 你 是 随便 给 的 参数 那么 你 就要 用 一些 已知 的 数据 去 让 这些 参数 来 更好 的 符合 已知 的 数据 比如说 已知 的 数据 在 x 等于 3y 等于 4 的 时候 它 的 答案 应该 是 7 这 就是 已知 的 数据 那么 你 的 参数 最好 是 能够 解决 已知 的 数据 的 基础 上 才 去 预测

未知 的 数据 比如说 我 现在 还是 念念不忘 我 的 抄袭 抖音 的 事业 是 吧 我 现在 可能 搞出 搞 到 一些 数据 比如说 用 iPhone 的 在 上午 10 点 他 如果 是 个 男 的 的话 那么 看 这个 视频 他点 赞 了 很多 这样 的 数据 就 来 放进 那个 模型 里面 去 希望 模型 能够 变成 一个 把 那些 参数 都 能够 找到 之后 就 说 我 现在 新来 了 一个 人 在 上午 4 点 然后 是 个 男 的 用 了 iPhone 他 在 看 这个 视频 那么 你 可以 告诉 我 说 他 会 不会 点赞 对

对 你 用 这些 数据 去 训练 这个 模型 模型 的 参数 就 会 改变 随着 这些 输入 的 数据 改变 然后 呢 你 如果 把 这些 数据 拿来 作为 输入 给 这个 模型 它 的 输出 就 越来越 接近 你 想要

的 输出 所以 整个 这个 过程 就 叫做 训练 是 吧 就是 训练 就是 算法 使用 数据 把 模型 给 做

完整 了 对 达到 一个 对 参数 找到 一个 参数 的 比较 优 的

那 听 上去 这 事 好像 如果 我 假使 我够 有钱 我 买 了 一台 很 好 的 电脑 然后 买 了 什么 309ti 的 显卡 那 我 是不是 一个 人 这事 就 完 了 呢 就 干嘛 要 停台 呢 对

你 一个 人 做 这件 事情 你 可以 买 很多 GPU 买 更好 的 机器 训练 更大 的 模型 没有 问题 但是 呢 一个 人 做 的 事情 是 有 上限 的 这个 体现 在 两个 方面 你 的 资源 是 有限 的 比如说 有些 公司 它 可以 花

10 亿美元 实际 这 就 比 不过

比 不过 最 先进 的 机器 然后 它 就 可以 训练 更大 的 模型 你 一个 人 是 做 不到 的 资源 是 有限 的 第二个 个人 的 局限 在于 你 的 精力 只有 那么 多 你 的 时间 只有 那么 多 而 开发 模型 是 一个 探索 的 过程 你 的 模型 有 很多 所谓 的 这个 超 参数 你 的 模型 有 几层 呢 比如说 它 是 一个 深度 模型 是不是 三层 一定 比 两层 好 了 四层 已经 比 三层 好 了 不见得 然后 你 这个 模型 里面 具体 有些 结构 长 什么 样子 然后 呢 你 的 输入 数据 我 应该 用 处理 过 的 处理 前 的 或者说 我 处理 的话 用 这种 方式 处理 还是 那种 方式 处理 这是 一个 很大 的 一个 探索 空间 的 你 一个 人 每天 24 个 小时 你 做不了 那么 多 事情 所以 说 在 公司 里面 开放 一个 这个 线上 用 的 用于 生产 系统 模型 是 一般 是 很多 人 协作 的 比如说 20 个 工程师 开发 一个 模型 这个 模型 有 1 个 参数 有 几百个 输入 的 数据源 然后 模型 本身 也 很 复杂 训练 需要 好多天 这 都 是 需要 人力 和 机器 资源 的 你 一个 人 做 不到 所以 说 就是说

一般来说 做 机器 学习 的 一个组 就是 第一个 人 说 我 的 模型 要 几 X 加几 Y 第二个 人 说 我 要 X 加 Y 平方 啊 第三个 人 说 要 X 平方 加 Y 是 吧 他们 各个 试一试 看看 谁 的 可以 然后 他们 就 上线

了 对 你 一个 人摊手 的话 你 要 一个 一个 选项 的 试 这个 是 很 费时间 的 效率 不够 高 大家 一起 是 并行 的 试 最好 的 那个 很快 就 站 出来 了 然后 我们 就 可以 上线 了 那

我 假使说 我 跟 投资人 谈 了 谈 他们 觉得 现在 抄抖音 还是 有 前途 是 吧 我 拿 了 一大笔钱 那么 我 就 招 了 很多 很 优秀 的 人 是 吧 然后 一人 一台 MacPro 他们 就 在 那边 克制 克制 的 算了 那有 什么 问题 呢 为什么 还 需要 一个 平台 来 解决 这个 问题 呢 大家 自己 管 自己 的 就 好 了 呗 每个 人 10 亿美元 吗?

这个 问题 很 有意思 啊, 你 可以 这么 做, 嗯, 但是 呢, 这 里面 会 有 一些 瓶颈, 比如说 你 让 这 20 个 工程师 怎么 分工, 他们 是 自己 想 探索 自己 的 想法, 训练 一个 新 的 模型 呢, 还是 他们 共同 探索 一个 模型, 每个 改 一个 部分, 或者说 改 一些 输入 的 数据 啊, 改进 一些 输入 数据 啊, 改进 模型 的 某些 某个 结构 啊, 这是 两个 不同 的 方向 啊。 如果 他们 各自 训练 一个 模型 然后 训练 个 20 个 模型 出来 那 你 怎么 把 它们 组合 起来 了 你 最终 上线 只能 有 一个 是 吧 难道 你 扔掉 19 个选 一个 最好 的 那 你 就 会 把 另外 19 个人 的 努力 浪费 了 是 吧 如果 他们 共同开发 同一个 模型 改 不同 的 部分 那 部分 不 之间 会 不会 相互影响 呢 然后 会 不会 有 冲突 呢 你 说 我 的 这个 输入 数据 我要 按照 这种 方式 处理 他 说 要 按 那种 方式 处理 应该 用 哪 一种 方式 呢 这 都 是 一些 需要 一些 流程 至少 需要 一些 流程 来 支持 的 你 如果 用 流程 来 支持 的话 就 会 需要 一个 人去 做 这些 事情 把 这些 20 个人 的 工作 组合 起来 如果 你 把 它 自动化 的话 你 就要 需要 软件系统 去

支持 了 他们 这些 人 的 工作 仅仅 是 就是 调 模型 吗? 还有 什么 在 就是 调 模型 之外 的 一些 工作 吗?

他 还 可以 做 一些, 就 刚才 提到 机器 学习 三要素 了。 他们 调 模型 的话, 改 模型 参数 的话, 属于 就是 模型 这 一块 了。 他 也 可以 去 开发新 的 算法, 但 这 一块 比较 难。 他 开发 一个 新 的 训练 算法, 把 以前 训练 一个 星期 现在 变成 一天。 然后 训练 出来 的 找到 参数 结果 更优 但 这些 主要 是 研究者 做 的 事情 一般 我们 做 工程师 的 不 太 涉及 到 第二个 方面 就是 更 重要 的 方面 是 改 数据 我 让 数据 进来 数据 更加 的 可靠 比如说 我 把 里面 的 噪声 去掉 然后 我 做 一些 处理 现在 有个 词 叫 ETF 就是说 处理 数据 的 流程 这是 一个 方面 另 一个 对 数据 改进 数据 质量 就是 让 它 更 实时 用户 点 一个 什么 视频 比如说 抖音 上点 视频 他 马上 这个 反馈 就会 反归到 模型 里面 说 原来 这个 人 喜欢 这种 视频 那 我 就 给 你 多 给 你 推 一点 如果 你 改进 数据 的 实时性 也 是 一个 很大 的 进步 所以 说 你 可以 改进 数据 的 质量 改进 数据 的 实时性 也许 数据 你 可以 引入 更 多 的 数据 你 会 以前 没有 抓到 的 数据 再 把 它 抓 过来 结果 发现 它 对模型 有 帮助 实际上 就 我 所知 的话 机器 模型 的 改进 更 多 的 非常 大 的 一部分 是 来自 于 数据 要么 数据 本身 你 可以 拿到 更 多 数据 要么 你 处理 数据处理 的 更好 刚刚 说 的

三要素 模型 算法 和 数据 大家 都 是 共享 都 是 在 弄 一个 东西 像 比如说 像 我 写 代码 那么 大家 在 同样 一个 代码 库 里面 写 东西 那 相当于 是 你 要 提交 提交 完 之后 别人 要 把 你 的 改动 下载 下来 之后 在 你 的 基础 上面 继续 做 比方说 在 机器 学习 领域 也 是 一样 就是说 你 怎么 让 一个 人 在 另外 一个 人 基础 上 在 模型 的 改进 上面 也好 算法 改进 上面 也好 数据 改进 也好 以 他

为 基础 再 继续 往前走 对 这个 说 的 很 对 这 20 个人 的话 可以 采用 这样 一种 协作 模式 这种 写作 模式 跟 传统 软件开发 有点像 了 传统 软件开发 你 就 需要 一个 代码 的 版本 管理软件 大家 在 上面 开发 是 吧 自己 做 测试 然后 把 你 的 改进 再 集合起来 但是 你 这 20 个人 他们 每个 人 一台 MacBook 是 吧 一台 笔记本电脑 可能 功能 很 强大 然后 他们 要 在 笔记本 上面 做 什么 事情 他 可能 下载 一些 开源 的 基础 学习 的 库 比如说 PyTorchTensorFlow 然后 自己 做 这些 事情 如果 现在 我 成立 另外 一家 公司 给 你 竞争 的话 我 就 不想 采用 这种 模式 说实话 我会 把 20 台 MacBook 集合起来 作为 一个 共享 的 资源 然后 我 让 这些 搭建 基础 软件 这 一步 找 几个 专门 的 工程师 做 了 就行了 他会 把 PiTorch, Tensorflow 在 你 的 机器 上 搭建 好 其他人 直接 来 用 就行了 然后 这 20 台 Mac 可以 作为 一个 clust 可以 做 一个 集群 它 可以 训练 更大 的 模型 他们 可以 协作 这个 就 比 20 个 工程师 各自 用 一台 机器 更加 高效 了

我 插 一句 啊 就 我们 刚才 提到 了 ETL 啊 我们 听众 听到 这个 词 的 时候 应该 是 在 前面 一集 已经 学到 这个 词 了 啊 我们 在 这个 数据仓库 这集 已经 讲到 了 ETL 啊 并且 讲到 了 和 机器 学习 可能 的 关系 啊 我们 有 兴趣 的 听众 可以 回去

听 一 听 呵呵 那 我 刚才 就是 在 想 一个 问题 啊 既然 说 跟 我们 平时 写 代码 的 时候 代码 共享 是 有点像 那 我 在 想 代码 共享 的 时候 其实 像 我们 平时 写 代码 最 头疼 的 就是 啊 你 快 写 完 了 之后 你 想要 核到 整个 代码 库 里面 去 然后 你 把 别人 的 改动 一 下载 发觉 有 很多 的 冲突 别人 改了 代码 这 行 代码 你 也 改 这行 代码 然后 你 会 看到 啊 说 啊 其实 是 有 冲突 那么 你 需要 去 想 哎 我 怎么 把 他 的 那个 变化 和 我 的 变化 放在 一起 然后 跑 一遍 程序 说 啊 跑 通 了 那 我 知道 这 冲突 我 解决 了 那 我 就 扔出去 那么 像 机器 学习 来说 那么 当 大家 开始 工作 在 一起 的 时候 会 不会 也 是 说 哎 我 跟 你 是 有 冲突 的 那么 这个 冲突 是 怎么 发现 或者

怎么 解决 的 这个 问题 非常 好 就是 跟 传统 软件 很 相似 的 一点 地方 就是 大家 改动 可能 会 有 冲突 然后 改动 叠加 起来 可能 会 带来 一些 意想不到 的 效果 比如说 你 的 你 改进 了 1% 我 改进 了 2% 然后 加 起来 根本 不到 3% 说不定 都 可能 是 负 的 这个 怎么办 呢 这 也 是 很 头痛 的 问题 了 这 1%

2 就 相当于 说 比如说 我要 提高 抖音 短 视频 的 点 赞率 是

吧 对 对 这个 有 可以 用 终端 的 一些 指标 来 测量 你 这个 改进 的 百分比 然后 说 到 这个 改进 的 冲突 的话 一般 的 做法 就是 我 可以 找 一个 人 然后 把 这 20 个 工程师 的 改进 你 告诉 我 你 有 什么 改进 打个 patch 然后 加 到 这个 模型 里面 然后 20 个 补丁 都 设计 起来 以后 我 就 可以 重新 训练 一个 模型 然后 呢 跟上 一个 版本 比看 改进 有 多 大 我们 就 可以 拿到 一个 结论 说 这 20 个 改进 在 一起 能 改进 多少 但 这 里面 有 很多很多 坑 了 比如说 你 发现 20 个 改进 加在一起 远不如 他们 各自 说 的 改进 这个 怎么办 呢 这些 我 觉得 就 我 粗浅 的 知识 来说 的话 还是 需要 人来 解决 这个 问题 的 因为

互相 责怪 一定 是 以 师害 群

之 吧 对 对 这里 对 这种 大规模 的 机器 学习 模型 开发 的话 确实 会 给 这些 工程师 带来 一些 竞争 的 关系 那 为什么 要 把

他们 同时 上线 呢 不能 一个 一个

来 吗 上线 是 一个 有 这个 代价 的 过程 呢 比如说 你 做 这个 运维 的 同学 运维 的 工程师 就 会 费心 费力 的 去 测试 这个 模型 啊 本来 这个 模型 你 发布 的 时候 也 会 做 自己 的 测试 是 吧 这些 会 需要 消耗 资源 的 然后 上线 的 过程 的话 也 需要 人去 看 是 吧 上线 本身 也 是 一个 有 风险 的 过程 你 把 一个 模型 上线 发现 不 对 啊 这个 模型 的 输出 跟 你 意想 的 完全 不 一样 啊 有 这种 情况 或者 对 某些 输入 产生 了 意想不到 的 结果 你 的 公司 的 这个 营收 啊 刷刷 刷掉 这 都 是 风险 所以 说 上线 是 有 代价 的 如果 每个 人 做 一个 小 改进 都 上线 一个 模型 版本 的话 这个 代价 是 非常 大 的 所以 最好 要 避免 这些 情况 我们 知道 现在 的

各个 公司 啊 不仅 互联网 公司 啊 所有 公司 啊 基本上 在 发布 一件 一个 产品 之前 都 会 做 对比 测试 对 吧 对 或者 叫 ABtest 那 如果 做过 对比 测试 了 就是 每 一个 模型 单独 都 有 一个 提高 的 比例 了 那 还有 这个

问题 吗 你 说 的 是 呃 每个 工程 是 自己 的 改进 知道 自己 改进 的 比例 是 吧 还有 必要 把 它 加在一起 再 测试 一遍

吗 对 啊, 就是说, 呃 那 我们 按照 每个 工程师 自己 对比 测试 的 结果 就 放在 一起, 只要 没有 更差, 那 就 OK 了 嘛。

你 可以 这么 认为 吧, 怎么 说 呢? 因为 这个 机器 学习 这个 现在 来说 的话, 越做越 复杂, 参数 越来越 多, 模型 越来越 大, 它 处于 一种 不太能 解释 的 状态 了。 但是 呢, 你 如果 把 所有 的 改进 加在一起。 然后 你 的 结果 又 不能 达到 他们 之前 各自 的 测试 结果 加起 的 状态 那么 你 就 会 作为 一个 理性 的 团队 啊 你 会 想 说 我 要 解释 这个 事情 确保 他 没有 问题 如果 你 有 10 个 改进 然后 各自 有 1% 加 起来 以后 只有 1% 或者 2% 你 会 怀疑 这个 事情 会 不会 这个 模型 有 问题 呢 都 是 很 有 风险 的 事情 所以 这个

就是 现在 机器 学习 平台 还 没有 解决 的 一个 很大 的 挑战 就是 如何 能够 把 改动 放在 一起 能够 让 他们 知道 是 谁 是 害群之马 谁 是 最 优秀 的 我们 刚才 说 了 很多 的 关于 这个 不同 的 工程师 协同工作 如何 配合 的 这个 问题 那么 人多 了 之后 还有 什么

其他 问题 吗 我 觉得 还有 一个 问题 就是 资源共享 了 就 像 我 刚才 也 说 提到 了 SHELLON 的 团队 有 20 个 工程师 然后 20 个 工程师 都 要 去 训练 模型 然后 这些 模型 有 不同 的 种类 需要 不同 的 基础 软件 库 比如说 比较 著名 的 有 这些 PyTorchTensorFlow 甚至 还有 一些 比较 传统 的 软件 数据库 比如说 SVMLite 或者 XGBoost 这样 的 软件 库 比如说 如果 作为 一个 对 机器 学习 领域 比较 熟悉 的 工程师 他会 去 找 这些 软件 安装 在 自己 的 工作 电脑 上 然后 他 训练 模型 的 时候 就 可以 用到 然后 这 里面 这是 其一 其二 的话 他会 独占 自己 的 电脑 是 吧 他 用 他 的 电脑 来 训练 一个 模型 这是 其二 这里 有 一个 问题 有 一个 不太 高效 的 地方 就是 他们 重复 做 了 很多 事情 他们 去 下载 一些 软件 搭建 自己 的 积蓄 学习 的 环境 这是 重复 的 劳动 第二个 就是 他们 没有 共享 硬件资源

那 你 刚才 提到 这个 问题 啊, 我 就 在 想, 就是说 这 问题 有 多 大 呢? 比如说 MacPro 可能 对于 一个 公司 来说 也 不是 特别 贵嘛, 那么 那么 一人 一台 其实 也 是 能够 负担得起。 我 还 蛮 好奇, 就是说 作为 一个 比如说 业界 的 普遍 的 大厂, 他们 做 这样 的 一个 机器 学习 的 一个 运算, 包括 CPU, GPU 来说, 他们 大概 成本 是 一个 什么 概念?

这个 问题 很 好, 就是 你 刚才 还是 提到 说 单个 工程师 的 自己 去 做 模型, 开放 模型。 然后 我 刚才 提到 说 这里 有 一个 不够 高效 的 地方 就是 硬件 没有 共享 但是 你 也 说 了 这个 到底 需要 多少 硬件 成本 有 多 高 我 可以 说 一个 数字 吧 这个 某 大厂 的 研究者 有 一个 计算机 群 这个 硬件 是 花 了 10 亿美元 买 的 10 亿美元 他 有 很多 CPUGPU 内存 计算能力 是

非常 强大 的 天呐, 这个 CPUGPU 它 得 买 多少 个 啊?

对, 现在 他们 的 大 的 模型, 现在 非常 非常 大 的 模型, 就是 需要 这么 多 计算资源, 不然的话 你 会 训练 一年 两年, 根本 受不了, 然后 这些 研究者 会 共享 这个 集群。 然后 回到 你 刚才 那个 例子 有 20 个 工程师 他们 各自 有 自己 的 电脑 去 训练 模型 他 有 可能 说 我 的 电脑 CPU 不够 快 我 得 要 GPU 训练 我 的 模型 他 可能 买 四五块 GPU 挂 在 他 机器 上 但是 这样 始终 是 有 瓶颈 的 每个 工程师 只能 用 一台 机器 加上 他 的 若干块 GPU 来 训练 模型 这 是 有 上限 的 但是 呢 这些 公司 想到 了 更好 的 更 高效 的 办法 就是 我 把 这 20 台 机器 放在 一起 作为 一个 集群 然后 用 分布式 训练 它 就 可以 训练 更大 的 模型 这是 其一 其二 你 单个 工程师 用 一台 机器 训练 模型 你 可以 每天 工作 10 个 小时 但是 你 总得 睡觉 吧 当 你 睡觉 的 时候 你 的 机器 是 被 闲置 了 但 现在 呢 你 把 你 的 机器 贡献 到 这个 集群 里面 也许 这 20 个 工程师 有 一个 人 在 熬夜 是 吧 他 可以 把 这 20 台 机器 用 起来 也就是说 你 的 资源 闲置 是 一种 浪费 但是 你 如果 把 它 作为 共享 集群 的话 就 可以 把 这种 浪费 降 的 比较 低 提高 它 的 利用率 这 只 需要 20 台 机器 的 例子 但是 你 有 10 个 工程师 然后 有 几千 台 机器 的话 效率 的 提升 是 非常 大 的 那 我 在 想

就是说 比如说 在 机器 学习 去 训练 这个 模型 这件 事情 上面 是不是 比如说 我 20 块 GPU 就是 比 10 块 GPU 快 一倍 缩短 一半 时间 得到 一个 结果 可能 我 10 倍 的话 就是 缩短 10 倍 的 时间

这是 其实 是 一个 计算机科学 一个 经典 的 问题 你 的 计算 的 效率 能 不能 跟 你 的 硬件 的 数量 呈现 性 的 增长 这是 研究者 追求 的 一个 方向 了 但 实际 在 实际 运行 当中 的话 有 可能 它会 你 的 硬件 加倍 它 的 计算 时间 可能 不能 缩短 一半 但是 它会 接近 那 一个 上限 如果 你 接近 不了 的话 说明 你 的 算法 不够 好 但 总的来说 硬件 越 多 训练 时间 也 会 跟着 硬件 的 变多 而 变短 啊 这 怪不得 大家

要花 10 亿去 买 那么 多 GPU 这个 现在 诸位 听众 你们 如果 抢 不到 这个 NVIDIA3089 显卡 你 知道 谁 在 跟 你 抢 了 吧?

之前 看 什么 这个 阿尔法 狗 和 什么 李 适时 啊 柯捷 对战 的 时候 那 时候 大家 都 在 说 啊 阿尔法 狗 是 多少 多少 台 的 他们 TPU 啊 或者 相当于 多少 多少 台 GPU 这 其实 都 是 会 在 他们 一个 共享 的 一个 资源库 里面 虚拟 的 这么 多 的

这些 设备 对 吗 它 不见得 是 虚拟 的 它 可能 集训 真的 是 有 那么 多 TPU 或者 GPU 但是 如果 你 在 AWS 这种 亚马逊 的 公有 云上 有 可能 你 是 拿到 你 说 你 要 10 个 GPU 你 可能 拿到 是 虚拟 的 10 个 GPU 你 可能 是 跟 人家 共享 或者 一个 GPU 大 GPU 拆成 两块 我 不 知道 具体 的 技术细节 但是 它 在 云 上面 可能 是

虚拟 的 你 刚才 提到 AWS 我 就 还 蛮 好奇, 因为 AWS 它 相当于 是 你 用 它 的 多少 算力 才 为 你 收钱, 是 吧? 我 就 很 好奇, 比如说 一些 经典 的 机器 学习 的 一些 模型, 比如说 我要 做 一个 短 视频 的 推荐 模型, 然后 或者 我要 做 什么样 的 模型, 一般来说 把 这个 训练 出来 可以 上线, 那要 花 多少 钱 AWS 算力 来 花钱 呢?

假设 你 需要 你 要 做 一个 推荐 模型 的话, 你 的 想 你 的 要 花 多少 钱, 你 用 AWS 是 吧? 这个 就 取决于 你 的 模型 有 多 大 了, 你 的 模型 有 多 复杂。

那有 什么 现成 的 一些 例子 吗?

对, 现在 一个 目前 比较 火 的 一个 自然语言 模型 叫 GPT 3, 它 从 123 出到 3。

自然语言 我们 讲过 一集 自然语言 我们 有 兴趣 的 听众 可以 去 听 一 听 我们 讲过 这个 自然语言 模型 好像 有 一个 Transformer 是 现在 非常 的 流行 的 模型 谷歌 出来 的 所以 这个 GTT3 应该 也 是 一个 新 的 基于 Transformer 的 更新 的 一个

模型 是 吧 对 它 能 干嘛

呢 它 能 做 很多 事情 它 是 一个 通用 的 自然语言 模型 你 可以 在 它 基础 上 再 做 一些 特别 的 事情 就是 更 具体 的 事情 你 可以 让 它 来 在 这个 GPT 3 的 基础 上 训练 一个 模型 来 回答 问题 这是 可以 做 的 你 可以 再 训练 一个 模型 让 它 来 写 一篇 文章 你 只 需要 给 它 最初 的 几个 句子 它 就 开始 写 比如说 它 是 一个 非常 通用 的 模型 它 这个 模型 里面 可以 认为 它 记录 了 它 读 到 的 很多 的 内容 他 的 训练 数据 是 来自 维基 的 数据 来自 网上 的 很多很多 数据 这个 数据量 是 非常 大 的 他 相当于 把 这些 这些 文本 都 读过 好几遍 其实 你 可以 说 我们 从小 学学 中 文学 英文 你 做 什么 呢 就是 读嘛 老师 会 说 你 今年 要读 10 本书 啊 不得了 了 这个 小孩 很 厉害 比如说 你 上 高中 读 了 10 本书 经典著作 很 厉害 但是 呢 这个 模型 训练 的话 他 可以 把 莎士比亚 的 著作 一分钟 内读 个 10 遍 把 围棋 的 内容 一天 给 你 读个 10 遍 全都 记住 了 记住 什么 程度 呢 就 取决于 模型 本身

了 把 全 互联网 读 了 10 遍 只能 达到 一个 高中生 的 水平

吗 那 我们 雇佣 这样 一个 机器 高中生 呢 那 回来 刚才 那个 问题 会花 多少 钱 AWS 上面 的 对

我 看过 一个 数据 据说 的话 这个 GPT 3 光 训练 的话 就 花

了 1200 万美元 120 万元 哇塞 可以 读 多少 沙 利比亚 了 看来 确实

被 你 说服 了 说 看来 我 给 20 个人 买 20 个 MacPro 似乎 也 不太够 同时 好像 其实 CPUGPU 其实 真的 要 做 的 好 的话 其实 真的 确实 挺贵 的 回到 最初 的 那个 问题 那么 我们 看到 确实 人一多 了 这 又会有 冲突 包括 资源 其实 也 挺 贵 的 需要 共享 那么 机器 学习 平台 怎么 解决 这些

问题 机器 学习 平台 就 会 最 主要 的 一方面 就是 把 这些 硬件资源 软件资源 结合 起来 比如说 你 的 公司 我 就 会 建议 你 去 买 10 台 机器 然后 有 这么 多 内存 再 买 比如说 10 块 GPU 把 这些 10 台 机器 装备 起来 然后 你 再 请 一两个 工程师 加上 软件 这 一层 软件 这层 是 什么 基础 软件 库 肯定 得 有 因为 这些 基础 软件 后 实现 了 各种 常见 的 机器 学习 算法 模型 结构 用 起来 非常 方便 它 提供 了 API 现在 最 流行 的 就是 PyTorch 跟 TensorFlow 分别 是 Facebook 和 Google 开发 的 在 这个 基础 上 它 只是 API 用 起来 还 不是 那么 容易 的 在 这个 基础 上 很多 公司 会 再 做 一个 层 这 一层 做 什么 事情 它 就 会 把 这 API 用 一些 代码 包装 起来 甚至 做 一个 UI 这个 UI 就是说 你 可以 在 网页 上 拖拽 一些 组件 来建 一个 模型 简单 例子 就是 你 的 视频 推荐 模型 你 说 像 说 我 这个 模型 不得了 我要 做 的 比较复杂 我要 给 他 做 10 层 那 第 1 层 是 什么 结构 呢 我 在 机器 平台 上 这个 UI 里面 选 我 选 这 一种 结构 这个 结构 叫 什么 呢 叫 CNNCNN 是 一个 很坏 的 例子 CNN 一般 不是 用 在 这个 地方 我 把 它 拖 过来 放在 这儿 作为 第 1 层 第 2 层 怎么办 呢 要 不 我 自己 发明 一个 吧 你 可以 自己 写 代码 扩展 这个 技术 软件 库说 我 发明 了 新 的 结构 加 到 这个 软件 库 里面 我 把 它 作为 第 2 层 那 第 3 层 怎么 呢 那 我 就 用 一个 嵌入 项链 现在 非常 火 我 给 它 加进去 然后 你 就 可以 真的 可以 像 大 姐姐 模样 大 一百 层 的 一个 深度 学习 模型, 然后 再点 一下 一个 按钮。 就 开始 训练 了, 但是 在 这 之前 你 得 收集 数据, 所以 你 得 花些 工夫 去 收集 数据, 收集 数据 这 一块 的话, 你 可以 让 你 的 工程师 去 做, 你 作为 一个 老板, 你 可以 叫 二手 工程 说, 你 去 给 我 找 这块 数据, 你 给 我 找 这块 数据, 把 数据 清理 处理 干净, 告诉 我 放在 哪。 然后 我 就 开始 训练 了 你 点 一下 按钮 这个 机器 学习 平台 刷 就 去 把 各个 数据 的 原 的 数据 抓 过来 然后 把 这些 任务 在 你 的 集群 上 启动 起来 每个 10 台 机器 每个 机器 上 可能 会起 多少 个 任务 他们 相互之间 通信 协作 把 整个 模型 给 训练 出来 最后 他 就 会 出来 一个 模型 到 这 机器 学习 平台 还 没完 他 还 会 做 什么 事情 他会 告诉 你 说 你 这个 模型 的 性能 怎么样 告诉 你 说 你 的 精确度 有 多 高 在 你 的 输入 数据 上 你 可以 准备 一些 测试数据 说 在 这些 测试数据 上 它 的 精确度 有 多 高 正确度 有 多 高 然后 你 甚至 可以 测试 这些 模型 它 需要 耗费 多少 内存 耗费 多少 CPU 放到 线上 的话 就是说 然后 机器 学习 平台 还有 功能 就是 帮 你 部署 模型 部署 就是说 把 模型 放到 一个 服务器 上 然后 服务器 就 可以 接受 请求 了 然后 他 把 请求 来算 一下 再 把 请求 的 结果 告诉 你 这 具体 照 这个 视频 推荐 模型 就是 有 个人 打开 了 你 的 APP 然后 你 需要 推荐 模型 的 然后 你 会 实时 的 搜集 这个 人 的 数据 这个 人 是 在 用 的 iPhone 是 在 比如 在 中国 某个 地方 然后 好像 以前 也 登录 过 以前 点 过 什么 其他 类型 的 视频 这些 数据 都 会 送到 作为 请求 的 一部分 送到 这个 服务器 不去 就 把 这些 数据 喂给 模型, 模型 就算 了 算了算, 算 出来 以后 说, 嗯, 这个 人 可能 喜欢 足球 的 视频, 我们 给 他 推荐 世界杯 的 视频 怎么样?

之前 讲过 这个 叫 推理 的 过程, 对 吧?

对, 所以 说 机器 学习 平台 大概 就是 这么 一个 流程, 支持 你 方便 的 训练 模型, 然后 方便 的 部署 模型。

那 这样的话 岂 不是 我 招来 这 20 个人 其实 都 挺 傻瓜 的 本来 我 还 想 说 把 他们 招来 之后 他们 自己 先配 一下 电脑 是 吧 然后 在 那边 敲敲 代码 然后 在 那边 搞 吧 搞 吧 搞 吧 最后 说 我们 做 跑 出来 什么 结果 听 你 这样 说法 其实 他们 就 相当于 是 我 招 20 个人 过来 可能 就 打开 一个 网页 界面 有个 按钮 说 把 你 的 数据 比如说 是 一个 xel 文档 传上来 然后 再 拖拽 一些 东西 按个

运行 就 完事 了 对 可以 这么 认为 但是 的话 这 里面 你 的 模型 越做越 大 就 会 有 问题 比如说 你 的 输入 数据 高 达 比如说 你 做 了 你 的 模型 做 的 很大 了 你 收集 了 很多 数据 高 达 几个 T 的 数据 这是 很大 的 你 就 不能 说 我 上传 一个 文本文件 来 完成 这件 事情 是 吧 你 就 构建 一些 系统 这个 机器 学习 平台 会 去 把 数据 抓 过来 不管 你 有 数据 在 哪 一般 的 说 的话 你 这么 大 的 数据量 可能 在 一个 分布式 存储系统 上 数据仓库 里 对 数据仓库 里 你 这 分布 给

自己 打广告 啊 这 是 对 很多

机器 学习 平台 会 跟 一个 数据仓库 组合 起来 数据仓库 的话 功能 就是 让 这些 机器 学习 工程师 或者 数据 科学 工程师 平时 找 灵感 用 的 他 去 跑 一些 查询 看 一些 这个 数据 有没有 什么 模式 啊 我 应该 这个 模型 应该 怎么 训练 怎么 构造 一些 特征 然后 来 改进 这个 模型 所以 说 数据 这 一块 的话 也 是 机器 学习 平台 一个 很大 的 一个 模块 吧 可以 认为 一旦 数据 一大 你 就 不能 像 希望 刚才 说 的 简单 的 上传 一个 文件 了 你 做 不到 那么 这个 你 可以 扩展 这个 数据 模式 机器 学习 平台 去 看 管理 数据 他 甚至 有些 会 把 数据 存 下来 处理 以后 的 数据 存 下来 或者说 把 特征 存 下来 这是 一个 也 是 一个 很 有意思 的 方向 像 一些 大 公司 的话 各个 组他 会 自己 算 一些 模型 算 一些 特征 或者 找些 数据 往往 他们 有时候 会算 的 特征 是 重复 的 比如说 你 是 一个 视频 推荐 是 吧 然后 你 刚好 有 两个 组 一个组 专门 负责 最新 的 视频 的 推荐 一个组 负责 比如说 旧 一点 的 视频 推荐 这个 是 也 是 可以 理解 的 因为 可能 他们 用到 不同 算法 他们 去 这 两个 组 他们 去 算 用户 特征 的话 他们 可能 会 用到 同一个 用户 特征 就是说 这个 用户 上 一次 点 了 哪 一种 视频 他们 可能 会 写 同样 的 代码 去 算 这样 的 特征 但是 如果 有 机器 学习 平台 的话 就 说 你 不用 算了 我 帮 你 把 这个 特征 算好 你 引用 就行了 这 就 省掉 了 大家 一些 事情 机器 学习 平台 它 的 目的 就是 让 大家 建 模型 找 数据 算 特征 更加 方便 特别 是 在 组 比较 多人 比较 多 的 情况 下 大家 就 不要

重复劳动 了 你 算是 共享 中间 结果

对 就 把 这个 特征 当成 是 好像 是 一个 商店 的 一个 商品 列表 一样 是 吧 你 加 了 一个 把 它 放上去 别人 也 能 买 是 吧 所有 想 买 的 人 就 买买 买买 就 可以 了

对 你 说 的 太好了 我 在 想 讲 一个 有意思 的 事情 Uber 他们 公司 内部 就 会 写 一些 博客 说 他们 构建 了 什么 系统 他们 有 一个 几年 前 做 了 一个 特征 贡献 的 系统 他们 的 名字 大概 就是 叫 featurestore 就是 特征 商店 然后 在 一次 交流 当中 Facebook 的 人 知道 这件 事情 所以 Facebook 也 开始 做 这个 事情 也 叫 featurestore 特征 商店 那 特征 商店 比如说

举个 例子 它 里面 卖 的 东西

大概 长 什么 样子 的 就是 特征 它会 给 特征 编个 号 比如说 你 想 拿 一个 用户 的 特征 是 吧 你 就 把 用户 的 ID 扔 进去 它会 告诉 你 很多 特征 出来 比如说 其中 一个 特征 就是说 这个 用户 哪个 年龄段 比如说 20 到 25, 到 35 它会 给 你 这样 一个 特征 可能 还有 一个 特征 说 这个 用户 是 男 是 女 这些 都 是 比较 浅 的 特征 有些 特征 会算 很多 东西 比如说 现在 比较 火 的 嵌入 项链 你 把 用户 的 ID 扔 进去 他会 告诉 你 的 项量 这个 项量 维度 可能 很大 比如说 20 维 每 一维 都 是 一个 数字 比如说 0 到 1 之间 的 小数 然后 你 也 不 知道 这个 签入 项量 到底 表示 什么 反正 他 就是 一个 很强 的 一个 特征 他 就 给 你 了 就是 练 出来 那个 单对 然后 呢 你 不同 的 组都 可以 拿到 这个 嵌入 项链 你们 就 不用 自己 再 折腾 去 训练 这个 特征 项链 了 我 给 你 准备 好 了 我 做 一次 就行了

所以 嵌入 线呢 就是 embedding 英文 是

对 我 可能 换个 例子 吧, 比如说, 诶, 其实 像 很多 那种 睡觉 平台, 你 是不是 土豪, 大家 也 看不出来, 所以 直接 看。 但是 不 知道 怎么样, 有 个人 想 出来 一个 算法, 说 诶, 我 可以 通过 一些 特征 算 出来 说 你 是不是 土豪。 那么 我算 出来 这个 东西 之后, 以后 其他 的 组, 比如说, 诶, 我要 打广告 给 土豪, 我要 推荐 各种 服务 给 土豪, 那么 那些 就 可以 拿来 用。

对 说 的 非常 好 也许 那 一个 签署 项链 20 维 的 签署 特征 项链 有 一维 就 表示 你 是 土豪 的 程度 像 我们 这种 穷人 上 这个 网站 那 一维 的 项链 就是 0 像 斯图亚特 一上 那维

就是 1 是 吧 就是 平时 发尔赛 我 也 觉得 发多 了 那 就是 一 了 那 刚才 提到 说 共享 这些 东西 嘛 那 我 在 想 就是说 刚才 我们 提到 多人 合作 的 问题 的 时候 会 提到 说 多 人 合作 那个 是 你 训练 出来 的 东西 我 训练 出来 的 东西 放在 一块 就 没 效果 那 机器 学习 平台 它 是 怎么 解决 这个

问题 的 以 我 目前 的 知识 来看 我 不 觉得 机器 学习 平台 能 自动 的 解决 这个 问题 它 只是 说 自动化 的 很多 一些 之前 需要 人去 做 的 流程 他 可能 会 知道 比如说 这个 机器 学习 平台 支持 若干个 工程师 提交 一个 对模型 的 改进 然后 他会 自动 把 这些 改进 组合 起来 形成 一个 新 的 模型 架构 或者 算法 或者 输入 数据 然后 自动 的 训练 一个 新 的 模型 出来 然后 就 跟前 一个 版本 比 然后 这个 结果 有 异常 的话 还 得 人来 处理 所以 人 需要 对 这个 系统 理解 对 这个 模型 的 理解 为什么 A 加 B 就 效果 就 不好 人 需要 去 看 的

这个 跟 平时 我们 写 代码 还 挺 像 的 因为 还是 回到 写 代码 这个 例子 可能 比较简单 一点 因为 像 平时 我们 比如说 大家 做 了 改动 了 之后 其实 我 刚才 举 例子 说 是 你 会 把 别人 的 改动 下载 到 你 本地 你 看 有没有 冲突 其实 更 常见 的 做法 是 说 大家 干脆 就是 不管 了 我 就 把 我 的 改动 扔 到 服务器 那边 然后 会 有 个 中央 的 服务器 说 把 这 一段时间 可能 20 分钟 之内 所有人 做 了 改动 放在 一起 是 能够 编译 通过 他们 就 会 发觉 确实 编译 不 通过 了 那么 他 就 相当于 是 会 报警 说 编译 不 通过 了 你们 这个 谁 这些 人 提交 了 改变 你 自己 过来 看 一下 就 相当于 是 他 做 了 这样 的 一个 自动 的 帮 你 去 跑 一 跑 看 结果 告诉 你

这样 一些 事情 对 这个 对比 很 好 其实 你 跟 传统 软件开发 对比 的话 不光 是 能 不能 编译 这 一步 你 有 可能 你 的 改变 是 吧 这个 传统 软件 你 的 改变 跟 别人 的 改变 在 编译 这 一层 没 冲突 但是 呢 它 内部 的 逻辑 出 问题 了 你 把 别 另 一个 改进 的 一个 前提条件 改 了 是 吧 你 这个 时候 一旦 跑 这个 测试 你 就 过 不了 然后 呢 这个 模型 这个 继续 学习 平台 会 做 的 一件 事情 就是 相当于 在 测试 这个 模型 它会 把 这个 模型 训练 出来 这个 模型 是 有 所谓 的 改进 的 然后 呢 再 去 测试 它 的 性能 比如说 这个 召回 率 啊 准确度 啊 就 相当于 传统 软件 的 集成 测试 了 这个 会 不会 有 问题 如果 有 问题 了 说明 你 某些 改进 有 逻辑 上 的 或者说 内在 的 冲突 而 不是 简单 的 表面

的 冲突 就 可能 说 是 我 以 历史数据 跑 一 跑, 你们 这 20 个 不是 一 小时 之内 提交 了 20 个 模型 的 改变, 怎么 怎么 怎么 发出 根据 历史 消息, 你们 这 玩意 一起 上 了 之后 啊, 公司 就 可能 像 损失 每秒 赚了钱 5% 这样。

对, 差不多。

那 这个 所有 的 这些 测试 都 是 在 生产 数据 上面 做 的 吗? 还是 有没有 什么 高科技 的 方法 可以 用 历史数据 来 做 出来? 像 上 个人 说 的 一样。

你 是 说 测试 吗 对 啊

你 说 这个 模型 是 吧 加在一起 看一看 是不是 结果 怎么样 有没有 1 加 2 等于 3 或者 是 1 加 2 等于 2 了 啊 可以 不 可以 用 历史数据 的 不 影响 生产 这个 系统 的 情况 下来 做出 这个

判断 呢 你 这个 说 的 非常 好 一般 的 机器 学习 平台 都 会 支持 说 你 模型 训练 输 了 以后 他 有 一部分 验证 数据 验证 数据 是 跟 训练 数据 分开 的 然后 用 这个 验证 数据 跑 下 这个 模型 看 在 验证 数据 上 的 呃 性能 怎么样 包括 这个 准确度 啊 召回 度 啊 然后 呢 机器 训练 呃 模型 的话 接下来 他会 做 更 高级 的 事情 就 像 你 刚才 说 到 一样 可以 放到 线上 跑 一下 但是 怎么 跑 就 很 有 学问 了 他 可以 把 线 上 的 请求 取 一小部分 出来 随机 的 取 或者 用 其他 办法 取取 1% 2 然后 送到 新 的 模型 机学 平台 会 有 一些 监控 手段 看 这些 请求 的 计算结果 推理 结果 有没有 大 的 变化 有没有 改进 这些 都 是 可以 观测 到 的

这些 就 相当于 是 机器 学习 系统 或者 机器 学习 平台 它 所 提供 的 一个 功能模块 之一 就是 用来 自动 的 把 现实 的 数据 拿 过来 看 有 什么 问题 监控 它 对

它 会 提供 一些 所谓 的 基础设施 让 各个 组去 监控 自己 的 模型 但是 具体 的 你 这个 推理 的 结果 到底 对 不 对 质量 高不高 这个 平台 是 不 知道 的 它 没有 这个 知识 还 得 用 平台 的 用户 去 做 具体 做 这件 事情 但是 呢 这个 就 省掉 了 大家 各自 去 做 这些 基础设施 的

这 一步 就 相当于 是 就是 模型 平台 除了 说 能够 把 这么 多 CPUGPU 整合 起来 作为 一个 整体 之外 其他 的话 就 像是 方便 这些 机器 学习 的 开发者 然后 能够 自动 的 说 部署 也好 验错 也好 监控 也好 就是 这种 我 可能 不能 帮 你 做 决策 但 至少 这些 该 走 流程 的 帮 你 自动 走 了

同时 告诉 你 的 结果 对 非常

对 说 我们 训练 平台 不仅仅 是 一个 训练 平台 我们 弄 出 一个 模型 它 其实 是 一个 不断 的 重新 训练 的 一个 平台 对 吧 能够 帮助 大家 重新 能 很多 人 在 一起 重新 训练 并且 验证 并且 在线 上 验证 并且 这个 做 调试 的 这么 一个 整套 的 一个 系统

是 吧 对 对 机器 学习 平台 也 是 一步 一步 进化 来 的 在 业界 的话 他会 发现 呃 你 的 规模 做 的 大 了 很多 组都 在 做 类似 的 事情 他 就 把 这 一块 集合起来 我 都 给 你 做 了 提供 这样 的 基础设施 然后 大家 就 不用 重复 造 轮子 了 对 然后 你 说 的 也 对 这个 训练 模型 不是 一锤子买卖 训练 以后 就 完 了 这个 跟 传统 软件 还 不 太 一样 比如说 传统 软件 你 发布 一个 windows 下 的 这个 文字 编辑器 是 吧 今天 发布 了 你 等 个 半年 再 发布 其实 没什么 关系 的 用户 还是 一样 用 是 吧 模型 就 比较 特殊 了 有些 时候 你 就是 必须 得 更新 模型 我举 一个 比较 有趣 的 例子 还是 拿 这个 短 视频 推荐 比如说 你 在 万圣节 前后 训练 一个 视频 推荐 模型 这个 模型 就 会 发现 说 这些 数据 里面 就 有 一些 这样 的 模式 这个 推荐 一些 鬼怪 南瓜 这些 视频 得到 点击率 比较 高 这个 模型 就 会 学到 这 一点 然后 你 的 模型 上线 了 以后 效果 还 不错 在 万圣节 期间 大家 都 喜欢 看 这些 跟 万圣节 相关 的 视频 模型 也 推荐 这些 视频 但是 慢慢 的 慢慢 的 等 过 了 圣诞节 过 了 新年 你 如果 还 不 更新 你 的 模型 这 模型 就 没有 那么 聪明 它 还 会 继续 推荐 这些 跟 万圣节 相关 的 视频 你 的 用户 就 会 不 高兴 了 所以 说 你 得 不停 的 更新 你 的 模型 然后 呢 机器 学习 平台 就 会 支持 这种 更新 这种 更新 的话 就 不 需要 人去 干扰 不 需要 你 再 去 点 一个 按钮 去 重新 训练 一个 模型 了 继续 学习 平台 根据 你 的 配置 就 自动 的 去 把 训练 数据 抓 过来 然后 训练 你 模型 再 跟 你 上线 这是 可以 他 可以 重复 之前 的 一个 线下 训练 然后 部署 到线 上 的 过程 他 甚至 还 可以 利用 在线 学习 算法 你 的 模型 在线 上 跑 着 不停 的 做 推理 然后 有 新 的 训练 数据 过来 他 可以 用 新 的 训练 数据 去 更新 你 模型 的 参数 那个 模型 还是 在线 上 这个 叫 在线 的 更新 或者说 他 把 你 的 模型 取 一个 快照 然后 跟 实时 的 数据 来 改进 你 的 模型 快照 然后 每 几个 小时 他 再 取个 快照 这个 快照 就 新 的 了 然后 再 部署 到线 上 这些 在线 学习 我 刚才 说 的 这 是 一些 在线 学习 的 方式 机器 学习 平台 也 可以 支持 这些 学习 的 方式 让 你 更 快 的 自动化 的 更新 你 的 模型

那 我 就 很 好奇 就是 基本上 你 刚才 提到 机器 学习 的 平台 或者 机器 学习 系统 相当于 是 一套 一整套 的 一个 综合 的 软件 的 系统 那么 像 这个 东西 的话 每个 公司 都 有 自己 的 吗 还是 说 业界 其实 已经 有 一些 比较 通用 的 开源 的 一些 项目 对

其实 业界 已经 有 很多 了 我 跟 国内 的 一些 做 机器 学习 平台 的 人 聊过 其实 这 一套 搭建 已经 很 成熟 了 比如说 你 有 了 一个 些 硬件 是 吧 像 刚才 提到 你 买 了 10 台 机器 再 买 了 一些 GPU 那 你 需要 软件 怎么办 呢 你 就 去 找 开源 的 软件 就行了 各种各样 都 有 这个 任务调度 软件 也 是 需要 的 因为 10 台 机器 你 得 管理 起来 是 吧 这个 有 Kubernetes 这个 已经 是 业界 标准 了 然后 呢 基础 软件 库 刚才 也 提到 了 Tensorflow 什么 Pytorch 都 给 我 加上 去 让 数据 科学家 想 用 什么 用 什么 想 用 什么 模型 就 用 什么 模型 在 这个 基础 之上 你 可能 要存 数据 你 可以 搞 一些 什么 分布式 数据 存储 的 系统 HDFS 或者 Hadoop 数据仓库 那 一套 你 也 可以 用 你 甚至 可以 把 你 的 数据 训练 数据 放在 公有 云 上面 这 都 有 成熟 的 解决方案 了 然后 很多 硅谷 的 公司 也 开源 了 一些 在 技术 软件 库 的 基础 上 支持 分布式 训练 的 软件 比如说 它 支持 通信 支持 人处 像 我 记得 Uber 开源 过 一个 机器 学习 系统 吧 就是 那 一层 的 软件 然后 我 忘 了 名字 了 但是 呢 所以 说 就 这样 就 能 把 一个 机器 学习 平台 搭 起来 了 然后 在 这个 基础 之上 很多 公司 会 再 做 的 更 方便 一点 做一套 UI 就 像 我 刚才 说 的 一样 你 可以 让 工程师 去 拖拽 一些 组件 来 训练 平台 但是 这 一块 的话 可能 据我所知 还 没什么 开源 的 系统 但是 各 公司 可以 自己 做 了 因为 底层 的 API

是 有 的 啊 我们 说 到 了 训练 呀 对于 训练 本身 有

什么 挑战 吗 训练 本身 的话 呃 据 我 的 了解 的话 这些 年 这些 模型 越来越 大 最早 的话 比如说 几百万个 参数 的 模型 已经 很大 了 发展 到 几十 一个 上 万亿个 的 参数 模型 参数 的 模型 然后 它 就 对 训练 带来 一个 很大 的 挑战 就是 你 一台 机器 或者 十 台 机器 数量 比较 少 的 机器 都 放不下 这是 其一 内存 不够 其二 是 训练 的 时间 会 很长 如果 你 的 计算资源 不够 的话 那么 你 得 用 特殊 的 计算资源 比如说 GPU 或者 甚至 用 一些 定制 的 芯片 来 训练 一些 模型 而且 还 得 放在 很多 机器 上 那么 这里 带来 的 挑战 就是 一个 典型 的 分布式 的 系统 的 问题 机器 之间 怎么 协作 怎么 通信 数据 怎么 传 怎么 让 他们 的 代价 比较 小 你 不能 说 每 一个 机器 都 拷贝 一个 模型 然后 各自 训练 然后 再 融合 啊 这 里面 问题 是 非常 多 的 只要 规模 一旦 做 大

了 那 我们 刚才 说 了 大部分 都 是 训练 嘛 就是 怎么 生成 一个 模型 刚才 说 过 啊 模型 还要 部署 上去 啊 就是 用 模型 那 这 里面 有 什么 机器 学习 平台 可以 解决 的 问题 吗 我

觉得 模型 部署 的话 涉及 到 几个 方面 一个 就是 你 部署 模型 之前 你 得 测试 这个 模型 保证 它 的 质量保证 它 不会 出错 这个 需要 机器 学习 平台 自动 的 支持 就是 你 准备 一些 数据 来 验证 它 第二个 就是 你 得 去 看 这些 模型 耗费 多少 资源 就是 它 在 做 推理 的 时候 它 需要 耗费 多少 资源 这个 资源 就是 CPU 跟 内存 比如说 它 需要 30G 的 内存 你 不能 把 它 放到 一个 25G 的 机器 上 是 吧 因为 它 可能 装不下 而且 这个 内存 使用 可能 是 动态变化 的 所以 说 你 得 搞清楚 机器 学习 跟 他 搞清楚 这个 模型 需要 耗费 多少 资源 然后 他 需要 对 每 一个 推理 的 请求 他 需要 耗费 多少 CPU 这 也 是 需要 最好 有 一个 大致 的 了解 然后 才能 知道 模型 需要 多少 资源 然后 部署 的话 需要 一个 逐步 的 推荐 的 过程 比如说 你 新 训练 一个 模型 的 版本 上 一个 版本 还 在线 上 服务 线上 的 请求 你 把 新 的 版本 发布 的 时候 你 是 怎么 做 切换 这 里面 就 很 有 学问 了 其实 这个 跟 传统 软件 可能 有点像 传统 软件 你 有 一个 服务器 然后 你 更新 一个 版本 你 是 逐渐 的 用 新 的 版本 替换 旧 的 版本 然后 机器 学习 模型 大概 也 是 这样 它会 逐渐 的 替换 用 新 的 版本 替换 旧 的 版本 这 一个 发布 的 过程 也 是 受到 积极 学习 平台 来 控制

的 所以 说 这个 模型 的 发布 也 是 有 很多 的 工程 上 的 问题 和 我们 这个 软件 部署 也 有 很多 相似 的 地方 我们 刚才 基本上 说 的 是 在 比如说 服务器端 你 要 做 这个 无缝 切换 是 吧 或者 然后 还有 这个 监控 这些 事情 那 我们 前面 一集 AI 硬件 也 说 过 说 在 设备 端 或者 叫做 终端 做 这个 推理 也 是 一个 趋势 那 这个 里面 会 有 什么 平台 需要 解决 的

问题 吗 设备 端 就是 表示 用户

的 手机 上 面对 就 用户 的 手机 这样 的 你 的 笔记本 你 的 智能 音箱 是 吧 所有 的

这些 终端 对 这 是 一个 目前 一个 很 热 的 一个 方向 把 模型 部署 到 终端 有些 好处 了 一个 最大 的 好处 就是 不 需要 把 用户 的 数据 传到 服务器 保护 了 用户 的 隐私 第二个 好处 就是 你 可以 节约 带宽 不要 传 数据 是 吧 在 本地 做 推理 就行了 然后 这里 对 机器 学习 平台 的 要求 就是 机器 学习 平台 得 生成 一个 适合 部署 在 手机 上 的 一个 模型 它 对模型 的 要求 就是 小 一点 或者 耗电量 推理 的 时候 耗电量 小 一点 这个 需要 机器 学习 平台 有 一些 甚至 到 基础 软件 库能 支持 这样 的 需求 比如说 你 训练 一个 模型 你 训练 出 两个 版本 一个 是 手机 版 的 一个 是 后台 服务器 的 版本 这是 其一 其二 的话 怎么 把 这个 模型 模型 其实 就是 一堆 数据 了 真正 的 送到 这个 手机 端 这里 就 涉及 到 一些 比较 专业 的 知识 了 这个 跟 后 端 服务器 就 完全 不 一样 了 但是 你 可以 认为 它 也 是 积极 学习 平台 的

一部分 有 什么 难处 呢 比如说 你 就是说 一些 数据 那 就 相当于 是 用户 就是 软件 打开 的 时候 就 把 它 下载 下来 不 就 好

了 你 打开 以后 下载 的话 要是 它 影响 了 你 的 APP 的 这个 APP 的 反应时间 呢 详细 时间 会 给 用户 一个 不好 的 体验 然后 下 这段 一半 连接 段 我 觉得 这是 一个 有 很多 坑 的 一个 领域 我 不是 特别 了解 怎么 可靠 的 把 一个 模型 推送 到 手机 端 但是 这个 也 相当于 是

属于 信息 学习 系统 的 一部分 也 会 是 它 的 一个 对 你

可以 认为 它 是 一个 离 它 的 核心 功能 稍微 远 一点 的 一个 部分 但是 你 可以 认为 它 也 归属于 机器 学习 平台 的 一部分,

反正 你们 还是 挺 辛苦 的, 这么 这么 多 东西 都 需要 包括 在

里面, 上 得 厅堂 下 得 厨房 是 吧? 对 我们 刚才 讲 了 就 原来 机器 学习 平台 是 这么 的 重要 啊, 除了 这个 基础 的 算法 啊 以外 还 需要 解决 这些 不同 人 协作 的 问题 啊, 管理 这个 模型 的 上线 的 问题 的 版本 的 问题, 我们 需要 在 训练 方面 也 有 很多 的 这个 改进 需要 做 然后 部署 也 有 很多 的 训练 也 有 很多 要 做 资源共享 这是 我们 现在 我们 的 机器 学习 平台 要 解决 的 很多 挑战 那么 未来 呢 未来 我们 在 可见 的 未来 有没有 什么 更 尚未 解决 的 问题

吗 就 我 的 了解 的话 机器 学习 平台 这个 领域 是 偏 工程 的 也就是说 它 没有 一些 非常 热 的 研究 领域 因为 我 的 理解 是 它 的 是 被 两个 方面 的 需求 推动 的 一个 就是 机器 学习 研究者 的 需求 推动 机器 学 研究者 可能 发明 一个 新 的 算法 或者 新 的 算子 或者 新 的 网络结构 模型 结构 然后 需要 基础 软件 库来 实现 基础 软件 库 实现 以后 它 上层 的 软件 也 需要 来 调用 这个 API 然后 提供 给 最终 的 用户 用 第二个 需求 就 来自 于 机器 学习 模型 工程师 和 数据 科学家 他们 可能 有 一些 为了 避免 一些 重复 造 轮子 的 事情 会 把 这些 事情 让 机器 学习 平台 来 做 我 观察 到 的话 一些 比较 前沿 的 东西 在 这个 领域 就是 刚才 也 提到 了 更 大规模 的 模型 支持 它 对 训练 和 部署 都 带来 挑战 它 需要 分布式 训练 然后 部署 的话 比如说 你 模型 非常 大 一台 机器 放不下 的话 放在 若干 台 机器 上 做 推理 这个 也 是 比较 麻烦 的 事情 然后 第二个 方向 的话 我 觉得 刚才 也 提到 了 模型 要 部署 到 边缘 节点 这 里面 也 是 一个 很多 挑战 的 一个 方向 第三个 我 想 特别 提 一下 就是 用户 隐私 保护 这个 方向 这个 也 是 被 各个 国家 立法 推动 的 这 是 一个 很大 的 一个 方面 比如说 欧洲 美国 都 立 了 一些 非常 细 的 保护 用户 隐私 的 法律 这部分 我

很 好奇 之前 会 觉得 用户 隐私 那 就 用户 要 删 数据 就 删 数据 呗 不存 数据 就 不存 数据 了 那 这个 和 机器 学习 会 有 什么 特别 的 关系 对

这个 它 不是 那么 直接 你 说 用户 要 请 把 我 的 数据 删掉 那 我们 就 系统 里面 数据库 里面 就 简单 的 把 用户 的 数据 删掉 了 可以 这么 做 很 简单 但是 你 的 数据 实际上 是 在 模型 里面 会 留下 足迹 的 比如说 我们 刚才 提到 的 例子 我们 判断 有 一个 特征 表示 一个 用户 是不是 土豪 是 吧 你 把 这个 用户 所有 的 相关 信息 都 清空 了 数据库 里面 都 清空 了 但是 在 模型 里面 他 还是 知道 这个 用户 的 ID 对应 的 是 一个 土豪 他 还是 可能 知道 因为 模型 有 数据 他 记录 了 这些 东西 然后 这 就 涉及 到 一个 更加 彻底 的 删除 用户 要求 删除 的 数据 你 得 追踪 这些 模型 是 什么 时候 训练 的 这个 模型 用 了 哪些 输入 数据 然后 你 就 可以 知道 它 大概 记住 了 哪些 信息 然后 按照 法律 要求 在 多少 天 之内 你 应该 把 这个 模型 删掉 这个 叫 模型 的 追踪 数据 追踪 它 有 哪些 输入 哪些 输出 然后 这个 模型 的 输出 有 可能 被 另外 一个 模型 用 了 那么 另 一个 模型 也 会 有 问题 它 也 被 污染 了 不仅仅 是

要 删掉 你 的 数据, 还要 删掉 所有 的 因为 你 的 数据 而 推断 出来 的 那些 数据。

对, 你 这个 说 的 很 好。

比如说 尚 非常 喜欢 看 皮卡丘 的 视频, 在 我们 的 短 视频 网站 上面 点赞 了 很多 皮卡丘 的 视频, 看 了 很多, 现在 他 喜新革面 了, 觉得 这样 太 丢人 了。

这 怎么 有 什么 丢人 的?

多 可爱 啊 他 觉得 不 符合 他 的 人设 就 改 了 不 希望 再 看到 任何 皮卡丘 或者 是 任何 可爱 视频 我们 在 两个 月 之后 就 必须 让 它 消失掉 要不然 善者 会 不 高兴 哇塞 竟然 还 记得 我 爱看 皮卡丘 是 吧 就

不 高兴 了 这 相当于 说 我 打开 我 的 账号 它 有 一键 重置 然后 我 按 了 这个 按钮 之后 我 说 我 用户名 也 不见 了 然后 我 头像 也 不见 了 但是 我 不能 说 我 回到 那个 推荐 那个 流 里面 打开 来 第一个 还是 个 皮卡丘 这 就 不行 对

这个 三 数据 是 一方面 另 一个 方面 就是 以后 隐私 的 选项 会 越来越 多 这些 APP 或者 公司 会 给 用户 提供 说 我 的 数据 不能 拿来 做 什么 这样 的 选项 比如说 不能 出 广告 不能 做 我 的 个性化 信息流 推荐 然后 一旦 用户 做 了 这些 选择 的话 后 端的 数据模型 训练 也 会 做 相应 的 改变 你 在 训练 一个 模型 的 时候 有些 数据 是 不能 用 的 而且 这些 数据 不是 说 对 所有 的 用户 都 不能 用 而是 有些 用户 不能 用 有些 用户 可以 用 所以 说 你 对 数据 就 得 有 一个 标签 说 在 哪些 情况 下 它 可以 用 这 作业 就 非常 细 非常 麻烦 了 特别 是 公司 大 了 以后 如果 你 没有 一个 很 好 的 一个 用户 保持 隐私 保护 系统 的话 任何 工程师 都 会 把 都 可以 把 某 一块 数据 抓 出来 训练 一个 模型 那 就 乱套 了 很 难 管理 的

数据保护 也 归 你们 管 吗 对

还 真是 哇 这个 太 复杂 了 我们 还要 做成 什么 特征 商店 啊 特征 商店 还要 看 这个 特征 符合 不 符合 这个 隐私 的 这个 规定 啊 这个 这个 实在 是 一个 非常复杂

的 系统 啊 刚才 你 举个 例子 说 是 买 了 些 CPU 买 了 些 CPU 然后 聘用 两个 工程师 来 做 机器 学习 平台 我 现在 想 这 两个 工程师 够 吗 呃

应该 不够 如果 你 公司 做 大 了 真的 不够 好 那 我们 是不是

今天 就 基本上 对于 机器 学习 平台 就 讲 的 差不多 了 我们 一般 对于 这样 的 介绍 领域 的 这样 节目 最后 我们 都 会 问 嘉宾 一个 问题 就是 如果 我们 的 听众 有 想要 在 这方面 发展 的 想要 从事 这方面 工作 的 需要 做 什么样 的 准备 需要 什么样 的 这个 知识 的 储备 需要 什么样 的 是 吧

读 什么 学历 不 知道 听众 什么 感觉 我 反而 感觉 就是 这个 领域 真的 是 有 好多 事情 要 做

对 这个 领域 非常 大 我 的 建议 的话 你 首先 得 对 机器 学习 有 基本 的 理解 像 刚才 说 的 三要素 它 的 本质 到底 做 什么 事情 但是 你 完全 没有 必要 像 一些 数据 科学家 或者 研究者 一样 对 每个 模型 的 架构 每个 算子 然后 算法 都 有 很 深刻 的 了解 这个 没有 必要 就是说 在

大学 里面 选 一门 机器 学习 导论 的 课 或者 是 去 什么 在线 课程 上面 修 一门 课 就 差不多

了 对 我 觉得 就够 了 主要 是 了解 机器 学习 大概 怎么回事 看清楚 它 的 本质 细节 就 不用 管 了 第二个 就是 它 其实 还是 这么 大 一个 系统 它 有 很多 不同 的 部分 然后 它 是 部署 在 很多很多 机器 上 的 它 还是 传统 软件工程 的 所以 说 你 传统 的 软件 支持 还是 够 需要 的 比如说 分布式系统 然后 各种 语言 C 或者 其他 的 python 我 觉得 这样 差不多 就够 了 它 也 不是 说 跟 机器 学习 非常 非常 的 相关 归根结底 它 还是 一个 本身 就是 一个 软件系统 所以

说 还是 门槛 非常低 的 会 写 软件 的 人 上 一门 机器 学习 的 课 就 可以 来 加入 这个

领域 对 如果 你 有 大型 传统 软件开发 的 经历 那 就 更好 了 你 知道 软件 怎么 去 发布 怎么 去 测试 怎么 进行 版本 管理 这些 知识 都 可以 迁移 到 机器 学习

平台 的 好 这 是 我们 同样 一个 问题 问 了 这么 多集 啊 这 是 最 容易 的 一集 啊 大家 看看 我们 听众 们 有没有 可以 有没有 跃跃欲试 的 啊 听 着 有点

发毛 你 不是 在 割 韭菜 吗

但是 你 如果 是从 做过 数据 科学家 或者 机器 学习 工程师 的话 你 再 移到 这个 领域 来 的话 会 更好 因为 你 知道 那 一端 的 需求 是 什么样 的 你 就 会 更好 的 服务 这个 数据 科学家 和 技术 学习 工程师。

我 听到 这 我们 这 期 节目 感觉 是 给 这个 领域 做广告 啊, 这 是 吧? 这个 门槛 又 低, 然后 什么 人 都 能 移过来, 同时 又 有 这么 多 的 事情 可以 做。

对 啊, 又 非常 的 重要, 对 吧?

我们 要 不要 开个 培训班 吧?

我 觉得 卖钱 卖得 很 好。 但是 我 想 提 一下, 就 像 很多 领域 一样, 也许 入门 的 门槛 不高, 但是 一旦 做 深入 了, 你 想 做 得 更好 影响力 更大 的话 你 就 需要 更深 更 扎实 的 知识 吧 比如说 这个 基础 软件 库 的话 你 如果 做 比较 核心 的 一些 实现 一些 算法 或者 算子 的话 你 就 得 需要 对 GPU 啊 或者 算法 本身 啊 这些 都 有 一个 很 深刻 的 了解 才能 把 它 写 好 写 得 更 高效

所以 就 像是 很多 优秀 游戏 的 特点 就是 入门 简单 但是 精通 就 很 深到 了 知识 层 对 这个

跟 规模 很 相关 比如说 一个 小 公司 每个 星期 部署 一两个 模型 这个 没有 问题 其实 很 容易 做 但是 如果 是 一个 大厂 它 任何 时候 都 有 几万个 模型 在线 上 跑 然后 任何 一天 都 会 更新 几百个 上 千个 模型 这个 问题 就 非常 麻烦 了 它 就是 一个 很 困难

的 问题 好 今天 就 到 这里 了 我们 感谢 我们 的 宏诚 我们 的 宝藏 嘉宾 第二次 来到 我们 节目 给 我们 这次 我们 介绍 了 机器 学习 平台 的 方方面面 感谢 收听 我们 牛油果 烤面包 节目 如果 想要 当 嘉宾 的话 请 联系 我们 我们 可以 发邮件 给 我们 联系 或者 是 在 我们 的 听 友群 里面 和 我们 的 联系 想 收听 我们 节目 可以 在 各大泛 用型 平台 或者 小 宇宙 訂閱 和 收 聽還 可以 在 喜馬拉雅訂 閱和收

聽 我們 最近 也 被 ApplePodcast 選為 他們 年度 推薦 非常 感謝 大家 的

支持 我們 是 在 蘋果 播客 的 中國區 選為 了 中國 的 編輯 推薦 12 個播客 他們 在 中國選 了 12 個 編輯 推薦 的 播客 我們 是 其中 之一 我們 非常 的 榮幸 可以 得到 他們 的 青睞 那 我們 後

會 有期 下期 再見 再 見 拜拜