#113. 缓存——“计算机科学的两大难题之一“

有人 说 计算机科学 只有 两大 难题 缓存 更新 和 命名 那么 缓存 是 什么 呢 今天 我们 请 到 了 分布式 缓存 领域 的 专家 岳瑶 来到 我们 节目 给 我们 讲 一 讲 缓存 是 什么 这里 是 牛油果 烤面包

大家

好, 我 是 斯科 亚特。

我 是 Wendy。

今天 我们 有幸 请 到 了 开源 项目 Pelican 的 原作者 月瑶 来到 我们 的 节目, 跟 我们 聊一聊 缓存。

欢迎 欢迎 欢迎。

大家 好。

月瑶 是 最近 是 刚开 了 一家 公司 是 吧?

我 最近 由于 众所周知 的 原因 有 一大堆 人 都 是从 我 的 老东家 Twitter 就 都 出来 了 然后 我 和 我 以前 一起 工作 的 小伙伴 就 一起 开 了 一个 公司 你们 招人 吗 我们 现在 处于 为 生存 而 挣扎 的 阶段 等 我们 有点

起色 就 再 招人 但是 你们 需要

客户 吗 需要 需要 大家 有 任何

性能 的 问题 可以 来 找 我们 帮忙 我们 是 打算 做 一个 就是 性能 测试 还有 优化 的 平台 就是 大家 把 你 的 软件 拿 过来 比如说 软件 跑 得 不够 快 然后 你 就 说 为什么 这个 软件 跑 得 不够 快 或者 是 我 是 在 Intel 的 CPU 上 跑 得 比较 快 呢 还是 我 是 在 这个 新 的 ARM 的 这个 体系结构 上 跑 得 比较 快 我们 可以 帮 你 测试 然后 测试 完 可以 告诉 你 就是 什么 地方 是 瓶颈 就是 做 这些 的 软件 服务 哎呀

还 非常 重要 啊, 是 吧, 这个 新 的 这个 ARM 大家 怎么 怎么样, 大家 非常 的 感兴趣 啊, 另外 这个 系统 测试 也 是 一个 非常 难 的 问题, 也 有 这样 的 问题, 欢迎 来 找 月 瑶 啊, 他们 这个 创业 公司 来 帮 他们 解决问题 啊, 你 之前 在 推特 离开 推特前 在 推特 是 做 什么 的 呀?

我 在 推特 其实 待 了 很 久, 我 201 年, 推特 还 没有 上市 的 时候 我 就 参加 了。 然后 我 在 推特 的 职业生涯 整整 12 年, 大概 可以 分成 两个 阶段 吧。 第一阶段 差不多 6 年 半 7 年 左右, 我 是 主要 是 做 分布 储存。

分母 式 缓存 这是 我们 今天 的 话题 缓存 这是 我们 的 老 专家 了 推特 做 了 六年 七年 的 缓存 不老 不 老 不是 年龄 老是 说 资历 老 第一 部分 是 做

缓存 的 然后 第二 部分 就 是从 缓存 里面 就是 剪 了 几把 斧子 然后 就 上山 砍柴 就 砍 这个 杏仁 的 柴 后半段 就是 做 一些 和 性能 优化 呀 还有 优化 硬件 的 使用 还有 开发新 硬件 软硬 结合 这些 方面 做 一点 东西 哇 软硬

结合 软硬 结合 这 确实 是 议题 这 叫 全战全 系统 刚才 问岳阳 怎么 介绍 他 我们 刚才 介绍 岳阳 是 开源 项目 Polycon 的 原作者 他 并 没有 说 前 推 的 思想 员工 也 没有 说 创业 公司 的 创始人 他 说 了 一个 Polycon 这个 项目 为什么 要说 这个 项目 呢 要 应景

我们 今天 谈 的 是 分布式 缓存 对 不 对 然后 Pelican 呢 就是 稍微 有点 推扭 的 这个 成分 但是 我 是 做 了 那么 多年 缓存 我 是 觉得 要 把 我 在 现有 的 或者 之前 有 的 开源 的 分布式 缓存 的 项目 上要 做 一个 总结 能够 做 一点 进步 所以 我 就是 把 Nemcache 啊 Redis 这些 代码 其实 我 是 都 读过 的 然后 在 上面 也 做 过 开发 有 一些 问题 我 觉得 他们 这些 项目 可能 解决 的 不是 特别 彻底 或者 是 有 一些 可以 改进 的 地方 那 这些 改进 呢 因为 是 牵涉到 软件体系结构 不是 小打小闹 所以 是 一个 比较 根本性 的 结构 上 的 改变 所以 Publican 就是 一个 也 是 一个 框架 可以 说 是 你 在 这个 Publican 的 框架 里面 既 可以 开发 出像 Namecash 这样 的 应用 或者 是 服务 也 可以 开发 Redis 兼容 的 服务 所以 它 是 一个 比较 灵活 可以 定制 的 这样 一个 软件开发 的 框架 所以 我 就 希望 这个 以后 有 什么 好 的 想法 就 关于 分布式 缓存 存储 还有 这种 就是 网络服务 这些 方面 的 应用 都 可以 在 这个 平台 上来 做 那 可以 做到 性能 也 比较 好 开发 起来 比较简单 所以 这个 是 我 做 这个 开源

项目 的 初衷 哦, 所以 这是 一个 缓存 的 开源 项目 啊, 既 可以 像 做成 一个 哎, 我 刚才 提到 一些 词, 可能 我们 可能 就 没有 听过 啊, 一个 著名 的 一些 开源 的 缓存 系统 的 这个 样子, 也 可以 说 作为 这个 另外 一些 缓存 系统 的 样子 啊, 待 会 可能 会 讲 到 啊。 缓存 这个 东西 其实 我们 说 起来 不 经常 建筑 这些 科技 媒体 这些 科技 自 媒体 但是 我们 业内 行业 人士 会 经常 提到 这个 词 还 挺 奇怪 的 你 很少 说 谁 做 缓存 的 大家 都 会 说 你 谁 是 做 操作系统 的 谁 做 AI 的 谁 做 数据库 的 对 吧 但是 缓存 这个 词 经常 有 一些 非常 著名 的 一些 业内 的 名言 比如说 有 一句 著名 的 名言 我 印象 中是 说 计算机科学 有 两件 困难 的 事情, 缓存 的 失效, 还有 一个 叫 怎么 命名, 是不是?

好 生硬 的 一句 名言。

我 觉得 可能 就是 缓存 如何 及时 作废 也 不好, 对 不 对?

就 作废 也 不好, 就 cashinvalidation, 这个 名言 是不是 还有 很多 的 这个 遍体 是 吧?

我 觉得 其实 那个 GregEnger 的 一句 名言 更加 容易 翻译 一点 他 当时 跟 人 聊天 他 就 创造 了 一句 所谓 的 名言 这个 话 呢 然后 我 觉得 讲 的 还 挺 有意思 的 他 说 其实 计算机科学 没有 什么 大不了 的 这个 没有 什么 新 的 主意 弄来弄去 呢 就 三样 东西 哪 三样 呢 缓存 哈希 表 还有 就是 垃圾 回收 就是 trash 英文 是 ComputerSciencehasonlythreeideasCash, Hash, TrashCash, Hash, TrashCash 就是 缓存

的 意思 对 吧 Cash 是 缓存

对 国内 可能 很多 人 不 晓得 他读 Cash 国内 可能 很多 人读 成 Catch 但 其实 它 是 C A C H E 是 吧 他 是 读 Cash 是 和 现金 那个 词是

一样 的 跟 现金 一个 发音 对

其实 你 看 美国 人 很多 时候 画 那些 图 的 时候 在 上面 会 写 一个 美元 符号 啊 就是 cash 的 意思 啊 就 cash 这个 对于 我学 计算机 的 人 来说 会 经常 因为 这儿 是 cash 那儿 也 是 cash 出 问题 的 就是 一 开始 就 零 啊 一 缓存 就 零 啊 出 问题 怎么办 呢 缓存 一下 就 性能 不行 了 缓存 一下 啊 所有 的 层面 所有 的 地方 都 是 这样 慢 了 怎么办 呢

缓存 一下 啊 是不是 是 所以 其实

它 是 一个 万金油 它 就是 哪儿

都 可以 抹 但是 它 一般来讲 很难

是 自成 一个 系统 它 是 和 别的 系统 紧密 的 结合 在 一起 的 它 没有 自己 独立 的 身份 依附于 其他 系统 而 存在 的 可能性

比较 大 那 缓存 大概 是 个

什么 东西 缓存 其实 就是 我 觉得 应该 是 一种 技巧 他 的 技巧 就 在 於 把 同樣 的 數據 存在 多個 地方 那 可能 你 數據 本來 是 存在 一個 比較 難以 獲取 或者 是 比 較 昂貴 或者 是 比 較 緩慢 的 戒指 上然 後 你 把 它 再存 一份 存在 一個 比 較 容易 獲取 或者 是 比 較 便宜 或者 比較 快速 的 一個 戒指 上 這個 存 第二份 拷貝 的 這個 行為 呢 其實 就是 一般 來講 就是 叫做 緩存 因為 所謂 的 緩 就是 說 你 存 它 其實 只存 一會兒 可能 過了 一會兒 它 就 沒 了 对 吧 因为 这个 比较 快 的 介质 它 的 容量 一般 是 有限 的 但是 因为 很多 数据 它 的 存储 其实 不是 一个 很 均匀 的 或者 是 很 平均 的 一个 现象 是 热点 是 愈发 的 热 而 冷门 的 数据 就是 往往 是 一直 冷门 所以 如果 我们 把 这个 热点 捕获 住 了 那 大部分 的 需求 就 可以 快速 的 降临 所以 这个 就是 缓存 的 价值 就是 能够 以 比较 小 的 空间 比较 快 的 速度 和 比较 适合 的 一个 代价 把 大部分 的 需求 都 满足

嗯 这 过去 比如说 你 二三十年 前 我们 说 一台 电脑 里面 的 那个 存储 结构 可能 会 比较 容易 理解 因为 但是 现在 有 网络 了 就是 事情 变得 比较复杂 了 比如 你 在 一台 电脑 里面 我们 经常 会 说 有 要 什么 存储 的 金字塔 是 吧 hierarchy 是 吧 啊 下面 的 更慢 但是 更大 下面 的 更 小 但是 更快 更贵 啊 可能 最 明显 的 例子 就是 我们 的 内存 和 硬盘 对 吧 这 两件 事情 现在 大家 都 手机 了 还 知道 内存 和 硬盘 这件 事 吗 缓存 物

就 无处不在 了 这个 不能 因为 没有 台式机 了 就 被 打倒 了 对 吧 这个 就算 大家 用 手机 大家 就是 刷 视频 这个 里面 也 有 缓存 为什么 有 缓存 呢 就是 比如说 我 是 一个 美国 的 我们 就 用 抖音 吧 一个 美国 的 抖音 用户 要 看 一个 欧洲人 做 的 视频 或者 要 看 一个 中国 的 创作者 创作 的 视频 非常 搞笑

如果

我们 这个 视频 要 绕过 地球 半圈 去 下载 然后 每 一个 看 视频 的 人 都 需要 就是 走 很长 的 一段 网络 去 下载 的话 那 这 有 两个 问题 第一个 就是 带宽 就是 中 美 之间 的 带宽 其实 不是 那么 的 宽 和 就是 一般来说 离 你 越近 这个 带宽 越 充沛 第二 就是 延迟 因为 光速 也 是 有限 的 虽然 光速 非常 快 对 吧 我们 绕 地球 一圈 其实 是 这个 延迟 是 人 是 可以 感知 到 的 那 这 两个 事情 就 对 我们 在 手机 上 获得 一个 很 好 的 体验 是 有 影响 的 对 吧 会 就 会 造成 网络 堵塞 或者 是 这个 视频 延迟 大 这个 观感 不好 那 网络 其实 是 网络 里面 也 是 有 缓存 的 网络 里 的 缓存 呢 叫做 其实 一个 你 会 认为 是 一个 全球性 的 缓存 那 它 的 作用 就是 可以 把 在 一个 国家 创造 的 内容 比如说 在 中国 有 一个 用户 发了 抖音 的 视频 可以 把 它 存儲 在 一 台服 務器 這個 服務器 可能 是 在 美國 也 可能 是 在 加拿大 可能 是 在 南美 或者 在 歐洲 這數 據 個 的 內容 是 一模 一樣 的 都 是 以 同一 個視頻 那 本地 的 用戶 比如 說 我 在 美國 的 用戶 需要 看 這視 頻種 的 時候 其實 我 是 不 需要 大部分 情況 下 如果 是 熱點 視頻 我 是 不 需要 連到 中國 的 服務器 在 美国 的 服务器 上 可能 就 有 了 这样的话 我 就 可以 很快 的 而且 很 容易 的 把 这个 优质 的 内容 就 下 到 我 的 手机

上 说起 这个 我 突然 想 起来 就是说 可能 很多 我们 听众 朋友 最 熟悉 的 缓存 就是 如果 你 手机 没 地方 了 有 的 时候 你 会 找 一些 应用 在 上面 找 有 一个 选项 叫做 轻 缓存 轻 缓存 虽然 一般 轻 不了 多少 比如说 千颗 几百 兆 但是 他会 去掉 一些 东西 他会少 一块 东西 所以 这个 款子 是 干什么 的 比如说 你 刷 抖音 或者 或者说 你 刷 比如说 优酷 可能 在 本地 你 的 看 的 视频 你 视频 可能 啊 一个 小时 很长 但是 呢 你 你 你 不能 所有 一点一点 永远 从 网络 里面 发过来 这样 可能 很慢 了 怎么 就 卡 了 对 吧 那 你 可能 先 预调 过来 预发 过来 比如说 5 分钟 这样 的 时间 先存 到 本地 对 吧 这样的话 你 如果 网络 突然 慢 了 你 也 还 能 继续 看 5 分钟 一个 就是 本地 的 换存 是

吧 对 微信 比如说 微信 有 很多 的 本地 缓存 对 吧 就 头

有 圈子 有 啊 对 对 对

有 有 有 然后 微信 有 两个 地方 我 觉得 是 比较 有意思 的 第一 是 就 基本上 你 的 整个 的 联系人 的 这个 表是 本地 缓存 的 这个 也 就是 比如说 我们 大家 如果 在 一个 大 群 里面 经常 是 每个 人 的 头像 对 吧 从来 没有 有 灰色 的 或者 是 对 吧 每 个人头像 都 是 显示 的 但是 它 不 经常 更新 往往 是 你 要 去 跟 它 去 直接 联系 的 时候 你 点 它 的 头像图片 这个 时候 它 就 更新 了 也就是说 之前 存 的 那 一份 并 不是 实时 的 而是 你 手机 上 本地 一个 缓存 是 一个 复制

的 一个 拷贝 这个 就是 计算机科学 的 两大 难点 之一 是 吧 对 对

对 你 要 及时 的 把 这个 过期 的 或者 是 失效 的 数据 把 它 清除 掉 这 是 一个 非常 困难 的 问题 真的 很 困难

因为 我 想起 一个 例子 就是 很 简单 的 例子 就是 我 跟 我 爸妈 有 一个 群 然后 我 的 那个 群 里面 那个 头像 一直 是 一个 五年 前 的 头像 就 没有 更换 过 那个 群 的 图标 哎

你 让 他们 亲 缓存 我 觉得 这个 可能 就 更 亲 了 大家 都 亲 一下 缓存 啊 对 还有

我 觉得 是 应该 是 微信 做 过 优化 我 觉得 是 可能 微信 比较 聪明 的 一个 地方 就是 微信 有个 视频 频道 我 不 知道 你们 用 不用 我 是 不用 的 但是 我 对 这个 技术 还是 不弃 的 就是 每次 它 给 我 提示 微信 视频 有 更新 的 时候 我 只要 点 进去 就 无缝 衔接 立即 开始

播放 那 说明 什么 呢 就是 这个

视频 不是 我点 进去 以后 才 开始 下载 的 下载 的 它 是 已经 预 下载 这样的话 你 就 马上 可以

看 这 也 是 缓存 已经 存在 本地 的 缓存 里 对 其实 抖音

感觉 也 是 这样 所以 它 的

体验 就 很 流畅 对 所以 我们

说 的 缓存 无处不在 就是 可能 在 本地 也 可能 在 一个 离 你 比较 近 的 服务器 里面 也 可能 在 你 的 内存 缓存 硬盘 类 东西 甚至 可能 是 CPU 缓存 是 吧 我们 待会会 讲 好 按照 我们 节目 的 传统 一般 要 讲讲 历史 岳阳 对于 缓存 的 历史 有没有 什么

研究 肯定 談不上 有 研究 了 60

年 了 60 年 那 他 计算机 发明 大概 是 50 年代 75 年 吧 将近 80 年 吧 40 年代 有 就是 现在 计算机 对 吧 我们 一般 认为 是 40 年代 那到 60 年代 的 时候 中央处理器 CPU 速率 就 已经 快到 可能 比 内存 啊 或者 是 周边 的 一些 设备 要 快 很多 那 那个 时候 已经 有 提到 缓存 的 概念 就是 为 CPU 来

做 缓存 我 CPU 来 做 缓存 CPU 缓存 是 个 什么 意思 啊

CPU 缓存 的话 就是 大家 都 觉得

啊 那个 内存 很快 对 吧 相对 磁盘 来讲 但是 内存 相对 于 CPU 来讲 呢 就要 慢 很多 那 这个 速率 的 差别 大概 是 在 可能 是 五倍 这个 样子 就是 如果 如果 你 想 把 CPU 喂饱 啊 他们 俩 跑 的 这个 频率 就 能

差 五倍 你 就是 CPU 比 内存 要慢 它 都 算 完 了 数据 还 在 内存 里面 下 一步 数据 还 在 内存 里面 调 不 过来

怎么办 呢 CPU 比 内存 快快 五倍 快 五倍 所以 内存 就 不能 把 CPU 帮到 怎么办 呢 就是 内存 其实 技术 也 有 很多 代 那 我们 这里 不细 讲 但是 你 可以 认为 有 一种 非常 金贵 的 内存 这个 金贵 的 内存 呢 基本上 可以 达到 CPU 的 速率 所以 CPU 的 缓存 其实 就是 用 很小 的 一块 非常 金贵 的 内存 把 它 放在 CPU 内核 的 旁边 所以 所有 的 数据 并 不是 直接 调入 CPU 的 一般 进入 CPU 的 数据 都 是 要 先 放在 这个 缓存 里 然后 所以 缓存 是 为 CPU 提供数据 的 一个 直接 源头 那 如果 CPU 每次 需要 的 数据 都 能 在 缓存 里 找到 那 基本上 就 可以 做到 同步

所以 说 就是 如果 你 现在 一般来说 卖 CPU 的 时候 里面 会带 一些 小 的 存储 特别 特别 快 就 存储 和 CPU 融为一体 啊 这些 部分 就是 CPU 的 缓存 啊 他 不是 内存 他 是 缓存 在 CPU 里面

买 的 啊 对 有 一个 冷

知识 就是 已经 大概 有 将近 20 年 了 吧 就 过去 20 年间 如果 你 你 把 CPU 看成 是 一个 那 这个 饼 上 比如说 有 各种各样 的 电路 这个 饼 有 超过 一半 的 面积 其实 都 是 给

了 缓存 的 而且 它 缓存 很多

级 现在 的 缓存 可能 服务器 的 缓存 可能 有 四级 但是 我们 个人 用 的 这个 CPU 缓存 可能 也 有 三级 至少 有 两级 所以 是 一个 CPU 内部 有 一个 小小的 金字塔

在 里面 有 缓存 缓存 缓存 好几级

这 几个 级别 是不是 快慢 然后 容量 是 递增 或者 递减 了 其实 它们

的 就 是从 物理 的 介质 上 来讲 是 没有 太 大 区别 主要 的 区别 在于 远近 就 比如说 你 的 这个 密友 对 吧 你 就是 这个 都 是 你 是 打电话 这个 就是 半夜 都 是 可以 直通 的 这个 是 离 你 最近 的 朋友 就是 这是 第一级 那 第二级 可能 容量 大 一点 你 就 想 画圆 嘛 一圈 一圈 容量 大 一点 容纳 的 人 多一点 但是 呢 走进 来 不是 那么 容易 你 要 通过 一层 一层 的 这个 朋友圈 才 可以 达到 你 所以 这个 一级 级 的 缓存 主要 是 距离, 然后 距离远 了 的话, 它 这个 容量 也 就 大 了, 因为 面积 大 了。

嗯, 我 说 到 了 CPU 的 缓存, 那 后来 又 发展 出 了 什么样 的 缓存 呢?

我 觉得 比较 重要 的 可能 就是 磁盘 或者 是 存储。 所以 磁盘 一般来讲 我们 想 磁盘 就是 一个 以前 我们 有 这个 真正 的 磁盘 就是 机械式 的 磁盘 然后 用 磁力 的 这些 的话 需要 一个 接口 这样的话 你 可以 把 硬盘 插 在 你 的 电脑 里 这个 接口 里面 往往 是 也 是 有 缓存 的 那 这些 缓存 大概 我 能查 到 的 是从 80 年代 初 开始 有 因为 磁盘 的话 比 内存 要慢 很多 所以 这个 就是 斯福 亚特 提到 计算机 内部 存储 的 金字塔 最早 的 时候 计算机 底部 其实 都 不是 磁盘 最早 的 时候 计算机 底部 是 磁带 那到 有 个人电脑 的 时候 其实 比较慢 的 存储介质 可能 就是 磁盘 那 内存 要 快 一些 那 CPU 就 更 快 对 吧 但 CPU 不是 严格 上 来说 并 不是 一个 存储介质 所以 这个

缓存 是 说 把 磁盘 上 的 东西 缓存 到 内存 里

一样 的

道理 就是 它 相当于 是 磁盘控制器 内部 有 一些 内存 那 也就是说 这个 数据 如果 断电 的话 就是 没有 了 但是 当 我们 从 磁盘 进行 读写 的 时候 往往 这些 数据 要 先 在 磁盘控制器 的 内存 里面 相当于 是 我们 装货 卸货 嘛 有 一个 装货 卸货 的 区域 你 把 这个 货物 打包 啊 或者 拆包 然后 再 装车 对 吧 这个 缓存 其实 也 是 起到 了 一个 这个 打包 和 拆包 的 作用 它 可以 把 一些 一些 请求 可能 重新 打包 成 一个 连续 的 或者 是 比较 容易 执行 的 请求 啊 或者 把 小块 的 数据 把 它 重新组合 成 一个 大块 的 数据 这样的话 它读 或者 写 起来 都 会

比较 快 一些 嗯, 我 是 做 数据库 的 嘛, 在 我 印象 中 好像 做 数据库 也 有 缓存 嘛, 大家 都 知道 数据库 是 管理 基本上 你 的 机器 里面 的 CPU, 你 的 内存 里面 的 磁盘 里面 的 数据 呢, 自然 是 有 缓存 的, 我 记得 在 80 年代 一些 著名 的 论文 里面 也 已经 提到 了 缓存, 比如说 一个 著名 的 一个 JimGray 的 一篇 论文 认为 叫 五分钟 规则 啊, 就 说 如果 一条 数据 的 访问 次数 要 频繁 于 每 5 分钟 访问 一次 的话 就要 放到 内存 里面 它 有 这么 一个 规则 我查 了 一下 1985 年 的 时候 这篇 论文 发表 这 论文 发表 的 时候 他 提到 缓存 提到 开始 都 没有 引用 的 说明 那个 时候 应该 是 一个 非常 流行 的 概念 了 应该 是 大家 一说到 开始 大家 就 都 知道 怎么回事 不 需要 引用 这件 事 我 印象 中 在 另外 一篇 著名 的 评论 是 MichaelStonebreaker 我 记得 我们 这个 节目 之前 提到 Stonebreaker 那篇文 大概 是 80 年代 初 的 时候, 他 提到 几件 事情 认为 操作系统 的 东西, 数据库 是 不好 用 的, 其中 就 包括 操作系统 里面 的 这个 缓存, 因为 数据库 需要 自己 的 缓存。 也 是 在 80 年代 初 至少 可以 看出 数据库 和 操作系统 有 一个 谁 做 缓存 的 这么 一个 一个 争夺 啊 现在 这个 争夺 还 在 啊 所以 至少 说明 在 80 年代 啊 缓存 这个 概念 应该 在 计算机系统 的 层面 应该 已经 是 一个 非常

流行 的 概念 了 其实 从 这个 可以 引发 出来 可以 讲 一个 概念

就是说 因为 我们 之前 讲 到 缓存 其实 是 你 把 一个 比较 有用

的 数据 存在 另外 一个 地方 对

吧 这个 地方 可能 存 不下 你 整个 的 数据 集合 所以 你 就要 做 一个 选择 什么 时候 把 这个 数据 放进去 什么 时候 把 这个 数据 从 这个 比较 小 的 空间 里面 清除 出去 这个 谁 来 做 决定 或者 是 由 什么样 的 条件 下来 做 这个 决定 呢? 其实 是 决定 了 一些 缓存 的 基本概念, 比如说 有 read throughcache, 我 不 知道 这个 中文 有没有 直接 翻译。 那 我们 可以 解释一下 他 做 什么 对 吧 其实 缓存 里面 有 一个 重要 的 这个 从 直觉 上 来讲 应该 是 有 道理 的 这样 一个 字路 就是 什么样 的 数据 是 热点 数据 那 你 可以 讲 如果 最近 有 很多 人 在读 一个 新闻 这个 新闻 就是 热点新闻 所以 这 就是 由读 决定 的 热点 那 可能 最近 有 一个 论坛 很火 大家 都 是 去 这个 论坛 上 发言 那 這個 論壇 可能 就是 一個 大家 可能 會 比 較 頻繁 訪問 的 一個 地方 那 這個 是 由 寫 就是 大家 是 因為 發言 嘛 是 一個 創作 的 過程 它 是 由 寫 來 決定 的 這樣 一個 熱點 所以 不同 的 系統 它 會 可能 會 是 做 決定 就是 那 我 在 讀 的 時候 把 一个 热点 的 数据 能够 自动 的 把 它 捕捉 出去 了 那 另外 一个 系统 可能 会 决定 那 我 写 的 时候 我 就要 把 最近 写过 的 这个 数据 存 起来 因为 很 有 可能 将来 就 会 有人 去 读 它 或者 是 写 它 那 有 的 系统 可能 决定 读写 这 两件 事情 我 都 需要 所以 它 两个 事情 都 可能 作为 一个 考量。 那 还有 一个 系统 可能 说 读写 对 我 都 不 重要, 我 可能 有 自己 的 标准, 可能 是 我 的 应用 决定 了, 然后 我 可以 用 别的 条件 来 准确 判断 说 什么样 的 是 热点。 所以 很多 缓存 的 设计 其实 相当于 是 你 要 有 个 水晶球 你 要 能 看到 什么样 的 数据 将来 会 被 访问 那 你 就 可以 完美 地 解决 热点问题 但是 这个 事情 很 困难 所以 大家 就 进行 各种各样 的 猜想 这个 猜想 的 基础 就是 决定 缓存 设计 的 基本 条件 查到

那篇 论文 了, 我 应该 是 先 应该 做 一次 功课, 突然 想到 这篇 论文, 这篇 论文 是 MichaelStonebraker 在 198 年 发表 一篇 论文, 他 这篇 论文 叫做 OperatingSystemSupportforDatabaseManagement, 其中 的 第二章 就是 BufferOvermanagement, 它 里面 就是说, Manymodernoperatingsystemsprovideamainmemorycacheforthefilesystem, 它 都 没有 引用 了, 就是说 很多 操作系统 在 文件系统 里面 都 有 缓存, 没有 任何 引用, 198 年 的 论文 说明 这件 事情

是 在 当时 已经 是 普遍 的

认知 了 对 对 对 他 没有 说 一二三 包括 这个 说明 已经 普遍 认知 了 这 是 80 年 的 论文 说明 甚至 我 觉得 应该 在 70 年代 这件 事情 应该 已经 是 非常 操作系统 的 文件 混存 应该 可能 是 一个 比较 广泛 流行 的 一个 技术 应该 是 我 猜想 我 可以

有 时间 再查 一查 刚才 聊到 这个

热点 然后 就是 最近 读 最近 写 这件 事情 让 我 想到 就举 了 一些 例子 就是说 可能 一条 新闻 啊 或者 一个 论坛 什么 的 所以 我 想到 一个 很 很 贴近 就是 在 中国 的 网友 的 一个 一个 用法 吧 就是 那个 微博上 的 热 搜 就 我 记得 经常 是 说 有 什么 明星 他 突然 离婚 了 结婚 了 这种 热 搜 出现 的 时候 经常 微博 就 会 崩 那 是不是 就 说明 了 其实 他们 的 缓存 就 可能 做 的 就 一般 所以 导致 就是 他 就 像 推特 一样 嘛 就是 太多人 去 访问 他 留下 评论 点赞 互动 什么 的 时候 他

可能 这个 系统 就 崩掉 了 这个 问题 很 好 啊 就 是从 我们 来讲 读写 是 一个 相对 来讲 对称 的 一个 行为 对 吧 我 读 或者 我 写 没有 特别 大 的 本质 的 区别 但是 从 计算机系统 的 设计 的 角度 来讲 读 热点 和 写 热点 的 处理 难度 是 完全 不 一样 的 这个 就 牵扯 到 还有 数据库 对 吧 当 我们 发表 一条 评论 的 时候 如果 你 明天 回来 发现 评论 消失 了 大家 心里 一定 非常 愤怒 对 吧 因为 这个 我们 我们 的 才华 的 展示 就是 就 这样 的 白写 了 对 啊 相当于 是 对 着 树洞 喊 了 一通 所以 写 的 时候 我们 的 期待 是 这个 写 是 会 被 系统 完美 的 捕捉 下來 永久 的 保存 然 後 任何 時候 你 想 回去 再 去 看 一下 你 歷史 的 傑作 你 都 是 可以 查到 的 對 吧 那 這個 要求 是 非常 高 的 而且 當我們 展示 一個 熱點 微博 的 評論 的 時候 那 大家 都 希望 看到 最新 的 評論

對 吧 所以 當寫 的 內容 多

的 時候 每次 我們 展示 的 內容 可能 就 不 一樣 而 讀 的 熱點 相 對 來 講是 比較 簡單 的 如果 一條 熱門 微博 被 設成 了 制讀

那 这个 时候 它 就

变成 了 一个 非常简单 的 缓存 问题 因为 你 知道 这个 微博 就 不会 再 被 更新 了 它 的 评论 也 不会 再 被 更新 哦 不 允许 评论 对 对 对 这个 东西 可以 任意 的 缓存 对 吧 任何 版本 的 缓存 都 会 获得 最新 的 数据 因为 这个 数据 不 可能 再变 了 所以 就是 读 热点 和 写 热点 的 难度 这个 是 有着 数量级 的 差别 嗯 尤其 是 这种

只读 的 它 就 不能 被 改动 了 所以 它 就 更 容易 了

嗯, 我 同意 这个 的 看法, 我 觉得 这个 如果 被 崩会 崩, 更 有 可能 是 数据库 的 问题 啊, 因为 大家 知道 数据库 比 缓存 开始 慢嘛, 对 吧? 缓存 是 他 快, 他 才 会 是 缓存 是 吧? 嗯, 你 如果 崩, 更 有 可能 是 数据库 那出 问题 的, 不是 缓存 那出 问题 了, 缓存 是 为了 让 他 不出 问题, 所以 才 会 有 缓存 的, 嗯, 对, 也 是 好像 是 一个 缓存 的 很 很 难 的 问题, 这 我们 有点 扯远 了, 继续 回到 历史 啊 我 说 的 八 年代 啊 九十年代 有没有 什么 新 的 新 的 缓存 机制 吗 啊

九十年代 互联网 呀 哎 呦 互联网 来

了 对 吧 或 另外 来 了 那 肯定 是 操作系统 的 缓存 磁盘

的 缓存 处理器 的 缓存 都 在

持续 的 发展 中 但是 我 觉得 如果 有 一个 引进 的 一个 新 的 重要 的 缓存 家族 的 成员 那 必然 是 所谓 的 CDN 对 吧 就是 内容 存储 分发 网络 其实 这个 就是 万维网 的 缓存 对, 我们

刚刚 才 最 开始 的 时候, 玉兰 姚举 了 很多 CDN 的 例子, 可能 很多 听众 朋友 不 知道 CDN 是 什么, 玉兰 姚要 不要 给 他 介绍 一下, CDN 究竟 是 个 什么 东西?

其实 就 如 我们 之前 给 的 这个 例子 这个 抖音 的 视频 你 可以 在 一台 离 比较 近 的 服务器 下载 这个 就是 CDN 的 精髓 CDN 的 精髓 就是 同样 的 内容 在 全球 各地 都 可以 在 比较 快速 的 一个 本地 的 服务器 上 可以 下载 到 这 就是 CDNCDN 的

全称 是 什么 来 着 它 是

什么 的 缩写 CDN 是 ContentDistributionNetwork 所以

它 本身 是 一个 网络 它 的

目的 是 为了 把 内容 能够 更 高效 的 分发 到 可以 说 是 全球 的 读者 或者 全球 的 听众

这 是 它 的 目的 所以 所有 的 内容 分发 网络 公司 基本上 都

是 跨国公司 就 在 全球 各地 都 是 需要 有 服务器 的 对 啊

这 不仅仅 是 像 视频 这样 听 上去 非常 小 分发 的 几乎 所有 东西 都 小 分发 的 简单 到 你 可能 去 一个 网站 那个 网站 有 能够 多快 的 把 它 这个 刷 出来 很多 时候 就是 那些 网站 都 是 需要 去 这些 CDN 里面 读 才能 读出来 的 是 吧 包括 上面 上面 图片 啊 什么 什么 之类 的 都 是 需要 在 CC 上面

读 的 对 就是 我们 之前 说 到 只读 的 内容 是 缓存 非常

有 优势 的 一个 类别 对 吧 然后 网络 上 大量 的 图片 比如说 我们 的 头像 虽然 我们 会换 头像 但是 当 我们 选定 一个 头像 的 时候 这个 头像 的 图片 本身 是 不会 变化 的 所以 只读 的 内容 是 非常 非常适合 放在 缓存 里面 CDN 很大 的 一个 作用 就是 把 基本上 任何 只读 的 内容 一般 做 网站 的 专业人士 都 会 考虑 把 它 放在 CDN 上去 发布 任何 制度 内

内容 是 非常 非常 多 了 啊

包括 我们 需要 因为 很多 网页 现在 都 有 脚本 嘛 也 可以 在 网 网页 内部 运行 脚本 这些 脚本 其实 也 是 通过 CDN 来 分发

的 就是 如果 没有 CDN 的话 我们 的 互联网 我们 的 网络服务 我们 应用 都 要 慢 很多很多 倍 是 吧 就是 因为 有 这样 的 一种 缓存 叫做 CDN 所以 我们 很多 东西 可以 很 流畅 的 运行 可能 最 明显 的 就是 视频 对 吧 就 像 飞机 上 说 的 最 明显 就是

视频 说 到 CDN 我们 访问 网站 其实 这个 CDN 在 网络 缓存 里面 其实 还是 算个 小弟 这个 网络 缓存 里面 有 一个 元老 我 觉得 可能 要 和 四盘 缓存 差不多 一样 老 那 就是 所谓 的 DNS 域名解析 DNS

在 这个 缓存 愚民 解析 的 本质

是 一个 缓存 那 给 大家 讲 一下 这个 愚民 解析 是 怎么回事 啊 我们 大家 可能 能 记住 比如说 新浪网 或者 是 网易 对 吧 这个 名字 我们 是 可以 记住 的 哎 现在

已经 可能 很多 人 就 不 知道 这件 事 了 是 吧 啊 没

没关系 我们 这个 打游戏 的 朋友 们

可能 还 知道 网易 那狗音、 新浪网, 那 可能 域名 大家 还是 有 概念 的 吧 就是 比如说 新浪 对,

稍微 上 了 点 年纪 的 人 知道 有 域名 这件 事儿 暴露 年龄 了, 不好意思 你 可以 去 www. 什么 什么 什么 点 什么 什么 什么 是 吧 www. sina. com. cn 是 吧 稍微 上 了 年纪 的 人 知道 你 可以 输 这些 字母 这些 点 什么 点 什么 的

啊 中国 第一代 网民 其实 是 对

各种 数字 域名 非常 有 感情 的 比如说 18426 对 3 吧 对 是 的 因为 当时 让 大家 记 英文单词 还 算 困难 但是 当时 的 域名 只能 用 数字 和 英文 所以 这个 智慧 的 中国 人民 就是 用 了 很多 数字 的 谐音 或者 是 有 意义 的 数字 让 大家 能 更好 地 记住 域名 这个 域名 其实 并 不是 互联网 上 的 机器 是 不

懂得 域名 的 互联网 上 的 机器 懂得 的 地址 叫做 IP 这个 我们

不 需要 介绍 细节 但是 IP 是 一些 数字 那 这个 就 更加 难记

这 就是 一个 物理 的 位置 计算机

的 位置 在 哪 对 那 这个

正常人 是 记不住 的 那 域名 呢 正常人 是 可以 记住 的 所以 就 需要 从 这个 可 被 人类 记住 的 这个 域名 到 可以 被 机器 解读 的 这个 数字 之前 呢 需要 有 一个 翻译 这个 翻译 的 过程 就 叫做 域名解析 那 运营 解析 的 本质 呢 也 是 一个 巨大 的 缓存 那 这个 话题 可能 我们 要 扯 就 可以 扯 很 久 了 但是 我 就 想 也 是 一个 冷 知识 吧 就是 运营 解析 的 本质 也 是 缓存 所以 可以 讲 这个 互联网 的 万维网 的 基础 也

是 离不开 缓存 所以 说 这个 计算机科学 的 一大 是 吧 一缓 就 零一缓 就 零 的 技术 啊 到处 都 有 我们 说 到 90 年代 的 CDA 也 是 个 缓存 那 我们 现在 比如说 我们 做 互联网 公司 经常 说 到 缓存 大家 指 的 是

什么 那 我们 再 往前 推 十年 好不好 就是 到 我们 现在 就是 进入 新世纪 了 到 20 年 了 20 年 以后 呢 就是 因为 互联网 的 普及 有 一些 非常 大 的 网络应用 那 这个 时候 发生 什么 情况 就是 所谓 的 数据 爆炸 从 那个 时候 慢慢 就 已经 有 苗头 了 所以 每次 当 这些 很 流行 的 网络应用 需要 处理 用户 请求 的 时候 它 其实 需要 大量 的 数据 比如说 它 可能 要 去 数据库 读 一些 个人 的 资料 可能 要 去 提取 一些 比如说 我要 用 一个 音乐 服务器 对 不 对 我 可能 要 去 准备 一些 这个 音乐 专辑 的 信息 啊 然后 可以 展示 给 用户 那 这个 时候 就 不光 是 内容 的 分发 需要 缓存 来 帮助 它 就算 在 这个 服务器 的 后台 的 这个 计算 的 本身 也 可以 用 缓存 来 改进 它 的 性能 这个 所以 我们 今天 的 主角 啊 就是 分布式 缓存 就是 这个 时候 非常 新 的 一个 概念 其实 相对 于 其他 这些 有着 可能 60 年 的 历史 的 这些

反正 只有 20 年 历史 了 对

对 对 这个 只有 20 年 那 这个 时候 大家 就 说 哎呀 数据库 太慢 了 但是 我要 做 很多 请求 那 怎么办 就 把 最 常用 的 那些 请求 的 结果 存在 内存 里 然后 这个 内存 呢 啊 不光 是 本地 可以 访问 有 的 时候 是 通过 网络 也 可以 访问 这样的话 就 有 这 才 有 了 分布式 的 概念 对 吧 所谓 的 分布式 往往 就 意味着 这个 数据 或者 是 这个 服务 是 可以 通过 局域网 或者 就 相当于 是 公司 内部 的 一个 网络 是 可以 访问 的 把 它们 都 连 起来 就 这样的话 我们 的 容量 就 可以 变得 比 单机 要 大 很多 这 就 有 了 分布式 缓存

我 知道 可能 听众 有 很多很多 的 问题 啊 那 我们 现在 先 不 讲 这些 问题 我们 先 说一说 这个 有没有 什么 著名 的 系统 吗 有没有 什么 著名 的 这种 分布式 缓存 的

系统 吗 分布式 缓存 一般 认为 啊 就是 这个 第一个 通用 的 就 大家 觉得 都 好 用 都 愿意 放在 自家 的 服务器 里 的 应该 算是 Memcached 这个 项目 是 203 年 开始

开发 的 Memcached 我 20 年 了 啊 MEMCacheD, MEM 就是 内存, Cache 就是 缓存 D 是 什么 呢?

D 是 代表 服务 服务 就是 我 把 缓存数据 放在 内存 里 并 把 它 做成 一个 服务 这样 你 可以 通过 网络 去 获得 数据 这 就是

MEMCacheD 的 含义 这是 MEMCacheD, 那 它 在 哪 呢? 为什么 突然 大家 都 用 这个 了?

好 在 我 觉得 第一 因为 内容 放在 把 内容 都 放在 了 内存 里 它 的 速度 有 保障 那 20 年 的 时候 这个 时候 内存 的 容量 已经 就 有 一段时间 内存容量 增长 非常 快 所以 你 每过 一两年 你 花 多少 钱 可以 买 到 两倍 的 内存容量 内存 变得 比较 便宜, 可以 把 很多 数据 放在 内存 里 还有 一个 就是 这个 D, 它 这个 服务 它 是 可以 在 网络 上 有 一个 地址 那 如果 我 知道 我 想 获得 的 这个 内容 在 哪里 我 就 可以 到 不同 的 服务 实际上 去 取得 不同 的 缓存 如果 我 有 一千 台 机器, 我 就 可以 存 相对 于 单机 一千倍 的 内容 所以 只要 机器 够 多, 那 这个 时候, 20 年 的 时候, 大家 可以 回忆 一下, 这个 时候 已经 有 Google 了, 对 吧, Google 就是 开发 了 一个 新 趋势, 这个 新 趋势 就是 我用 很 便宜 的 机器, 但是 我 有 好多好多 机器, 我 把 它 都 连接起来, 组成 一个 大 的 系统。 这个 系统 我 可以 做 很多 事情。 这个 思潮 其实 影响 了 很多 设计, 因为 之前 90 年代 大家 都 是 砸 钱 搞 大 机器, 所以 像 有 一些 现在 已经 不 存在 的 企业, 当时 都 是 风光一时, 就是 因为 他们 能够 做 很大 的 单机 系统。 但 Google 就 说 我们 要 买 便宜 的 机器 单板机 我们 就 把 它 全都 用 网络 连 起来 这样的话 更 便宜 性能 更 高 那 其实 分布式 缓存 的 设计 原理 其实 是 一样 的 就是 我们 把 每个 节点 都 做 得 非常简单 但是 我们 可以 把 几千个 节点 连在一起 或者 几百个 节点 连在一起 这个 几百个 节点 的 这个 集群 就 可以 存 很多 数据 然后 可以 提供 很多 的 吞吐 的 容量

所以 MpiD20 年 的 系统 现在 依然 还是 用 的 还是 很多 的 说明 它 的 生命力 还是 非常 的 强 对

它 是 解决 了 一个 基本 问题 所以 作为 一个 万金油 它 还是 有

它 存在 的 价值 既 是 先驱 又 是 一个 现在 还 比较 流行 的 系统 那 之后 有没有 什么 新

的 系统 出现 呢 大概 是 在 209 年 Redis 发布 了 Redis 它 的 定位 其实 并 不是 一个 缓存 系统 但是 由于 它 的 设计 上 把 数据 都 放在 了 内存 里面 有 非常 多 的 人 把 它 当做 一个 缓存 来 用 因为 它 的 性能 特性 和 Memcached 非常 接近 但是 呢 它 有 更 多 的 数据类型 的 支持 所以 你 可以 用 相当于 说 你 可以 用 这个 Redis 这个 服务 来 做 更 多 的 事情 所以 它 也 是 在 分布式 缓存 中 非常 重要 的 一个 软件 吧 因为 大家 可以 在 它 的 技术 上来 设计 别的 缓存 系统 是

14 年 的 一个 系统 啊 也 是 现在 依然 非常 有 生命力 的 一个 系统 啊 叫 RedisRedis 还有 什么 别的 系统 值得 介绍 吗 其实 因为

缓存 这个 需求 是 一个 比较简单 的 需求 就是 同样 的 数据 你 在 A 拿到 就 不用 去 B 了 就 这么 一 回事 非常简单 所以 相对 来讲 不像 数据库 对 吧 数据库 非常复杂 所以 有 各种各样 的 生态 位 就是 不同 的 需求 创造 了 不同 的 产品 那 缓存 的话 它 的 需求 其实 是 没有 那么 复杂 所以 这

两个 系统 从 市场占有率 来讲 今天 还是

这样 绝对 主导 的 但是 过去 的 应该 讲 三五年 吧 有 很多 新 的 开源 的 项目 甚至 有 一些 公司 希望 能 在 这个 领域 做 一些 突破 比如说 Patrica 我 创作 这个 项目 主要 是 学习 为主 我 的 初衷 并 不是 要 抢 Redis 和 Memcash 这些 饭碗 我 觉得 其实 缓存 的 设计 基本上 来讲 它 的 基本 的 设计 思路 其实 很 清楚 的 就是 你 快速 的 数据 要 放在 内存 里 相对 慢 一点 的 数据 你 可以 放在 闪存 里 然后 你 需要 有 一个 非常 高效 的 网络接口 如果 能 做到 这 几条 的话 基本上 就是 一个 合格 的 缓存 所以 有 很多 人 其实 是 拿 缓冲 来 练手 来 作为 他们 写 分布式系统 的 一个 相当于 是 一个 锻炼 那 也 有 很多 人 希望 能 在 Memcached 和 Predison 这 两个 项目 的 技术 上 做 改进 那 Telecom 的确 也 是 受 这 两个 系统 的 启发 可能 最近 五年 的话 可能 有 值得一提 的 可能 还有 两三个 系统 这些 都 是 相对 于 已有 的 这 两个 老大哥 来讲 各有 优势 吧 应该 讲

嗯 但是 一个 云 时代 啊 在 云 时代 那些 云 商会 提供 这些 缓存 的 一些 服务 吗 还是 说 他们 在 云 上面 就 不 需要

缓存 云上 也 需要 缓存 啊 只是 一些 缓存 就是 对 包装 的 比较 好 大家 就 不用 再 考虑 运维 的 问题 对 吧 你 像 aws 啊 亚马逊 的 云 上 有 elasticcashelasticcash 其实 它 支持 两 两类 的 后台 一个 是 mkc 后台 一个 是 redis

后台 哦 他们 接口 都 是 支持

的 都 是 支持 的 然后 然后

阿里巴巴 他 也 有 自己 的 云换存 服务 那 这个 名字 我 一直 想不起来 但是 他们 做 的 也 是 很 好 我 记得 他们 是 自己 对 Redis 的 后台 进行 了 大刀阔斧 的

修改 然后 他们 有 内部 的 版本

那 这个 版本 我 相信 应该 可能 比 Redis 更 适合 这个 阿里 云 但是 技术 上 的 细节 不是 很

清楚 所以 说 在 云 上面 也 依然 是 两大 系统 的 接口, 不过 他们 一些 大 的 云厂 做 了 一些 可能 更 多 的 他们 的 自己 的 实现, 所以 基本上 还是 延续 了 这样 一个 方向。 好, 那 我们 说 了 这个 历史, 历史 大概 已经 说 到 现在 了, AI 时代 没有 什么 缓存 的 事 吧? 可能 事 更 多 是 吧? 就 全 缓存 了 是 吧?

AI 时代 其实 AI 系统 里面 缓存 区 是 一个 非常 重要 的 应该 说 是 一个 组件 非常 重要 的 组件 举个 例子 吧 就是 比如说 我们 现在 机器 学习 的 模型 大家 可能 略有 了解 的话 就是 模型 是 需要 训练 的 我们 使用 模型 的 时候 也 是 需要 提供数据 的 对 吧 比如说 每 一个 用户 他 的 喜好 比如说 每个 用户 他 去 看 他 这个 抖音 的 或者 是 头条 的 他 这个 首页 根据 你 的 个人 的 阅读 的 习惯 或者 是 历史 浏览 的 记录 系统 给 你 推荐 的 内容 是 不 一样 的 这些 推荐 往往 是 在 一个 机器 学习 的 模型 上 得出 但是 它 需要 获取 大量 的 数据 才能 最后 把 卷 众 的 这些 内容 呈现 这有 两 方面 的 数据 第一 是 用户 数据 它 需要 知道 你 这个 用户 以前 看过 什么 视频 喜欢 什么样 类型 的 内容 然后 在 什么样 的 地点 位置 另一方面 就是 它 有 成千 上 萬 或者 是 幾百萬個候 選人 今天 你 可能 看十條 視頻 但是 其實 這個 機器 學系 的 模型 可能 需要 篩幾百萬個 視頻 才能 從 中 精選出 可能 最 適合 你 的 那 在 这个 过程 当中 怎么样 筛选 呢 这个 筛选 就 其实 是 一个 计算 问题 这个 计算 就 需要 一些 每 一个 视频 它 就 需要 一些 数据 才能 支持 这个 计算 那 和 每 一条 视频 相关 的 数据 存在 哪里 它 很 可能 就是 存在 缓存 里面 所以 机器 学习 它 因为 需要 海量 的 数据 其实 反而 就是 基本上 你 可以 断定 它 是 一定 需要 缓存 的 因为 大量 的 数据 又 需要 一个 非常 短 的 时间 内 做出 一个 判断 没有 缓存 系统 的 支持 这 是 很 难

做到 的 所以 说 AI 的 时代 对于 缓存 的 要求 是 更 高 了 因为 机器 学习 无论是 训练 还是 推理 它们 可能 要 更 密集 地 访问 这些 数据 并且 对于 它 的 延迟 有 更 高 的 要求 吞吐量 也 需要 更高 所以 对于 缓存 是 提出 了 更 高 的 要求 但是

它 名字 不 一样 AI 的 同学 们 喜欢 给 各种各样 的 技术 起 名字 就 像 域名解析 我们 并 不 叫 它 缓存 它 本质 是 个 缓存 在 AI 里面 本质 是 缓存 的 这个 东西 它 一般 大家 都 认为 把 它 叫做 featurestore 但是 featurestore 是 要 不 就是 本身 就是 一个 缓存 要 不 就是 带 一个 缓存 基本上 所有 比较 现代 的 设计 我 看过 的 都 是 基于 缓存 的 这个 概念 或者 是 这个 技术 来

开发 的 所以 说 对于 AI 时代 缓存 也 很 重要 啊 所以 可能 会 改变 这个 AI 的 这个 命运 的 一个 一点 啊 非常 的 重要

能 不能 改变命运 我 不 知道 但是 肯定 会 改变 你 的 账单 花 多少 钱 都 不 一样 你 不用

花钱 会贵 很多 你 只要 能够 给 AI 多 增加 一些 层次 存储 那 可能 会省 很多 钱 现在 可能 很多 的 大量 东西 都 是 存在 这个 内存 里 啊 DRAM 里 然后 我们 说 到 历史 啊 我们 历史 大概 说 的 差不多 了 啊 那 我们 讲完 了 历史 啊 我们 来 讲讲 它 的 实现 和 它 的 这个 API 对 吧 缓存 一般 是 一个 什么样 的 API 啊 什么样 的 接口

啊 缓存 可以 用 各种 接口 比如说 你 可以 说 这个 基于 地址 可以 缓存 比如说 我 这个 磁盘 地址 对分 了 很多 小块 对 吧 其实 我们 一般 磁盘 使用 的 时候 都 是 分块 的 那 每次 我们 读写 的 时候 呢 从 操作系统 的 角度 来讲 它 是 一块 一块 读 你 可能 只读 一个 字节 但是 它会 把 一整块 都 读出来 那 相应 的 操作系统 的 缓存 对 文件 的 缓存 呢 也 是 基于 块 的 它 每次 读 一块 的 时候 它 可能 就 顺便 的 把 这 一块 都 给 缓存

了 这个 可能 很多 听众 朋友 不是 特别 熟 啊, 就是说 我们 的 硬盘 上 啊, 包括 我们 的 内存 也 某种程度 上 是 这样, 就是 每 一个 数据 它 都 有 个 编号 的, 一号 二号 三号 四号 五号, 一直 到 几万 号 几亿 号 啊, 所有 的 这个 数据 在 硬盘 上 都 有 个 号 是 吧, 这个 叫 地址, 这个 叫 地址。

对 还有 块 对 吧 那块 是

什么 意思 呢 就是 比如说 我们 门牌 对 不 对 你 可能 一个 大楼 它 就是 一个 地址 但是 这个 大楼 里 可能 能住 几百人 对 吧 然后 有 的 房子 可能 就是 一个 小屋 那小 屋里 可能 也 就 住 一家 四口 就 没 了 那 这个 块 的 大小 呢 根据 你 比如 是 磁盘 还是 内存 还是 闪存 它 这个 块 大小 是 不 一样 的 也 是 可以 变 的 所以 当 我们 说 地址 的 时候 这个 地址 它 的 值 和 这个 块 的 大小 是 有 联系 的 比如说 我们 买 了 一块 硬盘 这个 硬盘 可能 是 1T 对 吧 1T 的话 那 就是 多少 来 着 一 万亿个 字节 那 如果 我们 一个 块 有 一百万个 字节 那 我们 就 只 需要 一百万个 地址 就 可以 了 如果 我们 一个 块 只有 10 个 字节 那 我们 就 需要 10 倍 就是 可能 需要 10 亿 的 地址 才能 把 所有 的 这个 四盘 的 空间 都 编上 号 所以 当 我们 说 这个 按块 存储 的 时候 就是指 这个 房子 有 多 大 你 可能 就 指 这个 地址 那 就是 这个 楼 里 所有 的 居民 都 会 被 指到 这个 说

起来 是 计算机 内部 非常 非常 深 的 一个 一个 概念 了 我们 上次 讲 文件系统 觉得 我们 好像 很多 听众 连 文件系统 可能 都 不熟 了 啊 现在 我们 系统 已经 封装 的 非常 好 了 但 在 最最 最最 最 下面 就是 一堆 数据 然后 你 可以 一块 一块 一块 一块 那 究竟 这些 块 怎么 变成 我们 手机 上 的 数据 呢 很 复杂 但是 这块 里面 可能 是 一兆 也 可能 是 4k 也 可能 是 16k 是 吧 一块 一块 一块 你 可以 说 第 几块 第 几块 第 10 块 第 千块 123 块 对 吧 每 一块 它 可以 取出 来 缓存 在 你 的 本地 大概 这个 感觉 是 所以 Quark

是 一个 基本 的 一个 相当于 是 单位 吧 用来 缓存 的 单位 有 的 时候 特别 是 在 比较 新 的 比如说 在 那个 我们 之前 说 到 CDN 我们 现在 又 说 分布式 缓存 那 在 这些 系统 里面 呢 它 没有 Quark 的 这个 概念 为什么 因为 在 比如说 在 互联网 上 的 内容 那 你 可能 小小的 一个 图标 可能 只有 一 K 或者 是 几十个 字迹 你 也 可能 下載 一部 電影 這個 電影 可能 有 幾個 G 對 吧 或者 是 幾 百兆 那 這個 差別 大小 的 差別 是 非常 大 的 那 就 沒 有 辦法 按塊 了 這個 塊 的 大小 是 無法統 一 的 那 這個 時候 呢 就 需要 用 一個 不同 的 語言來 描述 這個 物品 可能 比如 說 我們 就要 說 這個 物品 的 名字 叫 什麼 可能 它 是 某某 電影 對 吧 《 流浪 地球 2 》 那 我们 还 需要 描述 它 是 什么 可能 是 什么 类型 的 它 是 部 电影 所以 你 可以 下载 一部分 你

就 可以 播放 了 这 玩意 有个 名字 名字 是 我定 的 对 然后

有 一个 类型 这个 类型 就 决定 了 你 用 什么 软件 去 打开 它 对 用 什么 应用 去 打开 它 那 可能 它 还有 个 长度 它 告诉 你 全长 可能 是 1G 或者 是 全长 是 2K 当 你 下载 完 所有 的 数据 或者 你 看 完 所有 的 数据 以后 这个 就 结束 了 对 吧 所以 它 需要 一些 额外 的 信息 当 我们 不能 确保 一个 数据 是 定常 的 时候 我们 需要 有 一些 额外 的 信息 来 帮助 我们 来 存取 它 那 这个 就是 所谓 的 keyvalue 就是 见值 和 内容 的 这样 一个 配对 所以 建直 就 描述 了 我们 在读 什么 那 具体 的 内容 呢 就 存在 这个 value 里面 就 存在 它 的 这个 具体 的 内容 里边 一般来说

内容 上面 还是 一些 数据 啊 1K 的 数据 多少 K 的 数据 也 是 601 啊 但是 它 有 个 名字 这个 名字 也 是 个 英 文字串 不 等于 英 文字串 反正 就是 叫 那么 一串 一串 东西 啊 你 拿 着 这个 串 然后 去 跟 缓存 说 我 要 这个 给 你 回来 大概 是 这个 意思 是 那

这样的话 更加 灵活 对 吧 大小 可以

不同 名字 也 可以 有 很多 的 灵活性 对 开发者 来讲 就是 更 容易

使用 所以 这个 现在 是 就 比如说 我们 说 的 分布式 缓存 的 主流 还是 养成 这样 的 就 有 一个 名字 给 我 这个 给 你 这个 那 名字 不是 可以 随便 起 那

起虫 怎么办 呢 虫 名 一般 是

不 允许 的 虫 名 一般 的话 比如说 你 去 算 户口 然后 身份证 虫 那 这个 是 个 大 问题 对 吧 一般 现在 大家 这个 问题 都 解决 比较 好 他 生成 号码 的 时候 它 不 允许 你 重 如果 重 的话 它 可能 在 后面 加 一个 数字 或者 是 它 告诉 你 你 得 改个 名 或者 是 你 得 改 一个 什么 东西 这样 就 达到 不 重名 的 效果 所以 一般来讲 因为 名字 不是 缓存 系统 给 起 的 名字 是 用户 给 起 的 所以 缓存 系统 的 任务 是 告诉 大家 如果 有 重名 的话 要 提示 要 示警 说 这个 发现 了 重名 这是 用户 需要 解决 的 一个 问题 缓存 系统 只要 提示 就 可以

了 所以 说 重名 是 不行 的 重名 的 东西 就 乱 了 所以 用户 要 小心 不能 重名 数据库 也

是 需要 解决 这个 问题 对 不

对 数据库 如果 重名 的话 也 有 同样 的 问题 所以 从 另 一个 角度 来讲 如果 用户 的 数据 从根本上 来讲 还是 要 存在 数据库 的话 那 只要 数据库 里 的 数据 不 重名 那 缓存 力 也 不会 重有 道理,

我们 说 到 了 这个 接口, 我们 说点 我们 的 这个 是 核心技术, 我们 这个 节目 的 特点 要 讲讲 核心技术, 我们 说 到 了 它 的 应用 很广, 有 很多很多 的 接口, 那 具体 在 里面 是 怎么 实现 的 呢? 比如说 我们 有 这么 一个 建制 存储, 我们 是 怎么 能够 说 我 给 你 一 坨 数据 一个 名字, 然后 你 就 非常 有效 的 把 它 存 下来 了?

其实 这个 就是 做款 存 研究 可能 核心 也 就 在 这里 没有 一个 统一 的 最佳 的 思路 去 存储 这个 数据 假设 我们 如果 存取 的 数据 的 这个 比如说 大小 的 范围 非常 广泛 可能 从 几个 字节 一直 到 几十 兆 都 是 有 可能 的 这个 跨度 就 有 五个 数量级 对 吧 五个 数量级 的 大小 的话 那 比如说 你 家里 带 衣柜 和 你 小小的 针头 你 都 要 放在 一个 屋子 里面 这个 打包 是 很 困难 的 把 它 放得 好 那 像 这种 情况 下 有 一个 比较 好 的 思路 是 什么 呢 我们 就 按 大小 打包 对 吧 我 可能 有 一个 小 抽屉 就是 放小 的 物品 我 可能 有个 柜子 就是 放 中等 的 物品 然后 我 有 几个 大箱子 这个 大箱子 打开 就是 什么 被子 啊 这些 大个儿 的 就 放在 箱子 里 所以 其实 很多 像 MTSD 它 核心 的 存储 的 思路 其实 就是 这样 的 它 把 所有 的 内存 按照 大小 先 分类 然后 分给 大型 物品 的 空间 就 不 可以 用来 存储 小型 物品 它 最 多 应该 是 可以 分 到 几百个 类 然后 这个 几百个 类 之间 其实 是 乘 指数 增长 可能 第二类 比 第一类 要 大 50% 第三类 比 第二类 要 大 50% 那 就 比 第一类 要

大 125% 当 你 这样 增长 几十次

以后 其实 它 这个 大小 的 跨度 是 非常 大 的 所以 按 大小 来 分类 是 一个 非常 常见 的 一个 思路 那 还有 一个 思路 呢 就是 还有 像 Redis 它 的 设计 的 核心 是 什么 它 是 认为 我 不 关心 就是 你 也 可以 把 这个 任务 外包 Redis 的 特点 就是 它 只 负责 记住 名字 记住 这个 数据 的 位置 他 并 不 关心 这个 数据 是 怎么 存放 的 他 把 这个 数据 存放 的 这个 工作 外包 给 其他 的 软件系统 那 因为 计算机 发展 了 这么 多年 有 很多 其实 内存 管理 高手 他 就 把 这个 任务 交给 那些 内存 管理 高手

对 对 对 那 这 是 另外 一个 思路 那 其实 Pelican 里面

有 一个 新 的 思路 应该 是 比较 新 的 思路 因为 这个 论文 我们 是 201 年 才 发表 才 两年 新 那 这个 思路 就 和 之前 的 这些 都 不 一样 它 不是 按 大小 分 的 它 也 没有 甩手 不管 它 的 一个 特点 是 它 是 按照 时效 因为 现在 这个 时代 就是 热点 其实 是 热 不久 的 对 吧 我们 可能 上个月 吃 的 瓜 今天 已经 没有 人 能够 记得 了 所以 如果 热点 都 是 稍纵即逝 的话 那 如果 你 能 把 今天 的 热点 记住 那过 了 一个月 以后 你 就 可以 安全 把 这个 热点 从 缓存 里 删除 其实 不会 有太大 的 影响 所以 另外 一个 思路 就是 根据 这个 数据 的 时效性 最新 的 数据 把 它 放在 缓存 里 当 这个 数据 过期 以后 就 把 它 及时 的 从 缓存 里 清除 出去 这 也 是 一个 另外 一个 相当 有效 的 缓存 存储 期限

的 办法 他们 说 了 一些 这个 如何 排列 是 吧 听 上去 有 很多 学问 大大小小 的 数据 怎么 排 在 一起 我们 说 到 排列 还有 什么 别的 一些 高科技 的 部分 还有

一个 我 觉得 有意思 的 话题 就是 可能 更好 理解 的 一个 方面 就是 分布式 缓存 需不需要 分布 内存 因为 现有 的 两个 系统 主流 的 系统 Memcache 和 Viridis 它 的 设计 都 是 针对 内存 设计 的 它 认为 你 要 把 特别 是 这种 大小不一 的 数据 而且 读写 都 有 可能 有 很 高 的 频率 的 数据 你 要 把 它 存好 内存 是 当然 不让 的 选择 这个 在 20 年前 的确 是 非常 正确 的 但是 20 年 以来 硬件 的 发展 其实 是 超乎 了 很多 人 想象 的 首先 闪存 20 年 之前 还 不是 太

普及 现在 大家 都 有 闪存 而且

大家 基本上 已经 快 把 硬盘 忘 了 磁盘 这个 概念 已经 非常 其实 对 很多 人 都 很 陌生 了 所以 内存 和 磁盘 相比 的 优势 其实 相对 闪存 特别 是 现在 的 闪存 来讲 并 不是 那么 明显 所以

我 觉得 这个 问题 是 很 有意思

就是说 我们 可不可以 把 缓存 做 在

闪存 上 还有 一个 有意思 的 地方

就是 那 可能 这个 讲 的 更加 前沿 一些 了 这个 可能 好多 技术 还 没有 落地 就是 未来 的 存储 是 什么样 的 未来 的 存储 其实 和 今天 的 存储 不管 是从 容量 和 速度 上 来讲 它 都 有

新 的 提升 那 可能 将来 这个

所谓 的 分布式 缓存 并 不是 把 缓存 做成 了 一个 分布式系统 而是 它 把 缓存 做 在 了 一个 分布式系统 之上 而 这个 分布式系统 之上 可能 是 我们 的 云 厂商 直接 就 提供 了 的 所以 这个 我 觉得 也 是 就是 缓存 你 把 数据 放在 哪里 是 一个 有意思 的 研究 的

话题 你 说 到 内存 和 闪存 其实 这 可能 对 现在 来讲 都 并 不是 一个 问题 因为 因为 很多 时候 缓存 的 目的 其实 是 像 CDN 并 不是 因为 它 比 硬盘 更 快 是因为 你 可能 在 别的 方面 更 有 优势 比如说 在 网络 上 更 近 所以 说 你 在 CDN 里面 肯定 都 是 大量 使用 闪存 的 算不算 缓存 也 是 一样 很多 时候 缓存 并 不是 因为 它 比 数据库 更 快 是因为 它 可能 离 服务器 更近 对 吧 比 数据库 更 便宜 更 便宜 吞吐量 更 高 但 数据库 也 是 闪存 了 你 这样 说 起来 也 不 一定 更 便宜 很多 了 但 也 可能 会 便宜 比如说 你 进行 一个 数据库 的 查询 可能 会 很 贵 了 那就是说 你 很多 时候 闪存 它 就是 就算 是 和 数据库 同样 贵 那 还是 在 别的 方面 会 有 优势 的 所以 这个 从 我们 的 角度 来讲 这 并 不是 问题 问题 是 如何 缓存 能够 在 闪存 上存 的 好 这 听 上去 好像 还 并 不是 一个 完全 解决 的 问题 是不是 是

我们 现在 在 讲 怎么样 把 这些 数据 排列组合 把 它 打包 好 那 针对 内存 的 设计 思路 和 针对 闪存 的 设计 思路 其实 很 不 一样 的 内存 的 特点 是 它 的 读写 非常 对称 就是 读 的 速度 和 写 的 速度 或者 是 延时 基本上 是 一样 的 所以 还有 一个 特点 就是 任何 地址 的 读写访问 内存 的 时候 它 这些 效率 也 都 是 非常 平均 的 所以 我们 经常 说 这个 内存 是 对 随机 查找 相当 友好 的 一个 介质 就是 我 可能 从 一号 地址 下 一个 访问 我 就 跳 到 了 一万 号 然后 再下 一个 访问 我 就 跳 到 了 五百 号 这样 跳来跳去 的 操作 其实 对 内存 来讲 并 没有 很大 的 压力 那 对于 闪存 来讲 就 不 一样 闪存 的话 它 第一 是 读写 相当 不 对称 可能 有些 比较 夸张 的 比较 极端 的 例子 吧 可能 读 的 速率 是 写 的 速率 的 十倍 以上 而且 读 的 延时 比写 的 延时 要 低 很多 它 消耗 的 电量 它 的 功耗 其实 也 是 不 一样 的 写 要 从 各种 角度 来说 又 慢 又 贵 所以 在 针对 内存 设计 的 时候 可以 做 很多 设计 它 是 频繁 的 去 进行 写 操作 或是 满地 的 写 这 都 是 没有 问题 的 但是 如果 要 去 对 内存 进行 操作 的话 其实 最佳 的 策略 是 顺序 的 写 而且 一次 要 写 一块 那 我们 之前 提到 过块 的 概念 对 缓存 来讲 这个 尤其 重要 你 如果 写 不满 一块 那 其实 付出 的 代价 和 写 满 一块 是 一样 的 所以 你 如果 每次 都 写 不满 一块 其实 是 把 写 的

代价 都 提高 了 这 正好 可以 引出 我们 下 一个 话题 了 因为 写 是 很 困难 的 嘛 这 就 带来 一个 问题 就是说 在 缓存 里面 你 是 怎么 决定 哪个 数据 要 清 出去 缓存 这件 事情 就是说 我们 要 把 最 有用 的 东西 放在 那 没有 用 的 我们 把 它 清 出去 对 吧 我们 怎么 决定 什么 清 出去 这件 事 怎么 做 我们 刚才 说 到 对于 闪存 来讲 清 哪个 清 哪个 它 的 写 的 开销 不 一样 对 吧 清 这个 可能 更贵清 这个 可能 更 便宜 但 这 肯定 并 不是 唯一 的 标准 了 肯定 更 多 的 标准 是 究竟 它 有没有 用 这 是 另外 一个 刚才 我们 岳阳 说 过 更 有用 的 标准 那 这 可能 是 过去 多少 年 有 很多很多 的 这个 论文 啊, 有 很多很多 的 技术 啊。 岳阳要 不要 讲讲 这个 话题?

这个 话题 的确 是 成百上千 的 论文, 但是 我 觉得 其实 你 要 把 它 归根到底, 它 基本 的 讲法 其实 只有 三个 想法。 这 三个 想法 第一 就是 我们 之前 讲 到 就是 别人 看 的 内容 可能 我 也 在 看 对 吧 所以 这个 就是 所谓 的 最近 读 那 就 或者 是 最近 接触 的 内容 就是 最近 什么 话题 热 呀 这个 就 可能 是 下 一段时间 就是 昨天 的 热点 很 有 可能 也 是 今天 的 热点 昨天 的 吃 的 瓜 可能 今天 继续 要 吃

就是 我刚 看过 的 可能 别人 也

会 看 对 或者 是 我 昨天 看过 的 我 明天 可能 还要 接着

看 比如说 我们 微信 的 好友 对 吧 昨天 聊过 的 好友 很 可能 明天 还要 再聊 一下 因为 这 是 你 的 亲密 好友 那 这个 有 一个 专门 的 名字 其实 在 缓存 研究 里面 叫做 LRU 就是 最近 访问 的 项目 吧 或者 是 数据 最有

价值 就是说 我们 刚 见面 的 朋友 就 更 可能 是 我们 还会 再

快 见面 的 啊 对 就 比如

同事 对 很 长时间 都 没有 见 的 朋友 就 很 可能 也 下次 见 就 很 长时间 以后 就 大概

是 这么 一个 感觉 是 的 那

这 是 第一个 第一个 思路 第二个 思路 叫做 属 频率 就是 我 比如说 我 今天 吃 了 三顿 饭 这 是 比较 频繁 的 一个 事件 那 我 明天 很 可能 也 要 吃 三顿 饭 或者 是 我 今年 只 看 了 一场 电影 那 很 可能 我 接下来 一段时间 就 不会 再 去 电影院 了 这个 就是 数 频率 当 你 确定 了 一段时间 以后 你 可以 开始 数数 如果 这个 有 一个 数据 它 就 被 点名 的 次数 很 高

那 它 的 价值 就 比较 高

这个 就是 第二个 思路 数 频率 那 这个 你 可以 看到 它 和 常见 面 或者 是 最近 刚 见过面 这个 思路 是 有 一些 重合 的 地方 但是 它 关注 的 这个 可 测量 的 这个 量 是 不 一样 的 所以 它 这个 就是 数是 第二个 思路

就是 两手 去 算 讲 一个 有

什么 区别 啊 数数 的 好处 是 比如说 有 一个 数据 你 可能 就是 每天晚上 七点 访问 然后 第二天 晚上 你 还是 7 点 访问 但是 是 每天 都 是 非常 标准 的 那 如果 你 是 看 最近 最后 一次 访问 是 什么 时候 那 第二天 6 点 59 分 的 时候 这个 中间 的 间隔 就 会 比较 长对 吧 差不多 有 一天 了 但是 你 刚过 7 点 的 时候 这个 间隔 就 很 短 只有 一分钟 所以 它 这个 值 的 波动 是 比较 大 的, 但是 如果 你 说 我 就 数 每天 的 频率 的话, 这个 频率 是 非常 稳定 的, 每天 都 是 1, 所以 应该 说 这 两个 策略 各有 优势, 就要 看 数据 访问 的 它 这个 特性 来 决定 哪 一个 更好。

这个 好像 听 上去 好像 现在 有 很多 用 AI 做 访问, 这个 也 不 知道 靠 不靠 谱 啊。

对 其实 对 AI 来讲 这个 数 频率 我 觉得 从 直观 上 来讲 应该 是 比较 靠 谱 的 因为 AI 经常 是 密集型 的 去 访问 很多 数据 对 吧 但是 它 时间 上 来讲 不是 很 均匀 所以 数数 的 这个 办法 我 觉得 可能 对 这种 类型 的 访问 更 有效性 那 就 讲 了 两个 最后 只有 一个 一共 只有 三个 所以 不是 很多 最后 一个 就是 叫做 最近 写 就是 之前 说 的 时效性 那 就是 我们 就是说 大家 洗心 验旧 所以 新 数据 比老 数据 更 有 价值 那 如果 大家 看 新闻 的话 应该 对 这个 有 直观 的 感受 对 吧 新闻 新闻 就 必须 新才 有 价值 如果 一年 以前 的 事情 就 不 叫做 新闻 大家 也 不太会 去 关注 所以 从 这个 内容 创建 的 事件 来讲 也 可以 预测 它 在 缓存 里面 的

价值 这个 在 实现 上 也 非常 的 适合 于 闪存 啊, 因为 闪存 写 比较 困难 吧, 你 就 直接 写 到 里面, 然后 最老 的 就 直接 删掉 啊, 就 大块 大块 的 删 了 啊, 就 非常适合 闪存 啊。

斯托 埃特 你 这个 观察 非常 好 因为 我们 其实 最近 也 在 做 一些 研究 因为 最近 写 这个 策略 对 闪存 实在 是 太 友好 了 所以 如果 按照 史校 来 进行 缓存 内容 的 更新 吧 如果 有 很 好 的 效果 的话 那 这个 属于 是 一箭双雕 对 吧 所以 我们 研究 的 结果 其实 是 我们 还是 非常 乐观 的 就是 当 我们 有 比较 大 的 容量 来 存储 数据 的 时候, 按照 数据 时效 来 存取, 其实 是 一个 非常 好 的 策略。

我们 说 了 这么 半天, 这个 领域 有个 名字, 人们 都 没有 说, 叫做 置换 机制 是 吧, 叫 replacementpolicy, 这个 是 个, 对 吧, 支持 下 这个 领域, 一说 这个 就 觉得 特别 高深, 特别 的 有 知识, replacementpolicy, 对, 就是

如果 大家 要 写 缓存 的 论文

的话, 可以 着 重提 一下 这个 词, 这个 显得 自己 是 业内人士。

对, 很多年 前 还有 一个 什么 著名 的 一个 IBM 的 这个 叫 什么 ARC, 专利 前 两年 过期 了 啊, 也 是 一 讲课 就 就 提到 这个 算法 的 那个 一篇 论文 啊, 也 不是 一篇 论文 了, 他们 也 用 它。

ARC 其实 是 LRU 和 属 频率 这 两个 机制 的 一个 结合 它 的 特点 在于 它 是 这 两个 机制 的 一个 动态 结合 所以 它 的 效果 比较 好 它 可以 根据 内容 的 不同 来 调整 应该 更 侧重 属 频率 还是 更 侧重于 追

进度 这 两个 机制 里面 有 很多 高科技 我们 就 不细聊 了 那个 我们 还有 一个 就是 我们 刚才 说 到 的 这个 计算机科学 的 两大 问题 之一 叫 内容 更新 是 吧 叫 cashvalidation 我们 要 聊聊 两大 问题 之一 我们 先说 说 这个 问题 为什么 是 个

问题 吧 为什么 是 个 问题 我 在 春日 上班 的 时候 遇到 过 一个 非常 令人 疑惑 的 一个 故障 那 这个 故障 呢 就是 用户 重置 了 他 的 密码 或者 是 更新 了 他 的 头像 但是 过 了 一段时间 莫名其妙 的 这个 密码 或者 头像 就 被 改回去 了 那 改 头像 这个 事情 大家 也 可能 就是 也 就 忍 一忍 就算 了 那 那 想象 一下 如果 你 被盗 号 了 然后 你 好不容易 千辛万苦 那 我 我

忍 不了 忍 不了 我 改过 了

所以 這是 一個 非常 嚴重 非常 棘手 的 問題 最後其實 這個 故障 是 和 緩 存有 關的 而且 是 和 緩存裡 的 內容 更新 不 及时 有关 的 就是 我们 在 缓存 里面 存 了 陈旧 的 版本 比如说 用户 的 密码 它 有 好多 每次 你 改 的 时候 其实 相当于 创建 了 一个 新 版本 我们 把 老旧 的 密码 已经 过时 的 密码 没有 从 缓存 里 及时 的 清除 出去 导致 了 这个 故障 影响 到 用户 的 体验 或者 是 甚至 影响 到 用户 的 账户 安全 从 这个 例子 就可以看 出来 有 的 时候 如果 缓存 里 的 内容 没有 及时 的 去 更新 的话 是 有 非常 严重 的 后果 哦 那个

听众 朋友 们 可能 听 不 太 出来 这件 事有 多 困难 啊 因为 我们 当然 知道 缓存 到处 都 是 嘛 我们 刚才 也 聊到 了 说 到处 都 有 缓存 cda 也 是 缓存 我们 有 各个 数据中心 各种各样 的 缓存 你 更新 数据库 就 一个 地方 是 吧 这 地方 更新 了 就是 更新 了 但是 缓存 到处 都 是 你 更新 的 数据库 你 去 那读 可能 读 的 是 老 的 去 那 读读 的 又 是 老 的 那 就 出 问题 了 对 吧 你 怎么 能够 更新 呢 数据库 把 所有 地方 的 缓存 都 保证 读出 新 的 来 啊 这事 有点 有点

难哈 其实 这个 有 一个 坏消息 给 大家 我 觉得 其实 主流 的 解决办法 对于 这个 数据 更新 不 及时 的 解决办法 就是 一个 字 等 你 等

着 等 着 它 最后 就 更新

了 那 什么 意思 呢 就是 我们 存在 缓存 里 的 数据 即便 是 有用 的 数据 我们 也 不 希望 它 永久 的 停留 在 缓存 里 为什么 就是 因为 这个 原因 如果 我们 可能 把 一个 错误 的 版本 或者 一个 成就 的 版本 留在 了 缓存 里 一直 没有 机会 去 把 它 分析 对 吧 我们 可能 一直 给 你 看 的 是 一个 成就 的 网页 那 所以 有 一个 基本 的 就是 使用 缓存 我 觉得 是 有 一个 基本 的 原则 吧 就是 只要 你 的 数据 不是 只读 的 就是 写 完 以后 就 不会 再 改 了 只要 任何 可能 会 改变 的 数据 那 你 在 缓存 里 存放 的 时候 还是 需要 给 它 设置 一个 保鲜期 这样的话 就 缓存 设计 的 时候 只要 是 过 了 这个 指定 的 时效 它 是 一定 会 失效 的 这样的话 至少 大家 心里 就 有 一个 有个 底 就是 最坏 情况 下 可能 你 要 等 两天 但是 两天 之后 这个 数据 一定 会 被 更新

就是 我 的 头像 两天 之后 一定 会 会 变成 新 的 是 吗

破译 的 密码 希望 不是 密码 了 但 有 用户 资料 如果 是 成就 的话 那 不会 超过 两天 对 吧 或者 如果 你 觉得 这个 不能 忍 两天 太久 了 我 是 可以 忍 两个 小时 那 你 就 设成 两 小时 如果 你 只能 忍 一分钟 那 就 设成 一分钟 但是 这里 有个 关系 对 不 对 如果 你 很快 的 就 把 这个 内容 从 缓存 里 踢出去 了 那 如果 有人 过 了 这个 时效 来 访问 的话 这个 缓存 就 不是 那么 有用 所以 这个 难点 就 在于 怎么样 去 把握 这个 平衡 既 要 缓存 又 要 便宜 又 要 快 然后 呢 又 希望 它 的 数据 不是 那么 的 陈旧 又 希望 它 能 把 所有 有用 的 这个 请求 都 能够 把 它 完成 这 几个 之间 找 一个 平衡 是 设计 的 主要 难点 你 这个 我

联想起 你 刚才 说 域名解析 啊, 域名解析 DNS 啊, 很多 DNS 域名解析 的 服务器 里面 的 好像 是 协议 是 24 个 小时 啊, 所以 你 把 域名解析 到 别的 一个 地方 呢, 就是 等 吧, 等 24 小时 才能 看到 全世界 访问 的 时候 都 是 去 了 那个 新 的 地址 啊。

嗯。

但是 這個 是 最壞 情況 對 不

對 所以 我們 說 你 需要 設一個 保險期 其實 是 為 了 防止 是 希望 給這個 最壞 情況 兜個 底 但 正常 情況 下 其實 沒有 那麼 糟糕 正常 情況 下 沒 有 那麼 糟糕 是 因為 還有 一些 別 的 機制 來 幫助 我們 更加 及時 的 來 更新 那 这 里面 其实 有 很多 有趣 的 就是 可以 说 值得 写 论文 的 这样 一些 技术 但 基本 的 思路 比较简单 的 就是 如果 我 知道 我 存放 的 这个 建制 在 如下 十个 地址 有 可能 被 缓存 那 我 可以 找 打预防针 对 不 对 我 可以 去 这 十个 地方 每个 地方 都 是 嘿 你 有没有 存 我 的 数据 如果 你 有存 这个 建制 的话 请 你 把 它 更新 成 如下 最新版 对 吧 这个 就是 所谓 的 push 就是 主动 的 更新 这是 一个 机制 可以 有效 的 把 缓存 的 内容 更新 了 还有 一个 机制 它 是 相当于 是 设置 了 两个 有效期 就 第一个 有效期 是 指 什么 时候 我 这个 数据 就 过 了 保险期 就 不能 用 了 第二个 有 一个 相对 较 短 的 一个 保险期 是 指过 了 这个 时间 我们 应该 到 数据库 里 去 问一问 我们 的 这个 值 是不是 还是 最新 的 这 也 是 一个 很 有效 的 办法 那 这样的话 下 一次 有 的 用户 来 访问 这个 建筑 的 时候 他 这个 访问 的 动作 就 可能 导致 这个 建筑 的 数值 被 更新 但是 同时 呢 我们 可以 把 现有 的 版本 提交 给 这个 用户 所以 他 也 不用 再 等 可以 说 是 一个 比较 好 的 平衡 了 两 方面 需求 的 一个 策略

嗯 我们 大概 讲 了 这么 多 关于 数据 存储 的 这些 技术 啊 我们 讲到 了 放在 内存 还是 闪存 里面 呀 啊 怎么 在 自 拍 上 或者 内存 里面 排列 呀 讲 到 这个 置换 机制 这些 什么 论文 呢 还有 内容 更新 呢 我们 转换 一下 话题 讲 一下 这个 这个 服务 吧 分布式 缓存 它 是 一个 服务 服务 这个 词 我们 听 着 也 不 一定 能 理解 了 就是 它 不仅仅 是 在 这个 缓存 里面 怎么 到 了 这个 服务器 里面 怎么 存是 吧 怎么 决定 扔 那个 怎么 决定 那个 和 数据库 同步 但 怎么 去 这个 服务器 这个 部分 怎么 去 服务器 这个 部分 它 也 是 一个 很大

的 问题 是不是 其实 这个 部分 我

觉得 相对 来讲 可能 比较 容易 理解 你 就 把 它 想象 成 网络 上 有 个 网址 其实 道理 是 一样 的 归根结底 它 是 通过 网络 来 访问 所以 它 需要 的 是 一个 高性能 的 网络 服务器 如果 能够 做到 这 一点 它 就是 一个 合格

的 服务 这个 听 上去 不仅仅 是 一个 缓存 问题 啊 我们 就 所有 的 这些 服务 啊 所有 的 这些 都 有 同样 的 问题 我们 的 数据库 有 同样 的 问题 对 吧 我们 的 网站 有 同样 的 问题 是 吧 那 他 缓存 的 问题 跟 他们 有 什么 共同 或 不同点

呢 可能 放长点 更 多 但是 呢 缓存 相对 来讲 它 对 性能 的 要求 可能 更高 一些 那 就 只有 说 到 为什么 我 后来 成立 了 一个 改进 性能 的 小组 这 也 是 和 缓存 的 特性 有 关系 因为 缓存 因为 它 的 要求 比较 高 所以 如果 你 能 满足 缓存 的 服务 的 性能 要求 那 你 基本上 就 可以 满足 任何 类型 的 服务 的 要求 缓存 有 一个 比较 有 一个 比较 重要 的 点 其他 服务 可能 是 不 需要 一定 要 达成 但是 对 缓存 比较 重要 的 呢 就是 它 这个 延时 需要 非常 均匀 什么 意思 呢 就是 我 可能 发 10 个 请求 我 需要 考虑 的 是 10 个 请求 当中 最慢 的 那个 请求 花 了 多长时间 而 不是 平均 或者 是 中位数 的 这个 请求 花 了 多少 时间 因为 我们 访问 缓存 的 时候 很多 时候 不是 访问 一次 就 完事 了 我们 可能 是 一个 用户 起球 可能 需要 增成 几百个 上 千个 缓存 的 起球 所以 这 几百 上 千个 缓存 的 起球 里面 如果 有 一个 是 比较慢 的 那 对 整个 用户 体验 就 会

有 影响 这个 乘百 上千 这个 听 着 非常 耳熟 啊 就是 乘百上 千个 这个 RPC 是 吧 你们 那个 叫

RPC 吗 哎 这个 缓存 里 的

RPC 是 货真价实 的 RPC 某些 同学 说 的 RPC 他 不是 真的 RPCRPC 是 一个 在 后台 才 有 的 概念 如果 是 用户 的 应用 和 网站 后台 之间 这个 通信 它 不

叫 RPC 好 我们 说 回去 了 我们 这个 乘百上 千个 RPC 要 保证 最慢 那个 要 够快 那 怎么办 呢 有 什么 技术 来 解决 这个 问题

呢 这个 说 难 也 难说 容易

也 容易 其实 你 怎么 让 你 的 服务 变快 最 简单 的 办法 就是 不要 做 那些 让 你 的 服务 变慢 的 事情 你 的 服务

自然而然 就 快 了 就 像 怎么样 才能 赚钱 不要 用 闪存 就 不要 做 那些 花钱 的 事情 你 不

就 省钱 了 吗 就是 又 既 说 了 其实 又 跟 没 说

一样 了 不要 用 Java 对 不要

用 Java 这 所有 的 缓存 的 服务 都 是 用 就 所谓 的 叫 编译语言 的 nativelanguage 是 有 道理

的 低级语言 啊 哎 低级语言 对 对

对 对 这个 要 取得 高级 的 性能 就要 使用 低级 的 语言 对

他 也 叫 低级语言 啊 对 我们

是 用 C 写 了 初始 的 版本 然后 我们 现在 紧跟 潮流 又 用 Wordpress 重写 了 一遍 Go 就

不行 Wordpress 还行 Go 不行 真的 这个 不是 我 看不上 Python、 Java、

Go 这种 会要 停机 来 清理 内存 的 这些 语言 都 够不上 延时 的

要求 对 吧 所以 其实 要 服务

性能 高 不 在于 你 做 了 什么 而 在于 你 没 做 什么

其实 这个 指导思想 其实 我 觉得 是 最 根本 的 那就是说 有 一个 事情

我们 可能 有 的 时候 会 写 日志 对 吧 我 这个 服务 里 发生 了 什么 异常 的 现象 我 把 它 记录下来 这样的话 工程师 可以 后来 进行 调试 这个 写 日志 的 事情 有 的 时候 是 会 有 一些 开销 的 那 就 尽量 要 把 写 日志 这个 步骤 一步 去 走 就是 不要 在 处理 请求 的 同时

还要 把 日志 写 到 字盘 上 那 这 两个 事情 就 会 互相冲突 一下 让 你 的 服务 变慢 对

吧 就 把 这些 既有 必要 但是 可能 对 性能 有 一些 影响 的 事情 把 它 非常 妥善 的 处理 好 那 这个 服务 的 性能 自然

就 会 高 了 就是 还是 在 实现 时候 要 注意 不要 做 那些 可以 让 你 等 的 事情 那

就 出 问题 了 对 这个 就是 需要 工匠 精神 要 去 研究 细节

所以 需要 一个 为 你 优化 的 公司 来 帮 你 看一看 性能 怎么

能够 做 得 更好 这个 不是 我 泼冷水 啊 这个 我 觉得 最 重要

的 还是 在 设计 的 时候 就要 选 一个 高性能 的 体系结构 后期 的 小 大小 或者 是 修修补补 都 是 不能 产生 根本性 的 改变 如果 大家 对 高性能 设计 有 兴趣 的话 我们 可以 挑 别的 时间 再 来讲 那

我们 就 说 到 了 这个 数据 的 这个 损取 啊 这个 服务 怎么 搞 啊 这个 服务器 怎么 搞 那 是不是 我们 主要 的 核心技术 都 已经

聊得 差不多 了 对 其实 缓存 分布式 缓存 的 本质 就是 两个 东西 在 一个 高性能 的 网络服务 上用 内存 或者

闪存 把 热点 数据 存 起来 这

就是 它 的 使命 好 那 我们 说 到 核心技术 我们 展望 向 未来 吧 我们 这个 节目 的 特点 是 要 展望 向 未来 让 我们 一线 的 专家 展望 向 未来 缓存 技术 现在 有 什么 未来 的 方向 吗 或者 面临 什么 比较 大 的 挑战

吗 我 觉得 有 两个 方向 我 觉得很有 意思 可以 继续 做 因为 你 看 这个 缓存 的 这个 领域 相对 于 数据库 的 热闹 来讲 相对 来讲 是 比较 冷清 的 因为 大家 觉得 需求 也 比较 基本 然后 实现 也 比较 基本 但是 我 觉得 有 两个 方向 将来 可能 就 有 很多 好玩 的 事情 可以 做 第一个 方向 是

增加 更 多 的 数据类型 可能 业内人士

可能 知道 一般 的 听众 可能 不是 特别 了解 就是 Memcached 虽然 是 缓存 的 开山鼻祖 但是 最近 的 风光 传播 都 被 Redis 抢走了 那 为什么 会 产生 这个 现象 因为 Memcached 的 性能 从 性能 上 来讲 它 并 不输给 RedisRedis 之所以 能够 抢占市场 份额 是因为 Redis 提供 了 很多 用户 非常 需要 的

数据类型 也就是说 可以 让 你 用 更 少 的 代码 提供 更 多 的 接口 然后 做 更 多 的 事情 所以 我 觉得 这是 一个 非常 有

价值 的 方向 这个 现象 还会 持续 下去 将来 的 缓存 我 觉得 会 给 用户 提供 越加 多 的 功能 可以 简简单单 的 就 用 一个 简单 的 API 这样 一个 请求 就 可以 做 很多 事情 这些 事情 的话 可能 会 需要 很多 数据 但是 这 没有 关系 缓存 都 给 你 本地 存住 了 尤其 是 当 我们 有 闪存 的 这样 一个 大容量 的 媒介 引进 来 以后 这个 现象 我 觉得 会 更加 明显 所以 缓存 要 更好 用, 要 能 做 更 多 的 事情, 这是 一个 方向 喜欢 数据结构 的 朋友, 我 觉得 这个 就是 一个 很 好 的 施展 身手 的 一个 舞台 因为 在 缓存 里 做 数据结构 是 比 在 数据库 里 做 数据结构 要 简单 很多 我们 之前 说 了 数据 更新 主要 靠 等 嘛, 对 吧 所以 把 最难 的 这个 问题 其实 是

基本上 绕过去 了 这 是 一个 方向 另外 一个 方向 就是 之前 我们 提

最早 的 缓存 都 是 针对 内存 来 设计 那 将来 我 觉得 这个 大 的 方向 是 会 做 一个

内存 和 闪存 一体化 的 一个 存储

结构 或者 是 以 闪存 为主 内存 为辅 的 一个 存储 结构 不同 的 硬件 它 有 不同 的 性能 这 就 对 设计 提出 了 不 一样 的 要求 对 吧 我们 要 把 这个 设计 对 存在 设计 好 其实 很多 基本 的 存储 的 设计 都 是 要 进行 很大 的 修改 这 也 是 一个 很 有意思 的 前沿 的 方向 特别 是 如果 我们 可以 现在 有 流行 讲存算 分离 或者 基于 网络 的 分布式 存储 那 这些 新

的 相当于 是 界面 吧 新 的

界面 如果 我们 可以 有 一个 巨大 的 内存 池 但是 是 通过 网络 连 起来 的 或者 一个 巨大 的 闪存 池 然后 他们 都 是 通过 网络 连 起来 我们 要 怎么样 在 上面 写 新 的 缓存 服务 这是 一个 有趣 的 研究 方向 闪存 池

容易 点 啊 闪存 池 大家 要求 不要 太高 其实 闪存 是 价格便宜 但

有 足 我 个人 是 非常 看好

这个 方向 的 内存 我们 可能 找个 时间 聊聊 像 什么 CXL 这种 事情 感觉 好像 又 非常复杂 了 好 我们 聊到 了 挑战 啊 我们 进入 我们 一般 的 最后 一个 问题 就是 一般 我们 会 问 嘉宾 如果 听众 朋友 觉得 这个 领域 非常 的 厉害 非常 的 想 进入 啊 跃跃欲试 啊 摩拳擦掌

应该 怎么 行动 呢 作为 开源 项目

的 这个 作者 对 吧 这个 不来 给 自己 的 开源 项目 做做 广告 咱们 也 不好 回去 交代 对 吧 对 是 这样 的 如果 对 缓存 有 兴趣 的 朋友 呢 好消息 是

缓存 方面 的 项目 不是 那么 的 多 如果 大家 有 雄心壮志 要 把

所有 缓存 相关 的 项目 代码 都 读 一遍 这是 完全 可行 的 所以 就是 我们 之前 提到 的 几个 比较 重要 的 小 MemcachedRedis 的 代码 因为 它们 都 是 用 C语言 写 代码 其实 非常 好读 对 吧 这个 很 啰嗦 但是 知识点 不多 你 一般 人有 本科 的 计算机 的 基础 一定 能 读 下来 可以 去 读一读 然后 看 一下 因为 举一反三 嘛 你 如果 能够 然后 读一到 两个 经典 的 代码 库 这个 领域 大家 就算 入门 了 我 也 要 顺便 给 我 的 开源 项目 做 一下 广告 因为 这个 PelicanCache 是 既 可以 兼容 Memcached 也 可以

兼容 Redis 哎呀 这个 厉害 了 因為 我們 是 把 它 做成 了 模塊化

因為 Redis 和 Memcached 它 的 區別 一個 是 在 於 它 的 接口 不同 第二 是 在于 它 存储 设计

的 理念 不同 那 我们 就是 对接口

和 存储 都 做 了 模块化 处理 你 也 可以 写 自己 的 接口 你 可以 写 一个 Memcache 接口 可以 写 一个 Redis 接口 你 可以 写 一个 和 HTTP 接口 或者 是 你 愿意 创造 一个 你 自己 的 协议 可以 写 自己 的 接口 这些 都 可以 和 各种类型 的 存储 无缝 衔接 存储 也 是 同样 的 道理 你 可以 写 一个 内存 的 存储模块 也 可以 写 一个 闪存 的 存储模块 可以 写 一个 根据 大小 来 分类 的 存储模块 也 可以 写 一个 根据 时效 来 分类 的 存储模块 这些 可以 和 各种 的 接口 无缝 联系 所以 如果 大家 越来越 想 写 一个 新 东西 我 的 建议 是 可以 加入 到 我们 Telecom 的 项目 里 来 我们 也 有 一个 小小的 社区 在 Discord 上 大家 可以 在 主页 上去 找到 它 然后 我们 可以 进行 各种 讨论

嗯 不错 啊 你 这个 推荐 还是 比较 特别 的 啊 比较 特别 的 啊 我们 一般 吐 一个 槽 一般 问 这个 问题 呢 你 就 能 看出 这个 领域 有 多 热门 啊 一般 比较 热门 的 领域 比如说 AI 的 嘉宾 他 一般 就 会 劝退 了 就 会 说 哎呀 你 要 想一想 这个 领域 这么 多人 你 还 来 不来 一般 要是 比较 稍微 没有 那么 热门 的 领域 都 会 说 啊 没有 什么 你 就学 一学 这个 是 吧 编程 会 一会 基本 的 工程 知识 会 一会 都 可以 来 都 可以 来 什么 都 可以 来 啊 预言 这个 还 比较 特别 的

我 这 有 一个 AI 的 后门 然后 大家 要是 古于 AI 这个 领域

够 热 但是 自己 入门 无门 的话 你 可以 从 AI 的 数据 存储 这个 角度 来 入门 这个 是 和

缓存 关系 很大 的 然后 AI 里面

现在 也 是 很 需要 的 但是 还 没有 一个 很 明显 的 赢家 所以 如果 你 想 从 这个 角度 入门 我 觉得 是 竞争 相对 来讲 比较 少 也 不 需要 懂 很多

的 AI 可以 把 AI 搭 嘴

对, 可以 比较 快 的 结束 到

前年 说 了 这么 半天, 月瑶 还 没有 说 你们 公司 叫 什么 我们

公司 叫 IOPSystemsIOPSystems 对 对 对 这个

IoP 是 什么 意思 呢 就是 它 指 InfrastructureOptimizationandPerformance 就是 基础架构 的 更换 和 性能 其实 就是 如实 地 描述 了 我们 公司 的 事情 那 Systems 这个 就是 系统对 吧 对 我 对 这个 词 很 有 感兴 因为 我 觉得 很多 东西 你 都 可以 从 一个 系统 的 角度 来 研究 它 其实 它 是 一种 相当于 是 一种 方法论 而 不是 一个 特定 的 事物 所以 这 也 是 我 个人 比较 奉行 的 一个 做 工程 的 一个 方法

谁 要 有 一些 性能 测试 性能 优化 的 问题 可以 来 找 IOPSystem 找岳瑶 来 解决 他们 的 问题 对 欢迎 大家 好 感谢 我们 的 嘉宾 岳阳 来到 我们 节目 我们 缓存 方面 的 专家 来 给 我们 讲解 缓存 的 历史 缓存 的 应用 还有 缓存 的 这些 基本 技术 非常 的 感谢 来到 我们 节目 喜欢 我们 节目 请到 各大泛 用型 播客 平台 订阅 和 收听 在 我们 可以 点赞 的 地方 点赞 在 我们 可以 评论 的 地方 评论 我们 现在 还 在 招 志愿者 我们 招 志愿者 的 信息 可以 在 我们 的 播客 描述 里面 找到 好 那 我们 就 后会有期 掰掰 再見