#111. 存储设备——个人设备和云存储之外的存储硬件
9 Feb 2023 · 52 min
Stuart and Kent talk with storage expert Victor about enterprise hardware beyond personal devices and cloud. They cover RAID and disaster recovery, data compression with companies like PureStorage, and why moving massive datasets to AWS requires hybrid on-prem and cloud setups.
Chapters
说起 存储 我们 通常 想起 手机 和 个人电脑 里 的 硬盘 以及 数据中心 里 的 大规模 存储 但 还有 一种 存储 也 有着 每年 数十亿 的 产值 今天 我们 就 来 聊 一聊 企业级 存储设备 这里 是 牛油果 烤面包 大家 好 我 是 斯托 亚特 我 是 Kent 今天 我们 有幸 请 到 了 在 波士顿 某 跨国 科技 大厂 工作 的 Victor 来 和 我们 聊一聊 存储设备 谢谢 大家 好 我 是 Victor 今天 我们 聊 的 是 这个 存储设备 存储设备 这个 东西 我们 是 个 很 有意思 的 一个 领域 就是 我们 业内 人 都 知道 是 什么 但是 也 不 太 知道 这 东西 叫 什么 我们 想 了 半天 这个 叫 存储设备 英文 里面 有时候 叫 Appliance 是 吧 Victor 你们 出去 和 人 介绍 你 是 做 什么 的 时候 你 一般 说 你 是
做 什么 的 我 一般 就 说 是 我 是 做 IT 的 那
你 要说 具体 做 哪块 呢 一般
会 讲 是 我们 是 做 像 做 企业 存储 用 企业 存储 那一字
这个 东西 呢 可能 很多 人 没有 了解 有些 人 可能 有个 直观 了解 就是 买 一个 大 机柜 机柜 里面 就 基本 全是 硬盘 或者 是 SSD 大概 就 这么 一个 东西 是不是 就是 我们 理解 的 这个 存储设备 叫 StorageAppliance 这个 词 也 不是 特别 的 合适 吧 但是 有 的 时候 大家 管它 叫 Appliance 这个 东西 对 我 的 最大 印象 就是 我刚 开始 工作 的 时候 这个 东西 是 个 大 反派 为什么 叫 大 反派 呢? 因为 我们 最 开始 的 时候 是 做 一个 云 数据库, 云 存储, 那 时候 还是 相对 来讲 比较 新 的 时候, 那 时候 是 07 年 的 时候, 那 时候 我们 的 这个 要 打 的 boss 和 打 的 对手, 就是 一个 叫做 SAN, 后面 我 可能 会 讲 到, 就是 这种 东西。 那個 時候 是 在 微軟 嘛 那 時候 還叫 MSNSpace 當時 已經 改名 叫 LiveSpace 了 就是 那時候 微軟 的 那些 MSN 上面 的 那些 博客 他們 那個 時候 是 存在 就是 我們 今天 要 聊 的 這個 東西 叫做 存儲 設備 或者 叫做 SANSAN 上面 然后 我们 说 这个 东西 当时 我们 说 这个 是 15 年前 说 这个 东西 已经 是 明日黄花 了 已经 是 要 不行 了 我们 要 把 它 取代 掉 我们 生产 这个 就是 云 数据库 要 取代 掉 就 当时 取代 掉 吵 了 两三年 后来 他们 不 跟 我们 合作 了 说 不用 你们 了 然后 他们 一直 好像 算 用到 MSNSpace 这个 产品 一直 都 是 没有 了 还 在 用算 说明 生存力 还是 很强 的 所以 Victor 是 怎么 进入 这个 领域 的
我 当时 进入 到 这个 领域 也 很 有意思, 就是 我 在 之前 的 时候 其实 更 多 的 是 偏向 于 使用 就是 存储, 因为 我 之前 是 做 数据 方面 的 工作, 比如说 像 这边 斯图亚特 也 是 比较 熟悉 的, 就是 像 我们 做 这个 DataWarehouse, 做 ETL, 像 这种 DataIntegration 等等 方面 的 工作 和 一些 数据 的 架构,
就是 数据仓库 我们 专门 讲过 一集 对
喜欢 的 小伙伴 可以 去 看 一下 白泽 卫 我 觉得 那 一期 做 得 很 好 我 也 听 了 很多遍 我 觉得 讲得 很 好 其实 我 之前 一直 不 了解 它 底下 是 什么 因为 我们 在 上面 做 应用 的 时候 可能 只是 从 用户 的 角度 来 去 想 这个 问题 特别 是 当 我们 进入 到 云 的 时代 的 时候 其实 可能 就 更 少会 想到 后端 是 什么 东西 那 也就是说 所谓 的 数据中心 里边 是 什么 东西 那 也 是 当时 一个 非常 巧合 当时 在 波士顿 这边 我 现在 的 公司 希望 找 一个 人去 负责 做 创新 科技 创新 方面 的 工作 那 我 跟 他们 的 经理 谈过 之后 因为 我 从来 没有 做过 更 就是 后 端的 工作 后 端的 技术 那 我 觉得 这 对于 我 来说 也 是 一个 很 好 的 学习 的 机会 所以 说 我 当时 就 抱 着 一个 学习 的 态度 就 进入 到 这个 行业 了 你
當時 覺得 你 們 是 一個 大 反派 的 角色 嗎? 還是 一個 蒸蒸日上 的 行業?
對 其實 真的 不瞞 你 說 我 當時 其實 想法 可能 不能 叫 大 反派 但是 我 就是 總是 感覺 是 一個 西洋 產業 就是 感覺 可能 什麼 時候 就 被 幹 掉 了 就
會 有 這種 感覺 結果 已 經幹 了 四五年 了 是 吧 還是 在
往上走 啊 我 是 感觉 随着 进入 到 这个 行业 之后 发现 这个 行业 真的 是从 IBM 大概 在 1956 年 50 年代 60 年代 开始 那么 这个 行业 它 存在 了 这么 多年 其实 是 很 有 道理 的 我们 就
开始 先说 说 这 东西 的 历史 我们 这个 节目 的 特简 讲讲 历史 我们 有 一集 讲 存储器 的 历史 就是 是 我 讲 的 你们 可以 找 来看 一看 但是 我们 讲 的 不是 存储器 存储器 就是说 比如说 从 硬盘 到 闪存 到 内存 的 历史 我查 了 一下 這個 早期 對 於 存儲器 和 這個 設備 是 大家 是 不太分 的 最 開始 早期 的 時候 IBM 出 的 硬盤 嘛 就是 一個 一間 房子 嘛 就是 巨大 的 硬盤 一個 美女 坐在 硬盤 的 上面 的 那個 那 硬盤 就是 一個 大硬盤 嘛, 慢慢 慢慢 硬盤 就 越來 越 小 了, 整個 存儲 就 越來 越 大 了, 好像 突然 大家 就 不管 那個 叫 硬盤 了, 不管 那個 叫 存儲 了, 就 分成 了 一個 存儲 設備 和 存儲 了, 我 印象 中 好像 還是 這樣, 我查 了 一下, 好像 是 在 1965 年 的 時候, 剛才 Victor 說 1956 年 的 時候 剛開始 做 了 硬盤 嘛, 我查 了 一下, 1965 年 的 時候 他們 第一次 IBM 出 的 存儲 設備 是 不止 一個轉 的 那個 硬盤, 里面 有 八个 的 他们 第一次 是 不止 一个 硬盘 的 对 是
的 我 这件 其实 我 很 同意 斯维亚 特 的 观点 第一 开始 的 时间 大部分 人会 认可 的 一个 时间 点 是 当 IBM 发明 了 磁盘 的 介质 我 的 理解 也 是 这样 就是 当 这个 磁盘 介质 当 发明 出来 而且 这个 是 IBM 当年 最 赚钱 的 专利 那么 它 取代 了 之前 的 这种 打孔 的 这种 存储 的 方法 我 觉得 这个 可能 是 一个 非常 大 的 一个 标志性 的 像 你 说 的 它 的 体积 非常 的 大 就是 像 一个 房间 一样 那么 大 的 一个 机器 而且 是 直接 连 在 服务器 的 后边 的 就是 我们 经常 叫 直连 就是 这个 DASDirectAttachedStorage 就是 所谓 的 直连 就是 它 是 直接 跟 服务器 连在一起 的 那么 这个 是 一台 那 可能 你 提到 的 1965 年 可能 是 他们 已经 开始 在 面向 客户 了 已经 很多 了 对 就 开始 真正 的 开始 去 卖 这个 设备 了
你 看 早期 的 時候 你 看 早期 的 IBM 的 這個 硬盤 的 歷史 其實 有點 像 我們 現在 談 的 這些 我們 後 面會 說 一堆 硬盤 嘛 因為 早期 他會 說 這個 硬盤 這個 是 一個 可以 賺 的 他們 說 這個 我們 有 三個 盤片 這 大概 有四個 盤片 他 就 按照 盤片 算了 但 其實 是 一個 軸嘛 就是 硬盤 來 講是 現在 是 硬盤 同一 個軸裡面 可以 很多 個 盤片 嘛 你 看 我 說 我們 三個 盤片 四個 盤片然 後 就 開始 盤片 多 了 以 後 就 開始 多個軸 就是 这么 一个 历史 我们 说 到 IBM 肯定 是 先驱 了 这些 东西 什么 都 是 IBM 先驱 但是 我们 今天 说 到 存储设备 我们 第一 想到 的 一个 品牌 是 什么 Kat 你 说 到 存储设备 你 第一 想到 的 品牌
是 什么 我 第一 想到 的 是
Sandisk 既然 想到 Sundance, 好 吧, 看来 我们 隔行如隔山, 我们 第一 想到 的 会 是 EMC 啊, 一个 产品 大家 一说到 就 会 第一 想到 是 EMC, 所以 EMC 是不是 一个 Victor 在 你们 领域 是 一个 巨无霸 似的, 是 一个 历程 威视 的 公司?
确实 是 这样 的 其实 这个 里面 还有 一个 小 的 八卦 就是 经常 我们 说 那个 高端 存储 有人 说 高端 存储 之 父 就是 到底 是 谁 奠基 了 这个 东西 当然 就是 有 也 有 很多 人 的 认为 观点 是 当时 就 刚才 我们 提到 IBM 的 这个 GenieAmdahl 他 是 发明 这个 大型机 的 因为 大型机 的 出现 包括 这个 存储 的 就是 这个 磁盘 的 这个 介质 的 出现 那么 当时 也 有 很多 人会 认为 金米 是 高端 存储 的 奠基人 或者 是 说 是 一个 致富 那么 其实 还有 很多 在 业内 的 人士 他们 更 认可 的 是 EMC 的 当时 的 最具 代表 人物 的 产品 叫 Symmetrics 那么 这个 是 EMC 的 第一个 高端 存储
的 产品 是 大概 90 年 还是
89 年 的 时候 大概 是 在 190 年 对 190 年 这个 产品 如果 没有 记错 的话 它 应该 是 在 90、 1 年 上市 的 做 这个 产品 的 主要 的 技术人员 他 就 叫 MoshiYane 这个 Moshi 是 一个 非常 厉害 的 人 当时 我们 经常 开玩笑 叫 以色列 坦克 军 就是 坦克 军官 因为 当时 以色列 他们 有 一个 非常 厉害 的 program 就是 他们 会 选拔 在 以色列 非常 优秀 的 人 然后 由 国家 来 去 资助 你 去 读书 整个 你 的 学费 这些 费用 全部 是 国家 来出 的 Moshi 就是 这个 program 的 其中 之一 那么 他 到 了 EMC 之后 他 做出 了 第一代 产品 就是 Symmetrics 这个 产品 的话 我们 当时 在 91 年 上市 的 时候 因为 IBM 它 是 非常 贵 的 一款 产品 但是 EMC 它 通过 了 用 这种 RAID 的 算法 呀 然后 再 加上 后边 的 这些 存储设备 等等 它 做出 了 一个 非常 好 的 这个 架构 那么 这个 架构 的话 我们 后来 就 叫 就是 跟 它 的 这个 产品 命名 同样 的 名字 叫 C MATRIX 那么 这个 的话 可以 说 是 成为 后边 整个 的 存储 包括 到 现在 我们 的 存储 的 产品 的 大概 的 整体 的 architecture 的 结构 啊 或者 是 外貌 其实 都 是 跟 这个 很 像 的 对
对 对 就是 EMC 一个 重要 人物 大概 奠定 了 现在 的 这些 存储设备 的 架构 刚才 说 到 就是说 IBM 最 开始 卖 大型机 嘛 大型机 一 说起 大型机 好像 非常 恐龙 的 是 一样 它 卖 大型机 最 开始 IBM 既卖 大型机 又 卖 上面 的 存储 就是 相当于 你 买 一个 硬盘 买 一个 主机 然后 把 它 插起来 一样 然后 EMC 大概 在 190 年 左右 的 时候 它 看到 了 一个 市场 它 说 我 用 更 便宜 的 元件 把 那个 接口 实现 了 我 要 给 它 卖 给 那些 大型机 厂商 不是 我 也 赚钱 了 吗 所以 它 就 用 更 便宜 的 一些 设备 组装 起来 了 一个 存储 的 一個 設備 然後賣給 這些 大型 級 的 客戶 然後一炮 走紅 是 吧 因為 便宜 是 的 是 的 是 的 EMC 這個 公司 可能 很多 人 沒 有 見過 它 的 商標 的 它 是 一個 E 等 於 MC 方 就是 愛 因斯 坦那個 質量 能量 公式 的 E 等 於 MC 方它 把 那個 等號 和 那個 2 寫得 非常 小 這 公司 所以 它 叫 EMC 但是 你們 知道 為 什麼 它 叫 EMC 嗎 Victor 肯定 知道 嗯 对
我 记得 是 当时 他 是 他 是 三个 创始人 的 头 字母 对
是 的 创始人 的 字母 然后 他 这个 还 挺 有 创意 的 EMC 对 说 到 这个 存储设备 有 另外 一个 大家 经常 提到 的 名字 就是 NetApp 那 这个 公司 是 后来 吗 就 开始 抄袭 EMC 或者 是 其他
公司 吗 我 觉得 可能 不能 说 是 抄袭, 只是 说 因为 在 这个 领域 它 的 发展 是 非常 快 的, 那么 像 NetApp 的话 它 也 有 很多 存储 不同 种类 的 产品, 比如 像 我们 之前 说 的 最 开始 的 时候 可能 就是 客户 他 是 买 一个 大型机 然后 这个 大型机 在 后边 是 一个 存储 那么 在 这个 设备 下 其实 一般 的 个人 客户 你 基本上 是 不太可能 的 对 吧 就是 没有 人 可以 负担得起 大型机 所以 在 以前 的 时候 像 这种 大型机 都 是 一些 比如 国家 的 实验室 等等 再 去 用 等到 后边 随着 这个 服务器 的 变得 越来越 小 特别 是 我们 的 PC 等等 那么 这些 技术 的 升级 之后 那么 这种 数据中心 就 变成 了 一个 怎么 讲 呢 就是 可以 让 公司 来 去 使用 了 当到 这个 的 时候 我们 就 会 发现 它 的 应用 会 非常 多 那么 你 的 存储 的 设备 也 不 可能 只是 单一 的 一种 所以 说 你 会 面临 各种各样 的 产品 比如说 像 EMC 当时 它 非常 大 的 市场 就是 在于 这种 非常 高端 的 存储 这 一块 就是 比如说 像 金融 啊 等等 这样 的 机构 他们 要 使用 这种 容错性 非常低 的 而且 速度 要 比较 快 的 等等 这些 方面 的 存储 对 吧 那 当然 也 有 一些 客户 他会用 一些 比如说 我们 叫 NAS 就是 网络
的 这种 附属 的 存储 NetworkAttachedStorage 就是 它 不 像是 就 直接 插到 你 这 机器 上 就 用 了 它 其实 是 连 到 网络 上 的 机器 也 连 到 网络 上 存储 也 连 到 网络 上 怎么 通过 网络 把 这个 东西 给 连 到 你 的 主机 上 那 连 在
网络 上 和 连 在 主板 上
有 什么 区别 呢 对 这个 问题 是 一个 非常 好 的 问题 就是 我们 今天 在 这边 讲 的 不管 是 EMC 也好 还是 像 NetApp 等等 这些 公司 也好 其实 在 或者 叫 IT 领域 吧 我们 会 把 它们 定义 成 一类 叫 ECB 就是 ExternalControlledBasedStorage 就是 属于 这种 基于 控制器 外部 的 存储 那么 这种 存储 就是 跟 我们 放在 主机 上面 的 那 主机 的 这种 其实 针对 于 external 那 就是 另外 就是 内部 了 对 吧 所以 说 这种 外部 的 存储 它 就是 具备 的 最大 的 特性 就是 它 是 可扩展性 是 非常 强 的 另外 的话 它会 更 多 的 是 以 数据 为 中心 而 不是 说 我们 家用 的 这种 PC 就是 它 的 数据 存储 只是 它 的 整机 的 一个 部分 那 我们 讲 的 这个 企业 存储 的话 它 更 多 的 就是 这种 外部 的 了 嗯 网络
也 可以 提供 更 多 的 就是 共享 的 机会 是 吧 有 更 多 的 主机 可以 连 到 同一个 设备 上 更 多 的 应用 就
可以 做 对 对 对 是 的 对 那 像 NetApp 他们 做 的 很 好 的 设备 就是 它 可以 提供 这种 一体化 的 解决方案 或者 像 刚才 斯托 亚特 也 提到 的 这种 Appliance 类似 于 这样 的 概念 那么 这种 存储 里边 它 就是 内嵌 了 有 server 的 它 是 有 一个 CPU 在 里边 的 这样 的 一个 NAS 设备 包括 到 现在 我们 其实 很多 家庭 有 的 时候 也 会 用 这个 东西 就是 叫 家庭网 盘 就是 有 的 家会 买 一个 这样 的 一个 机器 那么 它 只要 连到 internet 上面 你 就 可以 在 任何 地方 去 读取 这个 数据 了 所以
說剛 才 說 到 190 年代 確實 是 這種 設備 存儲 設備 的 井噴 的 時期 從 一個 大型 機 的 一個 小 市場 擴展 到 如此 多 的 應用 是 它 井噴 的 可能 一直 到 0 年 在 成為 大 反派 之前 還是 一個 迅速 增長 的 一個 市場 我 看 那個 Victor 提到 有 一個 叫 IoE 的 東西 是 什麼 在 90 年代 的 時候 好像
比較 流行 对 这个 就是 特别 有意思 包括 像 我们 现在 在 国内 也 是 这个 词 现在 是 一个 我 觉得 是 一个 反派 的 名字 就是 叫 去 IoE 对 国内 叫 去 IoE 那 所谓 IoE 就是 IBMOracle 和 EMC 就 这 三个 当时 组成 了 一个 巨无霸 垄断 了 这种 数据中心 的 业务 就是 IBM 是 生产 服务器 的, EMC 就是 存储, 那 Oracle 就是 数据库, 对 吧, 这个 CIA 也 非常 熟。 这 三个 组成 一个 非常 强 的 联盟, 我们 也 可以 统称 为 Intel 这个 联盟。
所以 说 是 一个 强大 的 联盟 我们 新一代 的 程序员 或者说 我们 新一代 的 互联网 从业 工作者 一 提到 存储 想到 的 并 不是 这个 这种 设备 他 想到 的 是 是 吧 谷歌 开始 那套 谷歌 文件系统 这集 我们 可以 听 一 听 我们 前面 那 一集 叫 讲 分布式文件系统 的 这 是 我们 完完全全 的 新一代 的 云 原生 这些 存储设备 谷歌 那篇 论文 是 205 年 发表 的 然后 Hadoop 大概 是 206 年 就 超过 去 了 所以 大概 是 在 205 年 06 年 左右 是 一个 分水岭 这种 开始 使用 这种 便宜 的 设备 几乎 和 家用 一样 的 计算机 存储设备 搭成 一个 存储 的 这种 系统 开始 起飞 了 这些 系统 和 这些 老一辈 的 这些 存储设备 它们 的 关系 是 什么样 的
它 可以 举个 例子 来讲 当然 这 也 是 我 的 理解 就是 高端 的 存储 可能 你 更 像是 一台 比如 劳斯莱斯 就是 一台 非常 高端 的 汽车 它 的 性能 非常 好 但是 价格 非常 昂贵 但是 它 非常 稳定 你 可以 非常 的 relyon 这个 系统 你 不会 担心 你 会 出 问题 比如 你 在 开车 的 时候 它 是 很 难出 问题 的 因为 它 的 性能 非常 好 企业 的 存储 就 像是 这样 的 一台 设备 一样 它 价格 非常 高 但是 其实 很多 人 他 可能 并不需要 你 的 稳定性 这么 好 的 一台 设备 比如说 像 在 大 数据 的 场景 下 它 可能 更 多 的 是 需要 它 要 存储 大量 的 数据 它 需要 分布式 的 计算 等等 那么 这些 的 应用 的 场景 的话 跟 这种 银行 等等 这种 大型 的 企业 的 使用 的 场景 其实 是 不 一样 的 那么 你 在 用 这种 大型 的 数据 的 时候 我 可能 只是 需要 它 可以 工作 就 可以 而且 我 可以 通过 很多 的 算法 其实 我 也 可以 保证 它 的 稳定性 那么 在 这个 方面 的话 那 你 就 不 需要 这么 好 的 一辆车 你 可能 需要 一些 经济 的 车 但是 你 可以 比如说 你 可以 有 一个 好 的 司机 对 吧 就是 你 是 一个 非常 好 的 赛车手 那 我 觉得 这个 好 的 司机 就是 工程师 就是 我 觉得 这 大厂 的 工程师 那 你 可以 理解 成就 是 很多 开 劳斯莱斯 的 可能 驾驶 技术 没有 那么 好 当然 这个 开玩笑 转 了 转
了 不 容易 撞死 是 吧 对
但 你 如果 是 开 一辆 比较 经济 实惠 性 的 车 那 你 可能 需要 你 的 驾驶 技术 要 非常 好 那 在 大厂 里边 科技 大厂 里边 那么 这个 技术 的 实力 是 非常 强 的 你 需要 有 很多 工程师 他 可以 帮 你 去 做 这些 东西 但是 在 传统 的 行业 不管 是 金融 行业 零售 行业 还是 像 一些 制造 行业 它 的 主营业务 并 不是 做 技术 对 吧 就是 它 的 主营业务 是 它 做 它 的 本身 行业 那么 它 更 多 的 是 利用 这个 工具 所以 說 他 就 不太可能 會有 這麼 強大 的 一個 工程 師的 團隊 來 去 用 這種 相 對 來 說 廉價 的 產品
至少 从 现在 看来 这些 云 存储 离 这些 存储设备 的 真正 的 性能 还是 有 一定 差距 就是 它 的 不能 叫 性能 了 它 的 某一方面 的 指标 还是 有 一些 差距 所以 说 即使 是 一些 科技 大厂 互联网 大厂 像 我们 公司 很多很多年 希望 能够 用 这些 NetApp 用 的 越来越少 越来越少 不仅 NetApp 就是 所有 的 这些 科学 设备 花 了 很多很多年 好像 还是 有 一些 依然 在 用 这些 NetApp 或者 什么 之类 的 设备 所以 说 互联网 的 这些 分布式 存储 还是 有 一些 挑战 是 的 从 我
的 观察 也 是 发现 这样 一个 趋势 就是 在 这种 企业 性 的 存储 它 也 是 很多年 之前 大家 就 觉得 企业 的 这种 高端 存储 受到 了 很大 的 影响 竞争 但是 它 的 其实 增长 还是 在 一直 在 增长 只不过 它 增长 的 速度 如果 我们 来 对比 这种 所谓 的 大 数据 的 这种 存储 增长 分布式 的 存储 增长 来看 的话 那 它 的 增长 是 就要 小 很多 了 但是 它 还是 在 增长 那 我 觉得 这个 可能 是 一个 原因 是因为 我们 在 大 的 趋势 下 这个 数据 是 在 一直 增长 的 我查
了 一下 这个 数据 大概 在 过去 十年 大概 每年 能够 增长 大概 5% 左右 5% 的 增长 实际上 是 比 美国 的 GDP 稍 高 的 所以 说 是 一个 增长 的 领域 依然 是 在 缓慢 增长 很多 的 一些 应用 可能 还是 没有 办法 取代 的 我们 可以 聊一聊 Vikr 你 看 你们 主要 一些 什么 应用 还是 需要 用 这样 的 设备
就 像 我们 刚才 提到 的 IOE 中间 的 这个 O 就是 Oracle 我 觉得 数据库 的 特别 是 交易 型 数据库 的 业务 在我看来 现在 至少 在 大部分 公司 里边 还是 最 核心 的 这个 业务 比如说 我们 提到 的 银行 对 吧 那 银行 的 他 要 管理 大家 的 这个 钱 我们 存钱 取 钱 不能 出 问题 那么 像 这样 的 这些 重要 的 数据 和 重要 的 业务 它 都 是 跑 在 这种 企业 纪
存储 上 的 银行 都 是 什么 还有 什么 别的 因为 每次 一说到 大型 机械 东西 都 在 说 银行 听 了 有 一点 好像 银行 是 一个 什么 呀 是不是 还 有些 别的 数据 有 什么 别的 应用 吗 对 还有
比如 像 医药行业 包括 像 医院 像 我们 大家 去 看病 的 时候 你 的 这些 诊疗 的 数据 等等 其实 基本上 也 是 跑 在 这种 企业级
存储 上 的 就是 有 一些 传统 行业 对 数据 的 要求 比较 高 的 还是 他们 还 没有 进入 云 时代 或者 是 很多 还 没有 进入
云 时代 对 还有 一点 也 是 非常 有意思 的 软件 也 是 可能 大家 有 的 时候 不会 特别 的 重视 但 事实上 这个 行业 非常 有 市场 的 就是 企业 的 这种 管理软件 就是 叫 ERP 软件 就是 EnterpriseResourceManagement 就 比如说 我们 看到 的 像 这种 SAP 这样 的 系统 其实 像 他们 都 是 跑 在 企业 基础 上 的
我 还 以为 这些 软件 全都 已经 上云 了 都 是 卖 Salesforce 了 原来 那 企业 还 自己 搭 这些
吗 对 就 像 苏 亚特 说 的 像 很多 新 的 企业 特别 是 初创 公司 它 基本上 是 不会 去 买 这种 昂贵 的 系统 的 那 它 基本上 都 是 用 的 这个 Salesforce 这样 的 系统 那 它 就 跑 在 云 上 对 吧 AWS 也好 或者 是 微软 的 云上 也好 但是 像 我们 说 如果 你 看 50 强 的 企业 的话 可能 大概 90% 其实 都 是 在 用
SAP 哦 还是 这 样子 商机 对
因为 他 很多 的 这种 业务 作为 大 企业 来说 的话 一方面 是 成本 另一方面 的话 他 可能 更 看重 的 是 稳定 就是 他用 了 这么 多年 都 没有 出 问题 那 他 也 不会 轻易 的 去 把 这些 业务
换到 雨 上 的 刚才 说了半天 EMC 啊 EMC 好像 有 一个 这个 收过来 收过去 好像 非常 非常 多 啊 然后 他 自己 也 被 收购 了 也 被 戴尔 收购 了 现在 是 一个 私有 企业 是 吧 是 的 是 的 他 好像 最 著名 的 收购 是 收购 了 VMWare 是 吧 当时 他 收购 VMWare 的 时候 好像 大家 觉得 他 好像 觉得 自己 不行 了 要 买 一个 那个 真正 的 摄像 企业 是 这么回事 吗 当时 这 一点
对 也 可以 跟 大家 分享 一点
小 八卦 对 你 要 想 EMC 这个 公司 的 总部 在 波士顿 所以 我们 听 Victor 讲 也 可能 也 有些 EMC 的 人 聊天 的 故事
对 他 当时 是 这样 的 就是 他 其实 收购 vmware 的 时候 那个 时候 说句 实在话 就是 vmware 那个 时候 对 EMC 是 没有 竞争力 的 就是 好像 是 一个 庞然大物 另外 一个 是 一个 可能 十几岁 的 一个 小孩子 一样 另外 一个 可能 是 一个 二三十 歲 的 政治 壯年 的 這種 拳擊手 對 吧 他 可能 是 沒 有 辦法 去 打敗 他 的 但是 我們 在 企業 做 收購 也好 或者 是 併 購 也好 其實 除了 這種 我 看好 你 的 技術 以外 還有 一種 是 叫 保護性 收購 就是 我 雖然 可能 看 你 現在 可能 沒有 那麼 大 但是 你 有 可能 会 成长 为 很大 甚至 有 可能 把 我 干掉 对 吧 就是 这种 可能性 是 有 的 所以 说 很多 企业 他会用 这种 战术性 的 收购 去 收购 一些 公司 最后 把 这个 公司 慢慢 的 把 你 扼杀 在 摇篮 当中 这种 是 非常 多 的 所以 当时 EMC 其实 在 收购 的 时候 他们 的 想法 其实 更 多 的 是 偏向 于 如果 他 真的 以后 发展 起来 了 就 把 他 扼杀 在 摇篮 当中 他 有 这个 想法 但是 有 的 时候 我们 经常 说 一句 话 叫做 计划 赶不上 变化 那么 很快 大家 就 进入 到 云 时代 了 他 在 收购 了 BMW 之后 很快 云 时代 就 增长 得 非常 的 迅猛 那 EMC 他们 当时 以为 他会 要 过 很多年 之后 他 可能 才能 发展 起来 但是 没有 想到 那个 发展 是 如此 的 迅速 马上 就 进入 了 这个 时代 了 所以 说 他们 后来 就 依托 于 vmware 的 技术 那么 他们 也 顺势 的 进入 到 这种 在 税 中心 里面 提供 虚拟 服务 或者 类似 于 我们 说 提供 这种 私有 云 或者 是 企业 的 这种 云
服务 所以 说 他们 也 进入 这个 市场 云 时代 也 并 不是 没有 这个 存储设备 的 事儿 他们 云 时代 也 是 希望 云 里面 有 这么 一个 设备 大家 可以 用 的 对 是 这样 的 我们 说 了 这么 多 的 历史, 说 了 这么 多 的 应用, 我们 这个 节目 的 特点 是 要 增加 一下 逼格, 要说 一下 里面 是 怎么 做 的。 这是 为什么 我们 要 请 到 专家, 对 吧? 专家 可以 给 我们 讲 一 讲 里面 有 什么。 我们 刚才 说 了 这么 多, 大 机柜 里面 一堆 硬盘, 能 不能 给 我们 一个 大概 的 概念, 就是说 这个 硬盘 大概 插 到 不管 是 网络 上, 主机 上, 它 是 怎么 一个 接口 呢? 它 是 怎么 一个 传输 的 一个 API 呢?
对 这点 是 这样 就是 我们 刚才 也 提到 了 一种 不同 的 协议 或者 是 不同 的 存储 的 类型 比如 像 我们 之 前提 的 有 这种 叫 DAS 对 吧 就是 这种 直连性 的 存储 那么 它 是 跟 服务器 相连 的 那么 这个 存储 是 必须 要 跟 服务器 连在一起 的 那么 另外 的话 呢 就是 像 这种 NAS 是 吧 就是 网络 的 这种 附属 的 存储 网络 存储 对 网络 的 存储 那到 现在 的话 呢 其实 基本上 我们 看到 的 这个 企业 的 存储 基本上 是 两大类 一类 是 这种 SAN 存储 就是 StorageAreaNetwork 它 也 是 数据中心 使用 非常 广泛 的 一种 存储 那么 它 是 通过 这个 IP 来 进行 就是 接入 数据 Access 数据 和 读取数据
的 就是 相当于 从 互联网 上 连 过去 只不过 可能 内部 互联网 不是 那个 公开 互联网 它 就 内部 要 通过 这个 互联网 连 过去 不能 叫 互联网 叫 网络 连连 过去 对 局域网 当然
就是 对于 客户 来说 就是 ethernet 以太网
这个 叫 SAN 还 另外 一种 呢
还 另外 一种 就是 叫 Fiber 就是 FiberChannelSAN 就是 FCSAN 就是 基于 光纤 的 这种 高速 的 这种 传输 的 存储 对 这个 现在 是 用 的 更 广泛 了 它 的 速度 会 更
快 它 会 有 自己 专门 的 网络 连 到 服务器 上 对 的
是 的 它 是 不能 通过 这种 局域网 或者 是 以太网 去 连接 的 它 必须 需要 投入 去 包括 你 要 升级 你 的 交换机 等等 这些 设备 在 这个 数据中心 你 才 能够 支持 整个 的 这种 光纤 的 服务
但是 它 也 会 连 到 一台 主机 上 吗 还是 会连到 多台 主机
上 對 這個 是 很 好 的 問題 它 是 支持 多主機 的 就是 多主機 多 存儲 的 設備 它 都 是 可以 交互 的 去 訪問 的
相當 於 如果 你 是 一個 網絡 服務 的 話 那 它 需要 連兩個 網絡 一個 網絡 是 這個 存儲 的 這個 非常 貴 的 光纖 網絡 另外 一個 是 比 較 便宜 的 這個 以太 網連到 互聯網 上
对 那 就是 通过 这个 之后 那么 现在 就 有 也 还有 很多 新 的 协议 比如说 NVMeOF 就是 这种 non volatile 的 这种 新 的 协议 的 存储 那 它 是 overfabric 就是 它 都 是 你 可以 看到 它们 都 是 就是 光纤 的 这个 channel 是 应该 说 是 一个 比较 大 的 趋势 了 就是 它 的 速度 是 要 更 快 的 因为 我们 需要 它 的 更好 的 读写 等等 那 就是 刚才 我们
说 的 它 的 这个 接口 的 介质 啊 那 它 具体 的 这个 传输数据 的 一些 协议 是 类似 于 和 就 普通 的 硬盘 一样 吗 还是 不 一样 比如说 就是 我们 硬盘 知道 的 我们 通常 叫 blockdevice 就是 它 是 一个 地址 嘛 我 往里 说 地址 从 地址 10 到 10 给 我 取出 来 是 吧 就是 现在 的 这个 硬盘 是 这样 的 一个 接口 那连 过来 这个 存储 的 这些 设备 也 都 是 这样 的
接口 吗 對 高端 的 存儲 基本上 都 是 block 就是 塊 存儲 那 像 網絡 的 存儲 比如 像 剛才 我們 說 的 那個 NAS 那種 系統 的 話 它 更 多 的 就是
文件 系統 然後是 文件 系統 就是 比較 高端 的 一般 就 還是 類似 於 接口 和 我們 的 硬盤 一樣 只 不過 是 特別 大特別 快 但是 這個 有 另外 一些 就是 網絡 存儲 還是
就是 個 文件 系統 对 那 文件系统 的话 它会 更好 的 去 共享 就是 你 在 网络 上面 比如 大家 共享 这个 文件 是 比较 快 的 但是 它 的 输入输出 的 是 相对来说 是 比较慢 的 那么 特别 是 你 在 针对 这种 交易 特别 是 股票交易 这样 的 行业 那么 他们 对 这个 数据 的 读写 要求 非常 高 那么 这种 文件系统 就 不太可能 了 嗯 好 有意思
啊 那 我 说 说 里面 怎么 怎么 造 的 我们 把 接口 说完 了 那 我们 就 需要 实现 这么 一个 要不然 用 叫 fiber 要不然 叫 叫 叫 散 的 这么 一个 一个 接口 那 里面 是 怎么 做 那个 大 柜子 里面 是 什么 东西 那个
里边 核心 的 地方 肯定 是 它 的 那个 存储 的 介质 就是 比如说 刚才 我们 提到 的 像 美光 对 吧 那个 micron 这样 的 公司 包括 三星 等等 他们 都 是 生产 这个 存储 颗粒 的 就 我们 叫 media 就是 存储 的 本身 的 这个 这个 磁性 的 这个 存储 的 介质 包括 像 我们 平常 家用 的 这些 自己 用 的 这种 硬盘 它 这个 里 都 是 一样 的 存储介质 这个 它 的 一个 非常 重要 的 东西 那么 你 来 控制 这个 介质 的 它 就 有 比如说 控制器 比如说 你 需要 有 一些 那种 FPGA 的 这种 在 这个 里边 做 一些 计算 的 这些 设备 还有 很多 接口 对 吧 因为 作为 一个 磁盘 来说 你 是 一个 非常 通用 的 外 端的 设备 那 你 需要 跟 各种 的 网络 的 接口 可以 去 适配 特别 是 现在 比较 好 的 存储 它 是 既 可以 支持 SAN 这种 网络 的 传统 的 以太网 的 它 也 可以 支持 这种 光纤 的 所以 说 你 的 这种 接口 的 设备 也 是 非常复杂
的 嗯 所以 他 大概 就是说 有 很多 类似 于 我们 自己 买 的 硬盘 或者 固态 硬盘 的 东西 可能 接口 不太 一样 或者说 什么 里面 可能 逻辑 少 一点 放在 上面 然后 他 有 一个 自己 做 的 一个 硬件 的 一个 控制器 然后 和 这些 连 起来 然后 把 这些 变成 一个 一个 接口 是 可以 这么 理解 吗 可以
这么 理解 对 当然 它 里边 的 架构 会 更 复杂 一些 就是 如果 我们 现在 看 一台 存储 的 设备 的话 它 就 像 一台 大型 的 主机 或者说 叫 差不多 电冰箱 一样 大小 的 东西 就是 一个 比较复杂 的 系统
那 这 里面 有 软件 在 里面 扮演 一个 什么 地位 呢 我们 刚才 说 了 全部都是 硬件 就是 FPGA 或者 是 这样 的 一些 芯片 什么 这些 控制 单元 软件 扮演 一个 什么 地位
呢 这个 是 一个 非常 重要 的 问题 就是 现在 的 存储 就 不管 是 EMC 也好 还是 像 NetApp 等等 这样 的 公司 它 的 软件 其实 是 在 这个 里面 充当 了 一个 非常 重要 的 价值 点 就是 这个 软件 的话 就是 所谓 的 这种 数据管理 的 软件 就是 DataManagement 的 software 那
这个 软件 跑 在 哪 呢 这个
软件 是 跑 到 服务器 上面 的
它 不是 在 那个 跑 在 它 卖 的 那个 存储 机器 里面 它 是 跑 在 你 要 装到 它 的 服务器 里面 去 应该 说 你
是 装 在 这个 存储 上面 的 但是 你 要 跑 你 是 需要 服务器 去 access 就 相当于 它 是 跑 在 服务器 的 这个 CPU 它 是 通过 cache 来 堵 的 就是 它 并 不是 直接 在 这个 存储 里面 来 堵 的 就是 它 是 需要 跟 服务器 配合起来 来 使用 需要
装在 你 的 服务器 里面 去 然后 在 上面 做 一些 工作 对 很多
小伙伴 你 可以 看 那个 视频 我 记得 在 YouTube 上面 有 很多 视频 很 有意思 就是 他们 会 讲 那个 数据中心 就 比如 像 Google 的 数据中心 亚马逊 的 数据中心 就是 非常 非常复杂 里边 但是 其实 你 基本上 就是 数据中心 里边 它 就是 三块 三个 大 的 产品 就是 我们 经常 说 的 计算 存储 和 网络 它 就是 这 三个 东西 那 计算 就是 服务器 就是 这个 server 我们 叫做 这个 服务器 那 存储 就是 刚才 我们 指 的 这个 存储 当然 Google 它 不会 用 高端 的 这个 企业级 存储 它 是 自己 做 的 就 刚才 Zoja 他 也 说 了 他 用 的 是 比较 便宜 的 存储 或者 是 比较 差 的 设备 但 这个 差 的 设备 只是 跟 高端 存储 对比 的 它 其实 还是 很 好 的 设备 它 只不过 是 比较 这么 高端 的 设备 那 另外 一块 就是 网络 就 比如说 交换机 啊 路由器 啊 等等 对 其实 就 跟 我们 在 这个 网吧 如果 这个 小伙伴 还 有点 印象 就是 以前 去 网吧 的话 对 其实 那个 很多 网管 配置
的 其实 是 差不多 的 是 这样 的 感觉 对 对 其实 那 就是 数据中心 吧 我们 大概 知道 了 大概 基本 的 这个 架构 是 什么 样子 这 里面 技术 有 什么 难点 吗 或者说 现在 有 什么 著名 的 热点 技术 或者说 是 难点 技术 吗 但
这个 就 可能 每个 人 的 理解 都 不 一样 那 从 我 的 角度 来看 的话 可能 这个 的 技术 我 觉得 是 两 方面 一方面 的 是 它 的 创新 技术 是 来自 于 应用 就是 我们 支持 的 应用 会 越来越 多 比如说 我们 在 以前 可能 你 服务 一个 客户 的话 我 就 把 它 的 这个 比如 数据库 的 业务 这些 你 给 它 做好 了 或者 是 SAP 这样 的 业务 做好 了 就 可以 了 那么 这种 这个 应用 的 名字 它 也 叫 transaction 对 吧 就是 交易 型 跟 交易 型 相对 的 就是 分析 型 就是 我们 其实 现在 看到 的 这种 不管 是 大 数据 也好 或者 叫 人工智能 也好 那 其实 它 更 多 的 是 一种 分析 了 那么 做 分析 的话 它 的 对 你 的 数据 的 要求 就 不 一样 了 那么 在 这个 部分 的话 你 的 架构 要 怎么 去 设计 比如说 你 的 数据 你 的 高端 的 数据 你 可能 还是 放在 高端 存储 上面 但是 你 比如说 你 大量 的 视频 像 这种 短 视频 对 吧 这样 的 数据 等等 那么 你 这样 的 数据 如果 还 放在 高端 存储 上 那 显然 就是 不划算 的 那么 你 这种 存储 肯定 是 要 放在 比较 低端 的 存储 上面 但是 你 又 需要 把 它们 整合 在 一起 就
有 很多 挑战 哦 这个 挑战 是 说 怎么 能够 把 高端 和 低端 的 整合 在 一起 我们 再 回去 说 一下 一些 最 基本 的 比如说 两台 一个 设备 那 它 需要 最 基本 的 功能 有 什么 比如说 最 基本 的 有 什么 关键技术 必须 要
做 的 首先 一点 就是 我 觉得 最 重要 的 可能 就是 稳定性 就是
你 不能 出错 诶 怎么 不 出错 呢 我 把 硬盘 放在 那 然后 我加 了 逻辑 它 不会 出错 的
呀 我 这个 出错 的 说 的 是 比如 像 知识 数据库 的 这样 的 业务 的 时候 它 在 从 不同 地方 的 读写 啊 等等 这些 方面 包括 你 出现 一些 状况 的 时候 比如说 断电 了 呀 或者 是 出现 设备 的 故障 的 时候 因为 我们 的 硬盘 都 会 出现 问题 嘛 出现 这个 问题 的 时候 你 还是 能够 保证 一致性 的 就 你 的 这个 数据 不会 出 问题 因为 我们 自己 的 电脑 可能 这个 出错 的 概率 是 比较 低 的 但是 你 如果 是 几万 几千万 甚至 更 多 的 这个 硬盘 的 时候 你 会 发现 其实 每天 都 会 有 非常 多 的 故障率 那 这个 怎么
做到 呢 比如 硬盘 坏 了 对
这个 的话 一般 就是 我们 通过 比如 像 RAID 这样 的 算法 呀 比如 通过 这种 多点 的 去 备份 这些 数据 比如说 有 的 时候 是 可能 是 出现 那种 非常 大型 的 问题 对 吧 就是 比如 可能 你 这个 数据中心 坏掉 了 对 吧 出现 一些 情况 就是 我们 经常 说 的 这种 溶灾 就是 要 备份 了 是 吧
要 多点 备份 这种 感觉 对 对
对 你 要 在 不同 的 地点 就是 不同 的 location 然后 去 备份 数据 对 等等 这些 方面 前面 说
的 RAID 就是 RAID 啊 前面 我们 在 分布式 存储 那集 里面 我们 也 讲 过 啊 那集 里面 我们 的 范斌 当时 在 这个 上学 的 时候 和 这个 RAID 的 发明人 他们 一起 工作 过 所以 他 讲 了 一些 八卦 啊 大家 有 兴趣 可以 听 一 听 啊 RAID 大概 就是 一个 RAID 就是 一种 有 冗余 的 存储技术 啊 我 让 你 画 了 一条 盘 数据 都 还 在 啊 那 我們 現代 的 這些 存儲 肯定 除了 基本 的 肯定 是 還是 有 一些 功能 要 做 呀 是 吧 比如 說 是不是 需要 做 一些 數據 壓縮 這樣 的 工作 對 這個 特別 關鍵 就是 數據 壓縮 這一點
我们 再 看到 就是 最近 的 这些 公司 特别 是 最近 十来 年 的 创业 公司 你 会 发现 他们 很多 主打 的 这个 牌 就是 亚索 是 吗 对 他 就是 比如 像 这个 PureStoragePureStorage 前 两年
上市 的 公司 对 对 对, 这
也 是 一个 上市 的 公司 首先 我们 不 代表 这个 投资 建议 就是 因为 很多 人 也 对 PureStorage 的 技术 也 有 很多 这个 不 一样 的 理解 但是 确实 他们 的 marketing 或者 他们 主打 的 这个 宣传 就是
在 压缩 就是 压缩, 哦, 他们 是 做 压缩 所以 说 现在 越来越 多 的 产品 这个 压缩 是 一个 必然 的 要求 然后 卖 这么 多 东西 你 叫做 分下 更 多 的 是 吧 不过 这个 说 起来 因为 很多 时候 一个 存储设备 主要 应用 是 它 的 备份 有时候 会 用 这个 东西 备份 数据 啊 所以 说 备份 数据 的话 压缩 确实 很 重要 对 吧 你 就 像 我们 那个 iPhone 啊 备份 到 iCloud 动辄 就 几十 G 几十 G 你 要 能 给 我 压到 三分之一 那 我 可以 省 很多 钱 啊 多存 很多 备份 是 吧
对 确实 是 这样 就是 在 这种 特别 是 大 数据 的 这个 场景 下 这个 压缩 就 特别 重要 了
前 两年 还 挺 著名 的 EMC 买 了 一个 公司 叫 DataDomain 我们 这个 业内 都 很 熟 是 一个 普林斯顿 的 教授 开 的 公司 这个 DataDomain 是 做 叫 什么 就是 去 虫 是 吧 叫 什么 对 去
虫 就是 像 这种 Dedupe 等等 这些
方面 的 工作 Deduplication 就是 一个 数据 里面 有 多份 它 就 光存 一份 就行了 大概 就是 当然 说 的 很 简单 其实 很难 了 因为 他 数据 可以 非常 小 的 就 没有 多少 数据 这个 文件 的 这部分 和 那个 文件 那 部分 就 一样 的 那 就 他 就 存 一份 这 也 是 有 很多 高科技 在 里面 啊
嗯 这个 是 很多 做 算法 工作 的 同学 们 去 研究 的 这个 里边 也 非常 有意思 它 更 偏向 于 informationtheory 就是 信息论 这些 方面 的 工作 对 这 也 是 个 非常 有意思 的 行业 就是 我 之前 也 有 一个 同事 是 做 这个 方面 的 他 跟 我 解释 过 比如 他们 一个 比例 他 就 可以 保证 这个 数据 是 不会 出 问题 的 然后 他 跟 我 说了半天 我 也 是 云里雾里 我 也 没有 太 听懂
只是 知道 很 厉害 最開始 李凱 那篇論 文 就是 他開 公司 基 於 那篇論 文 就是 說 把 所有 的 數據塊 比如 說 4K 數據塊 算 一個 MD5 直接 通過 那個 MD5 就 存上 了 要是 一樣 了 你 就 存上 了 對 不 對 論文 就是 這樣 的 我 當時 都 想 就 行 吧 萬 一 要是 重了 怎麼 辦 MD5 重了 怎麼 辦 我後來 一想 當年 不是 MD5 要是 重了 當時 是 有 什麼 獎金 的 是 吧 那 就 不管 了 吧 這也 是 一個現 在 的 一個 標準 技術 是 吧 要 去 重 我 后来 理解 这个 技术 还是 非常 重要 的 因为 像 刚才 说 的 很多 时候 这些 设备 是 存 备份 的 你 今天 备份 明天 备份 大部分 都 是 一样 的 对 吧 比如说 你 今天 的 手机 备 了 一份 30G 明天 又 备份 又 是 30G 今天 这 30G 和 明天 的 30G 肯定 就 差别 肯定 就是 不到 一 G 对 吧 肯定 就是 非常 小 的 差别 那 你 如果 都 存 30G 每天 30G 就 很费 空间 对 吧 你 如果 可以 把 那个 去 虫 掉 那 你 就 可以 省 很多很多 的 空间 当然 iCloud 它 肯定 在 文件 层面 有 一些 去 虫 了 在 存储 层面 肯定 是 它 也 有 很多 的 工作 可以 做 就 可以 直接 去 虫 非常 有用 另外 我 听 他们 的 人 说 就是 现在 很多 时候 很多 设置 存储设备 里面 存 的 是 虚拟机 嘛 相当于 就是 里面 存 的 虚拟机 的 一些 文件 嘛 大家 知道 你 如果 把 虚拟机 里 的 文件 都 存 进去 很多 一大部分 都 是 那个 文件系统 的 那个 那些 操作系统 里面 那些 东西 嘛 对 吧 那 操作系统 大部分 都 是 一样 的 嘛 我 装 操作系统 和 你 装 操作系统 里面 那些 执行 文件 大部分 都 差不多 的 嘛 包括 大家 都 装 差不多 的 软件 比如说 你 装 一个 数据库 你 装 一个 Oracle 我装 一个 Oracle 但 都 差不多 的 嘛 这 里面 去 虫 也 都 很 重要 啊 可以 节省 很多 的 空间 啊
那 对于 加密 数据 来说 你 有没有 什么 好 的 办法
去 冲 对 这个 问题 其实 是 一个 非常 好 的 问题 其实 在 数据管理 的 那个 地方 里边 它 是 专门 有 一块 它 就是 叫 DataProtection 然后 这个 里边 的话 它 就是 做 数据保护 做 密码 但是 一般来说 我们 其实 放在 数据中心 里边 的 数据 那个 数据 其实 是 并 没有 加密 的 其实 这 一点 跟 在 云上 非常 大 的 区别 的 如果 是 特别 是 你 自己 的 数据 就是 自己 的 datacenter 的 数据 因为 你 可以 把 它 理解 成 外部 客户 或者 是 外部 的 用户 是 无法 接触 到 你 的 核心 数据 的 这个 数据中心 是 非常 难去 被 攻破 的 可以 这么 理解 所以 说 那个 数据 在 本身 那个 里面 并 不是 全部 是
密稳 的 明白, 但 就是 如果 真的 是 有 已经 加密 的 东西, 比如说 用户 备份 一个 加密 的 东西 上来, 无论 你 有没有 解密 的 方法 都 很 难 去 重对 吧?
对, 应该 是 很 难 去 重 的, 确实, 对, 这个 比较 困难。
那 我们 说 这些 好像 都 是 非常 基本 的, 非常 基本 的 要求, 那 有没有 什么 更 先进 一点 的 一些 要求?
先进 的 要求 从 我 的 理解 来看 的话 可能 更 多 的 是 就是 数据 存储 由 以前 的 一个 盒子 就是 它 就是 一个 存储 的 一个 黑盒子 然后 慢慢 的 要 变成 现在 我们 更 多 的 是 叫 一个 数据系统 因为 数据 是 放在 这个 存储 里 的 那么 存储 的 这个 设备 有 以前 的 一个 单纯 的 只是 存储 它会 变得 越来越 智能 比如 它 可以 去 在 我们 做 数据 计算 的 时候 特别 是 在 这种 非常 需要 大量 的 数据 的 数据分析 的 时候 它 可以 提前 的 做 一些 准备 的 工作 就 像 我们 做饭 一样 它 可以 提前 的 先 帮 你 把 菜 洗 好 把 这个 锅 准备 好 等等 它 可以 做 一些 这样 的 工作 然后 当 你 再 放到 用 server 去 计算 的 时候 它 可以 大量 的 减少 你 的 计算 的 时间 那么 在 这个 地方 的话 我们 如何 把 存储 的 设备 做 得 更加 的 智能 现在 是 一个 非常 大 的 增长点
嗯 对 这个 这种 领域 好像 是 啊 我 知道 有 很多 大学 都 在 西方 搞 这个 啊 因为 我们 跟 做 SSD 的 这个 打交道 比较 多 嘛 那些 做 SSD 的 那些 厂商 也 在 想 怎么 把 计算 搬到 SSD 上去 这些 做 存储 的 也 搬 到 SSD 上去 所以 有人 说 的 他们 的 愿景 就是 所有 的 计算 和 存储 全部 都 搬上去 啊 但 我 觉得 这个 是 人者 见 人者 见 智 了 有 的 人 觉得 这 这事行 有 有 的 人 觉得 这 事 不行 但 这 是 一个 方向 啊 对, 是 的, 我 完全同意 还有 没有 什么 重要 的 这个 技术 上 的 东西 能 给
大家 分享 还有 一个 部分 技术 就是 刚才 我们 说 到 的 创新 一点 是从 应用 的 角度 就是 一些 新 的 应用 比如 像 这种 数据分析 包括 做 一些 AI 的 计算 等等 还有 一些 应用 比如说 是 这种 基于 云 的 业务 可能 我们 播客 的 很多 听众 都 是 来自 于 这种 科技 的 公司 的 那么 对 这样 的 上 云 的 业务 是 非常 熟悉 的 但是 其实 很多 传统 行业 它 的 上 云 的 业务 其实 还是 正在 进展 当中 或者 是 还是 处在 比较落后 的 阶段 的 那么 其实 这些 应用 会 逐渐 逐步 的 去 上 云 那么 就是 这种 上云 的 业务 的 也 会 反过来 会 去 催生 你 的 整个 IT 的 架构 的
变化 就是说 要 在 云 上面 的 存储设备 可能 还有 很大 的 发展 的
余地 对 对 对 对 是 这样 这些 都 是从 应用 的 角度 那 另外 一方面 就是 硬件 的 这个 地方 的 催生出 这个 行业 的 变化 就是 像 一些 新 的 存储 的 介质
SSD 还有 英特尔 刚刚 这个 取消 了 那个 SCM 这个 说 了 20 年 是 一夜 回到 解放前 的 技术 对
这个 技术 它 虽然 挺用 了 但是 其实 包括 在 学术界 也 还是 在 继续 的 在 研究 就 这个 行业 它 更 多 的 是 一个 商业 的 决定 就是 它 现在 把 它 停掉 了 那么 以后 会 不会 有 别的 公司 把 它 继续 拾起来 继续 做 这个 都 有 可能 那么 它 给 的 一个 远景 也 是 看起来 非常 的 美丽 就是 学 计算机 的 人 经常 说 的 存算 一体 或者 是 后 冯诺 依曼 架构 感觉 是 非常 有 意义 的 东西 虚 的 是 吧 但 也 很 虚 对
你 说 的 很 对 对 SCM 这 东西 我们 上次 那集 存储 期 那集 我们 聊过 我 当时 就 问 大家 这个 问题 就是 如果 有 一天 你 的 内存 特别 便宜 并且 关机 断电 还 在 你 打算 用 它 干什么 整个 这个 存储 行业 都 在 问 这个 问题 如果 谁 要 把 这个 问题 回答 了 也 可能 这个 这个 等于 就 又 火 起来 了
啊 嗯 同意 完全同意 这个 东西 又
大 又 快 又 断电 不掉 又 能 干什么 呢 我 也 不 知道 啊 我 是 不 知道 啊 有人 看看 有人 知道 啊 是 的 然后
像 包括 还有 除了 存储 的 这个 介质 以外 还有 像 网络 的 升级 在 数据中心 里面 的 网络 会 越来越快 那么 可能 慢慢 的 以前 我们 都 是 觉得 存储 是 一个 非常 大 的 瓶颈 因为 它 太慢 了 对 吧 就是 那么 随着 你 的 这个 网络 的 延迟 越来越快 存储 的 接口 越来越快 整个 的 架构 architecture 的 这个 level 它 的 一些 变化 我 觉得 也 是 非常 有意思 的 如果 单纯 的 从 存储设备 本身 来说 的话 我 觉得 它 可能 以后 并不一定 是 单纯 的 在 存储设备 这个 本身 这个 地方 进行 创新 而是 说 它 跟 服务器 跟 网络 联合 起来 还有 跟 软件 的 结合 就是 变成 一个 软硬 结合 的 这种 创新 可能 会 更 有意思
我们 说 到 了 这么 多 的 技术 的 这些 挑战 啊 技术 方向 啊 那 能 不能 这个 给 我们 展望 一下 这个 未来 啊 这个 我们 知道 这个 是 吧 现在 开始 存储设备 和 这个 另外 一种 谷歌 那种 存储 有点 缠斗 的 过程 啊 这 未来 会 怎么样 他们 还会 打 下去 吗 未来 的 10 年 还 会 有
5% 的 增长 吗 這個 是 一個 非常 好 的 問題 我 覺得 我 可能 也 很 難 回答 這個 問題 我 希望 它 還會 有 這樣 的 增長 但是 確實 我 覺得 在 雲 這個 層面 就是 作為 傳統 的 或者 說作 為現 在 的 這些 高端 存儲 的 公司 來 說 它 是 應該 越来越 多 的 去 拥抱 这个 技术 而 不是 说 变成 一个 对立面 那么 我们 其实 也 可以 看到 作为 这种 银行 也好 或者 企业 也好 其实 它 有 一个 原因 它 没有 把 它 的 核心 业务 放到 云上 一个 原因 是 它 的 这些 数据 这些 东西 它 已经 在 它 的 数据中心 里边 已经 很久 了 对 吧 几十年 甚至 是 上百年 可能 没有 上百年 它 可能 有 上百年 的 数据 因为 它 当时 虽然 几百年 前 你 没有 这些 数据 但是 就 像 几十年 前有 一个 非常 有意思 的 工作 叫做 数据录入 者 就是 这个 是 一个 专门 的 工作 的 人 他们 会 把 之前 那些 数据 都 放到 database 里边 所以 说 其实 那些 数据 都 在 这个 系统 里边 的 那么 这些 数据 它 在 它 的 这个 数据中心 里边 它 如果 要是 搬到 云上 是 需要 非常 大 的 成本 的 而且 会 非常 困难 那么 这个 地方 需要 怎么 怎么 去 跟 云 的 这种 厂商 一起 合作 能够 变成 一个 这种 混合 云 的 架构 我 觉得 会 非常 非常 有意思 现在
AWS 的 Snowmobile 有 真的 起到 作用 帮助 这些 企业 把 他们 历史 上 大规模 的 数据 挪到 云 上去 吗 还是 就是 一个 噱头 给 大家 看看 我们 有个 很 炫酷 的 集装箱 车
这个 业务 还是 有 的 但 他 那个 数据 更 多 的 是 比如说 客户 已经 决定 了 我 要 把 这些 数据 放到 云上 然后 他 对 他 把 一个 卡车 开 过来 对 吧 帮 你 物理 的 这个 提上去 因为 这样 速度 会 更 快 但是 他 那个 放上 的 数据 可能 更 多 的 还是 比如说 备份 数据 啊 或者 是 等等 一些 非核心 业务 的 数据 那 如果 真的 要 把 核心 业务 放 上 数据 的话 当然 像 亚马逊 微软 其实 都 有 这样 的 业务 就是 提供 这种 混合 云 的 架构 只不过 这个 方面 的 市场 相对来说 在 他 的 整体 的 市场 里边
还是 占 的 比较 小好 我们 说完 了 这个 未来 我们 最后 一般 会 问 我们 的 专家 一个 问题 就是 如果 我们 听众 觉得 这个 领域 非常 好 非常 的 激动人心 想要 进 这个 领域 那么 应该 做 一些 什么 准备 呢 你们 这 领域 还 招人 吗
这个 问题 也 是 现在 一个 非常 有意思 的 问题 这个 领域 首先 它 还是 在 不断 的 招人 的 好像 还是 招人 的 而且 其实 很多 互联网 的 公司 的 大厂 也 是 非常 喜欢 这个 方面 的 人才 的 就是 在 高端 存储 的 人才 招 到
互联网 公司 非常 好 的 训练 对
去 做 他 的 基础设施 所以 不停
的 挖走 你们 需要 不停 的 新人 来 填 的 领要 不停 的 招人 是 吗 那 想要 进入 这个 领域 要 做 什么 准备 呢 我 觉得
其实 就是 正常 的 计算机 的 专业 的 这个 同学 大家 做 的 工作 是 差不多 的 就是 刷题 当然 可能 在 语言 的 方面 会 有 一些 不同 就是 在 这个 行业 比较 多 的 语言 是 更 偏向 于 我们 叫 低端 一点 的 语言 就 比如 像 C 这样 的 语言 可能 像 Java 这样 的 语言 就 会 用 的 就 会 比较 少
所以 就是说 学思 家家 更好 啊 进入 这个 领域 你 可以 学思 家家 所以 进 这个 领域 很 好 这个 领域 首先 是 可以 进 的 因为 需要 招人来 填 他们 流失 去 互联网 的 人才 并且 是 一个 非常 好 的 训练 啊 在 这 锻炼 几年 互联网 公司 都 非常 喜欢 李文 的 训练 这点 我 确实 可以 证明 我们 确实 是 招 了 一些 这个 行业 来 的 人 好像 也 都 觉得 非常 的 不错 能够 做 非常 好 的 工程师 是
的 还有 一些 像 比较 偏 算法 的 同学 其实 也 可以 考虑 这个 行业 比如 我 之前 碰到 有 一个 朋友 他 是 做 压缩 的 他 之前 就 觉得 他 在 PGD 期间 做 的 这个 东西 是不是 只能 做来 研究 然后 在 工业界 可能 都 已经 不 大 需要 这些 东西 了 但是 事实上 压缩 这个 算法 在 存储 这个 行业 是 非常 非常 火 的 一个 方向 所以 做 这种 非常 理论 的 同学 也 可以 考虑 这个 行业
好 的 那 我们 今天 就 感谢 我们 的 嘉宾 Victor 来 给 我们 带来 了 精彩 的 分享 给 我们 将来 业内人士 的 观点 业内人士 的 视角 非常感谢
来 参加 我们 节目 谈不上 就是 我 也 感觉 非常 荣幸 就 被 邀请 来 牛肉 锅 烤面包 因为 这个 播客 也 是 我 听 了 很 久 的 播客 我 觉得 非常 的 硬核 里面 有 很多 技术 我 也 是 抱 一个 学习者 的 态度 然后 来
去 跟 大家 交流 好 感谢 收听 我们 节目 如果 喜欢 我们 节目 请到 各大泛 用型 播客 平台 订阅 和 收听 再 可以 给 我们 留言 的 地方 留言 可以 点赞 的 地方 点赞 好 那 我们 就 后会有期 下期 再见 谢谢 谢谢 大家 拜拜










