#139. AI硬件和存储设备的最新进展

把 原 模型 的 兴起 对 AI 硬件 带来 了 怎样 的 变化 十年 前 扬言 要 取代 机械 硬盘 的 闪存 现在 怎么样 了 本期 节目 我们 来 更新 一下 AI 硬件 和 存储设备 的 现状 这里 是 牛油果 烤面包

大家

好 我 是 斯特 亚特 这 期 节目 我们 又 请 到 了 我们 的 返场 嘉宾 啊 湾区 大厂 的 David 来到 我们 节目 啊 大家 好 David 上次 在 我们 的 节目 里面 谈 了 存储设备 对 是 的 对 今天 我们 也 会谈 一些 存储设备 的 最新进展 在 存储设备 之外 呢 我们 再 谈一谈 AI 硬件 的 发展 啊 啊 对于 AI 硬件 我 不 知道 我 的 理解 对 不 对 啊 就 现在 的 格局 是 AI 硬件 基本上 都 是 围绕 着 大 语言 模型 在 做 然后 训练 就是 NVIDIA 啊 英 伟达 一统天下 是 推理 方面 就是 influence 方面 还是 有 很多 的 努力 大家 在 做 不同 的 平台 不 知道 我 的 理解 对 不 对

对 的 现在 是 这么 一个 情况 就是 我们 看 AI 这分 几波 嘛 最早 的 时候 可能 是 以 computervision 计算机 视觉 那 对 硬件 的 需求 呢 当然 是 有 但是 呢 岂 有 不 像 现在 这一波 对 大 语言 模型 要求 的 那么 高 具体表现 在 哪里 呢 就是说 一个 是 模型 大小 的 区别 以前 可能 智商 机 的 视觉 的 模型 比如说 resnet 啊 或者 什么 可能 更 早 的 vgg 啊 都 是 多少 millionparameter 多少 百万亩 参数 几百万个 啊 对 对 对 对 可能 千万 也 就 这样 但是 到 现在 大 语言 模型 呢 那 你 想 chatterjeebt 可能 是 175 个 billion175

个 billion 就是 1750 亿个 参数 我们 之前 还 说 几百万 现在 170050 亿是

多少倍 这 是 呃 指数 增长 的 那 是 相当于 是 ChadGPT 3 嘛 3.5 啊 然后 再 到 后面 的话 那 就 可能 就 更 大 了 对 吧 现在 就是 往区 里面 上面 在

走 基本上 是 将近 10 万倍 啊 几十万倍 了 已经 就是 这个 参数 模型 的 大小 那 之前 你 说 视觉 模型 那些 比如说 那些 互联网 公司 那些 比如 做广告 推荐 的 呀 搜索 那些 模型 那些 模型 有 多 大 跟 现在 的 大圆 模型 这 也 是

一个 很 有意思 的 point 就是说 呃 除了 这个 computervision 计算机 图形 视觉 计算机 视觉 模型 之外 呢 那 很多 像 我 相信 在 广告 由于 它 对 实时 推荐性 比较 高 它 一般 可能 当然 用 了 两个 模型 吧 一个 可能 是 MLP 就是 多层 感知机 因为 它 可能 算 的 比较 快 一些 或者 加上 一些 比较 传统 的 机器 学习 的 一些 方法 另外 一个 呢 他 可能 就是 有 一个 很大 的 叫 深度 推荐 模型 对 因为 所有 的 可能 你 的 这些 图片 也好 啊 各种 你 买 过 的 什么 各种 history 或者 你 的 用户 的 各种 profile 等等等等 各种 信息 他 都 经过 这 一个 process 叫做 embedding 这个 嵌入式 模型 他 把 它 转成 了 一个 呃 怎么 说 呢, dancefactor 就是 一个 向量 吧, 转 成 一个 向量 作为 特征, 对 吧, 扔 到 这个

可能 大 模型, 不是 大 模型 了, 就是 一个 传统 的 一个 积极 学习, 可能 都 已经 是 深入 神经网络 了 吧, 在 那个 时候 对 对 对

对 对 像 这些 模型 可能 甚至 像 MLP 这种 模型 的话 甚至 在 CPU 上 跑 都 是 可以 的

就是 都 比较 小 的 虽然 它们 的 这个 数据量 虽然 比较 大 但是 模型 其实 都 不大是 吧 对 对

对 对 因为 跟 这个 时事性 有关 然后 另外 一个 呢 它 跟 那个 计算 量 有 关系 计算 量 没有 像 呃 大 语言 模型 这一波 这么 大大 语言 模型 这一波 为什么 这么 大 呢 根本原因 在于 它 的 模型 本身 是 基于 transformertransformer 呃 当时 可能 是 2017 年 左右 吧 也许 那个 那 那 那 那 段时间 附近 左右 可能 谷歌 的 tensionisallyouneed 呃 用 paper 来 的 所以 现在 的 所有 大 语言 模型 各种各样 的 变种 deep seq 也好 或者说 你 的 现在 的 cloud 的 propertymodel 也好 都 是 基于 这个 transformer 的 然后 这个 transformer 它 有 很多很多 层 嵌 在 一起 的 所以 说 它 对 计算 量 是 有 比较 大 的 需求 的 所以 现在 对于

transformer 层 越来越 多 了 啊 对

由于 这个 要求 呢 那么 他 就 现在 就 需要 GPU 以前 的 那 一波 呢 呃 computervision 计算机 视觉 呢 也许 是 PGA 啊 甚至 一些 DSP 啊 CPU 啊 等等等等 各种各样 的 呃 抑制 的 加速器 都 是 可以 用来 加速 的 因为 它 本身 图片 也 不大 相当于 数据 你 也 不大, 计算 量 也 是不是 那么 大, 但是 到 了 这 一波 呢, 参数 那么 大, 计算 量 也 很大, 各种各样 的, 你 图像 也 可以 扔 进去, 视频 也 可以 扔 进去, 文本 也 可以 扔 进去, 那大 语言 模型 把 这些 input 全 扔 进去 之后 呢, 它 的 推理 当然 训练 是 更 大 了, 推理 本身 也 是 有 一定 的 需求, 而 除了 计算 之外 一个 很大 的 区别 是 在于 它 对于 memory 这 跟 存储 就 有关 了 对 memory 的 带宽 的 需求 是 极大

的 内存 也 很大 对 所以 以前

呢 你 可能 把 它 就是 内存条 就 可以 或者 SSD 你 倒 倒来倒去 就是 问题 也 不是 那么 大 但是 现在 呢 它 这些 模型 参数, 你 想 那个 参数 本身 都 是 几百个 GB, 甚至 更大, 那 你 要 怎么样 放到 这个 加速器 里面 能够 迅速 的 把 这个 模型 参数, 包括 一些 训练 中间 的 中间 态 的 一些 那些 那些 information 相当于 用来 做 计算。 你

说 的 这个 确实 是 勾起 了 我 的 印象, 因为 我 的 前 雇主 啊, 我 的 前 雇主 当年 也 是 一个 互联网 大厂, 当年 说 要 做 这些 机器 学习 的 芯片 嘛, 说 了 很多很多年, 一 开始 说 要 做 训练 的 芯片 做 了 好多年 调研 调研 什么 都 没有 做 出来 然后 又 突然 又 变成 要 做 推理 的 芯片 好像 做来 做 去 也 没有 总是 太太 多 还是 用 这个 英 伟达 的 东西 反正 就是 感觉 不是 什么 刚需 做点 推荐 啊 做点 什么 啊 你 用 CPU 也 行贵 一点 但是 好像 也 没有 贵到 这种 不能 承受 的 程度 反正 就 就 成为 这么 一个 意思 啊 但是 就 看着 谷歌 的 TPU 嗯 他 不行 买点 英 伟达 也 没有 买 到 那个 程度 是 吧 因为 人家 显卡 一直 是 在 深度 神经网 出来 以后 就 开始 大卖 了 的

嘛 NVIDIA 其实 很 有意思 的 一个 公司, 它 可不 只是 在 这 AI 这一波 吓 到 又 火 了 一把, 它 这 运气 非常 好 他 最早 呢 是 做 GPU 渲染 嘛 嗯 那个 时候 呢 可能 大家 也 不 觉得 他 是 那么 一个 这个 fancy 的 公司 对 吧 那 AMD 可能 Intel 什么 都 可以 做个 显卡 嘛 然后 呢 他 在 AI 这一波 之前 呢 他 的 一个 大量 大量 的 需求 是 来自 Web3 区块 链 当时 呢 挖矿 好多 的 那些 区块 链 公司 买 着 他 的 GPU 作为 算力 的 根本 来 进行 挖矿 然后 呢 中间 各种 各地 的 regulation 等等 的 影响 呢 导致 他 的 其实 那一波 的 需求 就 下去 了 其实 他 有 一段时间 是 哎 快要 快要

下去 了 后来 挖矿 都 变成 那个 叫 什么 acid 这个 是 但是 他

为什么 仍然 有 需求 呢 是因为 挖矿 也 可以 分 很 多种 里面 的 算法 可能 也 是 自己 设计 自己 的 各种各样 的 呃 proof 的 算法 等等等等 的 consensus 的 protocol 等等等等 那么 呃 当时 就 GPU 做 还是 一个 有 有用 的 东西 了 而且 个人 他 也 会 买 一些 GPU 来 简单 的 挖矿 不是 说 在 latercenter 里面 对然 後 呢, 本來 他 要 下去 那一波 呢, 後 來 就 被 AI 這一波 接起 來 了。 但

AI 這一波 我 記得 他 起來 還是 在 Chad 之前 他 就 已 經起

來 了, 那個 需求 是屬 於 他 是 有, 而且 他 有 一個 很強 的 護城河, 到 今天 仍然 適用 是 因為 他 的 CUDA, 就是 講的 是

一個 語言, 他 有 一個 語言, 所有 的 基本上 是 著名 的 訓練 平台 都 是 得 和 CUDA 的。 对接

因为 因为 好用 然后 呢 用户 的 相当于 呃 上 手 成本 比较 低 因为 如果说 同样 的 engineer 你 要 用 amd 的 或者说 用 其他 厂商 的 npu 或者 新 设计 出来 的 一些 卡 的话 呢 可能 不 那么 好用 那么 在 竞争 这么 激烈 的 今天 在 才 抢 几个 月 的 leadingtime 的 时候 那 你 竞争 优势 而且 有 很 重要 的 一点 呢 为什么 这一波 跟上 波 图像 不 一样 呢 图像 对 内存 带宽 的 需求 没 那么 大 或者说 现有 的 GPU 足够 了 或者 人家 别的 益智 的 计算 也 可以 但是 大 语言 模型 它 里面 要 HBM 就是 HBMhighbandwidth 高带宽 存储

这个 memory 是 一个 很难 翻译 的 词, 在 中文 没有 没有 这一语, 记忆体 啊, 高带宽 记忆体, 你 可以 简单 的 说 就是 内存 也 是 记忆,

也 是 memory, 但是 内存 的 它 的 那个 接口, 它 基于 DDR 嘛, 它 那个 速度 就 慢, 高带宽 的 那个 它 的 那个 它 那个 interface 就是 那个 memory 它 设计 的 时候, 那个 芯片 的 那个 呃, 那个 width 宽度 它 比较 大, 它 就是 呃, 来 撇开 技术 detail 吧, 它 就是 为了 呃, 提供 高带宽 的 然后 呢 以前 这个 高带宽 呢 用处 可能 比较 少 但是 呢 现在 这一波 大 语言 模型 呢 它 对 带宽 是 需求

是 刚 需 就是 这个 叫 记忆 的 记忆体 的 带宽 啊 对 而且

很 有意思 的 是 都 不光 对 训练 哦 黑历 也 是 同样 的 对 你 就 这么 思考 一下 比如说 你 有 一个 这个 175 别连 的

这个 model1750 亿个 参数 的 模型 对

对 对 那么 你 就 假设 它 是 350 个 GB 吧 嗯 450GB350GB 那么 你 在 做 大 语言 模型 推理 比如说 你 在 打录 打录 一个 文字 Howareyou 帮 我 翻译成 中文 对 吧 那么 你 输入 输进去 的 时候 他 是 要 把 整个 模型 过 一遍 他 才 会 输出 来 一个 哦 翻译 应该 翻译成 你好 吗 对 吧 然后 得出 一个 结果 那么 相当于 推理 不 就是 这么 一个 你认 进去 一个 东西 出来 一个 东西 吗 那 你 跑 这么 一遍 相当于 你 要 把 那个 350 至少 350GB 这个 东西 需要 从 内存 里面 全部 算 一遍, 全 走一遍 了, 那 你 从 那个 内存 读 到 计算 单元, 你 光漏 的 一下 350PB, 它 的 带宽, 你 想 都 有 到 需求, 因为 你 是 对 输出 有 速度 有 要求 吗? 比如说 你 呃。 一秒钟 你 要 出 多少 个 token 多少 个 token 跟 那个 词 还 不是 一对一 的 了 可能 大概 0.75 个 词 嗯 那么 那 你 要 比如说 你 要 一秒钟 出 20 个 token 就是 15 个 单词 的话 你 可以 算一算 可能 大概 里面 的 带宽 需要 多少 所以 带宽 是 中区 嗯, 但

这个 和 英 伟达 的 显卡 有 关系 吗? 和 他们 的 GPU 有 关系 吗? 还是 过去 好像 我们 的 传统 印象 认为, 呃 CPU 是 对于 内存 带宽 是 有 优势 的, 显卡 是 对于 内存 带宽 是 有 劣势 的, 现在 还是 这样

吗? 呃, 是 这样 的, 就是 CPU 那边 呢 首先 当然 CPU 跟 GPU 那边 可能 是 并行计算 算力 比较 强 一些 CPU 算力 弱 一些 因为 它 相当于 是 通用 核嘛 它 可以 做 很多 调度 啊 IO 啊 等等 其他 的 事情 然后 呃 带宽 而言 呢 呃 主板 上 的 这些 DDR 它 全部 加 起来 你 可能 是 能 提供 的 带宽 是 比较 有限 的 但是 HBM 它 相当于 你 在 比如说 NVIDIA 的 可能 几十个 可能 现在 大概 可能 80 个 GB 这样 的 HBM 上 你 能 提供 的 带宽 可能 是 TB 级 的

TB 每秒 所以 它 是 做 在

GPU 里面 的 吗 它 有 一个 interposer 我 也 不 知道 怎么 翻译 相当于 它 是 靠近 计算 的 这个 HBM 呢 它 是 里面 把 DRAM 堆叠 起来 的 一个 封装 好 的 一个 package 它 就是 HBM 它 是 跟 GPU 是 直接 通信 的 它们 合在一起 封装 起来 变成 一块 GPU 卡

哦 所以 说 英文 延安 卡 里面 有 一部分 是 计算 单元 有 一部分 就是 这个 高带宽 的 内存 是 的

而 那个 部分 也 是 非常 非常 重要 如果 你 看 最新 的 就是 和 那 两天 前 AMD 他们 新 的 一款 那个 GPU 的话 我 看 很大 的 一个 differentiator 他们 提供 了 很 高容量 的 HBM 容量 就是 1TB 这样 对 对 对 对 容量 啊 为什么 容量 有 讲究 呢 很 简单 比如说 你 要 跑 一个 70Billion 的 大 语言 模型 70 亿 那么 你 这么 一个 像 DeepSeeker 或者 任何 的 一些 开源 的 这种 大 语言 模型 吧 那 你 想 70 个 Billion 就算 你 是 用 了 量化 比如说 你 是 8bit 量化 的 那 就是 一个 byte 一个 weight 那么 你 相当于 你 是 需要 70 个 GB 对 吧 单纯 单单 纯纯 这个 相当于 全种

模型 就要 就要 其实 当然 其实 要

抛弃 大 语言 模型 是 有 很多 倍 的 不 只是 全种 还有 很多 计算 的 中间 态 啊 优化 的 时候 的 一些 state 反正 有 很多 information 你 可能 需要 更 多倍 也许 4 倍 我 忘 了 一个 怎么 计算 的 好 多倍 的 量 那么 你 一个 卡 比如说 你 只有 40 个 GB 的话 你 不 把 模型 压缩 到 量化 到 很小 的话 你 是 根本 就 没法 在 一个 单卡 上 跑 起来 的 哦 你 就

大 了 就 可以 省事 了 是

吧 就 可以 对 对 对 相当于 我 作为 一个 比如说 我们 作为 一个 科技 爱好者 我 想 在 自己 的 电脑 上装 一个 卡跑 一 跑 大 语言 模型 哎 那 不好意思 你 买 的 这个 卡 你 只能 跑 一个 也许 3billion 的 也许 拉玛 7billion 的 也许 是 你 的 最多能 跑 的

了 哦 就是 更好 的 卡 可以 买 跑 更 大 的 模型 这是

推理 是 吧 就算 推理 你 也 需要 买光 推理 都 是 这样 的 那 如果 你 想 跑 一个 相当于 是 完整版 的 deepseek 比如说 那 它 的 参数 可能 是 60 多个 billion 然后 那 所谓 完整版 对 吧 一般 的话 你 可能 deepseek 可能 是 8bit 的 那 很多 的 模型 是 16bit 的 就是 一个 weight 要 两个 byte 那 你 想 吧 光 推理 它 也 是 要 多 卡 的 假設 有 10 個 GB 的 話 如果 你 一 張卡 只有 60 個 GB 那麼 你 至少 需要 兩張 卡 才能 把 這個 模型 跑 起來僅 是 跑

起來 那用 寫 兩 張卡 那 两张 卡 它 怎么 能够 读 互相 的 那个 内存 吗 它 有 一些 链接

了 NVIDIA 的话 其实 除了 它 的 GPU 之外 它 还有 一些 高速 互联 了 8 卡 GPU 在 一个 server 里面 它 有 NVLink 那个 接口 叫 NVLink 就是 GPU 跟 GPU 之间 的 通信 能 非常 快 主要 的 GPU 的 大 买家 应该 都 是 这些 互联网 大厂 和 这些 巨头 OpenAI, N3P, Microsoft, Meta 等等 只有 这些 公司 他 才 有 这个 power 他 可能 还要 去 建设 数据中心 或者 用 Oracle 的 数据中心 他 需要 买 大量 的 卡 为什么 呢 因为 他 需要 万卡 GPU

来 训练

因为 它 那个 模型 你 想 吧 它 不光 是 我们 跑 一次 实验 就 完事 了 嘛 它 可能 还 得 中间 不断 的 迭代 然后 还要 试错 Pathfinding 它 要 几个 月 也许 三个 月 甚至 六个月 他们 来 训练 出来 一个 新 模型 那么 它 GPU 的 资源 是 越多越好 所以 它 可能 是 万卡 GPU 一 起来

训练 的 所以 现在 训练 除了 谷歌 基本上 都 是 用 一点 是 吧

应该 是 这样 吧 因为 谷歌 TPU 它 也 不 对外 售卖 当然 当然 国内 情况 就 不大清楚 了 但是 我 觉得 我 觉得 可能 主要 主要 是 还是 NVIDIA 为主 吧 当然 可能 有 一些 国内 的 其他 友商 的 一些 产品 应该 当然 也 是 可以 做 训练 了 但是 具体 怎么样 我 也

不大清楚 那 推理 的 这方面 呢 推理 方面 是 个 什么样 的 一个 市场

版图 推理 的话 我 觉得 跟 应用 有关 比如说 如果 是 大 语言 模型 的话 那么 这些 service 谁 来 提供 的 还是 互联网 厂商 比如说 阿里巴巴 Google 对 吧 那 或者 OpenAI 这些 大 公司 那 这些 推理 他们 也 是 发生 在 云端 的 它 也 是 优化 过 的 就是 支持 multitenancy 的 就是 多 租户 的 啊 然后 呢 那 还有 其他 的 推理 推理 市场 就 很大 还有 其他 的 比如说 一些 边缘 的 edge 的 那 这个 玩家 可 也许 是 那 就 不 我 不 一定 需要 NVIDIA 了 对 吧 也许 我 找 AMD 也 可以 啊 AMD 很 好 啊 然后 你 还有 好多 其他 的 一些 NPU 的 provider 厂商 NPU 就是 呃 neuralprocessingunit 只是 另外

一种 加速器 了 啊 那种 加速器 啊 就是 他们 不 不 他们 跑 的 不 一定 是 大 模型 对 对

对 对, 他们 就 不 一定 能 跑 得 起 大 模型, 比如说, 呃 也 有 呃, 像 像 一些 AIPC 所谓 的 AIPC, 可能 你 听 过 最近 好多 公司 出 的 新 的 那个 电脑, 他 都 呃, 不让 的 成 AIPC 了, 那么 AIPC 里面 的

第一次 经历 AIPC 好多 的

他 里面 可能 就 会 有 一个 嵌入式 的 GPU 可能 会 有 一些 NPU 就是 所谓 斜 处理器 吧 包括 像 苹果

的 叫 什么 NeuralEngine 是 吧 大概

就 对 苹果 NeuralEngine 在 手机 里面 吧 其实 也 是 NPU 啊 对 所以 这种 的 就 会 比较 多

对 啊 现在 如果 在 大厂 云端 这边 他们 还 都 是 用 这 除了 谷歌 以外 都 还是 在 用 这个 英偉達 的 卡 做 推理 嗎 還是 說 這些 雲廠 都 在 自己 研發 他 自己 的 因為 推理 好像 沒有 那麼 嚴格 的 需要 用 CUDA

的 吧 推理 对 推理 的话 推理 一般来讲 你 的 usercase 就 比较 成熟 了 嘛 其实 为什么 你 就 不 一定 需要 呃 就是 其他 的 各个 厂商 的 机会 比较 多 因为 你 可以 做 各种各样 的 优化 你 的 相当于 应用 已经 确定 了 你 的 负载 也 已经 确定 了 然后 我 就 可以 做 各种各样 的 优化 对

所以 这个 领域 还是 英 伟达 的 阵营 吗 还是 说 有 有 更

多 的 我 倒 我 也 没有 detail 的 的 数据 但是 我 觉得 在 这个 领域 的话 可能 就 百花齐放 对 不 一定 说 NVIDIA 一家独大 除了 超别 特别 大 的 语言 模型 之外

哦 这 是 是 说 很 可能 巨大 的 语言 模型 还是 只有 NVIDIA 才 可以 就是 稍微 小点 语言 模型

可能 有 可能 有 当然 像 AMD 的 GPU 它 也 可以 做大 超大 语言 模型 的 推理 但是 仍然 会 有 人家 工程师 愿不愿意 用 你 这个

卡 然后 这个 不是 只要 那个 什么 叫 什么, 什么 HHVM 能 跑 都 可以, 我 就 不介意 这个 人 叫

什么, 那个 他 还是 还是 有 一些 易, 易用性 各 方面 的 问题 了,

对, 就 还是 因为 安卡 最受 青睐。 对 他, 所以

他 受 青睐 不 光光 是 他 硬件 spec 的 问题, 很大 的 程度 上 就是 因为 CUDA, CUDA 是 本身 这个 gamecommunity 帮 他 完善 的。 他 最早 时候 这个 GPU 很多 人 玩游戏 啊, 这个

不能 别人 用 吗? 他 有 专利 吗? 还是 有 什么?

他 是 property 的 不 开源 吗? 然后 开源 有 啊 开源 有 一些 什么 open 什么 什么 就是 有 一些 开源 版本 的 类似 这种 跟 GPU 做做 做 通信 的 但是 那些 好像 呃 不是 特别 好 不 能够 把 你 硬件 的 这个 潜力 给 全部

展现 出来 哦 所以 他 就是 他 的 骨折 盒 那 这个 国内 听说 国内 华 华为 的 推理 芯片 已经 用 的 deepsea 上 了 这样 这样 这 这 这 这 是 有 什么

传闻 吗 这个 我 也 不大清楚 但是 按理 来讲 这个 推理 本身 它 是 memoryintensive 啊 哦 确实 是 一个 就 内存 这个 对 如果 你 有 大量 的 HBM 你 就 提供 足够 的 带宽 你 的 计算 部分 相对 来讲 是 没有 相对 来讲 是 你 是 不 需要 那么 那么 呃 powerful 的

所以 所以 推理 的 卡 就是 最 重要 关键 是 他 能够 有 就 这个 访问 内存 的 带宽 就 那个 卡里 那张 GPU 里面 或者说 那个 AI 推理 的 卡 里面 那个 那个 内存 的 带宽 是 最 主要 的 那 这个 东西 是 高科技 吗 是 高科技

啊 现在 leading 的 是 SKhynix 啊 就是 韩国 人 然后 很 有意思 啊 像 我们 可能 5 年前 聊 的 时候 numberonestorage 做 存储 的 无论是 DRAM 还是 flash 那 是 三星 啊 但是 suddenly 突然 之间 一夜之间 三星 变 老二

了 哦 这 是 为什么 呢 因为

因为 那个 SKhynix 这个 他们 相当于 是 heavybetonHBM 就是 大量 的 压住 了 HBM 结果 AI 这一波 他 就 HBM 他们

主导 了 哦 真的 啊 就 就 这 一家 韩国 厂商 就 相当于 弯道 超车 就 专门 就 做 高带宽 的 存储 然后 他 就 现在 就 已经 是 把 三星 都 压下去 了 对

啊 因为 三星 没有 qualify 啊 NVIDIA 相当于 NVIDIA 说 这 是 你 就 给 他 skhynix 合格 三星 你 不 合格 然后 我用 你 skhynix 的 那 NVIDIA 现在 是 numberone 他 说 用 谁 就 用 谁 了 那 最后 skhynix 就 变成 主导 的 了 当然 我们 美国 也 是 有 厂商 的

美光 也 有 一部分 了 micron 美国 也 有 一部分 高带宽 内存 所以 说 它 还 并 不是 一个 垄断 的

高科技 是 吧 那 肯定 不是 垄断 了 垄断 的话 一般 在 美国 的话 会 有 问题 的 我们 一般 不会 接受 垄断 的 产品 的 这 很 有意思 的 不 知道 你 知不知道 不 知道 比如说 我 做 了 一款 芯片 只有 我 有 别人 谁 都 没有 然後我要 賣給 如果 你 是 谷歌 的 話 你 谷歌 可能 會 不大樂意 因為 你 是 壟斷 的 我 是 希望 至少 有 兩家 我 才 會 這些 大廠 一邊 互聯網 如果 是 這種 大量 的 採購 的 話 基本上 拒絕 壟斷 他 培植 他 也 得 培植 另外

一家 出來 啊 所以 他培 這是 孫李 光是 誰 培植出 來 的 啊 這沒有

這個 HBM 是 一直 都 有 啊 只是 這一波 相當 於 他們 那個 SKhynix 相當 於 由 於 他們 研發 比 較 超前 或者 投資 比 較 重 他們 在 這一波 領先 了 嗎 因為 他 也 是 跟 SSD 也 一樣 他 也 有 generationbygeneration 的 嘛 也 就是 在 这个 这个 generation 这个 node 他们 是 领先 了 他们 优先 qualify 了 那么 这 批量 所有 出 的 GPU 里面 装 的 全是 假设 10% 的话 那全 是 他们 的 那 你 三星 零 份额 嘛 那 你 这 一波 AI 的 红利 就 没 吃

到 了 哦 所以 这个 技术 也 不是 一个 高不可攀 的 技术 就是 别人 也 可以 做 就是 稍微 慢 一点

这 技术 没有 一样 是 完全 可以 做 的 对 因为 它 不是 一天 之内 发明 的 嘛 哦 那 这个

国内 你 说 国内 国内 肯定 也 不 可能 这个 是 吧 国内 这个

也 不大行 就 这个 会 有 禁运 是 吧 这个 具体 我 倒 没有 看 那个 美国政府 的 相关 regulation 了 因为 他 和 现在 的 regulation 因为 HBM 他 也 不是 单独 我 不 知道 HBM 他单 不 单独 单独 有 限制 但 更 多 的 是 像 在 GPU 这个 level 嘛 比如说 NVIDIA 不是 你 卖 或者说 是 我 原来 你 让 你 卖 的 时候 你 的 贷款 必须 给 我 降成 多少

他 是 有 要求 的 所以 在 国内 有人 在 做 这个 吗 我

没 做 过 调研 但 肯定 有 很多 芯片 厂商 或者说 创业 公司 在 做 这些 东西 这 一定 会 有 这 什么 时候 只是 能 追上 那

就 不 知道 了 嗯 所以 现在 现在 的 版图 在 推理 上 说 是 是 这么 一个 是 这么 一个 还是 呃 也 是 英 伟达 领先 但是 别人 其实 也 可以 用 但是 关键 是 能 不能 不能 搞 到 那块 非常 高带宽 的 内存 成为 了

这个 对 因为 那 是 大 语言 模型 吧 但是 推理 来讲 的话 因为 推理 跟 训练 不 一样 训练 其实 现在 heavily 基本上 主要 的 都 是 在 大 语言 模型 这 因为 你 现在 图像处理 图像 你 也 不用 怎么 训练 了 就算 要 训练 也 用 不了 几块 卡 但是 推理 不 一样 啊 推理 的话 它 是 百花齐放 的 那 你 比如说 摄像头 它 里面 也许 也 有 啊 比如说 你 手机 里面 它 也 有 推理 啊 就是 推理 是 各种各样 的 对 吧 它 的 负载 也许 是 图像处理 也许 是 有 一些 轻量级 的 自然语言 处理 也 有 一些 可能 就是 更 传统 一点 的 机器 学习 的 一些 负载 它 也 可以 来 做 推理 或者说 一些 呃 信号处理 它 也 可以 用来 加速 嘛 所以 说 它 这个 的话 就是 可能 就 覆盖面 比较 广 那 肯定 就 不是 NVIDIA 一家独大 了 我们 说 NVIDIA 现在 有 强烈 优势 的 主要 是

在 大 语言 模型 这块 那有 别人 在 考虑 抢大 语言 模型 推 的

一块 肉 吗 肯定 是 啊, 但是 这个 难, 难点 就是 在于 人家 是 多方面 的 库存 核对 吧? 它 的 库存 核有 好多 方面, 一个 呢 是 GPU 它 本身 spec 相当 不错 对 吧? 当然 AMD 它 是 很 强 的 一个 竞争对手, 但是 人家 有 CUDA 当 你 跟 他 hardware 相近 的 时候, 人家 就 有 CUDA 首先 CUDA 就 跟 苹果 苹果 的 LS 操作系统 一样, 你 就 很 难 去 跨过 他 的 这个 生态 第二个 呢 那 他 还 他 他 除了 做 GPU 之外 他 还有 别的 呀 他 还有 这个 互联 呢 他 还有 Network 还有 多卡多卡 他

也 是 这个 技术 领先 的 是

吧 对 对 对 他 就 各种 加速器 NVIDIA 也 买 了 好几家 了 对 所以 他 是 在 布局 了 而且 现在 他们 也 不光 是 做 GPU 如果 你 看 NVIDIA 的 他 的 那些 service 他 还 他 也 他 也 自己 也 训练 模型 了

那 这个 那 这个 云厂 是 有 它 的 有 有 可能 会出 自己 新 的 我查 了 一下 云厂 好像 都 在 都 在 这个 推他 自己 的 芯片 是 吧 我 比如说 巨大 模型 可能 他们 做做 做 不 出来 那些 轻量 性 的 大大 语言 模型 比如说 八十万 八十 亿 啊 什么 之类 的 一百六十 亿 啊 也 可能 他们 可以 可以 做 一 做 这方面 有

什么 他们 有 什么 呃 我 觉得 除了 是 对 谷歌 呢 他 他 本身 就 有 CPU 了 但 其他 厂商 呢 我 觉得 做 肯定 也 是 可以 做 future 来 做 推理 的话 但 他们 值不值得 他们 做 那 就是 另外 一个 problem 对 吧 就 跟 阿年 也 这些 公司 他 也 可以 做 SSD 嗯 最后 划 不划算

啊, 那 那 是因为 那 实际上 那些 很 便宜 嘛, 那些 公司 没有 什么 利润 嘛, 把 价格 加到 比 你 低 了, 但是 你 英雄 伟达 你 利润 很 高, 70% 的 利润, 那 你 稍微 做 一 做 就 比 他 便宜 了 啊。 对 对 对,

那 现在 可能 也 不光 是 这个 GPU 嘛, 他 可能 还要 投资 这些 datacenter 数据中心, 然后 一些 能源 啊 相关 门 的 都 有。 所以

不 容易 啊 嗯 啊 那 我们 说 这个 AI 硬件 说 到 这儿 我们 说 说 上次 上期 这个 话题 这个 存储设备 啊 刚才 已经 说 了 一部分 我 刚才 得到 一些 答案 了 这个 这个 存储设备 我们 上期 我们 上次 说 到 是不是 5 年前 大家 还 在 想 那个 这个 英特尔 的 那个 3DXPoint 后来 叫 Optane 啊 当时 是 行为

热点 啊 呃 3DXPoint 呢 至少 市场 上 现在 已经 已经 没有 了 然后 被 淘汰 了 类似 的 哦 就

没有 人用 啊, 这个 事情 我们 谈 了 好几年, 天天 谈, 谈 了 好几年, 这事 就 过去 了, 就 大家 没人谈

了。 然后 现在 就 回归 到 原来 的 生态 嘛, 就是 除了 AI 方面, 除了 HBM 现在 是 比较 火热 之外, 那么 存储 本身 呢 相当于 是 比较 hardware 方面 相对 来讲 比较 成熟。 嗯 当然 它 就是 常规 的 嘛 比如说 HDD 的话 就是 机械 硬盘 它 就是 容量 在 变大 现在 是 已经 到 了 超过 30TB 的 一个 盘 了

都 是 30TB 了 啊 我 这 前些年 就是说 那些 技术 什么 hammer 啊 或者 这些 都 已经 已经 算 成熟技术

了 吗 hammer 倒 也 没有 成熟 hammer 是 现在 开始 要 起来 现在

就 30TB 都 还 没有 hammer 上

啊 Hummer 就 在 这个 节点 上

了 所以 现在 都 是 什么 技术 现在 就是 下一代 就是 HummerHummer 就是 把 那个 那个 磁头 加热 是 吧 就是 Laser 激光 激光 啊 他 也 还有

一个 就是 Mamer 反正 有 好多 各种各样 的 技术 但是 现在 下 一个 节点 现在 基本上 业界 的 consensus 就是 Hummer

了 是 HummerHummer 就是说 用过 用 激光 就是 机械 硬盘 就是 就是 你 要 你 要 同样 一块 硬盘 你 要 越来越 大 就是 那个 机械 并 能够 读 越来越 小 的 一个 一个 一个

区别 原来 这台 技术 叫 对 越来越 小 吧 密度 越来越 高 你 才 有 容量 继续 往上走 吧 你 同样 几块 盘 你 还要 打 你 的 面密度 你 要 能够 提高 那么 你 就 需要 新 的 写入 和 读取

的 技术 吗 嗯 就 他们 是 一个 激光 写入 的 对 对 对

对 对 对 还 当然 还有 还有 别的 技术 了 我们 还有 硬盘 还有 未来 还要 走 啊 对 未来 未来 future10tb 的 哦 这 厉害 所以 狼来了

喊 了 20 年 所以 就 还 还是 是 技术 在 层出不穷 可以 到

到 事实上 呢 是 至少 从 我们 看到 的 可见 的 未来 hdd 是

不会 被 替代 掉 就是 机械 硬盘

还是 可以 因为 你 在 HDD 在 往 下 价格 就是 每 TB 在 往下走 闪存 也 在 往下走 但是 至少 我们 没 看到 它们 会 交叉 了

所以 硬盘 这个 东西 我 有 几个 疑问 啊 一个 是 说 之前 狼来了 说 过 他们 最终 有 到 量子

漂移 是 这种 每 一样 技术 现在 都 有 各种各样 的 困难 HDD 它 有 HDD 的 困难 Flash 闪存 它 也 有 困难 因为 你 想 我们 当时 在 可能 见面 聊 的 时候 可能 那 时候 MLCTLC 就是 2bit3bit 对 吧 3bit 的话 就是 8 个 状态 嘛 你 4 个 状态 就 8 个 电量 对 对 所以 说 信号处理 这个 方式 也 是 遇到 了 困难 为什么 呢 因为 它 的 信号处理 越来越 难 了 说 到 物理 上 的 根本就是 最终 跟 那个 闪存 2D 的 时候 的 scaling 也 是 一样 的 问题 那 你 最后 你 最 最少 能 区分 的 是 一个 电子 一个 电子 不能 再 分为 二 了 对 所以 说 它 最后 它 有 一个 极限 而且 呢 本身 你 从 SLC 就是 一个 比 一个 比 一个 一个 cell 是 一个 比特 到 一个 cell 是 两个 比特 你 增加 了 50% 那 是 很多 的 那 你 逐渐 变少 了 30% 多 后来 就是 你 就算 你 增加 你 也 是 越来越少 了 但是 难度 越来越 大 信号处理 这是 一个 第二个 现在 的 闪存 都 是 3D 的 3D 堆叠 就是 理论 上 就 听 得 非常 好 对 吧 你 每多加 层数 那 你 除以 这个 层数 相当于 你 的 好像 是 你 的 成本 降下去 了 但 实际上 的 现状 是 你 越 堆 越 高 你 的 成本 也 上去 了 最终 导致 的 结果 呢 你 除了 一下 可能 并 没有 每个 比特 的 成本 你 并 没有 下降 或者说 你 下降 只 下降 了 一点点 但是 呢 当然 你 的 容量 是 很 高 了 就是 密度 你 肯定 是 变大 了 对 吧 你 最后 你 可能 一张 卡 你 可能 轻松 10TB 甚至 未来 PB 都 有 可能 但是 问题 是 你 的 成本 没 变 那么 你 买 那 张卡 你 就是 要 那么 贵 跟 你 的 capacity 是 相关 对 所以 说 闪存 那边 其实 也 是 有 同样 的 问题 了 所以 那么 你 看 这 两个 技术 的话 他们 是 平行 的 所以 长远 的 未来 现在 基本上 就是 在于 HDD 依然 是 可能 80% 的 存储 如果 你 只 讲究 性价比 你 要 TCO 就是说 你 的 你 的 你 的 性价比 高 吧 那 你 就是 要 走 http 如果说 你 对 延时 你 对 你 的 io 就是 你 一秒钟 能 写 多少 数据 你 对 这个 这个 有 强烈 的 需求 的话 那 就是

走 ssd 嗯 但 这 硬盘 一直 来 来讲 有 带宽 的 这个 挑战 嘛 对 吧 就是 带宽 不 提高 一百 一百 一百 一 百兆 每秒 的 带宽 你 在 30tb 还是 还是 一 百兆 吗

这样 是 有 一个 问题 当然 未来 当然 也 有 一些 解决方案 了 就是说 根本 的 问题 是 在于 很多 存 到 这些 HDD 上面 的 都 是 一些 温 的 或 冷 的 数据 软件 方面 软件 专家 设计 好 更好 的 文件系统 以及 tearing 你 去 makesure 你 你 你 需要 这些 IO 需要 延时 的 是 跑 到 那里 那边 去 的 你 需 你 需要 capacity 低成 成本 的 跑 到

HD 在 这个 不 可能 啊 我 做 过 这个 吗 做 这个 吗 这个 不 可能 吗 因为 因为 你 要 付本 吗 对 吧 你 最终 是 需要 你 坏 了 之后 最 最终 是 需要 读 这么 多 数据 来 重构 这个 数据, 这种 软件 能够 达到 一个 极限, 就是说 你 就算 是 最 冷 最 冷 的 数据, 你 也 需要 足够 的 带宽, 就 即便 是 维持 这个, 就 不读 不 写, 维持 它 你 也 需要 这么 大 的 带宽, 那 就 肯定 是 有 一个 极限 的 吧, 这个 怎么办 呢?

这个 就是 现在 就是 你 肯定 要 未来 要 有 新 的 技术 你 继续 推进 它 的 这个 带宽 了 其实 跟 带宽 而言 可能 LPS 可能 问题

更大 了 LPS 是 什么 呀 啊

就是 每秒钟 你 能 读 的 IO

啊 啊 那 那个 这个 硬盘 从来 就 很 差 的 吧 那 这个 有 什么 有 什么 有 什么 但

带宽 其实 还 OK 了 对 啊 现在 带宽 其实 不是 说 不能 做 其实 前段时间 是 有 一些 新 的 技术 出来 的 比如说 里面 增加 了 一些 部件 导致 它 比如说 原来 是 250MB 每秒 的 现在 变成 50MB 每秒

了 是 可以 500 加 很 高

了 我们 问题 是 在于 问题 是 在于 我 这边 成本 上来 了 我 这边 比如说 问 客户 要 要价 就 就 因为 我 成本 上来 了 我 肯定 得 问 客户 要 更 高 的 价码 那 你 问 客户 的 时候 客户 说 那 这个 性价比 不好 还是 用 原来 的 对 吧 最后 不是 说 技术 没有 有 但是 他 他 就是 很 有 一个 balance 他 最终 可能 就是 最后 还是 让 softwareengineerfigureoutaway 吧 你 就 想想 办法 你 这个 用 现在 还是 这么 这么 的 这么 的 带宽 你 用 这个 啊 给 你 50 个 兆 的 你 不要

买不起 也好 还 没到 用 不了 就 完蛋 的 程度 啊 那个 谷歌 前些年 这个 这个 推 的 那个 什么 多 词头 那个 多多 币 的 那个 那个 后来 咋样 了 没 没人 听 那个

就是 能够 提高 带宽 吧 啊 对 就是 那 很 很 简单 那 我 我 我 增加 一个 那 我 变成 贷款 打保 了 啊 那 后来 就是 你加 了 机械 部件 你 是不是 就

变贵 了 呀 啊 后来 就 没人

提 这事 了 吧 虽然 我们 都 认为 要 解决 这个 问题 的 我们 给出 解决方案 对 吧 但是 最后 他

是 多方面 跑, 其实 其实 就 就 这么 几个 大厂 的 几个 组 的 人, 他们 他们 就算 一个 账, 然后 也 不 知道 是 对 的 错 了, 就 这么回事 了, 是 吧? 最终 就是 一 用户 买单 啊, 还是 有 一些 云厂 时代 就是 这样, 就是 你 最终 你 跟 用户 说, 我 就 这么 讲, 我 就 得 提高 了, 他们 就 就是 总断 吗? 对, 这个

是 跟 成本, 他 对 成本 还是 很 敏感, 嗯, 因为 他量 很大, 嗯,

对 但 在 最终 来讲, 虽然 是 不同 公司 的 几个 人, 但 就 那么 几个 人, 如果 他们 都 觉得 应该 怎么 做, 那 这事 就是 这样

了。 我 觉得 这个 垄断 时代 就是 这样。 我 可以 给 你, 我 继续 往上升 都 可以。

哦, 真的 吗? 就 所以 说 另外 这个 技术 还有 很长 的 路

要 走 啊, 就是说 技术 系有 很多 的, 对, 也 很多 的 pass, 问题 是 问题, 问题 是 很多 地方, 它 不光 是 这个 技术 问题, 像 我们 如果 只是 考虑 技术 的话, 那 可能性

考多 了, 嗯, 但是 有 一天 会

需要 的 吧, 我 觉得 最终 有

一天 会 需要, 我们 之前 说 的 那个 叫 什么 SCM 吗? 那种 这种 叫 什么

storageplusmemory

中文 叫 啥 呀 我 说 中文 叫 啥 存储 级 内存 我 都

不 知道 这么 翻译 是不是 准确 我们

的 中文 都 有 问题 啊 那个 就是 比比 闪存 快 比 内存 慢 的 但是 但 那个 玩意儿 现在 就

没人 提 了 吗 呃 其实 还有 一些 公司 在 做 吧 我 现在 国内 其实 还有 一些 厂商 在 做 一些 嵌入式 的 这种 存储 所以 英特尔

他 是 把 他 的 场 英特尔 是 把 他 的 场 卖 给 了 美 光是 吧 没有 这个 东西

是 美光 做 的 但 后来 他们 break 了 反正 最后 就 大家 都

不 做 了 美光 也 不 做

了 现在 就是 没有 3dspoint 这么 一

回事 了 啊 他们 的 fab 就 都 就 都 已经 就 就 不

做 这些 东西 了 对 然后 然后 当然 那个 是 业界 存在 的 唯一 一段 的 相当于 真正 的 作为 这个 存储 的 这么 一段 期间 吧 现在 就 如果 是 做 storage 的话 就 当时 我们 说 有 很 多种 嘛 你 有 reram 易主 器 的 有 这个 phasechangememorypcm 的 对 吧 你 有

mpem 就 被 认为 是 pcm 对

吧 对 对 对 对 对 但是 现在 就 已经 没有 主要 能用 的 这个 所谓 的 ACM 了 然后 当然 这些 介质 呢 本身 还是 存在 存在 呢 就是 两个 一个 呢 作为 一些 嵌入式 的 就 国内 有 一些 startup 也好 一些 公司 也好 他们 反正 拿 这些 东西 做 一些 嵌入式 的 memoryembeddedmemory

那 这 他们 这个 量 能量 差 很少 啊 那 他们 能 成本 能 做 低 吗 那 我 是 不

知道 他们 是 怎么 赚钱 是 吧 也 有 市场 嘛 也 有 市场 就 跟 就 跟 这个 noflash 啊 SLC 那样 的 很多 的 这些 market 原来 就是 很小 像 这个 主要 的 这些 西方 厂商 基本 是 都 不 做 了 嘛 不是 说 他们 不能 做 他们 只是 说 这个 market 太小 他们 主要 做大 market 对 那 小 马克 的 呢 那 有 很多 公司 他 愿意 做 就 做 嘛 对 然后 第二个 呢 就是说 那 只是 一个 第二个 呢 呃 就 很 偏 研究 了 就是 国内 很火 呃 当然 前 就 很 久 之前 我们 这边 就是 湾区 啊 反正 各个 国家 就 研发 的 挺 多 的 国内 呢 可能 现在 就 做 找 一些 应用 吧 就是 呃 什么 呢 就是 AI 加速器

相关 的 什么 叫 AI 加速器 相关

的 对, 就是 我 为 国内 有 一个 词汇 叫 什么 in memorycomputing, 内 计算 可能 叫 中文。 内 计算? 对 对 对, 很多 的 名词 了, 对, 有 很多 的 各种各样 的 名词, 其实 概念 是 很 简单 的, 就是 两个 motivation, 第一个 motivation 呢, 啊, 你们 的, 你 的 大脑 这个 power 那么 低, 你 能 做 那么 多 intelligent 的 事情, 你 现在 GPU 计算 是

混 在 一起 的 是 吧, 人 的 大脑 对 存储 和 计算 是

混 在 一起 的, 对 减少 那个 数据 从 计算 和 存储单元 来回 的 所 消耗掉 的 能量, 所以 他们 是

做 DRAM 的 吗? 各种各样 的 都

有 了, 所有 都 有 的 DRAM 的 PCM 的 你 只要 能 想到 的 就 都 有, 他

都 有 计算 就是 所有 的 这些

就是 这 里面 就 比较 tricky 这个 可能 我们 如果 真聊 的话 这个 可以 聊 特别 长 他 这个 就是说 有 有 有 的 呢 就是 存内 计算 有 的 呢 是 nearmemorycomputing 可能 meta 其实 有 配对 的 meta 以前 发 过 一个 paper 就是说 呃 就是 near memorycomputing 就是 拿 DRAM 做 的 就是 在 DRAM 上面 做 一些 logic 的 processing 用来 加速 什么 呢 加速 那个

推荐 模型 哦 就是 在 为什么 呢

因为 那个 embeddingmodel 在 那个 DRAM 里面 是 sparse 的 它 不 像 别的 模型 它 不是 个 densemodel 对 吧 它 可能 读 的 时候 你 就 去 读 几个 对 对 对 所以 它 在 里面 做 了 一些 processing

哦 是 真的 真的 有 这样 的 吗 所以 说 这个 事情 讨论 起来 还是 很 热 的 就是 叫 什么 近内进 存储 计算 对 这个 呢 是

一个 很多 的 startup 在 做 这些 accelerator 当然 我们 我 这个 situation 呢 就 比较 多 了 各种各样 的 都 有 啊 呃 然后 其实 比较 有 有 一个 比较 还有 一个 比较 好玩 的 还有 一个 公司 是 拿 直接 拿 那个 wafer 做 的 我 忘 了 名字 叫 什么 了 呃 可能 叫 呃 整个 wafer 直接 来 做

computing 整个 什么 wafer 就是 那个 晶圆晶

圆级 计算 啊 很多很多 好玩 的 这些

东西 了 就是 随时 这个 国内 比较 热 希望 在 这方面 能够 国内 热

其实 海外 也 挺 多 的 啊 说白了 呢 都 是 一些 非 冯诺

依曼 的 架构 啊 非 冯诺 依曼

架构 哎 对 对 对 就是 有些 呢 是 呃 就 很多 就是 基于 模拟 电路 的 嘛 当然 这 里面 就是 可不 可行 什么 的 各 方面 的 那 就是 另 说 了 至少 这个 是 一个 很 active 的 研究 方向 然后 现在 就是说 还有 很多 一些 新 的 这个 存储 的 technology 了 不 知道 你 听 过 没有 哎 就是说 呃 比如说 像 DNAstorage 哦 这

不 就 我 听 过 啊 就是 要存 那些 非常 非常 冷 的 对

还有 一些 是 比如说 基于 那个 那个 呃 陶瓷 的 哦 这 是 陶瓷

的 我 没有 听说 过 呀 呃 就 有 一些 创业 公司 吧 哦

呃 对 他 他 主打 的 这个 相当于 呃 一个 呢 他 也 有 比较 高 的 容量 但 主打 的 就是 相当于 我 写进去 一次 可以 读 很多很多 次 然后 什么 风吹雨淋 日晒 都

无所谓 的 这 还 挺 还 挺

有意思 但是 这些 都 是 你 要 跟 这些 主 现在 主流 的 这个 闪存 和 那个 那个 那个 比 你 要 有 竞争力 是 非常 难 的 因为 存储 是 一个 对 成本 非常

非常 那个 敏感 的 行业 嗯 ok 看来 看来 这 这些 年 存储 并 没有 发生 很多 事情 啊 就 光 方向 光 失败 了 成功 的 并

没有 太对 就 跟 CPU 啊 各 方面 都 是 一样 的 任何 一个 computer 你 都 得 有 这么 几样 计算 存储 通信 他们 进展 不 可能

那么 快 了 所以 真正 目光 的 焦点 还是 GPU 是 吧 GPU 是 真正 时代 的 推动 啊 新 的

应用 他 最 他 才 会 屈身 下面 硬件 的 核心 嘛 你 当 有 这个 AI 了, 那 它 要 对 计算 有 新 的 需求 了, 那 我 就 需要 新 的 架构 了, 新 的 存储 了 等等等等。 如果 没有 新 的 应用 的话, 那像 我们 现在 这个 hardwaregoodenough, 都 挺 好 了, 你 不 需要 再 去 进化, 你 从 CPU 和 你 说 从 10 个 变成 10 个, 对 你 这个 notebook 上面 有 什么 区别 呢? 除了 多少 点电。 对 对 而 但 如果说 我们 有 这个 新 的 需求 的话 那 我 相信 这些 硬件 的 架构 也 会 跟着 去 变 核心 嘛 如果说 你 要 在 本地 机械 上 跑 一个 未来 也许 跑 一个 大 语言 模型 对 吧 那么 逐渐 逐渐 的 就 有 这些 创业 公司 也好 新 的 hardwareproduct 也好 满 满足 这些

需求 好 非常感谢 David 来到 我们 节目 给 我们 五年 以后 更新 一下 这些 知识 存储 和 AI 应用 发展 最新 的 趋势 非常 非常 多 的 东西 喜欢 我们 节目 请 在 各大泛 用型 播客 平台 订阅 或 收听 那 我们 就 后会有期 了 好 的 再见