#33 AI 硬件发展趋势——从终端加速到类脑计算

你 知道 吗 人工智能 专用 硬件 已经 广泛应用 在 我们 身边 了 设备 端 和 云端 的 人工智能 专用 硬件 都 在 蓬勃发展 还有 更 前瞻 的 类脑 计算 芯片 正在 酝酿 今天 我们 请 到 了 做 硬件 方面 研究 的 专家 孙超来 和 我们 聊一聊 人工智能 专用 硬件 这里 是 牛油果 烤面包 大家 好 我 是 苏泰 尔特 今天 我们 请 到 了 西部数据 硅谷 研发 中心 的 高级 技术 专家 孙超来 跟 我们 聊一聊 AI 硬件 大家 好 我 跟 这个 孙哥 认识 好像 是 之前 在 圣地亚哥 的 一个 闪存 的 会议 认识 的

对 吧 对 对 对 对 对

所以 这个 孙超 应该 是 这个 闪存 的 专家 改日 我们 一定 要 找 找 一期 时间 聊一聊 闪存 的 话题 啊 聊聊 闪存 啊 这个 这个 3Dcrosspoint 有 很多 可聊 的 但是 我们 今天 呢 会 聊 一个 大家 更 感兴趣 的 话题 就 叫做 AI 硬件 我們 這個 很多 人 一 聽 說 AI 就 好像 是 這個 電影裡面 那種 是 吧 無知 全能 的 和 人 一樣 的 AI 但 我們 說 AI 硬件 這個 AI 指 的 是 什麼 呢

其實 這現 在 的 AI 可能 大家 主要 都 指 的 是 深度 學習 這個 神經 網絡 這一塊 我們 說 這個

深度 學習 神經 網絡 這個 深度 學習 神經 網絡 是 大概 是 個 什麼 東西 能給 大家 介紹 一下 嗎 對 神經 網絡 的 是 什麼 其實 它

只是 說用 來 因為 它 是 生物 inspired 就是 受 生物 啟發 的 所以 大家 是 希望 來 模擬 這個 神經 的 運算 方式 神經 跟 神經 之間 互聯然 後 它們 之間 是 通過 電信 號來 傳遞 這個 信號 然後一個 神經 可能 又 跟 很多 的 后面 跟 很多 的 神经 相连 前面 也 跟 很多 的 神经 相连 然后 根据 这个 结构 人们 就 发明 出来 了 神经网络 用来 模拟 神经 的 计算 方式 这个 叫

神经网络 所以 说 它 在 逻辑 上 就是 有 很多很多 的 神经 然后 神经 之间 互相 的 传递 一个 信号 是

吧 对 的 所以 我们 待 会谈

到 的 硬件 也 就是 一个 好像 模拟 人 的 神经 一样 有 很多很多 的 节点 然后 节点 之间 把 这些

信号 都 传递 过去 對 對 對 就是 說 這個 東西得 看 一下 以前 的 歷史 就是 神經 網絡 這個 東西 本身 並 不是 新 的 就是 在 這個 Hinton 大家 都 知道 這個 可能 如果 關注 一下 這個 AI 相關 方面 的 話 他 肯定 就是 這 方面 的 權威 嘛 然後他 就是 說 從 可能 是 201 年 左右 之 後 就 用 了 更 多 的 數據然 後 更深 的 相當 於 depth 更長 的 神經 網絡來 訓練 之 後 得到 了 非常 好 的 結果 從 那 之 後 大家 就 開始 叫 它 深度 學習 之前 就是 NeuralNetwork 就是 神經 網絡 就是 因為 它現 在 有 很多 的 應用 其實 大家 已經 不知 不覺 地 在 用 很多 應用 了 比如 說 你 用 谷歌 的 話 比如 說 到 搜索 翻譯 recommendation 推薦 對 吧 語音 服務 等等 就是 在 其實 你 已經 在 用 了 另外 一個 比如 說 一些 自動 駕駛 的 啊 攝像機 啊 Fintech 還有 一些 醫 療 製 藥 啊 Robot 啊 什麼 的 其實 也 都 有 一些 這個 深度 學習 的 東西 在 裏 面好 我們

剛才 說 到 了 語音 助手 啊 語音 助手 是 一個 非常 好 的 例子 啊 在家 裏 肯定 都 有 啊 像 這個 是 吧 Google 的 呀 或者 是 亞馬遜 的 呀 國內 啊 像 小米 這樣 的 那 我们 给 大家 讲 一 讲 拿 云 注手 为 例子 大概 是 怎么 一个

硬件 设置 呢 語音 助手 比如 說 像 Alex 或者 說 GoogleAssistant 可能 國內 也 有 很多 這種類 似的 這個 語音 終端 它裡面 就 已 經用 了 一些 AI 加速 的 部分 我們 說 這個 在 Edge 端 也 就是 在 這個 我們 Device 端 這個 Device 包括 比如 說 像 我們 的 筆記本 我們 的 手機 我們 的 家裡 的 這種 語音 助手 然 後 一些 智能 Camera 或者 一些 LT 的 Device 像 這種 在 像 語音 助手 這塊 比如 說 你 在 說 HiAlexa 或者 說 HiGoogle 不管 是 這種 你 需要 一個 signal 讓 這個 device 激活 這個 過程 它 叫 在 人工智能 這個 process 叫 keywordspottingkeywordspotting 其實 是 一個 比 較 小 的 神經 網絡 它 就是 run 在 這個 device

端 所以 我们 刚才 说 的 这个 词叫 edgeedge 就是 这个 边界 的 意思 是 吧 大概 意思 就是 它 是 这个 系统 的 这个 边缘 是 吧

对 的 对 的 非常 precise 所以

就是说 刚才 那些 终端 啊 手机 啊 云 这个 叫 什么 智能 音箱 这些 里面 其实 它 已经 有 一些 硬件 是 来 做 这些 深度 学习 的 这些 硬件 是 吧 那么 说 了 设备 端 我们 简单 的 再 介绍 一下 除了 这些 设备 端 还有 什么

呢 其实 更大 的 一块 可能 大家 如果 看 历史 的话 History 对 吧 刚 开始 的 时候 自从 深度 学习 火 起来 之后 首先 大家 就是 用 的 GPU 然 後 GPU 就是 剛開始 大家 都 是 用 其 實用 雛形 處理 或者 blockchain 其實 之前 有 一段 時間 用 挖礦 它 本身 就是 很 適合 這種 大規模 並行 計算然 後 它 有 一個 優勢 是 它 的 API 非常 好用 所以 本身 就 具有 很多 的 這種 計算 單元 所以 它 天然 的 就 適合 了 初期 用來 加速 這種 AI 的 運算 所谓 的 运算 其实 主要 是 这 里面 只要 是

training 就是 训练 我们 可以 说 一下 我们 之前 用 GPU 这 里面 可能 信息 很多 我们 刚才 说 训练 训练

是 什么 意思 训练 就是 神经网络 你 需要 让 一个 神经网络 按照 你 想要 的 目标 进行 工作 对 吧 比如说 咱们 最 简单 的 一个 例子 你 要 训练 一个 神经网络 来 完成 一件 任务 这个 任务 是 什么 呢 比如说 要 识别 这个 图像 是 只 猫 还是 只狗 还是 个 飞机 就是 最 简单 的 图像识别 嘛 然 後 你 需要 讓 它 完成 這個 目標 你 就 需要 去 訓練 這個 神經 網絡 讓 它 達 到 一定 的 準確度 然後具體 的 運行 方式 它 這個 算法 是 要 用 一座 backpropagation 這種 方式 來 不斷 地 微調 這個 神經 網絡 的 它 其實 是 每 一次 需要 從輸入 到 輸出 是 一次 前 推過程 然后 细条 就 是从 后端 再 往前 它 叫 一次 backpropagation 一个 过程 然后 去 调 误差 然后 不断 的 迭代 就 前后 前后 前后 所以 它 是 一个 非常 computingintensive 的 计算 很 密集 的 一个 过程 所以 它 这个 就

叫做 训练 过程 训练 过程 就是 我 拿 了 一堆 训练 集 这个 照片 上面 是 猫 这个 照片 上面 是 猫 然后 把 这个 大量 的 海量 数据 扔给 这个 计算机系统 让 他 把 这些 时间 网络 里面 的 参数 都 算 出来 算 的 过程 就是 不停 地 在 不停 地 迭代 不停 地 在 迭代 一遍 一遍 一遍 一遍 算

对 吧 对 的 对 的 对

的 所以 我们 刚才 说 这个 传统 上 是 在 用 GPU 就是 显卡 对 吧 因为 显卡 有 非常 好 的 并行计算 能力 并且 颗粒 编程 我们 刚才 说 的 两点 是 设备 端 Edge 端的 视频 网络 的 推理 还有 云端 的 训练 云端 的 也 有

推理 吗 云端 也 有 推理 因为 有 一些 雲 端的 一個 好 處 是 說 它 不 carepower 因為 datacenter 就是 數據 中心 裡面 它 有 很 高 的 power 插到 一個 一個 server 上然 後 那個 server 裡面 放 了 一個 一個 加速 的 卡 這些 加速 的 卡 就是 我 不用 擔心 它 會 掉 電它 也 不是 用 battery 用電池 的 所以 說 它 不是 太 care 你 需要 powerefficiency 就是 說 你 需要 低功耗 所以 說 它 可以 運行 非常 複 雜計算量 非常 大 的 這種 神經 網絡 比如 說 像 一些 語言 處理 模型 像 BURTER 或者 一些 其他 的 比 較 大 一點 的 TRANSFORMER 你 都 需要 可能 比較 complex 的 hardware 如果 像 KEYWORDSPORTING 這種 非常 小 的 神經 網絡 那 在 Edge 端 就 可以 完成 了

又 出 了 很多 新 的 名词 我们 待 会 可以 慢慢 解释 我们 刚才 说 了 两个 概念 一个 叫 推理 一个 训练 训练 就是 调 网络 的 参数 推理 就是 用 这个 网络 比如说 我们 训练 出来 的 看 它 是不是 猫 新来 一个 图像 看 是不是 猫 那么 我们 又 说 了 设备 端 和 云端 我们 说 到 了 有 设备 端的 推理 云端 的 推理 云端 的 训练 那 有没有 设备 端的 训练 呢 設備

端的 訓練 設備 端 也 是 可以 做 訓練 的 只是 設備 端的 訓練 一個 是 它 的 功耗 你 就 會 特別 大 嘛 對 不 對 第二 個 它 的 資源 非常 有限 因為 它 的 成 捐 單元 非常 小 啊 它 的 存儲 也 非常少 所以 它 就 註 定 了 這 個 在 設 備 端 它 就 不能 就是 跑 非常复杂 的 神经网络 而 大多数 的 情况 比如说 业界 比较 标准 的 方式 都 是 你 先 在 云端 训练 了 一个 相当 复杂 的 神经网络 然后 固定 好 了 它 的 weight 然后 你 用 很多 的 其他 的 一些 tricks 或者 方法 来 把 这个 模型 压缩 減少 它 的 計算量 減少 它 的 佔 用 內存 或者 memory 就是 那個 你 需要 的 存儲 單元 的 數量 然後把 它 重新 訓練 一下 仍然 能夠 達 到 相當 高 的 準確度 然後再 把 它 deploy 到

這個 device 上去 所以 说 在 这个 设备 端 基本上 设备 端 训练 并 不是 一个 AI 硬件 里面 的 热门

领域 对 吧 对 因为 它 本身 不是 用来 做 这个 事情 的 Device 这端 主要 就是 我 已经 固定 好 这个 参数 了 我 把 这个 神经网络 已经 做 得 非常 小 了 然后 它 的 功耗 它 的 计算 量 我 的 終端 都 能夠 就是 負擔 得 起然 後 我 就 全在 終端 跑 了 因為 在 終端 跑 它 的 最大 的 優勢 就是 首先 我 所有 的 model 都 是 在 本地 跑 我 不用 擔心 我 的 數據 有 任何 privacy 的 issue 沒有 那個 隱私 被 洩露 的 問題 第二 個 呢 它 的 由 於 它 都 在 終端 跑 所以 它 不 需要 像 你 需要 這種 這個 就是 communication 和 datacenter 來 回 的 communication 所以 它 的 延時 相對會 比 較 低 第三 個 呢 就是 說 同樣 你 能夠 實現 這個 任務 你 在 終端 跑 由 於 它 的 模型 比較 小 它 的 功耗 而且 這個 芯片 本身 又 是 設計成 低功耗 的 所以 它 本身 功耗 也 比 較 小 整個 就 有 這個 主要 是 功耗 延時 隱私 三大 優勢 了 如果 你 看 一下 這個 AI 的 landscape 就是 這個 做 芯片 的 這些 廠家 你 可以 發現 他們 有 很多 的 類別 比如 說 首先 大家 偶數 能 想像 的 谷歌 對 吧 他們 是 可能 第一 個 出 datacenter 端的 TPU 的 他們 叫 TPU 對 吧 然 後 自己 做 了 一個 ASICTPU 就是 叫做

TensorFlowProcessUnitTensorFlow 是 它 的 一個 深度 學習 的 框架 專門 為 他們 深度 學習 的 框架 做 的 一個 硬件 叫做

TPU 這是 谷歌 為 他們 數據 中心 做 訓練 首先 是 做 了 訓練 他們 先出 的 芯片 做 訓練 的 然後出 的 芯片 做 訓練 也 可以 做 推理 的 就是 TPU1TPU2 當然 不管 怎麼樣 那個 都 是 在 數據 中心 用 的 然後還 有 一些 公司 比如 說 像 Tesla 他們 做 自動 駕駛 他們 需要 他們 用別 人 的 芯片 可能 功耗 太大 了 可能 costissue 就是 太貴 了 所以 他們 也 自己 要 研發 芯片 那 他們 這個 呢 雖然車 是 一個 很大 的 載體 但 他 也 是 在 埃及 端 他 也 是屬 於 在 埃及 的 然 後 咱們 具體 的 公司 也 非常 非常 多 只要 你 所謂 的 你 說 的 他 上 的 都 在 做 那 更別 說 這種 傳統 的 GPU 電商 GPU 像 NVIDIA 什麼 的 像 你 英特 爾 啊 馬 威爾 啊 這些 公司 基本 都 在 做 Qualcomm 沒有 不 做 的 包括 還有 一些 ARM 啊 甚至 現在 有 一些 opensource 的 像 Risk5 它 都 有 做 這些 AI 加速器 的 然 後 大家 看 一下 英特 爾 英特 爾 它 最近 買 了 好 幾個 其實 這幾年 買 了 好多 個 公司 首先 是 一個 是 應該 是 Nevada 對 吧 然 後 MobiliusMobileye 然 後 最近 又 買 了 一個 公司 然 後 這些 公司 其實 它 的 類別 是 不 一樣 的 比如 說 他 首先 買 了 一個 Altera 這個 是 很大 的 一種 收購 Altera 是 一個 FPGA 公司 然 後 這個 就是 FPGA 當然 像 之前 Microsoft 就是 用 FPGA 來 deploy 在 他們 的 datacenter 裡面 來 做 deeplearning 的 好 處 是 比 較

flexible 我們 說 了 很多很多 公司 包括 像 從 谷歌 到 Tesla 到 Intel 上面 說 有 很多 不同 的 類別 那麼 我們 一個 一個 來 說 比如 說 TPU 最開始 最 有名 的 最 開始 的 谷歌 它 是 個 什麼

類別 呢 TPU 就是 屬 於 一個 比 較 customized 的 ASIC 它 就是 一個 ASICASIC 就是 專用 集成 電路 你

专用 集成电路 是 什么 意思 就是 专门

做 一个 就是 根据 你 这个 应用 我 很 复杂 我 很 customize 就是 非常 定制 化 的 我 做 了 一个 数字电路 然后 用来 实现 这个 功能 它 是 一个 数字电路 就是说 他 就

去 专门 就 把 这些 逻辑 专门 的 逻辑 都 做到 芯片 里面 对

对 其实 它 里面 就是 几 部分 嘛 比如说 他 需要 schedule 他 需要 调度 对 吧 这些 数据 什么 什么 样子 怎么样 进去 怎么样 出来 什么 时候 放 什么样 的 数据 进去 什么样 的 数据 要调 出来 第二 個 它 需要 一些 存儲 單元 存儲 單元 呢 對 吧 它 也 包括 主要 的 是 就是 大多 數都 是 在 芯片 上面 的 就是 SRAM 就是 很大 一塊 SRAM 這些 用 來 存儲像 神經 單元 神經 網絡 你 計算 的 時候 中間 值 包括 它 的 weight 就是 都 需要 你 都 需要 放在 SRAM 上然 後 它 很大 更大 的 一塊 呢 可能 它 有 一個 StorageArray 就 需要 一個 MAC 就是 乘加 這個 單元陣 列來 計算 因為 NeuralNetwork 神經 網絡 主要 是 在 做 乘法 在 做 加法 這個 結

合在一起 就是 說 它 有 一個 很 一大 塊 是 矩陣 計算 的 一個 對 對 對 它 把 整個 數據 從 它 的 存儲 單元裡面 取出 來 做 一些 專用 的 矩陣 計算然 後

再存 回去 對 所以 說 因為 它 需要 調度 什麼 時候 把 那個 weight 送進 去 什麼 時候 把 輸入 的 比如 圖片 那個 數據 送 進去 然後它 需要 一個 調度 對 吧 有 一個 調度 單元然 後 它 需要 有 這個 SRAM 來存 這些 中間 計算 的 值 還有 它 訓練 完 的 結 果然 後 它 當然 還有 一些 這種 非線性 單元 比如 說 因為 它 有神 經網絡 需要 有 一個 activationfunction 就是 中文 我 也 不 知道 叫 什麼 然後他 比如 說 他 那些 單元 他 也 是 需要 一部分 的 hardware 支持 然後就 放在 那裡面 但 不管 怎麼樣 這個 芯片 的 大 的 佈 局其實 就是 這 一些 全家 單元 加上 一些 memory 再加 一些 logic 再 加上 一些 schedule 這些 東西 控制器 然後就 做 了 一個 很 定制 化 的 ASIC 來 實現 這個 AI 或者 deeplearning 这个 neuralnetworktraining 的 这个 过程

那 它 这个 编程 接口 是 什么样

的 呢 编程 接口 它 上层 它 这个 整个 framework 上层 肯定 还是 大家 通用 的 嘛 TensorFlow 啊 因为 TPU 它 主要 是 支持 可能 TensorFlow 你 正常 其他 的 你 的 现在 很多 当然 现在 很多 startup 做 的话 都 支持 各种各样 的 framework 上层 有 framework 下面 呢 你 可能 有 这个 compiler 它 需要 有 一个 compiler 来 辅助 你 这个 智能 的 dataplacement 然后 下面 呢 就是 纯粹 就是 电路 就是 纯粹 就是 个 电路 了 它 并 没有

什么 magic 就是 大部分 它 的 作为 编程 那些 控制 的 还是 非常 小 的 一块 主要 逻辑 都 是 上面

说 的 那 一块 对 吧 对 对 对 所以 everything 还是 就是 algorithmdefine 其实 还是 从 上面 开始 driven 的

所以 我们 说 当年 听说 TPU 这个 东西 有 很多 人 认为 是 革命性 的 那 它 和 之前 的 显卡 GPU 的 优势 在 哪里 呢?

我 觉得 它 也 不能 叫 革命性 我 觉得 这个 东西 并 没有 什么 revolutionary 的 东西 因为 它 只是 说 实现 了 这么 一个 workload 任何 有 experience 的 circuitdesigner 都 可以 去 设计 这个 芯片 只是 说 ASIC 最大 的 弊端 是 说 它 的 cost 非常 高 如果 你 沒 有 足夠 的 產量 或者 說 使用量 的 客戶 的 話 他 不能 夠去 justify 這個 cost 因為 你 takeout 的 這個 芯片 會 非常 非常 貴然 後 只有 像 谷歌 這樣 的 不 缺錢 的 他 有 很 好 的 應用 他 能夠 確保 他 的 datacenter 裡面 也 會 大量 的 佈 局 這個 TPU 他們 能夠 justify 這個 cost 然 後 至於 說 你 說 這個 TPU 和 GPU 之間 的 區別 呢 TPU 本身 就是 說 它 是 Customize 來 優化 這個 比如 說 Tensor 這種 相關 的 計算然 後 這個 AINeuralNetwork 這種 成家 運算 的 所以 它 天然 適合 這個 東西 所以 它 的 性能 肯定 是 最好 的 那 GPU 呢 它 本身 並不 只是 用來 加速 這個 神經 網絡 的 它 是 通用 的 圖形 加速 對 吧 所以 它 原來 就 用 來 做 Gaming 啊 包括 你 這個 Hashingcomputation 就是 這個 Blockchain 的 時候 你 需要 做 很多 的 Hashi 運算 這些 也 都 是 用 這個 GPU 可以 來 做 運算 它 的 優勢 是 它 比 TPU 相比 它 的 application 更廣泛 但是 由 於 它 的 這種 通用性 它 需要 犧牲 掉 一些 電路 因為 你 那個 電路 方方 的 那 一塊 面積 上 有 一部分 電路 你 只有 需要 來 做 支持 圖 形相 關的 一些 電路 這樣 的 話 就 浪費 了 所以 说 你 要说 纯粹 针对 神经网络 这 一样 肯定 是 TPU 这种 CustomDesign 的 ASIC 是 性价比 高 就是说 加速 性能 可能 是 最好 的 只 针对 这 一种 Application 但 它 不能 用于 别的 Application 但 GPU 由于 它 的 接口 大家 已经 用 了 这个 也 很 长时间 了 它 非常 好用 然后 另外 一个 它 的 可能 就是 整體 的 下來 加速 性能 也 是 非常 不錯 的 因為 它裡面 有 很多很多 的 Core 非常 多 的 Core 然 後 不同 的 Core 你 都 可以 做 並行 計算然 後 性能 也 很 好 但是 只是 相比 較 而言 它 就是 有 了 更 多 的 Flexibility 但是 它 犧牲 掉 了 有些 面積 對 於 AI 來 講是 沒 有用 的

我們 說 TPU 其實 是 很多年 前 的 事 了 我 的 這個 知識還 停留 在 TPU 界 的 那給 我們 更新 一下 TPU 之 後 AI 硬件 又

發生 了 什麼 事 呢 TPU 之後其 實現 在 有 很多 的 其實 跟 著 application 有 兩個 方向 一個 是 跟 著 不同 的 application 它 去 customize 進 一步 customize 這個 芯片 你 比如 說 像 剛才 我們 提到 的 KeywordSporting 它 非常 小 的 NeuralNetwork 你 可能 你 就 需要 很小 的 一部分 硬件 你 就 可以 實現 這個 KeywordSporting 甚至 你 像 一些 芯片 公司 ARM 它 只要 稍微 對 它們 的 Core 加一點 改動 增加 一些 它們 的 ComputationCapability 的 能力 的 話 它們 都 是 可以 去 做 這個 KeywordSporting 但 另外 一個 比如 說 像 Vision 這是 很大 的 一塊 因為 大家 都 知道 AI 主要 应用 目前为止 主要 是 大家 能 见到 的 breakthroughs 一个 是 在 computervision

方面 一个 是 在 设计 视觉 对

设计 视觉 上面 另外 一个 是 在 NLP 就是 自然语言 处理 上面 就是 兩塊然 後 所以 說 有 一部分 Core 就是 大家 都 是 把 它 定制 化 專門用 來 加速 ComputerVision 的 比如 說 做人 臉識別 比如 說 你 去 做 Segmentation 比如 說 你 去 Video 上面 你 做 一些 比如 說 ActionRecognition 就是 動作識別 或者 各種 各樣 的 應用 就是 ComputerVision 它 本身 就是 一個 很大 的 Category 裡面 還有 很多很多 的 應用 所以 他們 專門針 對 ComputerVision 來 做 設計 芯片 因為 這個 芯片 很多 的 架構 是 基 於 CNN 的 可能 如果 大家 聽 說過 就是 基 於 卷積 神經 網絡然 後 另外 一塊 比如 說針 對 NLP 它 是 自然 語言 處理 它 很多 都 是 依賴 於 這個 timeseries 的 嘛 就是 有 一些 比如 說 大家 聽 說過 ASTM 啊 GRU 啊 這種 處理 serialdata 的 這種 neuralnetwork 它會 設計 芯片 專門用 來 加速 那一塊 的 應用 當然 也 有 芯片 它 是 特別 通用 的 那 可能 像 TPU 一樣 它 就是 剛開始 就 設計 我 只要 是 neuralnetwork 的 我 不管 它 是 這種 NLP 的 我 還是 computervision 的 我 都 可以 用來 加速 所以 這是 一個 方向 所以 我们 刚才

说 的 这个 方向 就是说 作为 做 更 专业 的 硬件 现在 是 我 听说 我 刚刚 听 超哥 说 最 热门 的 两个 方向 一个 是 做 视频 处理 是 吧 不管 是 什么 人脸 还是 在 处理 图像 它 有 一个 专门 的 一些 硬件 专门 处理 视频 还有 一些 硬件 专门 处理 自然语言 对 吧 对 就 这 两种 硬件 刚才 说 的 它 是 基于 不同 的 神经网络 的 设计 那么 在 硬件 本身 上面 有 什么 比较 特殊 之处 吗 这 两种 硬件 硬件 如果 你

纯属 说 电路 的话 这个 电路 很难说 不同 它 只是 你 在 因为 电路 这是 一个 很 电路设计 是 一个 数字电路 设计 是 一个 很 成熟 的 学科 这 里面 它 都 是 一种 各种 tradeoff 然后 你 去 你 根据 这个 设计 的 这个 你 根据 它 的 功能 然后 你 去 设计 相应 的 电路 所以 根据 你 的 功能模块 电路 功能模块 不 一样 它 设计 的 电路 就 会 不 一样 只是 说 做 这种 的 不同 的 designchoice 所以 现在

像 做 视频 的 芯片 和 做 这个 自然 源 的 芯片 主要 是 市场 上 有 谁 主要 在 做

呢 这个 的话 就 非常 非常 多 了 比如说 就 比如说 像 之前 英特尔 买 的 这个 MovidiusMovidius 他 这个 是 这个 这个 公司 呢 是 做 也 是 在 Edge 的 他 也 是 做 这个 computervision 的 就 他 有 里面 他们 可能 就 有 visioncore 什么 的 然 後 比如 說 他 又 買 了 一個 公司 叫 MobileEye 他 是 這個 公司 呢 是 自動 駕駛 這個 ADRDS 怎麼 說 呢 那個 自動 駕駛 那個 模塊 的 這個 領導者 這個 公司 呢 他 也 是 可能 裡面 也 是 很多 的 這個 computervision 相關 的 专门 做 NLP 的 就是 在 这个 在 可能 在 academy 有 很多 具体 的 如果 是 说 就是 在

学术界 比较 多 这个 商业 公司 还

不算 太 多 商业 公司 他 因为 他 需要 可能 如果 你 想 把 公司 做大 的话 你 需要 把 这个 application 比较 广泛 嘛 但是 事实上 其实 像 这种 startup 是 非常 非常 多 的 你 就是 比如说 像 有 wavecomputing 对 吧 大家 都 知道 的 像 GraphcoreNovoMod 然後像 國內 的 也 有 什麼韓 5G 啊 各種 各種 電腦 大電腦 的 對 吧 然後深建 科技 啊然 後 他們 就是 這些 呢 都 是 可能 就是 比較 general 吧 然 後 只是 說 凡是 NeuralNetwork 的 我 都 可以 加速 他們 裡面 的 區別 呢 像 TPU 跟 一些 公司 的 Habitat 一樣 像韓 5G 的 可能 它裡面 有 很多 的 相當 於 一個 cluster 一個 小計算 集團 一個 小計算 集團 有 很多很多 的 core 然後有點 像 GPU 的 那種 感覺然 後 你 可以 把 它 用 那個 NOC 就是 NetworkOnChip 然後把 這些 計算 單元 全連 在 一起 然後實現 你 ComputerVision 的 加速 或者 什麼樣 的 加速 像 TPU 它並 沒有 這種 分開 來 的 一個 Core 它 就是 一大 塊 一大 塊 的 MAC 一大 塊 的 SRAM 所以 它 那個 digitalcircuitdesign 還是 有 一定 的 區別 就是 這裡面 其實 叫 微架構 的 區別 準確 的 來 說 但是 都 是 數字 電路 的 implementation 就是 數字 電路 的 實現 過程 只是 它裡面 的 微架構 不大 一樣 所以 這個 創新 可能 就 在 於 你 的 架構 跟 我 的 架構 微架構 不 一樣 所以 说

我们 刚才 就是说 的 还是 往 这个 方向 往 专用 硬件 上面 做 的 更 细 除了 有 更 多 的 通用 的 这个 通用 视频 网络 的 公司 还有 包括 像 我们 国内 的 韩武记 是 吧 然后 也 有 专门 做 视频 的 公司 是 吧 专门

视频 硬件 的 对 对 对 事实上

云 自然语言 的 还 在 起步 阶段

對 就 順帶 一提 吧 順帶 一 提其實 這些 公司 還有 一類 我 也 沒 有 提到 的 其實 大家 都 忘 了 可能 咱們 在 上 咱們 在 上學 的 時候 你 可能 記得 有 一個 處理 叫 DSP 就是 DigitalSignalProcessing 就是 以前 專門用 來 做 比如 說 FFT 快速 負電 變換 做 一些 信號 處理 加速 的 有 一個 叫 DSP 的 最近 大家 都 已經 可能 都 忘 了 这 是 公司 吗? 不是 啊, 它 也 是 一种 处理器,

原来 德州仪器 什么 的 数字 处理器 对,

专门 用来 做 数字 信号处理 的, 也 是 有 很多 运算 的, 像 FFT 也 是 一样 的 有 很多 的 Mac 运算 嘛 而且 他 的 DSP 一般 都 具備 一個 叫 SIMDSingleInstructionMultiple 反正 他 本身 就 天然 其實 也 已經 很 適合 這種 像 這個 NeuralNetwork 的計 算了 然 後 最近 這些 公司 其實 也 有 一些 Solution 是 基 於 DSP 的 就是 把 這些 DSP 作為 IP 核 然后 你 集成 这些 IP 核 你 设计 一些 V 架构 然后 你 就 可以 把 这些 DSP 集中 在 一起 然后 你 也 可以 做成 一个 AI 芯片 这样的话 你 的 进入 芯片 设计 的 bar 就 降 很多

所以 说 我试 着 理解 一下 他 就 会 买 一些 DSP 的 硬件 插 在 卡槽 上 然后 他 做 一些 简单 的 控制器 然后 就 把 它 连 起来 就 做出 一个 芯片

了 那現 在 的 這些 呢 其實 都 不是 單獨 的 獨立 芯片 就是 IP 就是 單獨 一個 IP 核它 是 在 芯片 裡面 的 一部分 單元 你 直接 可以 買來 用 的 license 就行了

就是 還是 做成 一個 芯片 只 不 過裡面 你 可以 把 裡面 的 比如 說 把 裡面 的 這個 它 的 代碼 這個 買來 對 把 那些 像 像 什么 Virlog 还是 什么 VDHL 其实

这个 公司 有 很多 啊 比如说 大家 都 在 都 在 弯曲 啊 Cadence

啊 Synopsys 啊 那 这些 公司 会 更 看好 吗 因为 他 的 优势 可能 是 就是 门槛 更 低 但是 他 最终 在 成本 上 可以 和 这些 专门 做 新 就 全部 重新

做 的 公司 竞争 吗 这个 就是 你 的 客户 不 一样 嘛 像 如果 TPU 的话 你 需要 很强 的 底层 设计 的 能力 然后 你 的 cost 会 就是 你 的 cost 那种 design 的 cost 和 你 fail 失败 掉 的 cost 会 比较 高像 这种 用 IP 公司 呢 你 用 IP 的 支持 这个 IP 都 已经 viral 化好 了 你 只要 做 一些 更 高层次 的 验证 相当于 这个 有点像 写 代码 一样 的 那个 代码 一个 是 你 从头 從 0 開始 寫 到 1 一個 人家 都 已經 寫 好 了 你 調 API 我 直接 用

就行了 那麼 那些 做 DSP 的 公司 有 沒 有 適應 這種 變化 做出 更針 對性 的 DSP 的 模塊 呢

有 的 有 的 像 Synopsys 它 有 一個 叫 EV64 啊然 後 那個 SIVA 也 有 它 對 應 的 版本 Cadence 也 有 它 對 應 的 版本 它們 都 有 它們 都 修改 了 原來 的 它們 的 CPU 啊 DSP 的 Core 然後來 適應 這種 DeepLearning 的 加速 所以 如果 比如 說 一個 人 我 想 做 一個 我 要 開一個 Startup 那 你 得 想一想 你 是 要 從 招 一堆 DesignEngineer 從 零開始 設計 然后 还是 说 你 有 一部分 你 想 重用 人家 的 IP 的 然后 但是 你 当然 你 需要 叫 Loyalty 你 需要 交 一些

IP 的 专利费 了 所以 说 这 是 一个 很 有意思 的 一个 现象 就是说 其实 现在 AI 专用 硬件 的 研发 成本 是因为 有 这些 模块 的 IP 所以 变得 越来越低 了 是 吧

也 不能 叫 越來 越 低 就是 說 這個 很 難 說 justify 因為 casebycase 都 不 一樣 你 到底 設計成 一個 信息 多 大多 複 雜你什麼樣 的 目標 你 可能 都 很 難 說 這個 哪 一個 cost 更高 但是 就是 說 一個 肯定 是 你 開 發快 一個 你 開 發慢 一個 你 的 功能 你 的 速度 可能 不 一定 那麼 差 當然 你 的 多 了 一點 成本 就是 你 需要 付 IP 的 錢 对 但 只是 说 给 了 你 一个多 一个 option 同样 的 原理 就 相当于 你 作为 一个 hyperscalecompany 我 是 要 自己 设计 TPU 我 还是 要用 GPU 我 还是 要用 APJ 那些 barrellog 就是 你 有 很多 choice

刚才 超哥 说 我们 说 了 一大 类 说 还有 另外 一类 是 什么

呢 就是 之前 說 的 芯片 是 分應用 還有 一種 的 分法 是 你 根據 這個 神經 網絡 的 模型 也 不 一樣 一種 叫做 咱們 之前 說 的 都 叫 ANN 就是 ArtificialNeuralNetwork 還有 一種 叫 SNN 是 SpikingNeuralNetwork 這兩種 有 什麼 區別 呢 這 ANN 其實 說 雖然 它 是 從 這個 神經 這個 系統 它 的 工作 方式 那邊 學來 的 就是 模擬 成 了 這一個 形式 但 它 本質 上 其 實離 神經 的 真正 的 工作 方式 還是 很 遠 的 而且 它 是 由 計算 的 有點 是 brutalforce 大家 都 認為 這樣 的 可能 並 不是 最好 的 對 吧 但是 目前 當然 它 得到 了 很 好 的 結果 你 需要 這種 來 回 回來 回回 做 training 然 後 你 得到 一個 什麼樣 的 結果 另外 一種 SNN 它 是 braininspired 或者 是 國內 很多 一些 名字 叫類 腦計算 它 更類 似 於 真正 的 大腦 的 工作 原理 方式 就 更

类似 大脑 的 一种 神经网络 或者说 你

可以 把 它 认为 就是 完全 来 模拟 生物 大脑 是 个 神经元 的 运作 方式 来 设计 的 芯片 那 这个 效果 更好 吗 理論 上 它 的 效果 應該 是 很 好然 後 它 的 功耗 應該 是 非常低 它 的 前景 應該 非常 廣闊 但是 為 什麼 目前 市場 上 全是 基 於 這種 ANN 沒有 什麼 太多 SNN 呢 根本原因 是 它 的 算法 還 缺少 breakthrough 然 後 研究 的還 不是 特別 多 所以 他 本身 還沒有 那麼 成熟 或者 說並 沒有 找到 killerapp 來 支持

他們 這個 是 說 在 軟件 上 嗎 在 軟件 上 就 算法 上

還沒有 找到 軟件 上 也 是 有 就 沒 有 因為 他 他 也 需要 訓練 他 那個 訓練 的 那個 有 很多很多 方式 然後他 那個 那個 方式 本身 也 不是 那麼 成熟 就 有點 像 早期 的 比如 說 像 這種 神經 網絡 你 到底 能 不能 让 它 顺利 的 迭代 然后 完成 一个 很 好 的 预测 它 现在 也 是 有 一个 精度 问题 所以 它 现在 应用 还 比较 有限 当然 现在 工业界 是 有 研发 是 非常 非常 的 火热 然后 工业界 也 是 有 芯片 的 比如说 英特尔 他们 有 loihi 然 後 IBM 他們 有 QNAUS, 這些 都 是 publicinformation, 都 是 有 paper 的, 然後他 們 也 都 有 tapeout 的 芯片, 有 一些 demo, 比如 說 咱們 去 參加 一些 AI 相關 的 conference, 像 CBPR 的 話 你 可以 看到 IBM 他 拿 著 他們 的 QNAUS 接 了 一個 攝像頭 那 攝像頭 也 是 customize 的 然 後 可以 做 一些 handgesturerecognition 是 有 一些 應用 的 但是 相對 來 講它 不能 支持 非常 非常 非常 複 雜的 neuralnetwork 这个

是 说 在 软件 上 吗 在 软件 上 就是 算法 上 还 没有

找到 一个 算法 一个 是 计算能力 另外 一个 是 就是 这个 训练 方式 还是 不 成熟 第三个 呢 就是 因为 很多 这种 SNN 它 是 魔术 混合 电路 里面 呢 就是 有 一部分 像 尤其 SNN 的话 很多 都 是 模拟 电路 模拟 电路 本身 就是 精确性 比较 差有 noise 有 噪声 所以 会 导致 他 训练 的 结果 他 本身 也 有

就 不是 那么 精确 我们 学 电力 专业 的 知道 对于 模拟 数字电路 比较 熟 了 能 不能 简单 的 说 说 什么 叫 模拟 电路 什么 叫

数字电路 當然 了 這個 就是 非常 基本 的 概念 然後像 模擬 電路 就 顧名 思義它 的 名字 就是 它 的 信號 是 模擬 的 什麼 叫 模擬 信號 呢 模擬 信號 就是 連續 的 你 的 輸入 的 信號 比如 說 你 畫一條 曲線 那個 曲線 都 是 連在 一起 的 對 吧 然後因 為 它 可以 從 0 到 1 那之間 你 可以 取無數 個值 那 就 叫 模擬 電路然 後 它 是 這樣 輸入 到 一個 芯片 的 那 就 叫 模擬 信號 輸入 什麼 叫 模擬 電路 呢 它 就是 接收 和 處理 這種 連續 信號 這種 模擬 信號 的 它 就 叫 模擬 電路 什麼 叫 數字 電路 呢 數字 電路 它 的 輸入 就是 01 就是 只有 這兩種 就是 低電位 高電位 低電位 高電位 它 沒 有 中間 零點 幾 的 這種 電位 的 比如 說 你 的 模擬 信號 是 0.6

V

如果 零到 一伏 的 話 它 可能 就 變成 數字 上 的 就是 一它 digital 就是 一 所以 它 只有 零 和 一 兩種 就 叫 數字 電路然 後 接受 和 處理 這種 數字 信號 的 01 這種 數字 信號 的 它 就 叫 數字 電路

所以 我们 过去 经常 觉得 模拟 电路 是 一种 用 的 越来越少 了 比较落后 的 一种 方法 对 吧 比如说 我们 小 的 时候 做 电工 录音机 模拟 录音机 是 吧 就 是从 信号 就 直接 放大 多少倍 什么 之类 的 转换 过来 的 数字电路 就 想 把 它 数字化 然后

对 数字电路 的 其中 一大 优势 就是 它 抗干扰能力 比较 强 然后 你 的 数字 比如说 像 咱们 做 存储 的 你 也 知道 存 的 数据 后面 都 有 一段 相当于 保护 它 的 代码 的 那 你 在 数字电路 就 很 容易 实现 了 你 可以 用来 纠错 你 如果 0 跳成 1 跳成 0 了 我 回头 可以 把 这个 数字 就 把 它 改过来 但是 模拟 电路 就 不行 了 它 很 容易 受到 信号 的 干扰 甚至 你 温度 高 一点 低 一点 你 湿度 高 一点 低 一点 它 都 会 对 这个 模拟信号 产生 影响 那 我们 说

的 模拟 好像 听 上去 是 很 落后 的 一种 东西 啊 为什么 SNN 这种 好像 更 先进 的 神经网络 里 反而 要 开始 用 模拟 电脑 呢

大家 都 想想 吧 什麼樣 的 才 是 終極版 的 或者 說 更好 的 神經 網絡 像 咱們 這種 基 於 ANN 的 這種 電路 它 的 所有 的 這些 Neuron 基本上 一直 都 是 active 因為 它們 都 是 有 時鐘 驅動 的 你 知道 數字 電路 都 有 一個 時鐘 大家 都 是 clock 每一個 時鐘 你 check 一下 它 的 值 是 多少 然後有 沒 有 新 的 值 過來 了然 後 你 重新 計算 一下 重新 計算 相當 於 它 有 一個 heartbeat 你 不斷 的 在 check 這個值 所以 它 的 功耗 就 非常 大因 為 它 每時 每刻 比如 說 你 是 一 Ghz 兩 Ghz 大家 都 知道 嘛 它 CPU 有 1GHz、 2GHz、 3GHz 這種 時鐘 你 這種 時鐘 跑 得 越 快 電路 越 快 嘛 但是 由 於 它 每 一個 時刻 都 會 check 每一個 單元 的 狀況 這樣 的 話 它 的 功耗 就 特別 大 但 SNN 它 是 跟學 的 是 生物 嘛 那 你 想 咱們 人 的 話 如果 你 的 眼睛 你 的 識別 信號 的 能力 它 不是 說 什麼 納秒級 別 的 你 可能 是 多少 毫秒 它 才 會 有 一個 脈衝 而 那個 SSN 它 的 信號 傳遞 是 基 於 event 的 然後當 你 這個 沒有 信號 輸入 的 時候 相當 於 那個 neural 它 就 idle 它 就 sleep 了 是 沒 有 功耗 所以 說 它 天然 就是 說 功耗 就 特別 低

就是说 如果 用 模拟 电路 的话 它 可以 天然 的 什么 都 没有 没有 输入 的话 它 就是 非常低 然后 如果 有 输入

可以 慢慢 加 起来 对 对 对 当然 它 里面 还有 很多 细节 具体 我 也 不是 这方面 专家 但是 呢 比如说 我 也 知道 一点点 比如说 像 有些 神机 呢 你 这么 像 AN 的话 你 每 一个 输入 比如说 网 layer 那 一层 你 的 neuron 连 在 不同 的 跟 前面 后面 连 吧 他們 每 一個 都 在 都 是 active 每一個 都 有 相應 的 值 但是 呢 你 對 於 這種 SNN 他 有 他 叫 一個 叫 什麼側 向 抑制 啊 反正 什麼 就是 可能 這種 基 於 生物 的 方面 發現 的 一種 現象 他 會 對 如果 一個 神經元 激活 了 他 對 那 一排 的 剩下 的 那個 神經元 有 抑制作用 其他 的 就 不准 動 了 相當 於 你 就 sleep 了 所以 他 有 一些 就是 他們 都 這 目的 呢 都 是 來 學習 比如 說 我們 的 大腦 到底 是 怎麼樣 工作 的 然後把 這些 發現 的 機制 把 它 植入 到 這個 SNN 的 模型 裡面 然後讓 他們 來 模擬 這個 大腦 是 真正 怎麼 工作 的 所以 說 他們 由 於 你 想 你 的 信號 你 不斷 地 往裡 面輸入 它 一個 event 過來 相當 於 是 一個 脈衝 一個 脈 衝過 來 那個 神經 單元 的 電位 稍微 往上 漲 一點 但是 如果 下面 你 沒 有 脈 衝過 來 它 的 神經 電位 慢慢 就 跌下去 了然 後 你 繼續 不斷 地放脈 衝它 那個 神經 電源 往 上 漲 到 一定 的 程度 超過 預值 了 它 才 會 往後面 再 發一個 脈衝 信號 听 上去 是

一个 更 更 类脑 计算 的 一个 一个 模型 对 对 对 你 说 这 这 这 这 这 是 一个 新 的 研究 方向 对 吧 对

其实 这个 英文 叫 NeomorphicComputing 它 最早 是 90 年代 早期 有 一个 叫 Colomy 的 提出 的 然后 其实 根本 上 就是 用于 生物 用 那个 基于 神经 生物 神经网络 的 魔术 混合 的 那个 BSI 计算 系统 嘛 然后 那个 呃 这个 里面 其实 也 涉及 到 一部分 其实 跟 我们 做 存储 的 比较 相关 的 叫 存内 计算 in memorycomputing 然后 它 是 很 容易 就 变成 一个 非 Fernand Iman 的 架构 可能 大家 对 计算机 体系结构 不 大 熟悉 的 可能 也 搞不清楚 什么 是 Fernand Iman 架构 非 Fernand Iman 架构 在 Fernand Iman 架构 的话 它 的 计算 和 存储 是 分离 的 你 CPU 是 CPU 比如 說 咱們 的 計算機 CPU 是 CPU 內存 是 內存 它們 之間 通過 一條 總線 來 互相 交換 信息 這叫 Fernand 一般 架構 但是 in memorycomputing 或者 存內 計算 就是 存儲 跟 計算 都 是 在 一起 的 不分彼此 然後為 什麼 要 用 這個 非逢諾 伊曼 架構 呢 逢 諾 伊曼 架構 是 由 於 這種 通信 基 於 CPU 和 因為 它 不斷 地 需要 從存 儲裡面 拿 數據 或者 放數據 存數據 放數據 所以 它 的 這種 不斷 地 每 一次 讀 和 寫 對 存儲 都 會產生 很大 的 功耗 所以 它 的 功耗 就 比 較 大然 後 但是 純內 計算 由 於 它 是 一體 的 而且 是 基 於 模擬 電路 的 所以 它 的 運算 就 非常 方便 你 輸入 的 這些 信號 直接 就是 以電流 或者 電壓 形式 表示 的 然後它 再加 一起 匯總 就是 一個 大電流然 後 下去 那 就算 出來 了 功耗 更 低然 後 就 解決 了 這種 所謂 的 馮諾 伊曼 架構 的 這種 bottleneck 然后 它 这个 非 风道 依赖 架构 当然 它 还是 有 由于 它 是 模拟 电路 嘛 但是 它 还是 有 这种 noise 的 问题 但是

它 低功耗 那 这个 是不是 就 比较 适合 用 在 设备 端 对 的

对 的 对 的 对 的 对 的 但是 理想 狀態 是 說 像 我們 的 大腦 多 發達 啊 理想 狀態 是 你 應該 是 能夠 做 Multitask 你 應該 不是 那種 BrutalForce 的 這種 方式 來 訓練 的 理想 方式 是 如果 你 能夠 完全 模擬 你 的 大腦 的 話 應該 是 能夠 現在 AIM 能 做 的 你 SSM 也 肯定 能夠 做 但是 目前 由 於 它 的 算法 和 各種 限制 吧 至少 目前 它 還是 在 研發 的 早期 只有 英特尔 和 IBM 这些 公司 可能 他 做 了 一些 pro typing 他们 也 在 研发 一些 基础 的 算法 然后 研发 一些 应用 当然 国内 最近 发了 一篇 paper 就是 清华大学 的 叫 天机 他 也 是 基于 这种 SNN 的 所以 这个 领域 现在

国内 也 是 处在 领先地位 是 吧

领先 不好 说 但是 至少 大家 都 在 做 都 在 follow 另外 一個 呢 就 區別 是 這個 SNN 的 電路 因為 它 都 是 實體 的 你 要 模擬 人 的 那個 大腦 嘛 那 它 有 一個 神經 單元 就是 一個 神經 單元 所以 它 的 它 的 牛肉 數就 決定 了 這個 processor 能夠 處理 的 就是 相當 於 它 的 computation 的 能力 就 已經 固定 了 比如说 像 他们 那个 IBMTrueNorth 他 可能 就是 有 那个 大概 是 一只 蜜蜂 的 大脑 的 容量 就是 有 百万 个 million 的 neuron 神经元 有 两 亿多 的 synapse 就 突出

对 我 记得 我 以前 好像 看过 一 本书 说 为什么 人 的 大脑 不能 变得 越来越 大是 说 好像 是因为 什么 这个 这个 能耗 啊 还是 什么 之类 的 就 人脑 的 能耗 到

了 一个 极限 了 能耗 也 是 很 高 的 但是 它 已经 是 很 efficient 了 你 想 咱们 才 多 尔瓦 那个 电脑 你 能 做 那么 多 visionNLP 到 TASK 而且 是 同时 的 你 能 做 很多 事情 但是 现在 的 其实 是 很 stupid 的 方法 我 肯定 觉得 现在 的 深度 学习 的 方法 算法 肯定 不是 最好 的 但是 只是 说 目前 你 并 没有 新 的 breakthrough 嗯 就

我们 说 到 了 一个 倾向 就是 这个 SNN 啊 模拟 电路 和 数字电路 混合 这是 一个 发展 的 前瞻 的 方向 啊 有人 赌 的 一个 未来 发展 方向 还有 没有 比较 新 的

发展 方向 说实话 做 芯片 本身 你 只要 有 经验 的 电路 设计师 的话 他 应该 都 是 可以 做难 的 是 你 光 做 芯片 的 人 是 没有 用 的 因为 你 现在 是 需要 就 像 我 说 的 它 是 algorithmdriven 的 你 首先 是 有 应用 有 负载 了 之后 你 需要 从 上 往 下 全部 都 集成 所以 說 你 看現 在 國內 的 比如 說像韓 5G 像 那些 公司 基本上 都 是 這樣 的 你 要 提供 自己 的 SDK 你 要 有 自己 的 compiler 對 吧 然 後 你 有 自己 的 芯片 你 有 自己 的 應用然 後 你 就是 從底 到 上 你 都 要 有 你 才能 是 一個 相當 於 一個 fullstack 的 全 佔 的 公司 你 才 有 競爭力 光有 一樣 的 話 你 連應用 在 哪裡 都 不 知道 你 肯定 不能 夠 成功 那 如果 你 光有 应用 你 没有 下面 加速 的 你 也 不是 那么 有 竞争力 现在 其实 就 到 了 一个 软硬件 大家 要 协同 设计 那 这个 怎么 迭代

呢 因为 我们 知道 软件 变化 很快 的 嘛 对 吧 你 下一代 的 这个 应用 可能 就 完全 不 一样 的 这个 需求 完全 不 一样 的 算法 那 这个 硬件 怎么 和 软件

一起 迭代 呢 这 就 解释 了 为什么 比如 你 问 问题 比如说 为什么 有些 公司 在 云端 比如说 Microsoft 它 要 deployFPGA 有些 公司 像 谷歌 我 直接 用 TPU 为什么 他们 要用 FPGA 呢 那 就是 因为 他们 认为 这个 算法 迭代 速度 非常 快 今天 的 神经网络 跟 我 一年 之后 的 神经网络 可能 完全 不是 一个 样子 的 所以 可能 你 今天 设计 的 TPU 并 不能 适合 我 明天 的 负载 但是 我 APGA 我 只要 硬件 我 重新 下载 一遍 我 就 立马 就 可以

deploy 了 在 这个 市场 看上去 是 一个 好像 竞争 很 激烈 的 市场 市场 现在 的 格局 是 什么 样子

市場 格局 現在 就是 大量 的 startup 湧進 去 啊 這個 當然 尤其 現在 疫情 啊 經濟 如果 往下走 的 話 肯定 很多 startup 很難 落地 了 就是 因為 因為現 在 一個 是 很多 像 這種 hyperscale 像 谷歌 他們 都 有 了 對 吧 然後像 那個 AWS 他們 也 自己 的 team 他們 也 設計 了 他們 的 推理 芯片 infrantia 好像 是 叫 什麼然 後 反正 他們 都 有 自己 的 芯片 包括 國內 的 公司 就算 是 國內 公司 阿里巴巴 百度 他們 也 開始 都 設計 自己 的 芯片 基 於 各種 各樣 的 architecture 的 所以 這種 hyperscale 公司 首先 他們 本身 也 有 很大 的 實力 他們 也 有 很多 資金 他們 可以 去 僱用 很多 的 engineer 他們 能夠 把 這個 東西給 做出 來 那 startup 本身 要 不 就是 看 你 怎麼 退出 一種 是 像 你 就 像 做到 像 NVIDIA 一样 的 你 得 做到 很大 你 要 不 就 得 就是 被 别的 公司 给 病 掉 了

那 现在 看来 我们 刚才 说 这个 市场 格局 各大像 那种 云厂 都 有 自己 的 芯片 那像 像 英特尔 这些 公司 它 的 芯片 是 主要 主打

哪 方面 的 市场 呢 他們 佈 局 各種 各樣 的 都 有 就 跟 我 之前 說 的 比如 說 他 買 了 那個 Mobidius 可能 就是 你 埃及 端的 一些 influence 像 他 買 那個 Mobileye 他 就是 針對 那個 就是 自動 駕駛 的 所以 他 其實 都 在 佈 局當 然而 且 他們 自己 的 Xeon 芯片 也 有 就是 服務器 端 也 有 加速 的 加速 功能 就 有 各種 各樣 的 就是 其實現 在 就 分一種 是 這種 互聯 網大廠 再加 這種 系统 厂商 包括 土哥、 Microsoft、 Facebook、 AWSApple、 IBM、 阿里巴巴、 华为、 百度 他们 是 大类 的 然后 还有 一些 比如说 是 IC 的 Vendor 比如说 传统 做 芯片 的 英特尔、 三星、 NVIDIA、 Qualcomm 马 威尔 他们 这个 N 知谱 NXT 又 是 一类 的 然后 startup 他们 就是 自成 一派 了 就是 各种各样 的 你 又 针对 Edge 的 又 针对 服务器 的 你 又 针对 不同 应用 的 那 还有 一些 专门 做 这个 IP 的 就 跟 我 之前 说 的 比如说 有 一些 ARM、 Synopsys、 Cadence 这些 公司 他们 就是 提供 IPDSPCore 或者 是 CPUCore 但 还有 一些 公司 可能 他 是 专门 不 一定 是 公司 的 有些 就是 直接 从 比如 谷歌 来 的 他们 做 一些 compiler 或者 做 一些 这个 tools 就是 整个 整个 这个 industry 呢 就是 现在 当然 是 还是 很 thriving 还是 有 前景 的 但是 其实 我 比较 concern 的 是 现在 的 这个 AI 他 的 application 还是 就是 你 很 难 去 define 他 到底 是 怎么 给 这个 公司 赚 了 多少 钱 然后 怎么样 一个 盈利 方式 当 你 这个 AI 的 这些 做 algorithm 的 公司 如果 慢慢 slowdown 下来 的话 这些 芯片 公司 也 估计 也 会 有 一个 相应 的 往 下 调整 的 过程 那

这个 东西 到底 应用 有多广 啊 现在

應用現 在 反正 據 我 所知 的 你 想 一種 是 像 像 谷歌 他們 自用 對 吧 谷歌 Amazon 他們 自用 一種 呢 像 這種 系統 廠商 或者 說 像 蘋果 華為 他們 這些 做 手機 的 手 機裡面 都 有 啊 像 華為 的 他們 那個 麒麟 芯片 對 吧 然後蘋果 的 叫 BionicBionic 他們 那個 A1A12SOC 也 在 iPhone 上面 的 也 是 做 influence 加強 的 這些 就是 比較 常見 的 另外 一個 像 Mobileye 這種 或者 說 像 Tesla 他們 在 自動 駕駛 上面 他們 肯定 是 deploy 的 肯定 要 deploy 包括 他們 很多 其他 的 一些 公司 你 要 做 level4level5 的 話 你 是 必須 要 有 這些 AI 加速 芯片 的 這是 很 顯而易 見 的 這幾個 市場 是 forsure 另外 一個 呢 像 那個 國內的韓 5G 和 那個 NVIDIA 他們 就 相當 於 是 有點 一類 他們 就 專用 加速 芯片 嘛 然 後 這個 市場 可能 就 大家 互相 爭一爭 至於 還有 能 想到 的 比如 說 像 一些 smartcamera 比如 說 這個 像 國內 你 想 那個 surveillance 做 這個 監控 的 這個 市場 是 非常 大的然 後 這些 市場 上 他 也 有 很多 不同 的 應用 比如 說 你 要 抓 罪犯 你 要識別 什麼 某個 人 他裡面 肯定 也 是 有 很多 加速 的 芯片 所以 這些 芯片 如果 是 以 他們 為 客戶 的 話 肯定 是 也 很 有 前景 但是 其他 的 應用 那 就 比 較 少 了 因為 你 要 想 大家 都 帶 什麼 天天 引用 的 你 要 不 就是 訪問 cloud 要 不 就是 你 在 自己 的 macbook 或者 是 你 的 windows 的 電腦 上 做 一些 工作 你 要 不 就 拿 個 手機 剩下 的 其實 很少 的 當然 咱們 說 的 語音 助手 或者 一些 家裡 的 可能 智能 控制 的 也 有 一些 可能性 但是 這個 還是 需要 挖掘 的 我 也 不好

說 所以 看来 是 说 大 互联网 厂 的 云端 和 中端 设备 上 现在 是 发展 的 比较 好 的 其他 市场 是 还 在 有待 观察

对 因为 它 这个 完全 看 你 这个 量 能 走 多 大 只要 你 的 这个 量 走 得够 大 了 它 才 合适 去 做 一个 专用 芯片 否则 的话 没 必要 啊 你 只要 你 用 那个 正常 的 其他 的 CPU 上面 跑 一 跑 简单 的 就行了 国内 现在 做 这样 方面 的 也 不光 就是 韩 5G 啊 就是 像 连 那个 比特 大陆 也 知道 原来 做 挖矿 的 也 开始 做 AI 加速 芯片 之前 還有 一個 公司 可能 你 也 聽過 那個 DeepFive 就是 深見 科技 也 是 國內 做 的 然後被 Xenix 收購 了 但 他們 的 話 可能 主要 是 就是 做 一些 壓縮 模型 壓縮 因為 我 也 不是 自己 做 這個 AI 加速器 的 然後當然 也 有 可能 我 說 的 有些 錯 的 地方 也 歡迎 大家 指正 了然 後 整體 上 我 所 知道 的 就是 大概 就是 這個 情況 嘛 但是 其實 對 剛才 可能 沒說 到 的 地方 另外 一個 之前 說 你 有 什麼 應用 嘛 忘 了 除了 手機 PC 上 還有 一些 你 叫 wearablesDrone 的 可 生態 設備 對 都 有 還有 那個 Drone 啊 什麼 都 可以 的 IoT 設備 就是

所有 的 無無聯網 設備 基本上 都 可以

用 對 這 只要 是 你 在 Edge 你 只要 有 那個 應用 你 都 可以 然後現 在 的 手機 像 蘋果 華為 還有 那個 MediaTek 然 後 高通 在 處 理器 裡面 他們 都 已經 加入 AI 加速 功能 當然 你 也 可以 很多 不同 的 方法 來 實現 具體 哪種 我 也 不 清楚 那 可能 你 可以 加一個 專用 的 神經 網路 加速 盒 你 也 可以 專門 修改 一下 CPU 加上 一些 更 多 的 那個 FactorComputationEngine 就是 相當 於 專門用 來 加速 神經 網路 的 一些 計算 單元 都 可以 實現 貌似 可能 有 很多 種 但是 反正 現 在手 機 上市 大家 也 是 這個 趨勢 嘛 現在 照片 啊 什麼 的 都 是 各種 合成 現在 試驗頭 越來 越多然 後 就是 你 需要 更強 大 的 這個 图形处理 能力 吗 现在 大家 都

说 中国 是 个 AI 大国 可能 是 要 反超 美国 的 感觉 那 中国 现在 在 AI 加速器 方面 是 处在 一个 什么 水平 我覺 得 還是

整體 還是 一個 follower 吧 但是 中國 的 優勢 在 於 應用 中國 跟 美國 最大 的 區別 是 中國 有 很多 應用 中國 有 非常 多 的 data 美國 呢 由 於 很多 privacy 啊 各種 constrain 有 很多 限制 你 很多 東西 不能 做 但 你 在 中國 呢 你 這個 數據 就 非常 的 多然 後 你 有 各種 各樣 的 應用 中國 的 這個 商業 模式 啊 或者 說 這種 idea 其實 是 走 在 美國 的 前面 的 但是 你 說 如果 說 是 這個 算法 的 基礎 理論然 後 芯片 的 設計 能力 那 肯定 是 還是 美國要 強當然 說 這個 設計 能力 強不強 和 能 不能 做出 來 是 兩 回事 對 中國 也 有 這些 芯片 廠商 他們 也 能 做 的 都 能 做 對 但是 至於 說 你 是不是 呢 同样 比 的话 你 肯定 是 美国 做得好 而且 我 是 这么 理解 的 就是说 你 技术 上 稍微 差一点 其实 也 不是 最 根本 的 区别 你 只要 这个 能 用 然后 能 大概 比如说 你 这个 快 两倍 我 这个 快 1.8 倍 那 其实 没有 根本性 的 區別 你 延遲 差 了 那麼 30 毫秒 有 太大區 別 嗎 可能 你 感覺 不到 那 就 沒 有關 係 你 就 可以 先用 起來 等到 他 應用 上 賺 了 足夠 的 錢 他 可以 反過 來然 後 更加 來 迭代 或者 說 improve 他 這個 硬件 的 這個 技術 嘛 其實 這也 其實 也 是 中國 的 一些 雲廠 商 或者 說 一些 其他 廠商 的 一些 機會 那 最后

是 如果 大家 有 谁 对 技术 这个 领域 感兴趣 啊 比如说 想 成为 一个 AI 加速器 的 这个 研发 人员 那 应该 在 哪 方面 的 这个 技术 啊 技能 啊 比较 比较 重要

呢 如果 是 硬件 這一塊 的 話 那 肯定 是 最 根本 的 還是 電路 設計 吧 就是 數字 電路 設計 這種 數字 電路 設計然 後 當然 其 實現 在 就 像 我 說 的 其實 advantage 是 個 權債 其實 如果 你 能夠 了解 AI 的 算法 然后 你 又 当然 不用 去 你 去 发明 什么 新 算法 你 至少 了解 现在 的 算法 是 怎么 设计 的 它 的 原理 是 什么 每 一个 模块 是 什么 然后 你 又 懂 下面 的 底层 设计 的话 我 觉得 这 就是 一个 非常 的 大 的

advantage 所以 说 就 应该 是 一个 硬件 设计师 这个 学 电子 出来 的 做 个 硬件 的 然后 上 一上 这个 机器 学习 的 课 是 吧 基本上 就是 非常 好 的 一个 准入

门卡 了 是 吧 对 这 是从 硬件 的 角度 当然 是 其实 从 软件 的 角度 对 做 那些 compiler 的 他 也 需要 对 底层 的 硬件 有 相当 的 熟悉 他 至少 得 知道 下面 的 基本 单元 它

的 微 架构 是 怎么样 如果说 想要 做 软件站 那边 就是说 要 对 硬件 设计 有 一些 基本 了解 并且 对于 编译器 什么 这些 有 一些 了解 并且 知道 一些 这些 机器 学习 的 基本 的 概念 是 吧 感谢 孙超 来到 我们 的 节目 给 大家 讲 一 讲 AI 硬件 加速器 的 情况 我们 了解 了 硬件 加速器 现在 哪些地方 可以 有 应用 具体 在 做 什么 新 的 趋势 是 什么 ANSNN 数字模拟 混合 现在 市场 的 情况 大概 是 什么样 的 如果 想要 进入 这个 领域 应该 有 哪 方面 的 准备 好 谢谢 孙超 来到 我们 的 节目 感谢 收听 我们 的 牛油果 烤面包 节目 如果 喜欢 我们 的 节目 请 点击 订阅 按钮 我们 的 节目 可以 在 各大泛 用型 播客 平台 或者 喜马拉雅 收听 和 订阅 好 我们 后会有期 拜拜 謝謝觀 看