#60. 大数据的关键技术——数据仓库

我们 经常 听到 大 数据 这个 词 但 你 知道 吗 多数 的 大 数据分析 都 是 通过 一种 叫 数据仓库 的 系统 来 完成 的 今天 我们 就 来 聊 一聊 数据仓库 是 怎么回事 这里 是 牛油果 烤面包

大家 好, 我

是 Kent 我 是 Sean 我 是

斯托 亚特 今天 我们 要 讲 的 主题 是 什么 呢 我们 要 讲讲 大 数据 和 数据仓库 那 我们 今天 没有 请 到 任何 嘉宾 因为 今天 我们 的 嘉宾 就是 我们 的 主播 之一 司徒 亚特 好 大家 好要 不

司徒 亚特 你 再 给 大家 做

一下 自我介绍 吧 我 发现 我 当 嘉宾 次数 比当 主播 还要 多 说明

你 知识 渊博 是 吧 好 吧

之所以 要 聊 这个 话题 是 有 一次 在 听 友群 里面 我们 有个 听友 也 是 我们 曾经 的 一个 嘉宾 曾经 说 过 让 我们 聊一聊 这个 数据 平台 是 怎么回事 特别 是 他 要 让 说一说 Snowflake 是 怎么回事 这个 最近 非常 热门 的 公司 感觉

是 万事 房家 的 推动者 之一 无数

人造 梦 成化 成功 对 所以 我 也 想 这 是 我 的 老本行 所以 我 就 正好 可以 聊一聊 这件

事 大家 听 明白 之后 下 一个 Snowflake 就 可以 加入 了 既然 要

讨论 数据仓库 要 不要 我们 先 聊聊

数据仓库 到底 是 什么 数据仓库 这个 词听 上去 非常 的 陌生 但是 有 一个 词 大家 听 着 非常 的 熟悉

叫做 大 数据 这个 感觉 听出 老解来 了 感觉 现在 大 数据 都 已经 不火 了 都 搞 什么 量子力学 了

大家 所说 的 大 数据 其实 有 相当 一部分 是 就是 在 数据仓库 里面 做 查询 不 知道 上河 Kat 对于 这个 大 数据分析 有没有 什么 亲身 的

体会 这 感觉 好像 关于 数据 查询 这件 事情 其实 现在 数据 驱动 另外 一个 比较 流行 词叫 数据 驱动 你 会 发觉 很多 互联网 公司 在 搞 这个 包括 我 是 阿里巴巴 的 人 可能 会 说 双 1 看看 哪个 地区 他们 什么 东西 卖 的 好 具体 工作人员 就 会 跑 一个 查 数据 的 一个 命令 说 我 这样 查 一下 说 北京 比较 高 还是 上海 比较 高 然后 我 印象 中

可能 就是 这样 的 东西 我 觉得 这个 例子 也 还 可以 因为 就是说 我们 知道 大 数据 刚才 说 的 例子 就是说 我们 有 一些 数据 然后 有人 分析 告诉 你 一个 结果 它 的 一个 比较 大 的 特点 就是 它 把 数据 都 存在 一个 地方 然后 有人 去 做 一个 分析 那 这个 地方 通常 就是 数据仓库 叫做 datawarehouse

前面 的 分析师 他 写 了 这个 查询 了 之后 扔给 系统 扔给 服务器 然后 他 相当于 是 就 跑 到 那个 数据仓库 整吧 整 吧 把 这个

答案 给 弄出来 对 这 通常 来说 我们 说 的 大 数据 啊 很多 情况 下 都 是 在 数据仓库 里面 跑 出来 的 我 觉得 上 个 来说 非常 好 啊 因为 我们 现在 是 一个 数据 驱动 的 时代 啊 就是 什么 都 讲 数据 有人 说 过 这么 一句 话 吗 除非 你 是 上帝 要不然 就要 拿 数据 说话 对 吧 没有 数据 你 怎么 能 证明 任何 事情 呢 因为 在 这件 事情 我们 想 可能 在 几十年 前 并 不是 这样 的 是 吧 那个 时候 数据 并 没有 这么 遍地 都 是 并 没有 这么 容易 得到 并 没有 这么 容易 查询 所以 这 里面 可能 对于 这些 数据库 技术 是 一个

很大 的 推动 那能 不能 举 一个 简单 的 例子 说 说 一个 完整 的 数据仓库 应用 的 场景 呢 那

我们 就 从 我们 对 历史 来讲 起 吧 因为 这个 基本上 这个 概念 大概 是从 这个 名词 可能 是 在 80 年代 或者 70 年代 提出 的 但是 这个 这么 早就 有 了 对 这个 提出 就是说 他 把 数据 分成 数据系统 分成 两类 一类 叫做 运营 系统 operationalsystem 运营 系统 是 非常 好 理解 的 概念 比如说 我们 运营 一家 商店 商店 后面 有 数据 嘛 对 吧 但 运营 系统 就是 什么 呢 就是说 每个 产品 库存 多少 价格 多少 这 就是 运营 数据 运营 数据 要求 的 是 我 现在 买 了 一个 库存 就会少 一个 对 吧 我 买 一个 时候 我 买 到 的 东西 那 必须 是 库存 有 的 我 买 完 之后 他 立刻 库存 就 会 减 别人 就 不能 买 了 对 吧 所以 这个 是 要求 是 一套 运营 系统 刚才 比如说 举 的 双

1 的 例子 比如说 大家 登上 淘宝 大家 疯狂 的 抢单 然后 东西 卖出去 了 然后 哎 你 这个 订单 产生 了 这些 东西 都 相当于 是 在 运营 系统 里面 去 去 运行 这样

是 的 这 是 一个 运营 系统 因为 他 要求 的 是 实时 是 吧 我 立刻 买 东西 立刻 就要 给 我 买 的 我 不能 等 半天 对 吧 他 要求 实时 并且 想 用 速度 要 快 是 吧 越快越好 这个 系统 的 性能 就 越 好 所以 它 是 一个 运营 系统 但是 有人 提出 了 另外 一套 系统 叫做 辅助 决策 系统 叫做 decisionsupportsystem 就是说 在 这个 企业 或者 是 在 这个 提供 服务 这些 人 后面 有 一些 人 他 通过 数据 来 做出 决策 啊 这 是 50 年代 提出 的 概念 啊 这套 系统 叫做 辅助 决策 系统 这 和 运营 系统 呢 就 不 太 一样 比如说 我们 还是 一套 商店 的 例子 啊 或者说 我们 就 用 双十 一做 例子 吧 双十 一 也 是 商店 的 一个 特殊 情况 吧 运营 系统 可能 比如说 在 过去 的 时候 可能 库存 信息 是 一个 运营 系统 你 在 进货 的 这个 订单 可能 是 另外 一个 运营 系统 那 可能 有 的 时候 财务 啊 或者 别的 又 有 别的 运营 系统 它 是 在 很多 公司 啊 可能 是 一个 单独 的 一个 孤岛 当然 有 的 扩展 公司 可能 是 打通 了 但是 有 的 公司 可能 依然 还是 一个 孤岛 特别 是 传统 公司 啊 一般 各个部门 都 是 一个 IT 系统 都 是 一个 孤岛 数据仓库 要求 的 是 什么 呢 首先 它 是 整合 就是 所有 这些 库存 订单 财务 访问 记录 这些 都 要 整合 在 同一个 系统 里 可以 同时 查询 其次 呢 它 是 要求 历史记录 比如说 我们 运营 系统 里面 就是说 我 还 剩 是 吧 我 卖 袜子 袜子 还 剩 10 双对 吧 我 不 需要 存储 说 昨天 还有 20 双 前天 还有 30 双是 吧 但是 历史记录 就 需要 我们 有 一个 历史 的 记录 这样 才 好 做 分析 嘛 对 吧 我 昨天 卖 多少 前天 卖

多少 那 这样的话 岂 不是 它 的 数据量 就 很大 就 很多 冗余 因为 每天 的 历史 字 都 记录下来 了

是 的 我们 知道 数据仓库 的 数据量 就是说 你 从 多少 T 多少 G 的 角度 来讲 应 一般 是 前台 系统 的 很多很多 倍 像 当时 几乎

都 是 每 一天 的 前台 系统 的 切片 都 这么 存存存 存存 上去

对 当然 这 并不等于 说 它 要 贵 啊 因为 它 没有 前台 系统 这么 大 的 查询 量 啊 就是说 它 并不一定 说 它 更 贵 啊 但是 说 它 的 数据量 通常 来说 是 要 大 很多 的 那 我

再 举个 例子 来 问 一下 比如说 现在 其实 还 蛮 流行 可能 发觉 很多 互联网 公司 都 会 给 你 出个 年度报告 给 用户 看 比如说 你 这个 花 呗 一年 花 了 多少 多少 钱 都 买 了 哪些 东西 包括 抖音 也 会 出 一个 报告 说 今年 最 火爆 的 城市 是 重庆 成都 这些 东西 这些 是不是 也 算是 数据仓库 它 这样 搞 出来 的

一个 产品 呃 有的是 有 的 不是 比如说 你 刚才 谈 了 两个 例子 比如说 每年 跟 你 说 给 你 一个 年度 标表 每个 用户 说 你 今年 看 了 几本 什么 什么 书 你 去 了 什么 什么 地方 这些 好像 通常 不会 是从 数据仓库 里面 出来 的 也 有 可能 是 会 的 但是 你 像 后面 说 就是说 它 整体 的 就是说 整个 网站 的 趋势 说 是 来自 什么 地方 的 人 最 多 去 哪 的 人 最 多 这些 很 有 可能 是 数据 物据 仓库 里面 出来 的 但是 就是说 那些 实时 的 比如说 我们 知道 有 很多 服务 是 有 实时 信息 的 比如说 你 要是 微博 用户 你 可以 看到 实时 每天 的 粉丝 数量 访问 数量 是 吧 看来 你 经常 查 是不是 我 经常 查 这些 数字 可能 不 经常 是从 数据仓库 里面 出来 那 我 后面 可以 根据 这个 技术 特点

来讲 一讲 我 在 想象 就是 司徒 亚特 每天 在 那边 刷新 自己 的 面板 说长 了 一个 粉丝 这个 看来 就 不是 数据仓库 看来 是 运营 系统

做 出来 的 对 我 觉得 是 有 可能 我们 后面 再聊 这个 问题 了 对 所以 我们 说 到 这个 数据仓库 啊 这个 数据仓库 概念 是 谁 提出 来 的 呢 是 什么 时候 提出 来 呢 这 还有 争议 了 就 有人 说 他们 70 年代 就 提出 来 了 但是 现在 比较 能够 查到 的 铁证 的 系统 大概 是 在 80 年代 末 啊 有 几个 IBM 的 人 准确 的 提出 了 这个 warehouse 的 概念 就是 datawarehouse 概念 在 90 年代 这个 概念 开始 流行 因为 有 很多 一批 也 是 先行者 在 不停 的 教育 大家 因为 数据仓库 普及 的 过程 不仅仅 是 一个 技术 发展 的 过程 它 还是 一个 让 所有 企业 的 他们 的 想法 改变 的 过程 从 一个 通过 人 的 感觉 来 做 决策 到 数据 驱动 决策 这 也 是 一个 教育 的

过程 不仅仅 是 数据仓库 的 演变史 也 是 一个 数据 驱动 这种 做 事情

方式 的 洗脑 史 对 我 觉得 在 90 年代 在 传统 企业 里面 基本上 也 开始 确立 了 就是 用 数据 来 做 分析 的 方式 很多很多 比较 大 的 公司 都 开始 建立 它 的 这个 数据仓库 对 吧 也 开始 把 它 的 数据 都 导到 这个 数据仓库 里面 然后 运行 一些 查询 然后 来 辅助 决策 是 吧 但 这个 我 觉得 呢 对于 我们 今天 啊 看到 的 数据仓库 其实 是 我 个人 认为 啊 其实 是 0 年代 的 中旬 大概 是从 互联网 企业 开始 引领 了 这 一波 大 数据 的 浪潮 呃 我 觉得 是 有 很大 的 关系 的 啊 那 互联网 公司 呢 呃 尤其 是 当时 谷歌 开始 了 他们 的 特点 是 什么 呢 就是 他们 生成 数据 的 速度 非常 的 快 因为 你 在 前面 写个 日志 是 吧 你 互联网 一 访问 你 log 一下 是 吧 或者 是 你 对于 谷歌 来说 爬 一下 互联网 对 吧 你 生成 数据 的 速度 非常 的 快 所以 它 就 很 容易 造成 海量 的 数据 放在 比如 现在 我们 管它 叫 数据仓库 那 时候 谷歌 可能 不管 它 叫 数据仓库 里 就是 有 海量 的 数据 放在 那 互联网 公司 就 做 了 一套 就是 非常 大规模 的 分析 数据 的 很多 的 系统 那么 这套 系统 我们 知道 但 现在 这 已经 是 好多年 前 的 事 了 这套 系统 已经 慢慢 的 先 在 互联网 公司 普及 传统 公司 也 开始 慢慢 的 使用 大

数据分析 这大 数据 都 是 那种 开车 开 出门 发觉 外面 广告牌 都 在 那边 刷大 数据 大 数据 大 数据

是 的 120 车 的 广告牌 对

我 觉得 这个 也 是 和 整个 世界 数字化 也 是 有 关系 的 比如说 我们 说 15 年前 可能 互联网 公司 很 容易 生成 大量 数据 传统 企业 可能 不 那么 容易 那 现在 传统 企业 已经 大量 的 数字化 了 对 吧 比如说 看病 对 吧 我们 去 医院 看病 对 吧 我们 我们 放在 20 年前 我 不 说 20 年前 15 年前 可能 去 看病 还是 拿 那个 笔写 的 病例 对 吧 给 你 开个 处方 或者 给 你 开 一个 诊断书 都 是 拿笔 写 的 医生 那个 字 潦草 的 你

看不懂 对 吧 最早 的 信息 加密技术

不仅仅 是 中国 这样 啊 但是 美国 人 也 开玩笑 说 这个 医生 写字 如此 之 潦草 谁 能 认识 啊 但 现在 应该 大家 去 医院 不管 哪个 国家 基本上 都 是 全 数字化 对 吧 你 的 测试 结果 就 没有 给 你 一个 化验单 一个 化验 结果 都 是 全部 在 你 的 手机 上 就 能 看到 对 吧 这 就是 一个 例子 啊 就是说 连 医疗 被 认为 这么 一个 落后 的 一个 就是 数字化 这么 慢 的 企业 都 已经 全面 的 数字化 了 所以 就是 各 企业 各个 行业 都 已经 大量 的 数字化 并且 有 一些 企业 它 数字化 之后 它 的 数据量 产生 数据 的 速度 比 这个 互联网 公司 还要 快 是 吧 特别 是 这些 物 联网 企业 是 吧 或者 是 工业 控制 企业 是 吧 这 全都 是 传感器 全都 是 各种各样 的 数据 就 它们 产生 数据 的 速度 比 互联网 公司 还 快 所以 我们 现在 数据仓库 就是 这样 一套 决策 系统 是 真正 进入 了 一个 占领 世界 的 时代 不仅仅 是 一个 互联网 公司 引领 的 一个 独门 技术 那 我们 说

了 数据仓库 这个 词 是从 哪里 诞生 的 然后 讲 了 这个 概念 如何 一步 一步 的 普及 开来 进入 互联网 公司 再 进入 到 各行各业 当中 去 那么 接下来 我们 要 不 聊聊 数据仓库 背后 的 技术 是 怎么样 的 诶

这 终于 聊到 我 了解 的 事 了 是 一个 数据库 工程师 啊 这个

是 凡尔赛 文学 啊 就是 聊 了 这么 多 东西 之后 说 啊 终于 聊到 我 刚才 我 比较 熟悉 的

东西 对 我 前面 那 都 是 属于 google 的 结果 现炒现卖 啊 加 生饭 数据库 技术 就 很多 人会 觉得 这 不 就是 数据库 吗 对 吧 都 是 一样 的 嘛 对 吧 无论是 前台 是 吧 呃 那个 双 1 前台 库存 数据 还是 我 后面 的 这个 分析 数据 或者说 大 数据 数据 它 不 都 是 数据库 吗 我们 存在 数据库 里 不 就行了 吗 啊 但是 我们 做 数据库 的 人 来说 呢 我们 确实 长期以来 就是 这么 认为 的 20 年代 初 很多 人 就 会 认为 数据库 就是 数据库 只不过 有 的 用 在 决策 系统 有 的 用作 在 啊 运营 系统 里 嗯 直到 大概 在 2000 年代 中旬 的 时候 有些 人 认为 这样 是 不行 的 认为 数据库 需要 有 不同 的 实现 技术 来 对于 这些 数据仓库 的 数据 和 运营 数据 感觉 是

有些 博士 想要 发发发 论文 赶紧 造

出 一个 新坑 出来 我刚 想 说 这个 当时 有 一个 人 叫 MikeStonebreaker 是 前 两年 的 图灵 家 获得者

这样 坑 挖 的 比较 成功 是

吧 没有 没有 他 是 一个 80 多岁 的 一个 人 他 是 个 大佬 他 在 数据库 历史 上 做 过 很多很多 最 重要 的 贡献 但 他 205 年 发表 过 一篇 里程碑式 的 论文 叫做 onesidefitsallanideawhosetimehascomeandgone 哇 这个 感觉

听 上去 特别 标题 党 你 翻译

一下 onesidefitsall 就是说 统一 号 是 吧 就是 无 尺码 统一 尺码 的 应该

翻译出 姓达雅 还 挺 难 的 这句

话 嗯 对 就是 冒号 这个 想法 来 了 又 走 了 就是说 已经 不能 一个 尺码 所有人 都 穿 了 需要 有 不同 的 技术 来 服务 不同 的 东西 他 提出 了 我们 刚才 提出 的 观点 就是说 不同 的 运营 数据库 需要 快速 的 查询 响应速度 很快 每个 查询 需要 查询 大量 的 数据 它 的 需求 是 不 一样 的 所以 它 需要 不 一样 的 技术 所以 他 里面 也 提出 了 大概 有 什么样 的 技术 不 一样 啊 这个 大家 可以 想象 嘛 比如说 我 双 1 说 买 一双 鞋 我 买 一双 鞋 大概 也 就 需要 改动 数据库 几个 项 就 可以 了 对 吧 我 需要 改动 库存 内项 对 吧 我 需要 改动 一下 我 的 账户 对 吧 还有 一些 交易 记录 就是 就 那么 几个 数据项 就 可以 了 单烧 快 是 吧 我 刷 一下 就 完成 但是 大 数据分析 呢 你 要 分析 说 我 当季 哪个 鞋 最 流行 或者说 年轻 男性 最 喜欢 什么 鞋 年轻 女性 最 喜欢 什么 鞋 那 这个 查询 需要 读取 所有 的 销售 鞋 的 数据 所有 的 用户 数据 然后 用户 他们 是 男 是 女 他们 年龄 把 这些 数据 全 放在 一起 做 一个 非常复杂 的 综合 才能 得出 这个 结论 那 他 这 一个 查询 他 需要 读取 的 数据 可能 就是 几万 几亿倍 于 我 买 一双 鞋 所以 它 这 两个 系统 的 需求 是

不 一样 的 确实 这 感觉 一个 是 要 快 很小 的 一个 操作 就是 我 自己 买 双鞋 的 事情 一个 是 说 全国 买鞋 的 情况 它 确实 数据 上 不 一样 那么 对于 具体 的 实现 来说 有 什么 不 一样 的 像 我们 比如说 是 计算机 的 感觉 上 好像 本质 上 它 都 是 SQLquery 只不过 说 是 你 有些 时候 查询 的 是 一行 有些 时候 查询 是 只 张表 这

里面 我们 觉得 有 几个 我们 做 数据库 的 人 可能 比较 了解 的 比较 重要 的 技术 的 区分 啊 这 是 就是 一个 高能 预警 下面 一段 可能 有点 专业 嗯 就是 我们 对于 前台 的 数据库 啊 或者说 运营 系统 数据库 通常 叫行 存储 比如说 我们 那个 我们 的 库存 吧 还是 拿 库存 座 做 例子 每个 商品 是 一行 比如说 这个 商品 里面 可能 有 什么 描述 存货 价格 每 一个 是 一行 它 每 一个 数据项 是 这么 一行 存 下来 的 这个 非常 符合 运营 系统 的 查询 对 吧 因为 我 通常 就 更新 一个 项 我 找到 哪双鞋 更新 一下 库存 这是 非常 符合 我们 运营 系统 的 查询 的 但是 我们 在 数据仓库 里面 通常 使用 那种 一种 这个 数据组织 方法 叫做 列 存储 就是 我 把 每 一列 放在 一起 比如说 我们 假设 我们 还是 有 同样 的 一张 表 还是 库存 我们 就 会 把 第一列 价格 这列 存在 一起 然后 我们 把 第二列 比如说 剩 多少 这 一列 可能 分类 也 是

存在 一起 吧 尺码 颜色 对 吧

对 比如 尺码 跟 你 分 在 一起 比如说 还有 这个 发布 时间 是 吧 每 一列 信息 是 放在 一起

的 比如说 有 一个 列 它 叫做 用户 的 动作 大家 这一存 之后 他 就 买买 买买 买买 买买 买买 买买 买买 买买 买买 买买 买买 买买 买买 买买 买买 买买 买买 买买 买买 买买

买买 买买 买买 买买 买买 对 比如说 我们 分析师 想 生成 一个 关于 库存 情况 的 报告 就是说 有 多少 产品 是 库存 是 充足 有 多少 是 不足 那 他 干嘛 呢 通常 只 需要 读取 那 一列 就是 库存 项 那 一列 有 剩 多少 那 一列 大概 理解 这个 意思 就是说 多数 情况 下 分析 是 就 着 那么 一两个 或者 两三个 属性 是 吧 一列 来 分析 的 所以 我们 不 需要 我们 如果 把 他们 放在 一起 我们 用 最好 的 组织 方法, 最好 的 压缩 方法 可以 迅速 的 做 分析。

哎, 这样 挺 合理 的, 因为 我 想 我 刚刚 想 另外 一个 例子, 可能 更 直观 一点, 比如说 我 其中 的 一列 是 说 这个 这件 衣服 是 男士 的 还是 女士 的? 那么 我 平时 比如说 会 有 一些 统计学 的 问题 说 我 卖出去 的 衣服 里面 多少 百分比 是 男 一 多少 百分比 是 女 一 那 我 只要 看 这 一列 直接 数一下 有 多少 行 对比 一下 就 可以 马上

算 出来 这个 结果 对 我 觉得 一个 更 容易 理解 的 例子 就是说 比如说 用户 信息 是 吧 用户 可能 有 一个 信息 是 年龄 性别 是 吧 居住地 对 吧 可能 很多 时候 分析师 希望 看到 比如说 年龄 分布 我们 就 只 需要 读取 年龄 一项 对 吧 比如说 男女比例 就 只 需要 读取 男女 那 一项 是 吧 或者说 是 地理分布 对 吧 很多 的 查询 是 只 需要 读取 一两个 属性 那 如果 我们 像 运营 数据 一样 吧 按照 行 存储 那么 我们 基本上 就要 全扫 一遍 才能 找到 那 就是 会 很慢 所以 说 这 是 一个 如果说 运营 系统 和 数据仓库 这个 数据库 技术 最 本质 的 一个 区别 就是 最 明显 的 区别 就是 行 存储 还是 列 存储 但 在 此 之外 还有 一些 其他 的 技术 比如说 运营 数据库 通常 比较 优化 于 需要 有锁 引要 通过 锁 引来 查询 非常 快 是 吧 关键 是 要 快 对 因为 锁引 就 为了 快 我 要 立刻 查 到 这么 一双 鞋 就 查到 我 要 调取 这个 用户 的 信息 我 通过 用户 名字 或者说 是 用户 的 这个 代号 就 取出 来 因为 它 是 通过 索引 来 解决 的 但是 我们 的 数据仓库 的 大 数据分析 呢 我们 要 做 的 事情 就是 要 优化 就是 全表 扫描 就是 全表 读取 就 不 一定 是 所有 的 列 了 通常 情况 下 是 不会 存在 同一 台 机器 上 通常 是 大规模 的 全表 扫描 的 这个 数据 多表 结合 结果 的 这么 一个 方式 这 就是 这 两种 系统 的 最 主要

的 特点 那 我们 说 了 两种 不同 的 系统 的 差异 接下来 聊聊 我们 做 互联网 的 人 熟悉 的 或者 至少 是 听闻 过 的 一些 数据仓库 的 系统 吧 例如 说 最初 引入 这个 概念 的 GoogleMapReduce 技术 以及 后来 广泛 开源 使用 的 Hadoop 技术 这 两者 都 是 怎么 做到 的 呢 他们 的 异同 在 哪里 呢

我 觉得 你 这个 问题 贴 的 非常 好 啊 就是说 这个 你 把 这个 mapreduce 分成 这个 相关 技术 这 在 十多年 前 大家 并 不 这么 认为 啊 而 我们 知道 九十年代 都 是 一些 做 数据库 的 厂商 什么 oracle 啊 他们 在 用 这样 的 数据库系统 但 他们 的 系统 呢 通常 来说 规模 并 没有 那么 大 那么 在 20 年 中 的 时候 啊 因为 互联网 公司 嘛 就是 以 Google 为 主导 的 他 发明 了 一种 新 技术 叫做 MapReduce 他 不管 那个 叫 数据仓库 啊 至少 在 他 的 这个 论文 里 不管 他 叫 数据仓库 但是 他 你 可以 想 他 做 的 是 一些 数据仓库 的 问题 MapReduce 干什么 呢 就是说 他 你 可以 有 一些 输入 数据 可以 实现 一个 简单 的 一个 计算 系统 一个 计算 的 程序 然后 你 就 可以 用 这个 简单 的 计算 的 程序 拿 这些 存在 大规模 的 输入 数据 做 它 的 计算 然后 生成 输出 数据 然后 这个 计算 可以 被 部署 到 一个 非常 大规模 的 一个 集群 上 就

相当于 是 说 之前 的 程序 可能 就是 非常简单 的 很小 的 一块 数据 过来 我算 一个 结果 出来 但是 MapReduce 相当于 说 我 可以 使得 一大 很多很多 数据 都 经过 这样 的 一个 计算

得出 一个 结果 对 它 的 优势 是 说 它 这个 程序 可以 写得 非常简单 不 需要 处理 说 我 有 多少 台 10 台 怎么样 怎么样 它 就 非常简单 的 一个 程序 就 可以 处理 这个 大规模 的 输入 数据 生成 大规模 的 输出 数据 这个 当时 被 认为 是 一个 非常 里程碑 的 一个 系统 其实 你 如果 仔细 想 的话 我们 现在 想来 做 的 很多 是 数据仓库 的 工作 就是 大规模 的 数据 他们 在 背景 进行 实施 进行 计算 而 当时 呢 就是 有 两个 数据库 级 的 大佬 一个 就是 我们 说 的 stonebreaker 刚才 我们 说 过 的

那个 就 那个 图灵奖 得主 对 对

对 当时 还 没有 还有 另外 一个 大佬 叫做 DavidDeWitt 两个 家伙 写 了 一篇 文章 骂 MapReduce 为什么 他 的 那 篇文章 标题 叫 MapReduceAMajorStepBackward 我 发觉

他们 真的 很会 起 这种 爆炸性 标题 中文翻译 就是 MapReduce 一个 重大 的 倒退

是 吧 对 对 对 一个 重大

的 倒退 开倒车 对 开倒车 开倒车 开倒车

对 这 两个 大佬 发表 在 他 的 博客 上 这个 文章 当时 还 引起 了 很大 争议, 肯定 是 会 有 争议, 就是 因为 很多 人 认为 你们 这帮 人 你们 嫉妒 了 谷歌, 就是说 你们 这帮 人 搞 数据库 搞 了 几十年。 没 搞 出 这么 大 的 系统, 人家 谷歌 搞 出来 了, 你们 两个

人 嫉妒 他们, 就是 讲 你们 谷歌 年轻人 不 讲武 德, 哎, 哎, 这个

话 说 的 很 好 啊, 对, 所以 当时 也 是 有 很大 的 争议 了, 因为 很多 人 不 喜欢 他们 这个 这个 调调, 但是 我们 今天 我们 放在 15 年 后 的 今天 或者说 十几年 后 的 今天 来说, 我们 基本 可以 说 这 两位 大 老师 说 的 是 对 的, 因为 历史 是 通过 他们 是 走 到 他们 那 一边 了, 就 他们 的 论证 是 什么 呢? 他们 有 多个 主要 论证, 有人 说 MapReduce 实现 也 不 对 什么 之类 的, 但是 他 最 主要 的 观点 就是说 他 的 这个 想法 他 的 基本思路 是 错误 的, 他 认为 数据库 领域 在 几十年 前 就 搞清楚 了 那么 一点 是 什么 呢? 数据库 是 是 要 把 数据 和 实现 分离 开来 我们 学过 编程 的 人 可以 知道 我们 要 处理 数据 是 很 复杂 的 我们 要 写 一堆 for 是 吧 我们 要 parse 要 for 要 什么 什么 然后 等于 什么 这个 是 传统 的 写 数据 的 方法 他们 几十年 前 呢 数据库 的 人 发明 了 一种 数据库 查询语言 说 我们 不 应该 去 根据 那个 物理 的 就是说 做 数据 的 人 不 应该 去 考虑 那些 我们 的 数据 的 具体 的 这个 组成 方法 而 应该 是 做 一些 抽象 的 方法 比如说 我们 最 著名 就是 sql 就是 sql 语言 对 吧 sql 语言 是 一 非常 高层 的 语言 大家 用过 的 人 知道 就是 它 的 查询 就是说 我们 找到 这 一行 所有 的 呃 年龄 等于 20 的 是 吧 这 就是 他们 一个 查询 的 语言 这是 一个 非常 抽象 的 一个

数据 语言 我 举个 例子 吧 比如说 普通 的 程序语言 可能 说 我 先 把 一些 东西 读 到 内存 里面 去 然后 我 内存 里面 的 数据 拿 出来 之后 比如说 有 10 行 我 第 1 行 过来 看看 你 这个 年龄 是不是 超过 20 不是 的 pass 然后 下面 一行 拿出 来看 是不是 超过 20 的 是 的 好 我 做 一些 相对 应 的 操作 然后 你 写 程序 的 时候 也 就是 这么 写 的 就是 拿 出来 之后 一个 一个 循环 一下 然后 比 对 一下 做 一些 相应 的 操作 但是 数据库 的话 我 就 很 简单 就是说 啊 这个 年龄 大于 20 的 一句 话 就 说完 了 你 就 不用 拿 过来 比较 然后 循环 20 次

这种 都 不用 写 对 是 这样 的 就是 他们 搞 数据库 的 人 的 想法 是 说 运营 数据库 的 人 应该 是 站 在 数据 层面 做 一个 非常 抽象 的 思考 而 不是 程序 物理 层面 在 想 你 的 数据 是 怎么 是 整形 还是 是 吧 是 数组 还是 这个 链表 是 吧 你 不 应该 想 这个 问题 你 想 的 应该 是 抽象 的 数据 的 问题 那么 所以 说

回到 刚才 那个 mapReduce 的 问题 上面 来说 他们 就 觉得 mapReduce 在 这么 大规模 的 数据 的 处理 的 上面 还是 用 普通 的 程式 那种 思路 说 啊 这个 拿 过来 看看 大 不 大于 20 岁 20 岁 拿 过来 之后 再 判断 一下 怎么 处理 一下 就是 他们 就 吐 槽 是 这 一部分。

对 的, 是 的, 他们 吐槽 的 说 MapReduce 的 系统 是 一个 倒退, 就是说 程序员 又 重新 读取 这个 文件 是 吧, 文件 又 是 什么 这个 14, 2 就 3 又 开始 读 文件 了。

他们 就 不 喜欢 EFS, 所以 说

他们 认为 这是 抛弃 了 数据库 几十年 来 学到 的 经验, 说完 了 这个 MapReduce 就是说 我们 确实 很快 在 过去 10 年内 很少 有人 在 写 myproducer 涌现出 的 是 一批 用 SQL 的 语言 是 吧 所以 你 现在 说 大规模 数据分析 大家 基本 都 是 在 用 SQL 有的是 有 一些 SQL 的 扩展 可能 会加 一些 扩展 程序 在 SQL 里面 跑 但 基本 大家 都 在 用 SQL 所以 说 这 两位 大佬 确实 是 某种程度 上 他们 确实 是 对 的 他们 的 想法 确实 是 对 的 姜 还是 老的辣 这 里面 我 不得不 说 有 一个 李重 碑式 的 系统 就是 大家 说 的 HadoopHadoop 就是 一个 MapReduce 的 一个 克隆 那么 一个 里程碑式 的 这个 就是 Hive 就是 我 20 年 曾经 加入 过 Hive 组 Hive 好像 是 208 年 开始 做 的 项目 我 还是 加入 还 比较 早 的 我 在 那 干过 两年 所以 Hive 我 认为 是 一个 比较 里程碑式 的 系统 就是 在 一个 开源 系统 里面 实现 了 用 SQL 就是 SQL 数据库 查询语言 来 处理 大规模 的 系统 所以 斯图亚特 你 也

是 改变 历史 的 人?

没有 没有, 我 没有 改变, 他们 改变 完 了 两年 我 才 加入。

那 我们 要 不要 解释一下 Hadoop 和 Hype 的 关系 呢?

现在 要说 Hadoop 是 一个 非常 含混不清 的 词 了, 但 Hadoop 这个 项目 最 开始 是 一个 Google 这套 系统 的 克隆, 大规模 的 数据系统 一个 MapReduce 的 实现 Hive 是 最 开始 的 实现 就是 通过 MapReduce 来 实现 的 一个 SQR 一个 数据库 语言 在 Hive 之后 Hadoop 是 一个 下层 的 一个 底层 的 一个 系统 那么 HAIB 等 一批 数据库系统 就 会 成为 它 的 一个 上层 的 一个 应用 这个 是 Hadoop 和 HAIB 的 关系 我 觉得

刚才 两位 大佬 说 的话 也 不 太 对 了 他 说 是 一个 历史 的 倒退 其实 感觉 是 更 像是 为 未来 的 做 一个 前进

的 基石 相当于 对 你 也 可以 这样 认为 也 可以 说 历史 是 回旋 上升 的 是 吧 就是 总是 在 上升 的 对 所以 HAIB 是 一个 当初 一个 比较 早期 的 一个 开源 的 系统 在 HAVE 之后 呢 基本上 有 一批 类似 的 系统 在 围绕 HAVE 的 生态 做 了 一批 基本上 HAVE 所有 的 组件 都 换掉 了 但是 基本 思想 还是 HAVE 比如说 PRESSEL 比如说 IMPALA 比如说 现在 SPARKSQL 还有 一些 类似 系统 基本上 就是 围绕 着 亥 犽 搭 的 框架 在 回旋 上升 可以 这样 说成 了 今天 的 一个 开源 的 一些 生态 基本上 就是 一个 大 数据 SQL 的 一个 生态

那 他们 还是 基于 Hadoop 做 的

吗 有的是 有 的 不是 但 通常 来说 这些 系统 大家 的 使用 方法 都 是 把 数据 从 在 Hadoop 的 一个 这个 文件系统 里面 叫做 HDFS 然后 有 的 系统 是 基于 Hadoop 的 一些 调度 软件 和 计算 软件 来 做 它 的 计算 有的是 它 自己 来 做 的 这个 调度 软件 这些 基本上 可以 广义 的 说 这些 都 在 Hadoop 的 一个 生态系统 里面 所以 他们 都 基本上 可以 算 都 是 Hadoop 的 大家庭 的 一部分 现在 说 Hadoop 这个 词 名声 很差 Hadoop 这个 标志 就 没有 选 好, 就是 一个 大象, 又 大 又 慢, 尾大不掉。 Hadoop 被 认为 是 一个 名声 很差 的 系统, 所以 大家 都 不 说 我 是 Hadoop, 都 说 我们 现在 已经 不用 Hadoop 了, 我们 现在 已经 用 Spark 了。 但是 你 从 历史 来看, 他们 都 还是 一个 大家庭 的 一部分, 都 是 Hadoop 大家庭 下面 的 子子孙孙。

那 我们 说 了 这么 多, MacReduce 再 到 HadoopHive 的 演化过程 回到 今时 今日 比较 现代化 的 云 的 基础架构 上来 如果 我 是 一家 小 公司 我 想 开始 做 自己 的 云 上 的 数据仓库 我 没理由 自己 再 回去 用 自己 的 服务器 搭个 Hadoop 了 那 我 该 怎么 挑选 呢? 我 的 选择 有 哪些 呢?

对, 你 说 的 很 对, 确实 其实 还有 很多 小 公司 是 自己 搭, 对 不 对? 但是 现在 几大云厂 基本上 都 提供 了 它 自己 的 数据仓库 系统, 比如说 亚马逊 的 Redshift 基本上 可以 说 是 一个 大规模 的 SQL 数据仓库 SQL 比如说 谷歌 的 bigquery 微软 有 它 的 Azure 还有 我们 最后 会 说 到 的 Snowflake 据 我 了解 啊 就是 我 也 是 道听途说 了 这 几个 公司 就 实现 特点 呢 不 太 一样 比如说 亚马逊 的 Redshift 他们 是 一个 比较 传统 的 数据库 的 做法 基本上 把 数据 分 到 几台 机器 啊 每台 机器 管理 其中 的 一部分 然后 如果 查询 需要 调用 不止 一台 机器 的 数据 的话 那 他们 就 在 他们 中间 做 一些 通讯 是 吧 把 数据 传来传去 传来传去 最后 就 出 了 个 结果 这 就是 亚马逊 的 redshift 就是 是 比较 传统 的 数据库 的 这个 做法 这个 可能 有 一些 问题 是 它 的 数据量 如果 大到 一定 程度 可能 不会 性能 特别 的 好 当然 这是 可能 是 几年 前 的 消息 了 谷歌 的 系统 叫做 bigquery 谷歌 的 系统 是 另外 一个 极端 谷歌 很 有意思 按照 我 的 理解 谷歌 人 有 他 自己 的 一套 他们 的 他们 观念 是 吧 就 他们 还是 延续 了 myproduce 那个 道路 就是 数据 存储 都 是 全 分离 并且 就是 呃 无限 弹性 的 数据 无限 弹性 的 计算 这么 一种 类似 于 myproduce 的 这么 一个 系统 嗯 就是 谷歌 的 bigquery 那 他们 的 问题 呢 就是 他们 可能 这个 技术 呢 是 可能性 能 有 一点 最终 会 有 一点 这个 问题 那么 所以 说 呢 我们 终于 说 到 了 我们 的 Snowflake 了 啊 Snowflake 是 一家 新 的 公司 啊 他们 几个 月 前 刚 上市 了 据说 是 几个 Oracle 当年 的 数据仓库 专家 出来 创业 各代 的 公司 啊 里面 招 了 一堆 都 是 数据库 大厂 的 这个 资深 的 这些 工程师 他们 最 开始 设计 Snowflake 这个 数据仓库 系统 的 就是 完全 基于 云 计算 的 系统 设计 的 基本上 可以 说 是 综合 了 亚马逊 这个 系统 和 谷歌 这个 系统 的 好处 他们 的 数据 依然 还是 存在 S3 上 是 吧 但是 他们 有 弹性 的 这个 计算 的 机群 但是 这个 又 不是 特别 的 弹性 就是 他们 还 可以 随时 的 调整 Snowflake 是 一个 实现 上 技术 上 非常 好 的 公司 我 认为 很多 人 都 认为 它 的 设计 技术 是 比 亚马逊 和 谷歌 的 数据仓库 都 要强 的 所以 它

这个 系统 也 是 本质 上 来说 还是 搭建 在 亚马逊 的 S3 上面

都 可以 它 几个 云厂 都 可以 用 但是 它 的 设计 时 呃 是 非常 现代 的 一种 全新 设计 并且 他 还有 一些 其他 方面 的 创新 比如说 这么 大 的 数据 要 分到 几台 机器 上 如何 的 分 如何 的 重新 分 就是 他们 有 很多很多 的 创新 并且 他们 是 一个多 区域 叫 区域 怎么 说 就是说 数据中心 多 数据中心 的 这个 天然 的 支持

非常 的 好 就是说 一些 跨国企业 可能 我 的 一个 数据中心 在 新加坡 我 的 一个 中心 在 亚利桑那 我 可能 要 跑 一个 查询 说 全世界 的 排名 是 怎么样 的 他 就 这样

支持 的 比较 好 对 他们 这样 的 支持 非常 的 好 就 比 几大 系统 都 要 好 说 到 Snowflake 这 系统 其实 我 觉得 Snowflake 是 一个 很少 见 的 公司 它 在 云 大厂 的 时代 它 能 占据 一个 主要 应用 就是说 比如说 数据仓库 它 是 一个 主要 应用 的 生态 它 可以 在 大厂 时代 立 注脚 并且 是 它 的 技术 是 有 竞争力 的 甚至 说 可以 说 强于 几 大厂 的 是 非常 难得 的 一个 公司 这 可能 是 为什么 华尔街 把 它 的 估值 搞 那么 高 可能 他们 也 看到 这 一点 屠龙 的 勇士 对云 时代 做 这些 大规模 计算 或者说 云上 的 这些 应用 的 公司 并 不少 但是 他们 通常 都 是 在 一个 非常 偏远 的 应用 里 如果说 英语 就是 要 nichemarket 对 吧 就是 一个 比较 小 的 一个 垂直 是 吧 比如说 像是 mongodb 啊 elasticsearch 啊 他 就 做 一个 比较 小 的 一个 应用 像 snowflake 就是 在 一个 核心 应用 上 跟 大厂 硬刚 对 就 和 大厂 硬刚 的 我 觉得 这是 一个 非常 值得 关注 的 一个 公司 我 问 一个 非常

小白 的 问题 刚才 你 说 啊 他们 很 厉害 他们 很 好 那么 一般来说 在 这个 领域 上面 好 是 什么 意思 呢 大家 会 比较 看重

什么 东西 呢 对于 snowflake 来讲 最好 的 就是 快 这 是 快 当然 还有 别的 啦 比如说 Hadoop 大家 知道 稳定性 很 重要 对 吧 数据 大到 一定 程度 你 要 能 出 结果 不要 出错 对 吧 这 也 是 非常 重要 的 另外 就是 省钱 也 很 重要 对 吧 你 不能 说 跑 同样 快 我 比 别人 钱多花 几倍 这 也 不行 对 吧 这 都 是 所有 做 软件 需要 注意 的 问题 这 也 没有 什么 太大 的 区别 但是 就是说 对于 这样 的 小 公司 肯定 最最 最 最新 研究 的 地方 就是 快 就是 能够 让 人 觉得 哇 还 可以 这样 快 就 这种 感觉 我 记得 我刚 加入

互联网 公司 的 时候 那 时候 基本上 属于 那种 到 了 深更半夜 你 要 查询 一个 东西 你 写 完 了 之后 开始 睡觉 去 你 睡觉 睡 8 个 小时 你 就要 跑 8 个 小时 才能 跑 出来 对 这样

的 系统 可能 就 比较 难卖 了 总结 一下 吧 因为 我 是 做 这个 我 不 小心 就 多 说 了 一些 我们 传统 的 说 是 数据库 那些 厂 在 做 OracleSQLServerIBM 之后 呢 出现 了 Google 是 革命性 的 MapReduce 被 大佬 骂 过 之后 呢 出现 了 Hadoop 上 的 一系列 的 SQL 系统 然后 呢 会 出现 了 这个 云厂 做 的 数据系统 啊 比如说 Redshift 亚马逊 的 谷歌 的 特别 要 提到 Snowflake 是 一个 能够 在 这样 一个 主要 应用 里 和 云厂 硬刚 并且 看上去 是 他们 占据 优势 的 这么 一个 一个 公司 这 就是 现在 数据库 的 版图 基本上 可以 看 现在 版图 都 还 在 就是说 你 可以 说 如果 你 的 数据 比较 小 的话 你 还是 可以 买 Oracle 或者说 SQLServer 或者 IBM 如果 你 比较 大 的话 经常 你 会 自己 搭 一个 比如说 Hadoop 上 的 SQL 然后 你 如果说 你 是 在 云 生态 上 你 就 可以 买 亚马逊 谷歌 Azure 或者 是 Snowflake 这是 基本上 现在 的

技术 版图 好 我们 说完 的 技术 那要 不 基于 我 刚刚 的 前提 假设 提 的 那个 问题 说 下去 假设 我 是 个 小 公司 我 在 云 上 选 了 一个 我 喜欢 的 数据仓库 的 技术 那 接下来 我要 把 数据 灌进去 那 我 要 如何 才 能够 把 我 的 这个 小 公司 日常 的 经营 的 数据 灌 到 一个 数据仓库 里面 使得 他 能够 对 我 的 抉择 提供 有用

的 信息 呢 这个 是 经常 提到 的 领域 叫做 ETLEXTRACTTRANSFORMLOAD 就是 你 把 数据 提取 出来 变换 一下 存 进去 我们 在 互联网 公司 可能 这 一些 工作 是 相对 来讲 比较 直接 的 比如说 我们 的 日志 变成 表格 这 都 是 非常 直接 的 过程 或者说 从 在线 的 数据库 怎么 把 它 是 吧 把 它 复制 一份 的 这 都 是 非常 直接 的 过程 但是 在 一些 传统 公司 可能 就是 一个 非常复杂 的 过程 有 的 公司 可能 需要 生成 一个 不 知道 什么 格式 的 一个 文件 CVS 文件 或 什么 文件 在 那边 你 要 写 一个 脚本 所以 这是 一个 非常 大 的 问题 没有 一个 统一 的 解决方案 在 这 里面 也 有些 问题 是 非常 的 热门 的 问题 比如说 叫 数据 清洗 比如说 有些 数据 有 缺项 或者 格式 不 一样 比如说 我们 知道 有 的 数据 比如说 你 是 拿 了 一个 CSV 文件 是 一个 文本文件 里面 的 日期 项 可能 就是 就 写法 很 不 一样 我们 知道 这个 日期 怎么 写 五花八门 的 吧 年月日

年杠 月 杠日 说不定 特别 传统 的

公司 还要 浓利 呢 对 啊 比如说 你 有 很多很多 例子 了 就是说 这些 有 缺项 有 错项 有 这个 不 对 的 所以 说 这 也 都 是 一个 非常 非常 繁琐 的 工作 啊 就是 叫做 ETL 其实 很多 数据 工程师 80% 的 时间 是 用 在 整理 这些 数据 怎么 把 数据 搞 到 数据仓库 里 如何 清洗 如何 整理 然后 把 它 能够 顺利 的 把 数据 存 进去 非常 可怜 很多很多 公司 的 这些 数据 工程师 就 主要 就是 干 的 是 这件 一跳 的 事情

甲方 给 你 一张 表 你 一看 一行 里面 其实 很多 数据 都 是 缺 的 你 就 翻个 白眼 就是 一个 数据 工程师 普通 的 一天 是

吧 就是 有 的 时候 还有 很多 的 有 格式 问题 有 的 时候 还有 这个 时间 问题 有 的 时候 还有 很多 的 人工 的 工作 是 吧 我们 有 的 时候 我 哎 你 数据 怎么 给 我 弄弄 一个 什么 ftp 输过来 然后 email 发过来, 把 数据 zip 打包 一下, unzip 一下。 很多 人干 的 是 这些 我们 有 的 时候 在 互联网 公司 很难 想象 的 一些 是 手工劳动, 但是 这些 事情 都 还有。 这是 一个 任重道远 的 问题, 就是 如何 把 这些 数据 整合 在 一起。 这 也 是 一个 相对 来讲 还 比较 热门 的 研究 领域, 如何 把 这些 工作 做 得 更 容易。

那 面对 ETL 这么 多 脏活 累活, 有没有 什么 好 的 解决方案 呢?

有 一些 人 啊 他 提出 了 一个 解决方案 啊 就是 这 还是 一个 在 讨论 的 问题 叫做 htap 就是说 哎 我们 数据库 分 运营 部分 和 数据仓库 有 的 人 就 说 哎 我们 为什么 不 就 用 同一个 数据库 不 就行了 吗 我们 如果 能 把 数据库 都 整合 在 一起 是 吧 我们 的 库存 也 放在 那 没 ETL 什么 事 了 对 没有 ETL 什么 事 了 我们 就 只有 一个 数据库 我们 运营 数据 和 决策 数据 都 在 一起 这个 想法 呢 是 个 咨询 公司 提出 的 他 这个 故事 讲 的 说 第一 不用 ETL 了 ETL 太 麻烦 了 吧 你们 80% 的 时间 都 在 ETL 对 吧 不要 添加 了, 只要 一个 数据 就 可以 了, 另外 一个 卖点 就是说 你 数据 是 实时 的 对 吧, 你 如果说 你 要 把 数据 调来调去, 你 分析 的 这些 库存 是不是 最新 的, 你 要 有 一些 延迟, 你 如果 直接 在 数据库 里面 分析 库存, 那 就是 实时 的 啊, 这 就是 他 的 他 的 卖点, 那 听

上去 这个 想法 感觉 非常 自然, 那 为什么 大家 不用 这样 的 方法, 他 有 什么样 的 挑战, 让 大家 不是 那么 直接 的 就 就 这么 想

这个 上 你 也 在 互联网 公司 待过 如果 你 没有 这个 数据仓库 了 所有 的 数据 都 在 你 的 在线 系统 里面 查询 你 觉得 能 做到 吗 这个 我 没有 具体 做过

这 一行 但 我 相信 我 的 同行 应该 足够 强大 能够 实现 这

一点 反正 我 作为 一个 数据库 工程师 我 是 这件 事情 有 一些 怀疑 的 啊 你 就 拿 历史数据 来说 我们 的 库存 我们 不仅 要 保存 现在 库存 我们 还要 在线 数据库 里面 保存 历史数据 吗 我 不 知道 这件 事情 怎么 做到 还有 就是说 我 刚才 说 的, 就是 数据仓库 的 数据量 要大得 很多。 你 把 这么 大 的 数据量 全部 放在 运营 数据 里面, 这件 事 怎么 做到 呢?

会 不会 就 会 自然 的 拖慢 运营 数据 在 处理 的 时候 的 速度? 现在 你 说 我 这个 鞋子 有没有, 有没有 断货, 这时候 你 就要 开始 爬 什么 上 30 天前 的 数据, 29 天前 的 数据, 然后 终于 找到 一个 结果。

确实 是 这样 的 就是 当时 麦克斯 通 breaker 那个 里程碑 的 论文 里面 就 提到 很多很多 公司 愿意 把 这 两个 数据库 分开 是因为 他们 不想 他们 的 分析 查询 来 影响 他们 的 在线 的 速度 啊 那 这个 问题 既然 还是 没有 解决 啊 反正 我们 这个 问题 没有 答案 了 就是说 有人 在 提出 在 卖 这个 观念 叫做 HTAP 就是 把 它 放在 同一个 数据库 里面 我 对 这个 技术 能够 应用 多 广泛 还是 有 一定 的 怀疑 的 我 还 没有 看到 能够 大量 的 数据 都 可以 放在 同一个 地方 可能 会 有 一些 比较 小 的 应用 是 比较 适合 的 最 明显 的 例子 就是说 有些 时候 它 可能 既有 运营 数据 又 偶尔 生成 一些 报表 比如说 这些 可能 是 有 一些 帮助 的 但是 我 不 知道 这个 到底 有 多 大 的 市场 所以

说 这个 HTAP 它 现在 还是 一个 只是 说 炒 概念 的 一个 阶段 并 不是 说 一个 真正 的 说 应用 已经 做 出来 大家 已经 开始 慢慢 去 推广 这样 的 状态 不好

说 因为 数据库 都 是 SQL 你 知道 所以 理论 上 说 你 都 可以 用 你 也 可以 用 运营 数据库 做 分析 就 理论 上 说 你 是 可以 做 的 但是 呢 HTAP 现在 就是说 你 可以 让 这件 事情 做 得 更 流畅 一点 比如说 你 如果 全部 用行 数据库 去 做 HTAP 比如说 你 就 会 变得 很慢 对 吧 能 不能 你 在 数据库 里面 有 两个 副本 一个 行 一个 链 比如说 那 是不是 就 快 一点 是 吧 或者说 你 怎么 数据 怎么 组织 一点 可以 自动 的 变成 行 或者 自动 变成 链 就是 它 有 一些 还是 一个 比较 热门 的 也 不能 说 热门 了 还是 一个 研究 领域 大家 说 怎么 把 这件 事情 做 得 更 有效率 大家 还 在 观望 并且 有 很多 人 在 做 研究 也 有 一些 厂商 做 这方面

的 系统 好 那 我们 最后 再聊 一件 事情 可能 扯 得 有点 远 我们 之前 聊 了 很多 期 的 机器 学习 人工智能 我们 都 知道 机器 学习 是 需要 超级 大量 的 数据 用来 做 训练 的 那么 这么 大量 的 数据 是不是 也 是 存在 于 数据仓库 当中 的 呢 数据仓库 能够 为此 提供 什么样 的 便利 基础 我 觉得

非常 的 好 我们 一定 要 声拉硬 拽 联系 到 机器 学习 因为 我们 是 机器 学习 时代 我们 的 AI 时代 的 人 数据仓库 确实 和 机器 学习 通常 来说 还是 有 比较 密切 的 关系 的 因为 我们 知道 现代 的 深度 学习 主要 靠 的 是 大 数据 对 吧 大量 的 训练 机是 吧 靠 的 是 大量 的 训练 机来 完成 任务 那么 那么 这些 大量 的 数据 从 哪来 呢 一个 最 主要 的 来源 就是 数据仓库 所以 数据仓库 经常 提供 了 这些 训练 集 而且 通常 是 通过 数据仓库 的 一些 查询 把 数据 整理 一下 甚至 是 清洗 一下 变成 适合 继续 学习 训练 集 的 方式 然后 通过 训练 集来 继续 学习 来 训练 这 里面 机器 学习 成为 了 一个 配套 的 技术 有 的 时候 现在 可能 比较 少 了 甚至 机器 学习 的 训练 都 在 数据仓库 里面 进行 因为 数据仓库 里面 可能 有 它 的 计算 单元 嘛 它 可以 在 里面 直接 训练 有 的 时候 呢 就是 数据仓库 里面 还会 生成 还 可以 生成 机器 学习 的 这些 叫 embedding 帮助 机器 学习 来 做 一些 分析 工作 吧 数据仓库 呢 虽然 是 一个 古老 的 技术 但是 又 和 现在 最 热门 的 AI 也 还是 有 很 密切 的 关系 的 好 了 那 我们 今天 就 到 这里 了 我们 今天 讲 了 这个 数据仓库 对 吧 我们 讲 了 数据仓库 是 什么 一个 在 后台 帮助 企业 做 决策 的 一个 系统 然后 数据仓库 技术 呢 是 和 前台 的 数据库 不太 一样 的 从 当初 的 数据库 到 后来 MyProduce 到 后面 的 Hadoop 到 后面 的 极大 云场 和 Snowflake 是 现在 的 主要 的 系统 我们 讲 了 ETL 怎么 把 数据 存 到 数据仓库 里面 是 一个 非常 繁琐 的 工作 以及 数据仓库 还 和 机器 学习 有点 关系 的 这 就是

今天 我们 讲 的 内容 非常感谢 司徒 亚特 给 我们 分享 他 的 专业 背景 内容 也 非常感谢 大家 收听 这 一期 的 牛油果 烤面包 那 如果 大家 喜欢 我们 节目 的话 记得 点击 订阅 按钮 我们 的 播客 可以 在 各大泛 用型 播客 平台 上 订阅 和 小

宇宙 也 可以 收听 然后 的话 我们

现在 有 一个 新 的 号召 就是 如果 各位 觉得 自己 的 领域 有 什么 值得 跟 大家 分享 的话 也 欢迎 来 联系 我们 有 什么 办法

可以 联系 到 我们 呢 可以 发邮件 给 host 就是 我们 的 英文 全写 然后 我们 的 域名 后缀 是 doglife. live 我们 会 写 在 shownote 里面 也 欢迎 大家 加入 我们 的 微信 和 Telegram 的 听众 群 然后 这 也 是 一个 跟 我们 联系 的

最好 方式 你 需要 先 找到 我们 一个 主播加 我们 本人 然后 邀请 你 谢谢 大家 了 好, 那 我们 后会有期

下期 再见 下次 再见 拜拜

走