#38 搜索技术——为什么百度没落而谷歌还在上升？

搜索引擎 曾经 是 互联网 的 王者 谷歌 公司 一度 依靠 它 的 搜索引擎 获得 了 对 互联网 的 统治 地位 搜索 一度 被 认为 是 互联网 最有 技术难度 的 领域 今天 我们 就 来 聊 一聊 搜索 技术 是 怎么回事 并且 看一看 为什么 谷歌 和 百度 走上 了 截然不同 的 道路 有着 完全 不 一样 的 命运

喜歡 讀書 的 朋友 應該 知道 如果 有 一本 很厚 的 比 較 學術 的 書 它 的 書幕 往往 會有 一個 索引 這個 跟 收 索引 的 盜牌 索引 基本上 原理 是 一樣

的 這裡 是 牛油果 烤 麵 包 大家 好 我 是 苏托 亚特 我 是 少儿 今天 我们 请 到 了 从事 过 多年 搜索 工作 的 软件 工程师 宏诚来 跟 我们 聊一聊 搜索 技术

大家 好 很 高兴 来 跟 大家

聊一 聊宏诚 现在 在 业余时间 做 了 一个 网站 是 吧 是 的 这个

网站 是 干什么 的 这个 网站 是 给 做 股票投资 的 朋友 用 的 如果 你 做 股票投资 的话 你 会 关注 你 的 持有 股票 的 公司 的 信息 多半 时候 呢 你 会 去 谷歌 搜索 这家 公司 的 信息 你 需要 反复 输入 一些 查询 词来 找到 你 关注 的 公司 的 新闻 关注 的 公司 可能 有 很多 这个 网站 就 帮 你 省去 了 这个 不停 的 输入 查询 词 的 工作 你 可以 在 这个 网站 上 记录 你 关注 的 公司 然后 他会 给 你 提供 一个 新闻 信息流 包含 所有 最新 的 你 关注 的 公司 的

新闻 比如说 我 想 关注 这个 百度 阿里 和 腾讯 三合 公司 我 就 在 我 这个 网站 上 记住 这 三个 地方 然后 我 每天 就 像 刷 我 的 微博 一样 每天 就 看到 它 的 新 的 新闻 是

吧 对 这个 概念 叫 信息流 做

这个 网站 和 做 搜索 有 什么

类似之处 吗 这个 问题 很 好 它 的 底层 技术 完全 是 搜索 实现 的 当 你 输入 你 要 关注 的 百度 阿里 腾讯 这样 公司 的 时候 这个 底层 的 会 把 这些 符号 转变成 一个 搜索 运行 的 查询 然后 去 这个 首映 里面 把 这些 最新 的 消息 查询 出来 再 显示 到 你 的 屏幕 上 他 的 技术 完全 搜索 实现 的 每次 我

上来 刷 一下 就 帮 我 搜索 我 所有 的 这些 查询 词 就 所有 关注 这些 公司 对 吧 是 的 这个 还 挺 有意思 的 朋友 们 可以 试一试 这次 要 聊 搜索 聊到 搜索 大家 肯定 是 第一 想到 的 就是 百度 或者 是 谷歌 这些 网页 搜索 但是 其实 我们 生活 中 如果 我们 仔细 想一想 我们 还有 一些 其他 的 搜索 也 在 我们 身边 也 很 重要 要不然 我们 每个 人 说一说 在 我们 生活 中 对 你们 很 重要 的 要不然 上来 先说 一下

我 可以 分享 一个 奇迹 淫巧 吧 就 我 不 知道 各位朋友 平时 比如说 在 刷 Facebook 在 刷 Instagram 的 时候 是不是 看到 很多 广告 比如说 卖 你 一些 手工艺品 啊 卖 你 一些 什么 衣服 啊 然后 你点 进去 之后 看 这 东西 还 不错 其实 后来 很多 时候 我 发觉 这些 商品 都 是 义乌 批发 过来 的 其实 都 是 通过 阿里巴巴 卖 过来 的 然后 但是 他 自己 搞个 网站 搞个 包装 搞个 那个 漂漂亮亮 的 网站 设置 之后 就 可以 卖 你 卖 的 很 贵 然后 我 就 做 一个 什么 hack 呢 就 我 一般 都 会 用 截屏 软件 把 它 那个 商品 的 照片 截图 截 下来 然后 再 跑 到 Google 搜索 里面 它 有 一个 图片 搜索 嘛 你 就 可以 放进去 一张 图片 然后 它会 根据 这张 图片 搜索 到 相关 的 一些 网页 然后 我 就 把 这 商品 的 图片 放进去 它 就 会 帮 你 搜 出来 啊 这个 东西 其实 是 在 比如 AliExpress 上面 AliExpress 就是 阿里巴巴 的 这 是 淘宝 的 一个 海外版 嘛 然后 本来 你 看到 那个 网站 上面 卖个 40 块钱 的 衣服 可能 那边 他 跟 你 说 16 块 6 毛 7 一件 就 可以 帮

你 省 很多 钱 我 也 特别 喜欢 图片 搜索 我 经常 用 图片 搜索 干 的 一件 什么 事 呢 就是 比如说 经常 在 微信 上 啊 有人 转发 一些 这个 一些 文章 啊 非常 的 可疑 看着 不像 真的 我 就 去 搜 一下 里面 的 照片 看看 里面 照片 是从 哪来 的 啊 那 里面 照片 很多 都 是 就 根本 不靠 谱 都 是 什么 十多年 前 完完全全 不 一样 的 一张 新闻照片 放上去 我 就 可以 实锤 知道 这个 文章 确实 是 瞎编 的 最近 这

段时间 因为 新冠 疫情 的 原因 这个 假消息 满天飞 我 觉得 这个 记者 还

挺 实用 的 这 是 一个 非常 好 的 技巧 大家 可以 看一看 任何 一张 照片 如果 是 瞎 来 的 那 这 篇文章 肯定 是 瞎编 的 这个 红尘 有没有 什么 这个 生活 中 的 搜索 觉得 对 你 很 重要

的 当然 了 谷歌 是 最 重要 的 因为 你 听到 一个 新 的 概念 以后 一个 新 的 知识 往往 我 需要 去 查询 一些 更 多 的 相关 的 信息 谷歌 简直 是 不可 替代 的 然后 其他 的 搜索 的话 我 觉得 商品 百度 的话 我 有时候 会 用 中文搜索 但是 用 的 不如 谷歌 多谷歌 也 会 覆盖 我们 继续 的 其他 的话 商品 搜索 很 重要 在 亚马逊 上 或者 在 京东 阿里 上 你 要 搜索 经常 会 搜索 一些 商品 啊 如果 一些 你 要求 比较 特殊 的 或者说 不是 那么 容易 找 商品 我 觉得 这个 对 我 很 重要 然后 邮件 搜索 也 对 我 很 重要 我 的 Gmail 邮件 时代 太多 了 我会 把 不同 邮箱 的 邮件 转发 到 我 的 主 账户 上面 所以 说 我会 经常 用 一些 Gmail 提供 的 这个 搜索 的 所谓 的 操作 子 你 可以 说 我 找 这些 到 这个 邮箱 的 邮件 而且 是 三天 之内 的 经常 写 这样 的 查询 然后 把 它 记下来 我 就 能 迅速 的 找到 重要 的 邮件 基本上 你 就

在 邮箱 系统 里面 在 写 SQLQuery

了 对 这个 很 像 对 我

很 同意 你 的 观点 就是说 其实 我 对 我 的 过去 的 邮件 搜索 消息 搜索 是 非常 重要 的 一件 事 不管 是 工作 邮件 还是 个人 邮件 因为 我 觉得 那些 记录 了 我 所有 的 过去 我 大脑 中记 不了 东西 全在 里面 怎么 找到 那些 过去 的 消息 就是 靠 搜索 如果 没有 搜索 我 觉得 我 这个 大脑 的 机器 部分 就 没有 了 还有 包括 我 经常 搜 我 自己 的 微博 多数 情况 下 是 有些 信息 我 记得 我 还 记得 记不清 了 我 自己 去 搜 一下 看看 我 当时 贴 了 什么 链接 说 了 什么 话 我 觉得 大概 是 那个 日子 我 看到 了 这么 一个 东西 很多 时候 我 是 靠 搜索 自己 的 微博来 回忆 一些 过去 的

我 可以 分享 一下 我 的 一个 经验 对 知识 碎片 的 一个 保存 然后 包括 自己 的 想法 不管 是 自己 的 还是 别人 的 我 现在 用 的 比较 多 的 是 一个 叫 GoogleKeep 的 你 可以 保存 网上 图片 保存 文字 然后 它 立马 就 变成 可 搜索 了 它 还 可以 对 图片 做 OCR 所以 你 可以 搜 图片 上 的 字 非常 的

方便 这个 不错 让 搜索 变得 更 容易 你 把 这 所有 的 网页 按个键 就 存 起来 这 让 我

想到 我 现在 用 GooglePhotos 它 这个 还 挺 好 GooglePhotos 搜索 也 是 非常 令人震惊 它 一方面 有 几个 维度 它会 帮 你 不同 人 的 脸 给 聚合起来 这样的话 如果 我要 找到 比如说 三年 前 我 跟 谁 谁 一起 出去玩 的 照片 他 就 可以 非常 方便 能够 找到 他 另外 的话 他 可以 做 一些 图片 的 contact 就是 他会 做 一些 物品 识别 比如说 我 搜索 风衣 他 就 会 搜 出来 我 拍 的 所有 照片 里面 穿 风衣 的 那些 照片 这 还 蛮

厉害 对 我 觉得 现在 图片 搜索 确实 是 到 了 一个 比较 不错 的 程度 你 可以 搜 去过 哪 我 就 好像 去过 哪 我 就 可以 搜 那个 地方 就 可以 出来 一些 地方 什么 东西 都 可以 但是 有 的 时候 我 还 觉得 它 还 不够 聪明 比如说 我 经常 是 哎呀 我 好像 拍过 一张 target 的 收据 我 想 搜 一下 target 的 收据 搜 不 出来 所以 他 還不夠

聰明 Googlephotos 告訴 我 哪張 照片 我

最帥 的 時候 還有 一個 對 我 生活 中比較 重要 的 搜索 去 微博 和 推特上 搜索 所有 最新 的 消息 比如 說 出現 一件 突發 事件 或者 說 沒 有 那麼 突發 但是 我 關注 的 事件 我 不會 去 谷歌 或者 百度 上 搜索 因為 搜得 太慢 了 你 要 写成 文章 啊 什么 才 出来 这 太慢 了 在 微博 推特上 就 立刻 看到 有 大家 人 在 发表 感想 我 觉得 在 加州

最 明显 的 是 地震 了 赶紧 上推 特 搜 地震 哎 我 还

真的 搜 了 推特上 地震 都 在 说 大家 都 在 分享 他们 的 震感 是 什么 样子 的 所以 说 这个 微博 和 推特 的 搜索 也 是 非常 非常 重要 的 一部分 好 我们 说 了 这么 多 的 搜索 其实 有 一样 搜索 大家 都 没有 提 其实 曾经 是 很 重要 的 就是 一些 网站 的 站内搜索 对 吧 在 我 觉得 多数 情况 下 站内搜索 这 东西 其实 是 被 Google 或者 是 百度 这样 的 网页 搜索 取代 掉 了 比如说 Wikipedia 是 一个 我 访问 的 如此 频繁 访问 的 网站 但是 我 已经 不 记得 我 上次 在 Wikipedia 上 搜索 东西 是 什么 时候 了 我 永远都是 在 Google 上 搜索 什么 什么 什么 Wikipedia 它 就

会 出来 对 我 也 是 做 同样 的 事情 我 可以 分享 一个 经验 就是 我 有时候 会 去 纽约时报 网站 上 看些 文章 有时候 会 在 它 上面 搜索 我 发现 它 的 搜索 做 的 还 不如 谷歌 的 好 你 在 谷歌 里面 搜 什么 关键词 再 加上 一个 nyt 谷歌 就 会 帮 你 找到 nyt 的 文章 比 nyt 自己 说 的 搜索 好太多

了 所以 为什么 谷歌 好 呢 待 会 红城来 给 大家 说一说 为什么 谷歌 的 搜索 要 好 于 这些 网站

自己 的 战略 搜索 广告 之后 马上

回来 好 了 这 就 引出 了 我们 下 一个 目的 这个 搜索 技术 到底 是 怎么回事 为什么 谷歌 搜索 这么

好 其实 整个 网页 搜索 得到 这么 大 的 量 的 关注 就是 谷歌 开始 做 起来 的 在 十多年 前 的话 互联网 刚刚 兴起 的 时候 有 很多 网站 也 有 很多 网页 大家 其实 苦于 找 不到 自己 想 找 的 信息 结果 谷歌 横空出世 提供 了 这么 一个 简单 易用 的 方案 你 基本上 总是 能 在 第一页 就 能 找到 你 想要 的 东西 背后 是 有 很 厉害 的 技术 的 我

来 更正 一下 谷歌债 公司 也 成立 19 年 已经 是 21 年前 了

不是 10 年前 了 你 说 的

很 对 可能 你 听到 这件 事情 你 可能 觉得 大家 觉得 很 惊讶 但是 其实 是 21 年前 建立 的

我 就 记得 那个 时候 好像 就 搜索 本身 那个 时候 也 没有 很 重视 我 觉得 谷歌 发家 也 是 雅虎 占太大 了 说 要 做点 搜索 然后 自己 又 不 高兴 做 的 说 谷歌 你 帮 我 来 做 一下 吧 我 也 不管 这个 事情

谷歌 之前 我 记得 是 有 搜索 的 不仅 谷歌 国内 也 有 就 连 什么 China 人 都 在 做 过 什么 什么 孙悟空 搜索 说 到 这个 词 大家 可能 就 觉得 有点 暴露 年龄 了 几大 门户网站 都 做 过 搜索 好像 那个 时候 都 在 大概 9 年 左右 的 时候 我

觉得 这 跟 网站 的 数量 有 关系 吧 我 记得 以前 就是 在 搜索 流行 之前 有 一个 概念 非常 的 流行 叫 门户网站 就 基本上 你 能干 的 这个 事情 就 这么 一点 有 一个 网页 把 基本上 那些 大 的 网站 帮 你 列出来 就 得

了 搜索 的 重要性 从 互联网 的 内容 变多 开始 了 内容 变得 越 丰富 搜索 就 变得 更加 的 重要 说起 这个 我 说 一个 题外话 很多 人 在 分析 就是说 域名 这件 事情 在 搜索 之前 域名 是 个 非常 重要 的 事情 比如 那个 时候 叫 非常 好看 的 域名 是 吧 叫 上点 炕 但是 在 搜索 出现 之后 域名 就 没有 那么 重要 是 吧 比如说 CNN 很少 有人 说 现在 可能 也 还有 了 就是 但是 不是 所有人 都 会 去 搜索 栏上 写 CNN. com 但 很多 人 就 去 搜谷 歌上 说 CNN 然后 搜 出来 以后 去点 进去 搜索 也 是 改变 了 我们 上 互联网 的 习惯 搜索 成 了 入口 而 不是 这个 地址栏 对

的 谷歌 的话 把 这 一类 的 查询 叫做 导航 查询 他们 会 针对 这 类 查询 做 专门 的 优化 给 你 最 权威 的 最 接近 你 想要 的 网站 的 一个 排名 通常 在 第一个 就 能 找到 你

想要 找 的 网站 就是 要 取代 搜索 栏 他们 谷歌 做 了 浏览器 之后 确实 把 搜索 栏 都 取代 了 我们 说谷歌 21 年前 之前 成立 那谷歌 为什么 搜索 都 这么 好 呢

我 觉得 首先 的话 谷歌 在 他 的 搜索 技术 高速 发展 的 时候 也 赶上 了 这个 互联网 本身 内容 的 大 爆发 这 逼 着 他 去 改变 底层 的 一些 技术 特别 处理 大 数据 非常 大量 数据 成千上万 上 十万台 的 机器 协作 来 处理 数据 然后 呢 处理 完 数据 以后 对 数据 的 排序 对 网页 的 排序 也 是 一个 非常 重要 的 一个 方面 谷歌 的话 花 了 很多 工程师 的 人力 在 排序 这 上面 有 了 多年 的 积累 然后 终于 成就 了 一款 最好 用 的 产品

所以 说 就是 还是 实力 强是 吧 技术 方面 做 了 非常 好 的 创新 非常 好 的 这个 工程 对 积累 加 创新 后来 呢 又 有

什么 发展 呢 后来 的 事情 发展 就 比较 有意思 了 谷歌 在 纯 互联网 时代 就是 网页 时代 他 被 称为 互联网 的 立法者 如果 你 做 一个 网站 你 的 网站 没有 进入 谷歌 的 锁 印 你 的 网站 基本上 就是 一个 死 的 网站 没有 人会 看到 的 然后 你 进到 谷歌 的 锁 印 你 要 想 办法 让 它 排名 高 一点 所以 说谷歌 实在 太 重要 了 但是 在 十多年 前 发生 了 一个 变化 手机 的 兴起 导致 互联网 网页 的 内容 不是 那么 重要 了 再 后来 就是 超级 APP 的 兴起 比如说 微信 Facebook 大家 都 在 这些 app 里面 去 跟 人 交流 去 发现自己 想要 的 信息 这样 导致 搜索 不是 那么 重要 了 但是 依然 还是 很 重要 嗯 就是

我们 一个 社交 网络时代 发现 你 的 信息流 成为 了 一个 信息 的 一个 下水管 道 是 吧 大家 都 从 信息流 上 获得 信息 的 频率 远高于 主动 搜索 的 频率 另外 的话 我

觉得 可能 就是 搜索 的 场景 开始 变得 更 分散 了, 因为 我 记得 刚才 比如说 之前 Google 相当 是 互联网 的 立法者 嘛, 那 时候 就 有 一门 技术 非常 的 火爆, 就 叫 SEO。

所以 现在 也 很 重要, 我们 现在 谷歌 搜索 我们 牛油果 烤面包 还 在 第一 评, 很难 找到 我们 的 网页, 我 想 知道 怎么 解决 这个 问题。

然后 那个 技术 相当于 是 大家 就是 用 各种 奇迹 引巧 去 揣测 Google 那个 排序 算法 它 到底 是 会 把 什么样 的 东西 会排 在 比较 前面 这方面 是 外行 的 我 听说 就是 有 一些 技巧 比如说 你 可以 在 你 的 网页 的 metadata 就是 辅助 信息 里面 加 很多 乱七八糟 的 tags 相当于 是 把 自己 的 网站 吹得 天花乱坠 什么 都 能 做 当然 可能 去解 SEO 了 肯定 就要 更加 复杂 了 但是 现在 慢慢 的 步入 到 App 的 时代 了 之后 相当于 SEO 之外 还有 一个 新 的 比较 有意思 的 东西 好像 叫 AEO 还是 怎么样 就是 在 AppStore 里面 用 类似 的 实际 引巧来 提高 你 的 App 在 AppStore 的 搜索 的 排序 里面

排 的 高 一点 这个 非常 重要 这 可能 比谷歌 的 排序 还要 重要 所以 宏诚 刚才 说 到 现在 这个 超级 App 的 兴起 和 这个 信息流 的 重要 后来 又 发生 了 什么

呢 现在 的话 可以 认为 有 一个 趋势 就是 互联网 的 用户 变得 越来越 懒 以前 我们 会 在 搜索引擎 上 搜入 我们 的 查询 词去 找 我们 想要 的 信息 去 研究 或者说 多方面 的 验证 我们 的 信息 现在 用户 懒到 只是 接受 被动 推送 的 信息 典型 的 代表 就是 像 国内 的 一些 APP 今日 头条 抖音 国外 的 有 tiktok 还有 facebook 的 newsfeed 都 算 这样 的 大家 进入 了 被动 接收 信息 的 时代 系统 会 根据 一些 算法 来 推测 你 可能 会 喜欢 一些 信息 然后 你 对 这些 推测 的 信息 做出 反馈 你 喜欢 这 一条 或者 不 喜欢 这 一条 就 像 这个 tinder 一样 你 可以 向 左向右 滑 然后 给 系统 反馈 渐渐 的 系统 就 从 你 的 行为 学到 一些 东西 你 说 这 就 改变 了 一个 不再 是 主动 去 收 信息 而是 被动 接受 信息

的 过程 那就是说 我们 的 信息 的 入口 变成 了 信息流 那么 从 技术

角度 来讲 这 段 这种 从 主动 到 被动 的 这样 转换 过程 中 搜索 技术 还是 同样 重要 吗 还是 说 被动 的 已经 用 其他 的

技术 了 据 我 了解 的话 其实 这些 推荐 引擎 他们 的 背后 还是 搜索 了 一些 技术 基础 因为 他们 也 会 在 底层 建 一些 索引 然后 呢 根据 用户 的 场景 来 去 把 这些 可能 的 可以 作为 推荐 的 这些 候选 的 信息 把 它 抓取 出来 这个 抓取 也 是 一个 查询 的 过程 抓取 了 以后 再 根据 其他 信息 来 排序 这些 排序 也 可以 借鉴 搜索 的 很多 思想 可以 认为 说 当 你 搜索 的 时候 你 要 找 一些 非常 明确 的 信息 但是 推荐 呢 就 把 这个 范围 扩大 了 他 觉得 你 在 这个 时刻 点 在 这个 时候 你 在 上网 你 在 用 这个 app 或者 在 用 这个 网站 这个 系统 会 觉得 你 可能 会 是 在 找 这样 一些 信息 对 这些 新 感兴趣 它会 给予 一个 更 宽泛 的 一个 选择 我们 做过 一期

人工智能 和 互联网 推荐 这么 一期 啊 如果 有 兴趣 的 朋友 们 可以 找 来 听听 看看 这个 推荐 是 怎么回事 啊 那 今天 和 宏诚 讲 的 搜索 比一比 看看 是不是 很 像 啊 现在 这个 搜索 技术 是 什么

一个 现状 呢 搜索 现在 我 觉得 它 已经 变成 了 一项 互联网 一个 基础 的 服务 了 在 十多年 前谷 歌能 处理 这么 大量 的 数据 然后 迅速 的 找到 你 想要 的 网页 这是 一个 很 高大 上 的 技术 但是 十多年 以后 这些 搜索 的 技术 已经 很 成熟 了 其实 很多 大学 毕业生 都 知道 一个 搜索引擎 该 怎么 做 也许 他们 自己 也 可以 写 代码 实现 一个 简单 的 搜索引擎 现在 SaaS 的 兴起 SaaS 就是 一个 提供 服务 做 一个 serviceSaaSsoftwareservice 是 的 也就是说 有 一个 service 在 那里 放着 他 7x24 的 工作 你 可以 向 他 请求 一些 信息 他 返回 给 你 然后 我们 现在 AWS 就是 亚马逊 的 云 计算 已经 提供 了 搜索 这样 的 服务 你 把 你 的 文档 上 传上去 或者说 你 的 实时 的 文档 也 可以 跟 他 连 起来 然后 他 立马 就 可以 锁印 你 的 文档 你 说 这个 确实 啊

这个 著名 的 公司 elasticsearch 在 前段时间 上市 了 一年 多 以前 吗 还是 还 市值 非常 高 啊 多个 billing 的 一家 公司 这 就是 专门 做

搜索 软件 的 对 吧 对 它 是 最 受欢迎 的 搜索 开卷 项目 这家 公司 就是 背靠 一个 开卷 项目 它 是 十多年 前 开始 作为 开卷 项目 然后 越做越 大 现在 他们 把 做成 一个 公司 然后 给 企业 提供 服务 做个 定制 化 的 搜索 或者 他们 还 提供 一个 SaaS 你 可以 直接 把 你 的 数据 扔 到 他们 系统 Search 就 给 准备 好

了 好 我们 说 了 这么 多 的 重要 的 搜索 啊 说 了 这么 多 搜索 现在 的 发展趋势 啊 这个 搜索 技术 和 推荐 也 很 有 关系 洪审 给 大家 简单 的 科普 一下 搜索 技术 里面 到底 有 什么 重要 的 组成部分 那 如果 我要 做 一个 搜索 那 这个 系统 要分 哪几 部分 呢 我们 就 用 网页 搜索 为 例子 吧 我们 前面 说 这个 是 最难 的 搜索 如果 把 网页 搜索 搞定 了 就 都 搞定 了 那 我们 从用 网页 搜索 为 例子 给 大家 讲 一 讲 搜索 大概 具体 架构 是 什么样 好 搜索

这 一块 特别 是 对 网页 搜索 在我看来 有 两个 大 的 难点 有 技术 点 技术 方向 一个 是 系统 方面 的 一个 是 算法 方面 的 系统 方向 的 主要 的 解决 的 问题 就是 要建 一个 倒排 索引 倒排 索引 我 不 知道 大家 喜欢 读书 的 朋友 应该 知道 如果 有 一本 很厚 的 比较 学术 的 书 它 的 书末 往往 会 有 一个 索引 它 告诉 你 这个 词 在 这 本书 的 哪 一页 甚至 哪 一行 定义 的 你 可以 在 这个 锁印 里面 去 找 这个 词 在 哪 定义 的 这个 锁印 可能 会 按照 字母 去 排序 比如说 你 找 A 开头 的 词 它 就 会 在 锁 印 的 第一页 这个 跟 搜索引擎 的 倒排 锁印 基本上 原理 是 一样 的 一个 搜索引擎 会 拿到 很多 文档 每 一篇 文档 有 若干个 词 它 会 把 每个 文档 都 过 一遍 把 里面 词 提取 出来 它会 记下 来说 这个 词 在 第几个 文档 哪 一个 位置 出现 过 文档 是 什么 文档 是 一个 比较 学术 的 词 了 文档 这个 词 在 网页 搜索 背景 下 就是 一个 网页 盗牌表 就是

我们 一个 词 比如说 我们 牛油果 系统 就 记住 所有 网站 在 什么 一个 哪个 页面 哪个 位置 上 有 牛油果

这个 词对 你 说 的 很 好

记下来 就是 一个 盗牌表 就 相当于 是

搜索引擎 把 所有 的 网站 编成 了 一 本书 然后 最后 在 后面 再

做 一个 盗牌表 这个 比喻 非常 好

对 互联网 就是 一 本书 对 互联网 就是 一 本书 太 深奥 了 然后 那盗 牌表 的 困难 在 哪 呢 那 既然 我们 就 把 网站 都 扫 一遍 然后 就 建 了 就

可以 了 吗 这个 问题 很 好 在 计算机科学 当中 特别 是 工程 当中 应该 说 是 你 解决 一个 小 的 问题 和 解决 一个 大 的 问题 差别 是 非常 大 的 你 可以 对 比如说 10 万个 网站 建立 盗牌 所以 你 也 可以 写 一段 小 程序 就 能 做到 但是 你 要 对 比如说 上 百亿 网页 建立 盗牌 所以 你 就 不能 写 一段 小 程序 来 做到 了 你 就要 需要 写 一段 程序 说不定 是 很长 很长 的 程序 很 复杂 的 软件系统 跑 在 成千上万 台 机器 上来 协作 做 这件 事情 这件 事情 做 的 过程 当中 这些 机器 在建 盗牌 所用 的 过程 当中 有 可能 遇到 各种各样 的 问题 比如说 机器 挂掉 了 整个 处理 中断 了 你 该 怎么 处理 这 里面 有 很多很多 问题 就 相当于

是 你 在 装订 一 本书, 然后 这 本书 的 页数 实在 是 太 多 了, 几百万 页, 那 怎么办 呢? 你 就 请 几个 人, 一个 人 也 都 做不了 这个 工作, 你 就 得 请 几个 人 在 那边 组织 一个 公司, 在 那边 专门 做 盗牌 索引, 但 结果 有 的 人 啊 今天 生病 了, 有 的 人 今天 还是 哭 了, 然后 就 不来 了, 你 怎么办?

你 这个 比喻 太好了 一个 例子 有点 过于 白话 了 如何 从 索引 变成 搜索 我 这个 索引 里面 我们 找到 牛油果 对 吧 我们 看 这 本书 里面 有 牛油果 但是 我 搜索 的 不是 牛油果 我 搜索 的 可能 是 牛油果 波克 两个 词对 吧 我们 怎么 通过 盗牌 索引 找到 两个 词 找到 一个 网页 里面 有 牛油果 波克 这件

事 你 这个 问题 很 好 这 就是 搜索引擎 跟 书本上 的 锁 印 的 区别 了 我们 有 牛 又 果 这个 锁印 它 对应 的 是 很多 网页 有 这个 牛又果 这个 词 然后 另外 我们 有 一个 锁印 对 波克 这个 词 它 有 另外 一个 一个 集合 所谓 的 这个 集合 里面 所有 的 网页 包含 了 波克 这个 词 然后 呢 计算机 会 做 这样 一件 事情 它会 把 这 两个 索引 做 一个 所谓 的 求交 的 过程 所谓 的 网页 同时 包含 两个 词 的 找 出来 这个 过程 叫求 交它 是 有 个 很 高效 的 算法 做 这件 事情 的 哇 这个 听

上去 很 高科技 啊 对 吧 你 想想 全世界 有 包括 波克 的 这个 网站 有 多少 啊 把 它 都 和 牛油果 里面 找 出来 吧 这个 非常 的 高科技 啊 我们 是不是 就 不 说 这个 高科技 怎么 做 了 我们 进入 下 一个 非常 重要 的 这个 非常 难 的 项目 刚才 说 第一个 是 他 在 怎么 系统 方面 找到 他 的 盗 牌表 啊 还有

什么 难点 吗 第二个 方面 就是 文档 的 排序 在 网页 搜索 来说 就是 网页 的 排序 我们 刚才 说 的 你 要 搜 悠悠 果加 波克 这 两个 词 说不定 有 一百万 的 网页 满足 这 两个 词 啊 真的 有 一百万 的 吗 很 可能 你 可以 试一下 在 谷歌 上 面试 一下 它会 告诉 你 多少 个 网页 有 这个 词 一般来说 你 的 查询 值 非常 短 但是 文档 网页 是 非常 长 的 你 会 导致 的 结果 是 你 的 查询 值会 命中 很多很多 的 网页 然后 如果 输入 引擎 只是 简单 的 把 这些 命中 的 网页 返回 给 用户 简直 不可 用 你 可以 想象 说 你 要 找 的 网页 在 谷歌 搜索 第 10 页 你 会 去 一页 一页 翻 吗 但是 谷歌 就 能 做到 把 你 要 找 的 网页 基本上 都 能 放到 第一页 这个 就 依赖于 复杂 的 网页 排序 算法 跟 query 相关 的 排序

算法 这个 可能 很多 听众 会 问 了 很多 人 可能 有 的 会 问 这个 有 什么 难 的 吗 我们 找 点击率 不 就行了 吗 哪个 网站 点击率 高 我 就 把 它 往上升 不 就行了 吗 這個 想法 挺

好 的 點擊率 是 一個 很 重要 的 因素 但是 點擊率 有 一個 缺點 它 跟 你 的 查詢 詞 沒

有關 係 點擊 的 人 最 多 的 網頁 未必 是 質量 高 的

網頁 是 嗎 点击 多 的 可以 认为 是 质量 比较 高 的 但是 它 不见得 跟 你 想 找 的 内容 是 特别 相关 的 因为 你 对 一个 对 所有 的 网页 进行 排序 的 时候 你 会 考虑 两大类 因素 这 因素 就是 构成 排序 的 一些 因子 首先 是 网页 自己 本身 的 质量 这个 质量 可以 根据 点击率 来 衡量 一个 网页 的 点缀 率 很 高 它 的 可以 认为 它 质量 是 很 高 的 第二 大类 的 信号 或者 这个 音质 是 跟 你 的 查询 词 相关 的 你 可以 把 查询 值 跟 一个 文档 或者 网页 作为 一对 你 可以 做 一个 衡量 说 他们 有 多 相关 所以 说 它 是 一个 不是 简单 的 根据 某 一个 因子 来 排序 的 它 有 成千上万 的 因子 作为

综合 考虑 来 排序 所以 光看 点击率 还是 不够 的 我 还要 看 多个 我 还要 看 是不是 符合 用户 他们 的 本意 是 吧 搜索 的 本意 还要 看 其他 方面 如果 一个 网站 的 排序 光看 点击率 的话 所有 搜索引擎 排 到 前面 全部 都 会 是 淫秽 网站 有 可能 所以 他们 都 会 用 各种各样 的 方法 能够 要 把 那些 淫秽 网站 压下去 要不然 他们 全在 上面 文档 排序 有 什么 高科技

在 里面 吗 这 里面 有 很多 高科技 了 首先 因为 它 的 规模 够 大 然后 呢 谷歌 做 了 很多年 它 人工 写 了 很多 用 代码 的 形式 写 了 很多 规则 比如说 它会 写 着 if 这个 点击率 高于 这个 数字 就 把 它 往 上排 一点 if 这个 网页 匹配 了 所有 的 关键词 就 把 它 再 提高 一点 一个 网页 只 匹配 了 三个 关键词 中 的 两个 是不是 可以 把 它 排序 低 一点 他们 最早 是 用 很多很多 这样 的 代码 来 实现 这样 的 规则 来 不停 的 调 达到 一个 比较 理想 的 状态 后来 随着 机器 学习 技术 的 应用 普及 当然 谷歌 也 是 一个 机器 学习 领域 的 先行者 他们 开始 考虑 用 机器 学习 来 自动 的 做 这样 的 排序 机器 学习 是 现在 最 热门 的 科学 然后 排序 又 是 个 很 难 的 问题 在 这个 背景 下 所以 说 网页 排序 就是 个 很 热门 的 一个 研究

领域 所以 就是 用 AI 做 的 这个 事 就 不用说 了 因为 大家 都 不 懂 了 如果 大家 不

懂 AI 的话 可以 看 我们 之前 的 AI 三部曲 就 在 之前 刚刚

发布 前面 有 我们 刚刚 发布 连续 三部 和 AI 有关 的 大家 可以

听听 AI 是 什么 AI 不光 用 在 排序 上面 AI 还用 在 理解 网页 上面 一个 很 简单 的 例子 就是 当 你 搜 苹果 这个 词 的 时候 你 到底 是 在 搜 苹果 这个 水果 呢 还是 苹果公司 或者 苹果 的 产品 然后 在 网页 那 一方面, 谷歌 也 会 去 理解 网页 出现 的 词, 他 到底 是 说 的 是 苹果 这个 水果, 还是 说 的 苹果 这个 公司, 他会 去 理解 这个 词, 这个 叫 自然语言 理解, 然后 他会用 不光 用 字符串 简单 字符串 匹配, 他会用 理解 后 的 概念 来 匹配 你 的 这个 查询 词。

就是说 他 不仅仅 是 一 本书 有 什么 词 的 倒 排表 他 还 会 读懂 这 本书 然后 看看 你 到底 说 的 是 什么 这个 可以 理解 为什么 谷歌 成为 现在 自然语言 处理 的 一个 领先 人物 啊 所以 大家 这个 连 我 一个 外行人 我 都 听到 他们 前 两年 的 Bert 是 吧 成为 了 自然语言 的 一个 里程碑式 的 系统 所以 说 自然语言 对于 他们 来说 是 一个 根本性 的 技术 如果 在 这方面 落后 他们 的 搜索 技术 可能 也 就 落后 了 是 吧 排序 啊 就是 Ranking 对 吧 我们 说 了 这么 多 也 是 一个 非常 高科技 的 领域 现在 越来越 AI 化对 吧 搜索 技术 还有 什么 其他

的 难题 呢 其他 的 难题 就 落 在 这 两个 大 的 方向 上 我 觉得 目前 的 一个 对 网页 搜索 的 一个 难题 就是 一个 信息 孤岛 的 难题 我们 拿 百度 做 一个 例子 他 能 看到 所有 公开 的 网站 但是 他 看不到 微信 公众 号 上 的 内容 微信 公众 号 他 不会 让 他 爬 然后 但是 呢 微信 公众 号 是 被 很多 人 看到 的 所以 说 现在 搜索引擎 处于 一个 稍微 比较 尴尬 的 境地 很多 内容 他们 看不到 他们 也 需要 想 办法 改进 这 一个 形式

我 想起 来说 当年 说 为什么 百度 和 阿里巴巴 是 仇敌 啊 是因为 阿里巴巴 先 用 百度 买 了 很多 的 流量 之后 然后 他 就 不让 百度 去 阿里巴巴 站内搜索 他们 的 商品 了 哇 这个 钱 就 没有 了 啊 是 的 也 是 一个 战争 啊 这个 巨头 的 信息战 越来越 多 的 信息 领域 的 巨头 出现 就 越 使得 搜索 就 越 不 重要 是 吧 是 的 我们 比较 感兴趣 爬虫 这件 事情 就是 怎么 能够 保证 要是 全世界 这么 多 的 网站 并 没有 一个 注册 集是 吧 那 怎么 能够 保证 一个 搜索引擎 把 所有 的 网站 都 爬 到 呢 我 也 很 想 知道 怎么 能够 保证 谷歌 爬 到 我们 牛油果 烤面包 的 播客网 站 呢 这谷歌 怎么 能 保证 所有 网站 都 被 爬 到 呢 这个 好

问题 谷歌 是 保证 不了 的 这个 互联网 是 没有 边界 的 你 可以 在 任何 一个 比如说 第三方 公司 提供 了 一个 网页 服务 上 搭建 你 自己 的 网站 这 完全 是 不 需要 注册 的 因为 你 是 第三方 提供 的 一个 服务 你 可以 搭建

自己 的 网站 我们 也 没有 向 任何人 注册 对 吧 我们 的 网站

就 在 那 啊 是 的 所以 说 我 觉得 谷歌 的 目标 并 不是 要 爬 下 所有 的 网站 而是 他们 要 爬 下 高质量 的 有用 的 网站 他们 有 自己 的 一些 办法 来 发现 新 的 网站 比如说 一些 有些 网站 它 起 一个 门户 的 作用 刚才 我们 提到 门户网站 像 雅虎 这些 他们 人工 的 会 去 发现 一些 新 的 网站 加 到 他们 的 目录 里面 然后 这 就 为 谷歌 这样 的 搜索引擎 这样 的 爬虫 提供 了 方便 他 顺便 看 一下 这个 目录 把 看 一下 有没有 新 的 网站 大家 在 提交 的 或者 人工 编辑 的 这 是

一个 方向 像 个 种子 一样 的 是 吧 人工 加 一些 种子 然后

这个 种子 就 可以 发现 对 第二个 来源 就是 你 做 一个 网站 以后 你 觉得 它 是 有 价值 的 你 其实 往往 希望 是 大家 能 看到 的 搜索引擎 能 看到 你 的 网页 是 网站 是 很 重要 的 你 会 这些 网站 组会 主动 提交 这些 网站 到 Google 的 一些 搜集 网站 的 工具 上 Google 是 有

这样 工具 的 我们 提交 了 其二

就是 你们 可以 网站 让 别的 网站 连 到 你们 网站 看着 的 博客

一定 要加 一下 所以 要 棒 大腿 很 重要 看看 谁 的 网站 非常 厉害 让 他们 排 一下 我们 加 一下 我们 的 链接 然后 这 就是 爬虫 所以 说 爬虫 也 是 很 有 挑战性 的 我 记得 当时 我 十多 几年 前 在 微软 的 时候 那个 时候 并 还是 属于 追赶 者 的 地位 现在 也 还是 追赶 者 地位 那 时候 经常 有 比较 嘛 说 看看 网站 同样 一 搜索词 Google 和 Bing 那个 时候 还 叫 livesearch 谁 的 结果 比较 好 总结 一下 Bing 结果 的 那个 时候 叫 livesearch 结果 比较 差 的 类别 最高 的 类别 就是 大多数 的 类别 都 是 没有 爬 到 没有 index 我 觉得

这件 事情 的话 对于 后来者 来说 也 是 有 一定 的 挑战 像 刚才 提到 就是 网站 会 主动 的 说 哎 我们 牛油果 烤面包 上线 了 赶紧 告诉 谷歌 我们 在 这里 嗨 但是 病 的话 可能 觉得 啊 可能 没有 什么 用 吧 我们 不去 做 这些 事情 然后 使得 病 的 目录 反而 就 更加 的 少 这 可能 是

个 非常 难 的 问题 啊 另外 这个 可能 拥有 这个 浏览器 平台 也 非常 重要 啊 你 看过 什么 google 都 知道 了 是 吧 你 这个

说 的 很 好 其实 后来者 搜索引擎 的 后来者 也 有 自己 的 优势 了 你 可以 去 抓取 你 的 竞争对手 的 搜索 结果 你 发现 有些 高质量 网站 你 并 没有 覆盖 你 就 可以 加到 你 的 首映 里面 你 去 爬 就行了 这是 一个 后来者

的 优势 那个 时候 好像 在 201 年 还是 201 年 的 时候 还 在 网上 吵 了 一阵 那个 时候 并 把 Google 结果 的 一部分 用到 他们 自己 的 MachineLearning 里面 那个 时候 大家 互联网 还吵 了 一阵 做出 关键词

来 我 赶紧 扔给 Google 把 它 的 结果 拿 过来 之后 重新 render

一下 那 可能 太慢 了 但是 他们 可能 是 在 后 端 有 一些 数据 来源 是 来自 于 Google 自

结果 对 我 听说 这个 事情 好像 是 微软 的 浏览器 有 什么 searchbar 工具 bar 工具 tool 来 抓取 这样 信息 哪 一个 query 哪 一个 查询 对应 的 网页 被 点击 了 在 谷歌 的 页面 里面 被 点击 了 微软 会 把 这个 信息 收集 起来 然后 谷歌 他们 的 工程师 发现 了 这件 事情 他们 玩 了 个 小把戏 他们 把 一些 随机 的 把 一些 根本 不 相关 完全 不靠 谱 的 网页 也 推上去 结果 他 发现 微软 的 搜索 也 抓取 了 这个 信号 然后 把 一些 不 相关 的 网页 排上去 了 然后 证明 了 确实 在 收集 他们 的 信息 这个 当年 是

一个 公案 那个 时候 还有 反 微软 的 这么 一种 浪潮 一说到 微软 就是 非常 邪恶 就是 你 的 抄 作业 还有 一个 非常 神奇 的 东西 就是说 我 搜索 的 时候 我 现在 搜索 大家 已经 司空见惯 了 在 10 年前 的 时候 还是 很 奇怪的是 我 不 输入 完 搜索词 我 只用 打 几个 字母 是 一两个 字 它 就 已经 开始 给 我 显示 结果 了 这样 可能 这个 词 比较 长 我 搜 两三个 字母 我 就 可以 找到 了 这个 技术 叫做 什么 为什么 这么 厉害

这个 技术 现在 已经 比较 常见 了 这个 技术 我 觉得 中文 应该 叫 查询 提示 对 我 觉得 可以 这样 称为 或者 搜索 提示 搜索 提示 英文 叫 什么 英文 叫 typeahead 这个 是

怎么 做 的 非常 酷 的 样子

这个 产品 特性 就 比较 有意思 了 其实 他 做 的 也 挺 简单 的 做法 因为 有 很多 的 用户 在 不停 的 搜 一些 东西 发出 查询 词 然后 后端 就 会 看到 说 有些 词 经常 被 收 这 几天 老是 被 收 很多很多 次 如果 用户 已经 输入 了 一部分 这个 词 的 一部分 基本上 我们 可以 判断 说 他 大概 就是 要收 这个 东西 了 因为 目前 这个 查询 值 非常 的 流行 是 吧 然后 干脆 我们 就 提前 给 你 准备 好 你 只 需要 点 一下 行 了 就是 一个 方便 节省 用户 时间 的 一个 产品

特性 就是 利用 历史数据 是 为主 的

吗 是 的 你 可以 加入 一些

其他 提示 哦 那 这个 用 普通 的 盗牌 也 能 找到 吗 你

可以 用 盗牌 盗牌 是 一个 比较 成熟 的 技术 比较简单 你 可以 用 其他 一些 数据结构 但是 这 也 相当 讲 的 比较 深入 了 我 想 提 一个点 比较 有意思 的 地方 这是 一个 很 经典 的 面试题 我 经常 都 会 用 这个 题目 来 面试 这个 软件 工程师 什么 题目 这个 题目 就 叫 TypeAheadSuggestion 就是 你 如果 来 我们 公司 面试 然后 你 是 一个 很 资深 的 工程师 你 应该 能够 设计 一样 这样 的 系统 来 支持 这样 的 一个 产品 特性 你 选

的 面试 厅 一般 比 我 选 的 难 很多 呀 我们 说 了 这个 网页 搜索 有 这么 多 的 挑战 有 这么 多 的 东西 这个 在 其他 的 搜索 上面 是不是 也 可以 用 同样 的 技术 呢 我们 无论 我们 做 搜索 我们 搜 商品 我们 搜 邮件 还是 搜 什么 东西 我们 就 只要 建 一个 道 牌建 一个 牌序 建 一个 typehead 基本上 就

可以 解决 了 呢 是 的 我 觉得 这三项 技术 就 可以 覆盖 绝大部分 的 搜索 的 应用 了 红城 说

做 一个 他 汇总 各个 公司 的 新闻 到 他们 的 信息流 上 这个 技术 和 搜索 很 像 那 这个

东西 是 怎么 做 的 呢 这个 东西 也 可以 放在 这个 搜索 的 技术 框架 里面 它 的 最底层 是 一个 盗牌 索引 这 盗牌 索引 索引 的 是 什么 呢 索引 的 是从 关键词 到 新闻 这些 关键词 有 什么 呢 有 Facebook 这样 的 公司 名字 有 WhatsApp 这样 的 产品 名字 也 有 苹果 的 MacBook 这样 的 产品 名字 还有 MarkZuckerberg 这样 的 CEO 人

的 名字 那 这个 是从 哪 抓 出来 的 呢?

我 的 网站 目前 的 新闻来源 是 一些 RSS 不 知道 是不是 很多 朋友 知道 这个 词 如果 上网 时间 比较 长 的 朋友 知道 Google 有 一个 叫 Googlereader 其实 它 就是 一个 RAS 的 前端 你 可以 把 RAS 加到 Googlereader 里面 然后 RAS 的 信息源 会 发布 他们 新 的 信息 然后 你 就 在 你 的 reader 里面 能读 到 新 发布 的 这些 文章 然后 我 这个 网站 就是 去 各大 RSS 源去 定期 的 抓取 他们 发布 的 新闻 这样 的 信息源 有 很多 了 CNBC 就是 一个 它 是 专门 报道 股票 信息 的 什么 纽约日报 华尔街日报 都 会 提供 这样 的 信息源 所以 说

你 的 信息 是从 RSS 里面 获得 这些 然后 算 出来 哪些 产品 和 这个 公司 有关 然后 再 在 互联网 上面 内容 里面 找到 听 上去 比 我 想象 的 高科技 很多 我们 来 可以 用 一用 汇集 了 做 过 多年 搜索 工作 的 资深 工程师 的 结晶 的 网站 我 还 想 提

一下 这 里面 有 一个 知识 图谱 的 概念 知识 图谱 也 是 最近 几年 兴起 的 当 你 看到 一个 东西 的 时候 其实 它 背后 是 对应 的 有 概念 比如说 你 看到 苹果 这个 词 它 对应 的 往往 是 苹果公司 这个 概念 这个 概念 跟 它 相关 的 概念 是 很多 的 它 跟 MacBook 相关 那 是 苹果 的 产品 跟 iPhone 手机 相关 跟 乔布斯 也 相关 所以 说 我 的 这个 网站 做 的 一件 事情 就是 把 这些 相关 的 概念 都 找 出来 跟 一个 股票 相关 的 信息 都 找 出来 然后 根据 这些 相关 的 信息 这些 相关 信息 从 哪里找 就是 知识 图谱 找 现在 有 一个 公开 的 数据 员 Wikipedia 他 有 一个 子公司 叫 Wikimedia 他 提供 了 这样 一个 知识 图谱 你 告诉 他 说 我 要 找 所有 跟 Facebook 相关 的 信息 他 就 会 告诉 你 说 Facebook 的 CEO 是 MarkZuckerberg 当前 的 CTO 是 谁 生财 告诉 你 前任 的 CTO 是 谁 他 有 哪些 产品 有 whatsappinstagram 你 可 把 这些 信息 都 找 出来 这些 概念 都 找 出来 用 这些 概念 去 匹配 你 抓取 来 回到 了 新闻 这样 你 可以 覆盖 全方位 的 覆盖 关于 一家 公司 的 所有 的

新闻 哇 这个 看上去 是 造福人类 啊 这个 Wikipedia 项目 造福人类 啊 大家 都 通过 这个 能够 把 世界 的 知识 都 连接 在 一起 其实 你 看

Wikipedia 它 那个 就是 网 普通 的 网页 版 你 拉 到 下面 去 它 也 会 一般 都 会 有 一个 有 一个 区域 就 会 告诉 你 相关 的 一些 词条 什么 之类

的 对 它 那些 词条 是 给 人 看 的 它 又 提供 编程 用 的 API 让 你 去 获得 这些 相关 的 概念 应该 可以 下载

下来 吗 整个 数据 集 可以 好像

也 就 几十 G 上百 G 的

数据 没 问题 全世界 的 世界 知识 图谱 也 就是 几十 G 上百 G 的 数据 还 不如 我们 的 DNAsequence

的 数据量 大 它 肯定 覆盖 不了 全世界 所有 的 概念 什么 地 名人 名 这个 很难 我 估计 谷歌 的 内部 的 知识 图谱 可能 比 这个

更 大好 我们 说 到 了 谷歌 我们 就 来说 说谷歌 吧 谷歌 有没有 什么 八卦 呢 给 大家 讲 一

讲 嘛 谷歌 的话 其实 我 挺 喜欢 对比 一下 谷歌 跟 百度 的 你 可以 看 这 两家 公司 的 表现 就 他们 的 发展 这个 移动 互联网 兴起 以后 百度 渐渐 的 就 落伍 了 最早 以前 在 十多年 前 是 有 一个 BAT 的 说法 中国 互联网 的 三 巨头 B 就是 百度

没有 十多年 前 也 就 三年 前

我 觉得 最近 几年 大家 也 不怎么 说 了 最 以前 是 说 的 非常 多 的 而且 百度 是 排 在 前面 的 BATA 是 阿里巴巴, T 是 腾讯 现在 你 如果 看 他们 的 股票 市值 的话 百度 连 这个 腾讯 和 阿里巴巴 的 十分之一 都 不到 了 也就是说 毕竟 要是 buydance 对 百度 在 头条 厉害 啊 百度 在 移动式 互联网 时代 落伍 了 大家 都 用 这些 超级 app 去 获取信息 跟 人 交流 百度 见 的 不是 那么 相关 了 但是 呢 谷歌 还是 活得 很 好 啊 谷歌 的 市值 也 一直 涨 然后 呢 广告 收入 也 一直 涨 用户 也 很多 这 里面 你 对比 的话 就 可以 发现 谷歌 做 了 一些 其他 的 事情 在 搜索 以外 的 其他 事情 来 巩固 它 的 江湖 地位 最 重要 的 一个 我 认为 就是 安卓 手机 系统 了

国内 的 用户 可能 没有 体会 到 因为 墙 的 原因 所以 谷歌 的 服务 其实 国内 都 是 不能 访问 包括 国内 的 安卓 系统 也 是 大部分 都 是 一个 厂商 自己 去 定制 的 系统 但是 像 国外 的 安卓 系统 你 只要 买 一个 安卓 手机 基本上 它 都 会 有 一个 软件 的 文件夹 因为 这是 谷歌 全家

桶 是 的 所以 说谷歌 为什么 没有 走向 百度 这样 的 地位 是因为 它 在 周边 做 了 很多 的 互联网 入口 的 这个 平台 的 从 手机 的 安卓到 电脑 上 的 浏览器 所有 的 这些 入口 都 被 他 管制

住 这样的话 要 收税 对 就 能够 巩固 他 的 搜索 的 产品 的 地位 把 所谓 的 流量 都 导向 他 的 搜索 产品 然后 谷歌 在 技术 上面 也 一直 在 创新 这方面 我 觉得 也 做 得 非常 好 就 像 我 提到 的 像 阿里巴巴 的 商品 不让 百度 抓微信 公众 号 不让 百度 抓 处以 一个 内容 被 限制 的 状态 百度 但是 谷歌 呢 就 会 想 其他 一些 办法 现在 的话 网页 越来越 复杂 了 有 很多 javascript 你 需要 跑 javascript 然后 这个 网页 会 动态 的 生成 一些 内容 比如说 是 文字 啊 图片 啊 一般 的 早期 的 搜索引擎 是 看不到 这些 东西 的 他 只能 看到 网页 的 原代码 但是 谷歌 做 了 什么 事情 呢 他们 会 用 机器 真正 去 渲染 这些 网页 拿到 渲染 以后 的 内容 然后 再 索性 这些 内容 这是 一个 很大 的 算力 的 一个 投入 了 需要 很多 机器 来 做 这件 事情 但是 他 看到 了 更 多

的 内容 这个 我 确实 有 印象 大概 在 十年 前 的 时候 用 的 不止 十年 前 的 时候 那 时候 大家 都 在 说 詹马斯贵 网站 很难 爬 那个 时候 还是 一个 很 重要 的 问题 很难 的 问题 给

没有 技术 背景 的 朋友 大概 的 讲解 一下 这 到底 是 什么 意思 就是 之前 比如说 最早 的 网站 是 什么 东西 相当于 是 他 相当 稳当 他 就 给 你 一个 稳当 发给你 然后 浏览器 就 把 这些 文字 按照 一定 的 编排 然后 你 在 网页 上面 显示 就是 你 收到 这份 文档 的 时候 字 其实 已经 在 那边 了 它 只是 一些 辅助 的 信息 告诉 你 说 这个 字 应该 放在 这边 这个 字 应该 放在 那边 然后

这样 看起来 叫做 静态 网站 对 静态

网站 是 美美 的 然后 对于 搜索引擎 和 爬虫 来说 这 也 很 简单 反正 那些 编排 的 事情 我 也 不 care 反正 就是 给 人 看 的 但是 那些 文字 其实 它 已经 都 传给 我 了 我 就 直接 扫 一遍 它 里面 提到 些 什么 文字 我 也 知道 了 但是 后来 慢慢 的 大家 就 希望 网站 能够 做 的 更 互动 一点 比如说 我 点击 这边 会 有 个 动画 出来 然后 那边 比如说 有 什么 爆炸 新闻 给 你 跳 一个 通知 栏 这样 的 这样的话 就 相当于 是 一些 交互 那么 慢慢 的 网页 就 变成 了 说 我 给 你 发送 一段 代码 而 不是 发送 真正 的 数据 把 这个 网页 打开 的 时候 这 段 代码 就 在 你 这边 开始 工作 然后 通过 运算 把 那些 字 再 放在 刚该 放在 的 位置 这样的话 对于 普通 的 爬虫 来说 就 很 懵 因为 你 直接 看 他 发给你 那个 文档 他 几乎 是 空 的 没有 什么 字 因为 他 其实 主要 的 那些 内容 都 在 那些 代码 里面 那么 爬虫 就 有 一个 困惑 就是说 之前 我 只要 扫扫字 就 可以 了 现在 就 变成 我 是不是 我 也 要 运行 一下 这个 代码 看 他 运行 完 之后 出现 的 是 什么

东西 对 这里 谷歌 就 用 了 它 的 浏览器 技术 去 渲染 这个 网站 所以 说谷歌 的 技术 是 很 深 的 然后 谷歌 还 在 多少 年前 做 了 一件 事情 就是 去 模拟 的 去 跑 一些 安卓 上面 的 app 就是 应用 然后 这些 app 跑 起来 以后 会 暴露 一些 它 内部 的 内容 然后 谷歌 这个 索引

这些 内容 谷歌 确实 是 很 深 所以 建 这些 周边 的 平台 确实 是 布局 一盘 大棋 没有 这些 浏览器 和 手机操作系统 的 布局 它 可能 没有 办法 巩固 搜索 的 地位 搜索 作为 互联网 重要性 的 这么 一个 地位 可能 会 像 百度 一样, 越来越 边缘化 对,

但是 谷歌 虽然 强大, 始终 没有 拿下 社交 网络 这 一块 这才 有 了

Facebook 的 崛起 当年 谷歌 也 是 把 Facebook 作为 洪水猛兽 啊 这 是 为什么 要 那个 时候 要 做 Googleplus 嘛 就 Google 加嘛 对 吧 那个 时候 就 像 虹 成 当时 说 那个 时候 谷歌 也 很多 人 认为 Facebook 是 一个 信息 的 一个 下水道 信息 的 黑洞 进去 它 爬 不到 然后 越来越 多 信息 在 里面 流转 影响 它 首先 它 的 搜索 质量 其次 它 能 搜 出来 的 东西 所以 它 做 了 Google 加 这个 东西 Googleplus 这个 东西 Googleplus 从来 也 没有 做 成功 为什么 就 可以 又 活 下来 了 呢 又 取得 了 更 大 的 发展 呢 我 觉得

谷歌 的 搜索 始终 是 有 流量 的 然后 它 有 来自 广告 的 收入 它会 去 做 其他 各 方面 的 研发 它 不是 有 vimo 自动 驾驶 吗 然后 它 的 AI 也 发展 得 非常 好 但 这些 都 跟 搜索 不是 特别 有 关系 主要 是 靠 他们 搜索 带来 的 现金流 来 支持 这样 高强度 的 研发 招聘 很多 顶尖 的 工程师、 科学家 来 做 这些 事情 我们 刚才

正好 说 到 了 Facebook, Facebook 也 有 搜索 吗?

是 的, Facebook 有 一个 搜索引擎 可以 认为 是 站内搜索 但是 Facebook 搜索 是 非常 特殊 的 因为 它 的 站 非常 大 几乎 等于 一个 互联网 所以 说 它 的 数据量 是 非常 大 的 你 可以 在 Facebook 网站 上 看到 一个 搜索 框 然后 在 这个 Facebookapp 里面 也 能 找到 这个 搜索 框 你 可以 像 用 谷歌 搜索 一样 搜索 各种 东西 在 Facebook 里面 的 内容 一个 搜索 Facebook 上 的 人 Facebook 上面 的 配置 Facebook 有个 配置 的 概念 然后 搜索 一些 兴趣 组 最 重要 的 是 搜索 别人 发过 的 帖子 或者 你 发过 的

帖子 这个 我 很少 用 啊 这个

技术 是 怎么回事 呢 Facebook 最早 是 没有 搜索 的 可以 说 大家 上去 就是 看 一下 你 的 朋友 发生 了 什么 新 的 事情 啊 有 什么 新 的 新闻 啊 是不是 又 新交 了 个 女朋友 之类 的 事情 然后 呢 渐渐 的 大家 觉得 说 有 必要 做个 搜索 了 最 重要 的 就是 什么 呢 你 昨天 认识 了 某个 人 在 一个 聚会 上 你 知道 他 的 名字 要 不 我们 加 一下 Facebook 吧 然后 你 怎么 加 呢 你 得 先 搜到 这个 人 吧 所谓 你 需要 这种 功能 去 找到 这个 人 所以 说 最早 的 Facebook 搜索 就是 搜索 人

啊 你 要 这么 说 我 确实 还是 经常 用 Facebook 搜索 的 搜 这些 东西 之外 还有 什么 搜索 呢

在 人 搜索 的 基础 之上 然后 呢 Facebook 还会 索引 这些 帖子 加 兴趣 组 各种各样 的 所谓 的 实体 在 Facebook 上面 的 实体 所以 说 你 一旦 一个 网站 做 的 大 了 你 的 信息 多 了 搜索 是 一个 必不可少 的 功能 你 没有 搜索 大家 用 不了 Facebook 也 不

例外 其实 大家 可以 把 互联网 就 想象 成是 一个 很大 的 一个 APP 然后 每 一个 网页 就 相当于 是 里面 的 一个 实体 对 本来 在 互联网 时代 大家 有 网站 地址 URL 这个 东西 Facebook 其实 你 本身 也 有 一个 Facebook 特别 link 比如说 facebook. com 一个 你 的 专属 的 一个 名字 但是 其实 那 东西 没人记 就是 现在 也 变成 就是 搜索 来 做

主要 的 事情 对 Facebook 的 搜索 还有 什么 其他 故事 呢 Facebook 的

搜索 的 进化 比较 有意思 刚才 提到 说 最 重要 的 就是 收人 这 是 最早 Facebook 开始 投入 的 然后 收人 做 了 一段时间 以后 收 人 怎么 收 呢 你 输入 他 的 名字 的 一部分 你 就 能 找到 这个 人 是 吧 然后 有 一段时间 Facebook 在 推 一个 东西 叫图 搜索 就是 很多 实体 它们 之间 有 关联 这些 关联 叫做 边 这些 实体 叫做 节点 它们 一起 组成 了 一个 图

比如说 住 在 加利福尼亚 这个 州 的 和 我 有 共同 好友 的 名字 叫 Jesse 的 这样 的 一个 人

我 觉得 如果 我要 搜 我 就 搜 JesseCalifornia 就行了 呀 这 应该 搜

出来 这个 对 你 说 的 很 对 这 是 两种 做 搜索 的 思路 这个 graphsearch 图 搜索 就是 在 做 一种 形式化 的 语言 来 精确 的 收到 你 想要 的 信息 第二种 你 说 的 这种 就 叫 关键词 搜索 你 输入 关键词 就行了 它 没有 任何 结构化 没有 语法 上 的 意义 但是 呢 我们 就 能 帮 你 找到 你 想要 的 东西 这是 两个 思路 Facebook 有 段时间 在 做 第一个 思路 而且 大张旗鼓 的 在 做 然后 觉得 很 厉害 然后 很多 工程师 很 喜欢 这个 写 这些 查询 词 就 像 写 这个 数据库 的 查询 一样 能 精确 的 找到 你 想要 的 东西 开始 大张旗鼓 的 推 这个 图 搜索 以后 发现 用户 并 不买账 其实 你 可以 理解 用户 不太 需要 这么 精确 的 查询 这是 其一 其二 他们 受到 谷歌 搜索 的 长时间 的 训练 了 相互 训练 他们 已经 适应 了 关键词 搜索 你 想要 找 什么 东西 你 只 需要 提 那 几个 关键字 就行了 你 不 需要 告诉 我 你 关键字 之间 联系 它们 的 语法 意义 所以 最后 这个 图 搜索 这个 产品 黯然 的 就 淡出 了 这个 名字

我 都 搞不清楚 什么 意思 图 搜索

肯定 会 失败 嘛 这个 还有 一个 小 八卦 了 这个 当时 做图 搜索 的 一个 产品 部门 的 老 大叫 Lars 他 最早 是 在 创业 做 了 一个 公司 被 谷歌 收购 了 谷歌 把 他 创业 的 基础 拿来 做 了 谷歌 地图 他 也 是 谷歌 地图 的 早期 的 创立者 之一 然后 来到 Facebook 做 这件 事情 然后

可惜 没 做好 说起 这个 他 在 谷歌 做 另外 一个 项目 叫 谷歌 web 我 的 这个 产品 还有 印象 是 一个 非常 非常 奇葩 的 项目

谷歌 推出 这个 产品 的 时候 我 这 还 在 谷歌 工作 呢 当时 公司 鼓励 大家 用 啊 我 一 开始 用 以后 发觉 特别 特别 复杂 我 记得 当时 谷歌 跟 Facebook 打仗 的 时候 Facebook 的 员工 做 了 个 网站 来 嘲笑 这个 Googlewave 这个 产品 主要 嘲笑 点 就是 太 复杂

了 最后 我 想 这个 了解 一下 我 很感兴趣 问题 的 就是 搜索 这个 推特 或者 是 这个 微博 啊 这种 实时 信息 搜索 呀 这 是 怎么

做 的 呢 其实 它 底层 的 技术 是 一样 的 不过 他们 更 关注 的 是 怎么 迅速 的 拿到 最新 的 信息 这是 其一 其二 怎么 让 这些 信息 尽快 的 进入 到 盗牌 索引 里面 一旦 他们 进入 盗牌 索引 以后 就 可以 被 收到 了 一般 的 做法 我 了解 的 是 他们 会 另外 起 一个 叫 实时 搜索 的 一个 服务 跟 其他 的 搜索 分开 来 这些 实时 搜索 的 系统 架构 会 更 适应 更快 的 去 抓取 信息 更快 的 把 信息 加到 锁 银 里面 而 不是 说 你 启动 比如说 10 万台 机器 去 对 10 亿 网页 建 一个 盗牌 锁 银 这个 过程 需要 时间 的 实时 搜索 显然 不能 这么 做 所以 他们 会 做 一个 在线 的 一个 更新 你 的 盗牌 锁 银 这个 抓取 信息 对 微博 和 推特 这样 的 信息 根本 不 存在 了 因为 数据 就 送到 他们 的 数据库 他们 很 轻易 的 拿到 最新 的 信息 剩下 的 难题 就是 怎么 让 这个 信息 被 索引 其实 这 都 有 成熟 的 解决方案 的 这 对 他们

来说 爬虫 这 东西 根本 不 重要 反正 东西 都 是 根本 就 没有

爬虫 这个 东西 Facebook 的 帖子 搜索

有 什么 故事 吗 Facebook 的 帖子 搜索 就是 在 人 搜索 的 基础 上 发展 起来 的 然后 找 了 一些 很 厉害 的 人来 做 这件 事情 创立 了 一个 自底 而 下 搭建 了 一个 新 的 搜索 系统 然后 这个 Facebook 的 搜索 团队 在 13 年发 了 一篇 学术 文章 这个 系统 的 名字 就 叫 Unicorn 中文 叫 独角兽 这个 系统 比较 有意思 的 地方 它 是 在 一个 图 上面 搜索 这 里面 的 图 跟 刚才 提到 的 图 搜索 不 一样 了 这 里面 的 意思 是 说 他 在 索引 数据 的 时候 他 盗牌 索引 是 很 有 特点 的 你 在 Facebook 上 有 各种各样 的 实体 人 是 一种 实体 这个 Page 是 一种 实体 Groups 也 是 一种 实体 帖子 也 是 一种 实体 所以 说 他们 会 索引 一些 实体 之间 的 关系 他会 索引 说 斯图亚特 发了 这个 帖子 斯图亚 特点 赞 了 另外 一个 帖子 如果 你 锁定 这些 信息 的话 你 就 可以 搜索 这样 一些 有趣 的 查询 比如说 你 可以 说 我 看 一下 斯图亚特 最近 几天 给 哪些 文章 点赞 了 这 就 能够 从 盗版 锁定 里面 把 这些 信息 查询 出来 所以 这 就是 跟 谷歌 的 一个 比较 大 的 区别 谷歌 的 锁定 的 一些 数据 就是 网页 它 是 个 扁平 的 结构 但是 Facebook 要 锁定 的 实体 是 相互 互联 的 高度 相关 的 我们 这个 项目 是 谁 开启 的 呢 Facebook 的 最早 做 搜索 的 就是 当年 的 CTO 这个 人 叫 Brett 我 是 13 年 加入 Facebook 的 搜索 团队 的 我们 在 代码 库 里面 还 可以 看到 他 当年 写 的 最早 的 代码 整个 搜索 已经 怎么 实现 了 如果 你 知道 C 的话 C 支持 一个 HashMapHash 表 怎么 做 的 呢 就是 一个 关键字 到 他 的 哪些 文档 哪些 人有 这个 关键字 人 就是 Facebook 上面 的 user 了 然后 就 用 这样 一个 哈希 表 实现 了 Facebook 整个 的 搜索 这是 比较 有意思 的 事情 对 就 这么 简单

直接 用 一个 库是 吧 Java 或者 C 的 库 就 直接 实现 了

对 吧 是 的 这 就是 一个 最 简单 的 搜索引擎 因为 它 的 数据量 小 你 想 Facebook 可能 最多 有 一百万 用户 一百万 用户 能 用 几个 几兆 的 数据 就够 了 全部 都 放在 一台 server 上 一个 机器 上 就 能 服务 整个 搜索 了 这 是 一个 很 有意思 的 事情

机器 要 坏掉 怎么办 呢 肯定 有

备份 有 多台 机器 但是 总的来说 这 复杂度 已经 跟 现在 搜索 的 Facebook 搜索 复杂度 是 天差地别 了 然后 说 到 Brett 这个 人 还 比较 有意思 他 在 Facebook 当 了 一段时间 CTO 以后 发现 这个 在线 协作 文档 是 一个 可以 创业 的 领域 他 去 自己 做 了 QuipQuip 是 一个 在线 协作 的 一个 文档 编辑器 有 APP 也 有 网页 版 还是 不错 的 对 其实 挺好用 的 比 GoogleDocs 好用

国内 有 一个 抄袭 版 就是 石墨

文档 好像 是 然后 之后 呢 这个 Quick 被 Salesforce 收购 了 比较 有意思 的 是 Salesforce 的 老板 是 对 Facebook 持 批评 态度 的 他 觉得 Facebook 就 像 香烟 一样 让 人 上瘾 危害 社会 甚至 网络 海洛因 对 这个 Brady 就 跟 他 老板 变成 一样 的 想法 了 开始 公开批评 Facebook 但是 你 想 他 曾经 是 Facebook 的 CTO 了 这个 Facebook 的 前

监工 转而 批评 Facebook 是 非常 正常 的

有 一个 Instagram 的 co founder 也 批评 Facebook 是 吧 刚才 说 到 这个 Facebook 的 前 C2Brett 这个 人 比较 有意思 他 是 一个 产品 经理 但是 他 写 代码 也 很 厉害 特别 是 JavaScript 有 一个 不知真假 的 故事 了 我 是 在 哪个 博客 文章 里面 看到 的 就是 他 在 谷歌 做 这个 地图 产品 的 经理 的 时候 他 对 这个 地图 这个 网页 版 的 响应 时间 太慢 非常 不满 他 做 了 什么 事情 呢 他 就 花 了 一个 周末 的 时间 把 这个 前端 用 JavaScript 重写 了 然后 把 响应 时间 缩短 了 很多很多 倍 在场 的 所有 的

工程师 都 是 垃圾 他 作为 一个

产品 经理 可以 写 JavaScript 的 还 当 了 CTO 是 吗 这个 八卦 非常 的 厉害 我们 今天 聊到 了 搜索 在 我们 身边 的 应用 聊到 了 搜索 技术 聊到 了 谷歌 和 百度 这 两个 公司 巨大 的 差异 啊 聊到 了 Facebook 搜索 的 一点 八卦 那 我们 就 感谢 宏辰 来到

我们 节目 然后 大家 如果 最近 在 买卖 股票 想 获得 最 一手 最 新鲜 的 资讯 那么 就 请 访问

宏辰 的 网站 tikrtik.

com 好 这个 网站 会 放到 我们 的 shownotes 里面 感谢 收听 我们 牛油果 烤面包 的 节目 我们 的 节目 可以 在 各大泛 用型 客户端 或者 喜马拉雅 上面 收听 欢迎 大家 收听 和 订阅 好 我们 后会有期 下期 再见 拜拜