Technical introduction to Rotary Position Embedding (ROTPE), a rotation-based alternative to standard positional embeddings. The speakers explain why traditional absolute embeddings fall short, walk through the 2D intuition and high-dimensional implementation, and show that ROTPE makes models converge faster and more robust.
今天 给 大家 分享 RotaryPositionEmbedding, ROTPE, 也.
就是 旋转 位置 嵌入 方法。 该 方法 是 由 苏健林 等 人 在 论文 Reformer 中 提出 的 一种 能 兼顾 绝对 位置 和 相对 位置.
的 位置 嵌入 改进 方法。
该 嵌入 方法 提升 了 Transformer 架构.
的 性能, 目前 LAMA、.
GROM 等 模型 均 采用 了 这种 位置 嵌入 方法。 先看 一下 传统 的 绝对 位置 嵌入 有 这么 一句 话 在 这句 话.
里 都 处于 位置 二 计算 时会 提取 到 这个 token 的 词 嵌入.
编码 再 加上 一个 位置 为 二.
的 嵌入 编码 这样 就 得到 了.
一个 带有 位置 信息 的 词 嵌入 一般来说, 位置 嵌入 可以 从 数据 中 学习 得到, 也 可以 用 三角函数, sine.
Cosine 函数 的 组合 来 获取。 这 两种 方法 效果 差不多。
如果 采用 这些 传统 的 位置 嵌入.
方法, 会 发现 每个 位置 安排 定.
编码 是 相互 独立 的。
那么 当 一个 单词 位于 位置 1、 位置 2 或者 是 位置 50, 它们.
之间 没有 任何 关联。
但 事实上, 我们 会 更 倾向 于 将 位置 1 和 位置 2, 也.
就是 句子 开始 的 词 关联 起来。
作者 提出 基于 旋转 的 嵌入 构造方法。
假设 位置 编码 是 一个二维 向量, 当 dog 这个 词 出现 在 位置 2, 将 最初 的 token 旋转 θ 角, 如果 dog 位置 出现 在 5, 将.
原始 向量 旋转 4 个 θ 角度。
这么 做 的 好处 在于, 当 两个 词 pick 和 dog 相差 两个 位置 经过 旋转 后, 它们 的 相对 位置.
不 改变, 意味着 计算 到 product 结果 也 不会 变。
所以 这种 算法 在 transformer 架构 中.
既 能 表示 绝对 位置 又 能.
很 好 的 处理 相对 位置 看.
一下 论文 中 二维 版 的 实现 左边 是 一个 旋转 矩阵 它 的.
作用 是 将 向量 旋转 按个 θ 角 其中 m 是 句子 中 标记.
的 绝对 位置 最 右边 X 是 需要 旋转 的 向量 需要 注意 的.
是 在 计算 旋转 矩阵 之前 需要 对 query 和 T 向量 做 线性.
变化 这样 就 做到 了 旋转 不变性.
但 自 注意力 中 的 value 向量.
是 不 需要 旋转 的 推广 至.
高维 版本 的 旋转 矩阵 长 这个 样 简单 说 就是 将 旋转 向量.
分割 成安格 二维 块 实际上, 代码 实现.
会 对 矩阵 进行 分解, 分解 为.
二组 向量 乘积 的 和, 这样 效率 提升 不少。
在 PyTorch 里 的 实现 就是 这么.
几行, 在 旋转 位置 嵌入 编码方法 里, 如果 两个 词 很 接近, 那么 它们 会 有 比较 大 的 DotProduct, 如果 相距 很 远, 通常 它们 的 DotProduct.
较 小, 也就是说 距离 越近 越 相似。
最后 看 一下 实验 结果 采用 旋转 位置 嵌入 编码 训练 速度 要 比 普通 的 绝对 位置 嵌入 编码 收敛.
快 一些 模型 也 更加 稳健 好.
了 今天 的 分享 就 到 这里.
