八、Compacter[2021]

论文：《Compacter: Efficient Low-Rank Hypercomplex Adapter Layers》

1. SOTA 的预训练语言模型（pretrained language models: PLMs ）在自然语言处理中使用了高度过参数化的表示（over-parameterized representations ），包含数以亿计的参数，从而在广泛的 NLP benchmarks 中获得成功。这些模型通常通过微调来应用于下游任务，这需要更新所有参数并为每个任务存储一个 fine-tuned model 的副本。这会导致巨大的存储成本和部署成本，并阻碍大规模 PLM 应用于实际应用。此外，已经证明 over-parameterized models 在低资源数据集上的微调会出现不稳定性，可能导致较差的性能。

   受 John von Neumann 的名人名言的启发，我们问，既然我们已经通过 PLM 学到了通用的 language representations ，那么我们需要多少参数才能在标准 NLP 任务上达到 SOTA 的性能水平。具体来说，我们的目标是开发出实用的、内存高效的方法，在训练最小的参数集合的同时，达到与 full fine-tuning 相当或更好的性能。

   最近的文献已经引入了 parameter-efficient fine-tuning 方法。这些方法通常固定 pretrained model 的参数，并为每个任务引入一组可训练的参数，在可训练参数数量以及任务性能之间进行权衡。在另一个研究方向中，prompts （即，任务的自然语言描述）和 demonstrations 一起，已被用来在某些 benchmarks 上达到合理的性能，而无需任何参数更新（《Language models are few-shot learners》），但它们的性能通常落后于 fine-tuned 的模型。它们还需要巨大的模型才能正常工作，但随着模型规模的增大，选择好的 prompts 变得更加困难（《True Few-Shot Learning with Language Models》）。soft prompt 方法将 prompts 视为可训练的连续参数，这些参数被添加到 input layer 或 intermediate layers 的输入中（《Prefix-tuning: Optimizing continuous prompts for generation》、《Warp: Word-level adversarial reprogramming》、《The power of scale for parameter-efficient prompt tuning》）。 然而，这种方法通常需要大型模型才能取得良好的性能，并且对初始化非常敏感，在训练过程中不稳定。

   具有理论基础的低秩方法（low-rank methods ）使用随机投影训练位于低维子空间中的少量参数（《Measuring the intrinsic dimension of objective landscapes》、《Intrinsic dimensionality explains the effectiveness of language model fine-tuning》）。然而，存储随机投影矩阵（random projection matrix）会造成大量内存开销，并导致训练时间缓慢。在另一个研究方向，adapter 方法（《Parameter-efficient transfer learning for nlp》 、《Efficient parametrization of multi-domain deep neural network》）在 pretrained 模型的不同层中插入可训练的 transformations ，需要比上述方法更多的参数，但更加内存高效，并获得与 full fine-tuning 相当的性能（《Parameter-efficient transfer learning for nlp》、《Exploring versatile generative language model via parameter-efficient transfer learning》）。

   在本文中，我们提出了 Compacter ，一种对大规模语言模型进行微调的方法，与现有方法相比，在可训练参数数量、任务性能和内存占用之间取得了出色的平衡（参考 Figure 1 ）。 Compacter 建立在 adapters （《Parameter-efficient transfer learning for nlp》 ）、低秩方法（《Measuring the intrinsic dimension of objective landscapes》）、以及最近的超复杂乘法层（《Beyond fully-connected layers with quaternions: Parameterization of hypercomplex multiplications with 1/n parameters》）的概念之上。与 adapters 类似，Compacter 在 pretrained 模型的权重中插入 task-specific 的权重矩阵。每个Compacter 权重矩阵计算为：shared "slow" weights 和 "fast" rank-one matrices 的 Kronecker 乘积之和，其中这个 "slow" weights 和 "fast" matrices 在每个 Compacter layers 上定义（见 Figure 3 ）。因此，与常规 adapters 的 $O(kd)$$O(kd)$ 的参数复杂度相比，Compacter 实现了 $O(k+d)$$O(k+d)$ 的参数复杂度，其中 adapters 的尺寸为 $k\times d$$k \times d$ 。在实践中，Compacter 训练了PLM 参数的0.047% 。在标准 GLUE and SuperGLUE benchmarks 中，Compacter 优于其他 parameter-efficient fine-tuning 方法，并获得与 full fine-tuning 相当或更好的性能。在低资源环境中，Compacter 优于标准微调。

   Compacter 还是 adapters 的变体，但是它有两个优化：

   • 首先，通过两个向量的 Kronecker Product 来获得矩阵 ${\mathbf{B}}_i^j$$\mathbf B_i^j$ （即，秩为 1 的矩阵分解），这降低了参数的数量。

   • 其次，通过在多个 adapter 之间来共享 ${\mathbf{A}}_i$$\mathbf A_i$ ，这也降低了参数的数量。

   注意：这里并没有跨任务共享 adapter，只是在单个任务内部跨 adapters 共享 ${\mathbf{A}}_i$$\mathbf A_i$ 。

   

   

   总结一下，我们的贡献如下：

   • 1) ：我们提出了 Compacter （Compact Adapter)）layers，一种参数高效的方法来适配大型语言模型。

   • 2)：我们证明 Compacter 在 GLUE 和 SuperGLUE 上获得了强大的经验性能。

   • 3)：我们证明 Compacter 在低资源环境（low-resource settings ）中优于微调。

   • 4)：我们提供了 Compacter 的参数复杂度分析，显示它需要远少于 adapters 和 fine-tuning 的参数。

   • 5)：我们系统地评估了最近的 parameter-efficient fine-tuning 方法，关于在训练时间和内存消耗方面的性能。

   我们发布了我们的代码以促进未来的工作。

2. 相关工作：

   • Adapters：

     • 最近兴起 adapters 作为微调 pretrained 语言模型的新范式（《Parameter-efficient transfer learning for nlp》）。

     • 在另一条研究方向中，《Udapter: Language adaptation for truly universal dependency parsing》 根据 adapters 和 contextual parameter generator 网络（《Contextual parameter generation for universal neural machine translation》），提出了一种多语言依存解析（dependency parsing ）方法，其中他们根据 trained input language embeddings 来生成 adapter parameters 。然而，与 base model 相比，这导致大幅增加的参数数量。

     • 同时，《Parameter-efficient multi-task fine-tuning for transformers via shared hypernetworks》使用单个紧凑的超网络（hypernetwork ），允许根据多个任务、以及 transformer model 的多个 layers 来高效地生成 adapter weights 。

     • 《Conditionally adaptive multi-task learning: Improving transfer learning in NLP using fewer parameters & less data》还为多任务学习提出了一种 task-conditioned transformer，参数效率较低。

     上述工作与 Compacter 互补，可以潜在地将 Compacter 与 contextual parameter generation相结合，从而生成 adapter 模块。与 《Parameter-efficient multi-task fine-tuning for transformers via shared hypernetworks》相比， Compacter++ 将参数降低了 6.2 倍。

   • Hypercomplex representations：在 hypercomplex 领域的深度学习进展还处于初级阶段，大多数工作都是近期的工作。用 Hamilton 乘法替换标准网络中的矩阵乘法，具有更少的自由度，在单次乘法操作中可以节省多达 4 倍的参数（《Quaternion recurrent neural networks》、《Lightweight and efficient neural natural language processing with quaternion networks》）。

     最近，《Beyond fully-connected layers with quaternions: Parameterization of hypercomplex multiplications wit h1/n parameters》 以一种方式扩展了这样的方法，在一个温和条件下，可以将全连接层的参数降低到 $1/n$$1/n$ ，其中 $n$$n$ 是一个用户指定的参数。据我们所知，还没有先前的工作尝试利用 hypercomplex space 进行大型语言模型的 efficient fine-tuning 。

   • 其它 parameter-efficient 方法：

     • 《Measuring the intrinsic dimension of objective landscapes》 和 《Intrinsic dimensionality explains the effectiveness of language model fine-tuning》 研究了在 low-dimensional randomly oriented subspace 中（而不是原始参数空间中）训练模型。

     • 另一条最近的研究线表明，像 BERT 这样的 pretrained 模型在其能力上是冗余的，允许显著稀疏化而终端指标几乎不降低（《The lottery ticket hypothesis for pre-trained bert networks》、《When BERT Plays the Lottery, All Tickets Are Winning》、《Evaluating lottery tickets under distributional shifts》）。然而，这样的方法目前硬件支持不好，性能通常比专用的高效架构更差（《What is the state of neural network pruning?》）。

8.1 背景知识

1. 我们首先介绍 Kronecker product 和 adapter layers 所需的背景知识（《Parameter-efficient transfer learning for nlp》、《Efficient parametrization of multi-domain deep neural networks》）。

2. Kronecker Product：矩阵 $\mathbf{A}\in {\mathbb{R}}^{m\times f}$$\mathbf A\in \mathbb R^{m\times f}$ 和 $\mathbf{B}\in {\mathbb{R}}^{p\times q}$$\mathbf B\in \mathbb R^{p\times q}$ 之间的 Kronecker Product 记做 $\mathbf{A}\otimes \mathbf{B}\in {\mathbb{R}}^{mp\times fq}$$\mathbf A\otimes \mathbf B\in \mathbb R^{mp\times fq}$ ，定义为：

   $$\begin{array}{}\text{(1)}& \begin{array}{c}\mathbf{A}\otimes \mathbf{B}=\left[\begin{array}{ccc}{a}_{1,1}\mathbf{B}& \cdots & a_{1,f}\mathbf{B}\\ ⋮& \ddots & ⋮\\ a_{m,1}\mathbf{B}& \cdots & a_{m,f}\mathbf{B}\end{array}\right]\end{array}\end{array}$$

   其中 $a_{i,j}$$a_{i,j}$ 是 $\mathbf{A}$$\mathbf A$ 的第 $i$$i$ 行、第 $j$$j$ 列的元素。

   即，将 $\mathbf{A}$$\mathbf A$ 中的每个元素与 $\mathbf{B}$$\mathbf B$ 相乘。

3. Adapter Layers：最近的工作表明，微调语言模型的所有参数可能导致次优解，特别是对于 low-resource datasets （《To tune or not to tune? adapting pretrained representations to diverse tasks》）。作为替代方法， 《Efficient parametrization of multi-domain deep neural networks》 和 《Parameter-efficient transfer learningfor nlp》 提出了在 pretrained 模型的 layers 中插入小的 task-specific 模块（称 adapter layers ），从而将模型迁移到新任务，如 Figure 2 所示。然后他们只训练 adapters 和 layer normalizations，而 pretrained 模型的其余参数保持固定。这种方法允许 pretrained 语言模型高效地适应新的任务。

   transformer 模型的每一层主要由两个模块组成：一个 attention block 、一个 feed-forward block 。这两个模块之后都有一个 skip connection 。如 Figure 2 所示,《Parameter-efficient transfer learningfor nlp》建议在 skip connection 之前、在每个 block 之后插入一个 adapter layer 。

   adapters 是 bottleneck 架构。通过保持 output dimension 与 input dimension 相同，它们不会改变原始模型的结构或参数。第 $l$$l$ 层的 adapter layer $A^l$$A^l$ 由 down-projection ${\mathbf{D}}^l\in {\mathbb{R}}^{k\times d}$$\mathbf D^{l}\in \mathbb R^{k\times d}$、GeLU 非线性函数（《Gaussian error linear units (gelus)》）、以及 up-projection ${\mathbf{U}}^l\in {\mathbb{R}}^{d\times k}$$\mathbf U^l\in \mathbb R^{d\times k}$ 组成，其中 $k$$k$ 是输入维度、$d$$d$ 是 adapter layer 的 bottleneck 维度。adapters 定义为：

   $$\begin{array}{}\text{(2)}& A^l\left(\overrightarrow{\mathbf{x}}\right)={\mathbf{U}}^l\left(\text{GeLU}\left({\mathbf{D}}^l\left(\overrightarrow{\mathbf{x}}\right)\right)\right)+\overrightarrow{\mathbf{x}}\end{array}$$

   其中 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 是 input hidden state 。

   

8.2 方法

1. 在本节中，我们提出 Compacter，一种紧凑的和高效的方法来适配大型 PLMs 。

2. 问题形式化：我们考虑微调大规模语言模型的一般问题，其中给定包含 $P$$P$ 个样本的训练数据 $\mathcal{D}={\left\{({\overrightarrow{\mathbf{x}}}^i,y^i)\right\}}_{i=1}^P$$\mathcal D = \left\{\left(\mathbf {\vec x}^i, y^i\right)\right\}_{i=1}^P$ 。我们还假设给出了一个大型 pretrained 语言模型 $f_{\theta }(\cdot )$$f_\theta(\cdot)$，其参数为 $\theta$$\theta$ ，用于计算输入 ${\overrightarrow{\mathbf{x}}}^i$$\mathbf {\vec x}^i$ 的输出。我们的目标是高效地微调 $f_{\theta }(\cdot )$$f_\theta(\cdot)$ 从而使模型适配新任务。

8.2.1 Compact and Efficient Adapter Layers

1. 在本节中，我们基于最近的 parameterized hypercomplex multiplication layers: PHM （《Beyond fully-connected layers with quaternions: Parameterization of hypercomplex multiplications with 1/n parameters》）的进展，引入 adapter layers 的一个高效版本。据我们所知，我们是第一个利用 PHM layer 来为大型 transformer 模型进行 efficient fine-tuning 的。PHM layer 与全连接层具有相似的形式，将输入 $\overrightarrow{\mathbf{x}}\in {\mathbb{R}}^k$$\mathbf{\vec x}\in \mathbb R^k$ 转换为输出 $\overrightarrow{\mathbf{y}}\in {\mathbb{R}}^d$$\mathbf{\vec y} \in \mathbb R^d$：

   $$\begin{array}{}\text{(3)}& \overrightarrow{\mathbf{y}}=\mathbf{W}\overrightarrow{\mathbf{x}}+\overrightarrow{\mathbf{b}}\end{array}$$

   其中：$\mathbf{W}\in {\mathbb{R}}^{k\times d}$$\mathbf W\in \mathbb R^{k\times d}$ 为待学习的参数矩阵，$\overrightarrow{\mathbf{b}}\in {\mathbb{R}}^d$$\mathbf{\vec b}\in \mathbb R^d$ 为待学习的 bias 向量。

   关键区别在于：在 PHM layer 中，$\mathbf{W}$$\mathbf W$ 被学习为 Kronecker product 的和。假设 $k$$k$ 和 $d$$d$ 都可被用户定义的超参数 $n\in {\mathbb{Z}}_{>0}$$n\in \mathbb Z_{\gt 0}$ 整除。那么矩阵 $\mathbf{W}$$\mathbf W$ 可以被计算为 $n$$n$ 个 Kronecker products 之和：

   $$\begin{array}{}\text{(4)}& \mathbf{W}=\sum _{i=1}^n{\mathbf{A}}_i\otimes {\mathbf{B}}_i\end{array}$$

   其中：${\mathbf{A}}_i\in {\mathbb{R}}^{n\times n}$$\mathbf A_{i}\in \mathbb R^{n\times n}$ ，${\mathbf{B}}_i\in {\mathbb{R}}^{\frac{k}{n}\times \frac{d}{n}}$$\mathbf B_i\in \mathbb R^{\frac{k}{n}\times \frac{d}{n}}$ 。

   PHM layer 的参数复杂度为 $O(kd/n)$$O(kd/n)$，最多降低擦拭能数量为原始的 $1/n$$1/n$ （《Beyond fully-connected layers with quaternions: Parameterization of hypercomplex multiplications with 1/n parameters》）。

   这就是推荐算法中常用的矩阵分解方法。

8.2.2 Beyond Hypercomplex Adapters

1. 先前的工作表明，pretrained 模型中捕获的一些信息可以被忽略从而用于迁移（《Revisiting Few-sample BERT Fine-tuning》、《Rethinking Embedding Coupling in Pre-trained Language Models》）。类似地，也观察到 adapters 中捕获的信息中存在冗余，lower layers 中 adapters 的重要性较低（《Parameter-efficient transfer learningfor nlp》）。此外，在某些任务上，跨 layers 共享 adapters 仅导致性能上较小的降低（《AdapterDrop: On the Efficiency of Adapters in Transformers》）。受这些见解的启发，我们提出以下两点扩展，从而使 hypercomplex adapters 更高效：

   • Sharing information across adapters：在所有层之间共享所有 adapter parameters 的限制性总体上太强，不能与微调或使用常规 adapters 的性能相媲美（《AdapterDrop: On the Efficiency of Adapters in Transformers》）。但是，我们如 $\mathbf{W}=\sum _{i=1}^n{\mathbf{A}}_i\otimes {\mathbf{B}}_i$$\mathbf W = \sum_{i=1}^n \mathbf A_{i}\otimes \mathbf B_i$ 所示，将 adapters 分解为 ${\mathbf{A}}_i$$\mathbf A_i$ 和 ${\mathbf{B}}_i$$\mathbf B_i$ 矩阵，从而允许我们更灵活。

     因此，我们将 adaptation weights 分为：

     • shared parameters ：捕获对适配目标任务有用的通用信息。

     • adapter-specific parameters：聚焦于捕获那些适配每个 individual layer 的相关信息。

     具体来说，我们将 ${\mathbf{A}}_i$$\mathbf A_i$ 定义为所有 adapter layers 之间 shared parameters ，而 ${\mathbf{B}}_i$$\mathbf B_i$ 是 adapter-specific parameters 。

   • Low-rank parameterization：低秩方法（《Measuring the intrinsic dimension of objective landscapes》、《Intrinsic dimensionality explains the effectiveness of language model fine-tuning》）表明，通过在低秩子空间中优化任务可以实现强大的性能。类似地，我们假设也可以通过在低秩子空间中学习 transformations 从而有效地适配模型。为此，我们提出将 ${\mathbf{B}}_i\in {\mathbb{R}}^{\frac{k}{n}\times \frac{k}{n}}$$\mathbf B_i\in \mathbb R^{\frac{k}{n}\times \frac{k}{n}}$ 参数化为低秩矩阵，即两个低秩权重 ${\mathbf{s}}_i\in {\mathbb{R}}^{\frac{k}{n}\times r}$$\mathbf s_i\in \mathbb R^{\frac{k}{n}\times r}$ 和 ${\mathbf{s}}_i\in {\mathbb{R}}^{r\times \frac{k}{n}}$$\mathbf s_i\in \mathbb R^{r\times \frac{k}{n}}$ 的乘积，其中 $r$$r$ 是矩阵的秩。将这两点扩展结合起来，我们提出 low-rank parameterized hypercomplex multiplication layer （LPHM ）：

     $$\begin{array}{}\text{(5)}& \mathbf{W}=\sum _{i=1}^n{\mathbf{A}}_i\otimes {\mathbf{B}}_i={\mathbf{A}}_i\otimes ({\mathbf{s}}_i{\mathbf{t}}_i)\end{array}$$

     通常，我们设置 $r=1$$r=1$，使 ${\mathbf{B}}_i$$\mathbf B_i$ 成为秩为 1 的矩阵。根据目标任务的复杂性，可以将 $r$$r$ 设置为更高的值。Figure 3 说明了我们的方法。总体而言，LPHM layer 将复杂度进一步降低到 $O(k+d)$$O(k+d)$ 。LPHM layer 也可以看作利用跨 adapters 共享的 "slow" weights ${\mathbf{A}}_i$$\mathbf A_i$ （它捕获通用信息）、以及学习适配每个 individual layer 的 adapter-specific information 的 "fast" weights ${\mathbf{B}}_i$$\mathbf B_i$ 。

2. Compacter：基于上述公式，我们引入 Compacter layer ，它将 adapters 中的 down-projection layers 和 up-projection layers 替换如下：

   $$\begin{array}{}\text{(6)}& A^l\left(\overrightarrow{\mathbf{x}}\right)={\text{LPHM}}^{{\mathbf{U}}^l}\left(\text{GeLU}\left({\text{LPHM}}^{{\mathbf{D}}^l}\left(\overrightarrow{\mathbf{x}}\right)\right)\right)+\overrightarrow{\mathbf{x}}\end{array}$$

   其中：

   • up-projection 权重 ${\text{LPHM}}^{{\mathbf{U}}^l}$$\text{LPHM}^{\mathbf U^l}$ 的计算公式为 ${\mathbf{U}}^l=\sum _{i=1}^n{\mathbf{A}}_i^{(U)}\otimes {\mathbf{B}}_i^{(U)l}={\mathbf{A}}_i^{(U)}\otimes \left({\mathbf{s}}_i^{(U)l}{\mathbf{t}}_i^{(U)l}\right)$$\mathbf U^l = \sum_{i=1}^n \mathbf A_{i}^{(U)}\otimes \mathbf B_{i}^{(U)l} = \mathbf A_i^{(U)}\otimes \left(\mathbf s_i^{(U)l}\mathbf t_i^{(U)l}\right)$ ，它代替了 ${\mathbf{U}}^l$$\mathbf U^l$ 。

   • down-projection 权重 ${\text{LPHM}}^{{\mathbf{D}}^l}$$\text{LPHM}^{\mathbf D^l}$ 的计算公式也为 ${\mathbf{D}}^l=\sum _{i=1}^n{\mathbf{A}}_i^{(D)}\otimes {\mathbf{B}}_i^{(D)l}={\mathbf{A}}_i^{(D)}\otimes \left({\mathbf{s}}_i^{(D)l}{\mathbf{t}}_i^{(D)l}\right)$$\mathbf D^l = \sum_{i=1}^n \mathbf A_i^{(D)}\otimes \mathbf B_i^{(D)l} = \mathbf A_i^{(D)}\otimes \left(\mathbf s_i^{(D)l}\mathbf t_i^{(D)l}\right)$ ，它代替了 ${\mathbf{D}}^l$$\mathbf D^l$ 。

   虽然 transformer 中每层的两个 adapters 都有自己的、秩为 1 的 ${\mathbf{s}}_i^{(\cdot )l}$$\mathbf s_i^{(\cdot)l}$ 和 ${\mathbf{t}}_i^{(\cdot )l}$$\mathbf t_i^{(\cdot)l}$，但我们在所有层的所有位置上的 adapter layers 上共享 ${\mathbf{A}}_i^{(\cdot )}$$\mathbf A_i^{(\cdot)}$ 。

   是否可以将 ${\mathbf{A}}_i^{(U)}$$\mathbf A_i^{(U)}$ 和 ${\mathbf{A}}_i^{(D)}$$\mathbf A_i^{(D)}$ 共享为同一个 ${\mathbf{A}}_i$$\mathbf A_i$ ？论文并未说明，可以尝试。

8.3 参数效率

1. 在本节中，我们比较 Compacter 与 adapters 的参数数量。

2. Adapters parameters：在标准设置中，transformer 模型的每一层添加两个 adapters （ 《Parameter-efficient transfer learningfor nlp》 ）。每个 adapter layer 包含 $2kd$$2kd$ 个参数，用于 down-projection 矩阵 ${\mathbf{D}}^l$$\mathbf D^l$ 和 up-projection 矩阵 ${\mathbf{U}}^l$$\mathbf U^l$ ，其中 $k$$k$ 是输入维度大小、$d$$d$ 是 adapter 的 bottleneck 维度。因此，具有 $L$$L$ 层的 encoder-decoder transformer 模型中， adapters 总参数数量为 $2L(2kd)$$2L(2kd)$ ，与所有三个变量呈线性关系。

   encoder 中包含 $L(2kd)$$L(2kd)$ 个参数、decoder 中包含 $L(2kd)$$L(2kd)$ 个参数。

3. PHM-Adapter parameters ：在常规 PHM layer中（《Beyond fully-connected layers with quaternions: Parameterization of hypercomplex multiplications with 1/n parameters》），如公式 $\mathbf{W}=\sum _{i=1}^n{\mathbf{A}}_i\otimes {\mathbf{B}}_i$$\mathbf W = \sum_{i=1}^n \mathbf A_{i}\otimes \mathbf B_i$ 所示，${\mathbf{A}}_i\in {\mathbb{R}}^{n\times n}$$\mathbf A_i\in \mathbb R^{n\times n}$ 和 $B_i\in {\mathbb{R}}^{\frac{k}{n}\times \frac{d}{n}}$$B_i\in \mathbb R^{\frac{k}{n}\times \frac{d}{n}}$ 的参数定义了 $\mathbf{W}$$\mathbf W$ 的自由度为 $n(\frac{kd}{n^2}+n^2)=\frac{kd}{n}+n^3$$n\left(\frac{kd}{n^2} +n^2\right) = \frac{kd}{n} + n^3$。若满足温和条件 $kd>n^4$$kd \gt n^4$ ，则 $\frac{kd}{n}$$\frac{kd}{n}$ 占主导地位，此时 PHM layer 的总参数量为 $O\left(\frac{kd}{n}\right)$$O\left(\frac{kd}{n}\right)$。此条件对于 adapters、PHM layer 、以及大型 PLM （如 T5-large ）的典型取值成立，其中 hidden size $k=1024$$k=1024$ 、adapter hidden size $d\in \{24,32,48,96\}$$d\in \{24,32,48,96\}$ ，$n\in \{2,4,8,12\}$$n \in \{2,4,8,12\}$ 。因此，PHM layer 降低参数规模到标准全连接层参数数量的几乎 $\frac{1}{n}$$\frac {1}{n}$ ，其中标准全连接层的参数数量为 $O(kd)$$O(kd)$ 。

   类似地，使用 PHM layer 建模 down-projection 矩阵和 up-projection 矩阵可以提供参数规模降低到近乎 $\frac{1}{n}$$\frac{1}{n}$ 。每个 adapter with a PHM layer 总共有 $2(\frac{kd}{n}+n^3)$$2\left(\frac{kd}{n} + n^3\right)$ 个参数。对于具有 $L$$L$ 层的 encoder-decoder transformer 模型，PHM-Adapter 的参数总数为 $4L(\frac{kd}{n}+n^3)$$4L\left(\frac{kd}{n} + n^3\right)$ 。

4. Compacter 参数：Compacter 在所有层之间共享权重矩阵 $\{{\mathbf{A}}_i{\}}_{i=1}^n$$\{\mathbf A_i\}_{i=1}^n$ ，包括 $n^3$$n^3$ 个参数。Compacter 对每个 adapter 也有两个秩为 1 的权重矩阵 ${\mathbf{s}}_i,{\mathbf{t}}_i$$\mathbf s_i,\mathbf t_i$ ，包含 $\frac{k}{n}+\frac{d}{n}$$\frac{k}{n} + \frac{d}{n}$个参数，使得下 down-projection 权重和 up-projection 权重的总参数数量为 $2n(\frac{k}{n}+\frac{d}{n})$$2n\left(\frac{k}{n} + \frac{d}{n}\right)$ 。因此，具有 $L$$L$ 层的 encoder-decoder transformer 中， Compacter 的总参数数量为 $4L(k+d)+n^3$$4L(k+d)+n^3$ 。

   在大量层的设置中，统治项为 $4L(k+d)$$4L(k+d)$ 。因此，满足温和条件 $4L(k+d)>n^3$$4L(k+d)>n^3$ 时，Compacter 的复杂度为 $O(k+d)$$O(k+d)$ ，与 adapters 的 $O(kd)$$O(kd)$ 、以及 PHM-Adapter 的 $O\left(\frac{kd}{n}\right)$$O\left(\frac{kd}{n}\right)$ 相比更加高效。

   在 $n$$n$ 较大的设置中，跨所有层共享的权重矩阵 $\{{\mathbf{A}}_i{\}}_{i=1}^n$$\{\mathbf A_i\}_{i=1}^n$ 的参数数量在 Compacter 中保持恒定，总共 $n^3$$n^3$ 个参数；而对于 PHM 和 adapter layers ， $\{{\mathbf{A}}_i{\}}_{i=1}^n$$\{\mathbf A_i\}_{i=1}^n$ 的参数数量与层数 $L$$L$ 呈线性关系。例如，在具有 222M 参数的 T5_BASE 模型中，Compacter 仅学习了 0.047% 的参数，同时保持与 full fine-tuning 相当的性能。

8.4 实验

1. 数据集：遵循 T5 ，我们在 GLUE 和 SUPERGLUE 等 benchmarks 上评估各种方法的性能。这些 benchmarks 涵盖 paraphrase detection （MRPC,QQP ）、情感分类（SST-2）、自然语言推理（MNLI,RTE,QNLI,CB ）、linguistic acceptability（CoLA）、问答（MultiRC,ReCoRD,BoolQ）、词义消歧（WiC）和句子补全（COPA）等多个任务。由于原始测试集不公开，我们遵循 《Revisiting few-sample bert fine-tuning》 的做法，从训练集中划分出 1k 个样本用作验证集，而使用原始验证数据作为测试集。对于样本数少于 10k 的数据集（RTE,MRPC,STS-B,CoLA,COPA,WiC,CB,BoolQ,MultiRC ），我们将原始验证集等分为两半：一半用于验证、另一半用于测试。

2. 实验详细信息：我们在所有实验中使用当前最 SOTA 的 encoder-decoder T5 model 作为所有方法的底层模型。为了计算效率，我们在 T5_BASE 模型上报告所有结果（ 112 encoder and decoder layers，共有 222M 个参数）。我们使用 T5_BASE 的 HuggingFace PyTorch 实现。我们在大型数据集上微调所有方法 3 epochs ，在 GLUE 的低资源数据集（MRPC,CoLA,STS-B,RTE,BoolQ,CB,COPA,WiC ）上微调 20 epochs 从而使模型收敛（《Revisiting few-sample bert fine-tuning》）。对于所有adapter-based 的方法，我们实验 adapters 的 bottleneck size 为 {96,48,24} 。我们为所有模型保存每个 epoch 的 checkpoint ，并报告最佳超参数的结果（最佳超参数通过每个任务的验证集上的表现来筛选）。对于 PHM layer ，我们使用 《Parameterized hypercomplex graph neural networks for graph classification》 的 PyTorch 实现。我们在附录 A 中包括 low-level 的详细信息。对于我们的方法，我们实验 $n=\{4,8,12\}$$n= \{4,8,12\}$ ，并报告在表现最好的模型。我们在附录 B 中包括所有 $n$$n$ 值的结果。

   遵循 《Parameter efficientmulti-task fine-tuning for transformers via shared hypernetworks》 在所有任务上、所有方法中，我们冻结 pretrained 模型的 output layer 。我们在附录 C 中显示了微调 output layer 的结果。

   一般而言，需要微调 output layer （即，prediction head）。因为这是与具体的任务密切相关的。实验结果表明，冻结 pretrained 模型的 output layer，会大大损害下游任务的性能。

   遵循 《Parameter-efficient transfer learning for nlp》，我们在适用的情况下更新所有方法的 layer normalization 参数。

3. baselines：我们与几种最近提出的 parameter-efficient fine-tuning 方法进行比较：

   • T5_BASE ：我们将我们的方法与标准的 T5 微调进行比较，其中我们对每个任务微调模型的所有参数。

   • ADAPTER：我们与强大的 adapter baseline （《Parameter-efficient transfer learning for nlp》）进行比较，它为每个任务在 T5 的每个 transformer block 的前馈模块之后、以及注意力模块之后添加 adapters 。

   • PFEIFFER-ADAPTER：《AdapterFusion: Non-destructive task composition for transfer learning》 提出的一种更高效的 adapter 变体，其中每层只保留一个 adapter 以获得更好的训练效率。我们实验了保留每层的两个 adapters 中的任何一个 adapter ，发现保留自注意力模块后的 adapter 表现最好。

     注意，AdapterFusion 原始论文中保留的是 feed-forward layer 之后的 adapter 。

   • ADAPTER-LOWRANK：我们将每个 adapter 的权重参数化为两个秩为 1 的权重矩阵的乘积。

   • PROMPT TUNING：prompt tuning （《The power of scale for parameter-efficient prompt tuning》）是 《Prefix-tuning: Optimizing continuous prompts for generation》 的后续变体，在输入前面添加随机初始化的 continuous prompt （PROMPT TUNING-R ）。

     我们还比较了一种变体，它使用 pretrained 语言模型词表的 token embeddings 来初始化 prompts （PROMPT TUNING-T ）（《The power of scale for parameter-efficientprompt tuning》）。

   • INTRINSIC-SAID：Structure Aware Intrinsic Dimension （《Intrinsic dimensionality explains the effectiveness of language model fine-tuning》）通过在较低维子空间 ${\theta }^{d^{\prime }}$$\theta ^{d^\prime}$ （$d^{\prime }\ll D$$d^\prime \ll D$）中重新参数化参数来微调模型：${\theta }_i^D={\theta }_{i,0}^D+{\lambda }_i\mathbf{P}{\theta }_p^{d^{\prime }-m}$$\theta_i^D = \theta_{i,0}^D + \lambda_i \mathbf P\theta_p^{d^\prime - m}$ ，其中：

     • 参数 ${\theta }_{i,0}^D$$\theta_{i,0}^D$ 是 pretrained 模型的参数。

     • $\mathbf{P}\in {\mathbb{R}}^{(d^{\prime }-m)}\to {\mathbb{R}}^D$$\mathbf P\in \mathbb R^{ (d^\prime-m)}\rightarrow \mathbb R^D$ 是通过 Fastfood 变换（《Fastfood-approximating kernel expansions in loglinear time》）的随机线性投影。

     然后，他们考虑 PLM 中的权重矩阵总数 $m$$m$ ，并给每个矩阵赋予一个权重（即，$\lambda \in {\mathbb{R}}^m$$\lambda \in \mathbb R^m$）。然后，可训练参数为 ${\theta }^{d^{\prime }-m}\in {\mathbb{R}}^{d^{\prime }-m}$$\theta^{d^\prime-m}\in \mathbb R^{d^\prime-m}$ 以及 $\lambda$$\lambda$。

   • ADAPTERDROP：我们将 《AdapterDrop: On the Efficiency of Adapters in Transformers》 的方法应用于 T5 和 ADAPTER ，该方法通过删除 lower transformer layers 中的 adapters 来提高训练效率。因此，我们删除 T5_BASE 中 both the encoder and the decoder 的前五层中的 adapters 。

   • BITFIT：《Tinytl: Reduce memory, not parametersfor efficient on-device learning》提出只训练 bias 而不训练权重。通过不存储 intermediate activations ，该方法实现了可观的内存节省。 《Bitfit: Simple parameter-efficient fine-tuning for transformer-based masked language models》研究了一种类似的只微调 bias 和 final output layer 的方法。

4. 我们的方法：

   • PHM-Adapter：我们如式 $\mathbf{W}=\sum _{i=1}^n{\mathbf{A}}_i\otimes {\mathbf{B}}_i$$\mathbf W = \sum_{i=1}^n \mathbf A_i\otimes \mathbf B_i$ 所示使用 PHM layer 学习 adapters 的权重。据我们所知，我们是第一个利用 PHM 思想进行大型语言模型的高效微调的。

   • Compacter ：我们如 $\mathbf{W}=\sum _{i=1}^n{\mathbf{A}}_i\otimes {\mathbf{B}}_i={\mathbf{A}}_i\otimes ({\mathbf{s}}_i{\mathbf{t}}_i)$$\mathbf W = \sum_{i=1}^n \mathbf A_i\otimes \mathbf B_i = \mathbf A_i\otimes (\mathbf s_i\mathbf t_i)$ 所述使用 LPHM layers 学习 adapters 的权重。

     我们还探索了一个变体，其中我们在每个 transformer block 中只保留 feed-forward layer 之后后的 Compacter layer （COMPACTER++ ）。

5. GLUE Benchmark 的结果：Table 1 显示了 T5_BASE 在 GLUE 上的结果（T5_SMALL 的结果见附录 E ）。Compacter 和Compacter++ 优于所有以前的 parameter-efficient 方法，并与 full fine-tuning 的性能相当，而仅训练 0.07% （Compacter ）和 0.047% （Compacter++ ）的参数。我们现在详细讨论不同的方法。

   • Adapter-based methods：

     • 对于Adapter，not fine-tuning the classifier 会大大损害性能（85.78 vs 86.48 ， 参见附录C ）。

     • 只在 self-attention 模块之后添加 adapters 的 PFEIFFER-ADAPTER 优于标准的 ADAPTER ，而且参数更高效。

     • ADAPTERDROP 的性能低于微调，表明 encoder-decoder T5 model 中适配 lower layers 对其性能很重要。

     • 另外，ADAPTER-LOWRANK 的表达能力不足以在这个 benchmark 中表现良好。

       ADAPTER-LOWRANK 的性能比 Adapter 更好，而且参数少得多，因此性价比更高。

   • Prompt tuning and BitFit：

     • 对于 PROMPT TUNING ，我们观察到高度依赖初始化和学习率，这也在 《Prefix-tuning: Optimizing continuous prompts for generation》中得到确认。我们使用多个随机种子进行了实验，但性能明显落后于微调，尤其是在低资源数据集上。这可以用这些方法的灵活性有限来解释，因为所有信息都需要包含在 prefixes 中。因此，该方法只允许与模型的其余部分有限的交互，良好的性能需要非常大的模型（《The power of scale for parameter-efficient prompt tuning》）。此外，序列长度的增加会导致内存开销，prompt tokens 的数量受模型最大输入长度的限制，这使得这种方法缺乏灵活性，不适合处理大上下文。

     • 类似地，BITFIT 的表现也比微调差，尤其是在低资源数据集上。

   • Intrinsic-SAID：有趣的是，只微调模型参数的 0.009% 的 INTRINSIC-SAID 的平均性能仅比 fine-tuning baseline 低 1.05 分。但是，该方法有两个实际缺点：存储随机投影矩阵会导致可观的内存开销、训练非常缓慢。

     尽管如此，INTRINSIC-SAID 提供了关于 pretrained 语言模型的低秩优化有效性的见解（《Intrinsic dimensionality explains the effectiveness of language model fine-tuning》），这推动了 Compacter 等 parameter-efficient 方法的发展。

   • Compacter：对于我们提出的方法，我们观察到对 PHM-ADAPTER 和 COMPACTER++ 微调输出层没有太大的性能差异（见附录 C ）。

     • PHM-ADAPTER 将 ADAPTER 的参数从 0.83% 降低到 0.179% （n=12 ），4.64 倍更高的参数效率。

     • COMPACTER 将参数数量降低到了显著的 0.073% ，同时获得了与 full fine-tuning 相当的结果。

     • 通过删除自注意力之后的 COMPACTER layer ，COMPACTER++ 获得了类似的性能，同时将参数降低到 0.047% 。

     不更新 layer normalization 的适配可能是一个进一步减少参数的有前途的方向，例如，基于最近的 normalization-free models 的进展（《High-performance large-scale image recognition without normalization》），我们留待未来工作。

   

6. SUPERGLUE Benchmark 的结果：Table 2 显示了这些方法在 SUPERGLUE 上的性能。我们在附录 D 中包括所有 $n$$n$ 的值。我们观察到与 Table 1 中的 GLUE 相似的模式。COMPACTER 和 COMPACTER++ 相比其他 parameter-efficient fine-tuning 方法的性能明显更好，甚至优于 full fine-tuning ，同时只训练 0.073% 和 0.048% 的参数。

   

7. Efficiency Evaluation：在本节中，我们在相同的计算预算下比较我们提出的方法，与各种最近提出的 parameter-compact fine-tuning 方法的效率。为此，我们在 MNLI 数据集上对所有方法训练 1 epoch 。

   • 对于每个方法，我们选择最大的 batch size 从而适合固定的 GPU 内存预算（24 GB ）。

   • 对于所有 adapter-based 方法，我们将 bottleneck size 固定为 24 。

   • 对于 PROMPT TUNING ，我们将 prefix tokens 数量设置为 100 。

   • 对于 INTRINSIC-SAID，我们设置 $d^{\prime }=1400$$d^\prime=1400$。

   • 最后，对于 COMPACTER 及其变体，我们设置 $n=4$$n=4$ 。

   在Table 3 中，我们报告每个任务的 trained parameters 的百分比、每个 epoch 的训练时间、以及每个方法的内存使用情况。 此外，Figure 1 显示了定量性能、trained parameters 百分比、以及内存占用之间的权衡。

   我们的方法具有几个有吸引力的属性：

   • 根据 Table 1 中的分析，COMPACTER 和 COMPACTER++ 获得了高 GLUE 分数（平均跨所有任务）与明显更少的参数规模（分别为 0.073% 和 0.047% ）的最佳组合。

   • 除了 COMPACTER++ 的表现良好之外， COMPACTER++ 的内存需求是所有方法中第二低的，相比 T5_BASE 减少了 41.94% 的内存使用。

   • COMPACTER 和 COMPACTER++ 也明显加速了训练，相对于 T5_BASE 分别减少了 13.41% 和 26.51% 的训练时间。

   • 另一方面，BITFIT 通过不存储 intermediate activations ，具有最低的内存需求（相对于 T5_BASE 减少 64.2% ），并且是最快的（相对于 T5_BASE 减少 35.06% 的训练时间），代价是定量性能更差（低 1.53 分，参见 Table 1 ）。

   除此之外我们还可以看到：

   • 依靠 pruning adapters 的方法，即 PFEIFFER-ADAPTER 和 ADAPTERDROP 减少了内存开销并改进了训练时间。然而，与COMPACTER++ 相比，它们的参数数目几乎高出一个数量级，分别多出 9.1 倍和 10.5 倍的参数。

   • 此外， PFEIFFER-ADAPTER 的性能与 full fine-tuning 相当（略有下降，参考 Table 1 ）， ADAPTERDROP 获得了更低的性能（跨所有任务平均降低0.65 ）。我们注意到，从 transformer layers 中删除 adapters 是一种通用技术，可以进一步提高 COMPACTER 的效率，我们留待未来工作。

   • 类似地，尽管 ADAPTER-LOWRANK 减少了内存开销并提高了训练时间，但它的性能更差（Table 1 ，跨所有任务平均降低0.68 分）。

   • 在另一个方面，INTRINSIC-SAID 和 PROMPT TUNING 方法的参数最少。但是，它们都带来很高的内存开销（分别相对于 full fine-tuning 高出 41.14% 和 24.42% ），训练最慢，其性能明显落后于 full fine-tuning （见 Table 1 ）。

     • 对于 PROMPT TUNING ，高内存成本是因为 self-attention 需要存储完整的注意力矩阵以进行梯度计算，其计算复杂度与序列长度呈二次方关系。

     • 对于 INTRINSIC-SAID ，高内存需求是由于存储大的随机投影矩阵，这限制了 INTRINSIC-SAID 在微调大型 PLM 上的应用。此外，尽管理论上可以在 $O(D\log d^{\prime })$$O(D\log d^\prime)$ 的复杂度下通过 FastFood transform 进行投影计算，但即使使用 CUDA 实现，实践中也非常缓慢。对于具有大量参数的 pretrained 语言模型，为完整参数空间分配随机投影是不可行的。虽然 Fastfood transform 通过将内存使用从 $O(D{d}^{\prime })$$O(Dd^\prime)$ 降低到 $O(D)$$O(D)$ 部分地缓解了此问题，但此类方法的内存问题仍未解决。

   总体而言，鉴于大型 transformer 模型具有数百万甚至数十亿个参数，如 T5 ，efficient memory usage 对实际应用至关重要。COMPACTER 和 COMPACTER++ 在性能、内存使用、以及训练时间方面提供了很好的权衡。我们发现只需要相对较少的额外参数即可进行 PLM 的实用的和高效的适配。

   

   

8. Low-resource Fine-tuning：与 T5_BASE 相比，COMPACTER++ 的参数明显更少。在本节中，我们研究这是否可以帮助COMPACTER++ 在资源有限的设置中取得更好的泛化。我们对 GLUE 中的每个数据集进行降采样，样本量范围为{100,500,1000,2000,4000} 。Figure 4 显示了结果。COMPACTER++ 在低资源设置中明显改进了结果，表明它在这种情况下的微调更有效。

   

九、BitFit[2021]

论文：《BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models》

1. 大型 pre-trained transformer based 语言模型，特别是来自 BERT 系列的 bidirectional masked language models （BERT、Roberta 、Spanbert），为许多 NLP 任务带来了显著改进。在常用范式下，模型在大型的、标注的语料上用 LM objective 被预训练，然后在 task-specific 的监督数据上微调。这些模型的 large size 使它们的训练和（更重要的是）部署变得昂贵。 加上对微调必须在何种程度上改变原始模型的理论疑问，已促使研究人员考虑 finetuning variants，其中识别出模型参数的一个小的子集，这个参数子集需要为下游任务的良好性能而进行参数更新，同时保持所有其他参数不变。

   我们提出了一种简单有效的微调方法，其具有以下优点：

   • 每个被微调的任务只改变很少的参数。

   • 为每个任务改变相同的参数集合（ task-invariance）。

   • 被改变的参数在整个参数空间中都是隔离（isolated ）的且局部化（localized ）的。

   • 对于小数据集到中型数据集，仅改变这些参数达到与 full fine-tuning 相同的任务准确率，有时甚至能改善结果。

   注意：对于大型数据集，BitFit 的效果较差。

   具体而言，我们展示 fine-tuning only the bias-terms 而冻结网络的大部分是非常有效的。此外，如果我们允许任务在性能上稍微下降，我们可以只微调两个 bias 部分（"query" bias 、以及 "middle-of-MLP" bias），这占模型的 bias 参数的一半，且仅占所有模型参数的 0.04% 。

   这一结果在内存受限环境中部署 multi-task fine-tuned models 、以及在大多数参数固定的情况下启用 trainable hardware implementations 方面具有很大实用价值。 此外，它也开辟了一系列关于 pre-trained networks 中 bias 项的作用、以及微调过程的 dynamics 的研究方向。

2. 相关工作：识别最小的参数集合从而微调该参数集合从而在最终任务中取得良好性能，这个问题与模型压缩的实际问题相关，也与预训练和微调过程本质、预训练过程和微调过程诱导的 “语言知识” 、以及它们泛化到不同任务的程度等更基本问题都相关。

   • Over-parameterization ：大型语言模型被证明是过参数化的：它们包含的参数多于推理所需的参数。《Compressing BERT: studying the effects of weight pruning on transfer learning》 已经证明，可以在微调中利用过参数化（overparmeterization ）：裁剪后的网络在 transfer setting 中表现良好。我们的工作设置与之互补，其中整个模型都保留下来，但只更新某些参数。

     这些工作的显著成功引发了对 “彩票假设” （lottery-ticket hypothesis ）的兴趣（《The lottery ticket hypothesis: Finding sparse, trainable neural networks》、《The lottery ticket hypothesis for pretrained BERT networks》、《When BERT plays the lottery, all tickets are winning》）：大模型在预训练中只需要诱导（以高的概率）已存在的子网络（这个子网络被具有正确 inductive bias 所初始化），并发现这些稀疏网络通常能很好地迁移到不同的任务。

   • Bias terms：文献中很少讨论 bias 项及其重要性。

     • 《Masking as an efficient alternative to finetuning for pretrained language models》 描述了一种 masking-based 的微调方法，明确提到忽略 bias 项，因为处理它们 “没有观察到对性能的积极影响”。

     • 一个例外是 《Bias also matters: Bias attribution for deep neural network explanation》 的工作，他们从 attribution 方法的角度分析了 bias 项。他们证明了 last layer bias values 负责 predicted class ，并提出了反向传播其重要性的方法。

     • 《Extreme adaptation for personalized neural machine translation》 微调了 NMT systems 的 output softmax 的 bias，从而个性化 output vocabulary 。

     • 《Training batchnorm and only batchnorm: On the expressive power of random features in cnns》 证明了仅通过训练 batch-norm layers 可以使随机初始化的 CNN 达到合理的准确率。

     • 最后，最接近我们工作的是，《Tiny transfer learning: Towards memory-efficient on-device learning》 证明了类似于我们的 bias-only fine-tuning 对 pre-trained computer vision models的适配也是有效的。

     我们的工作从经验上展示了 bias parameters改变网络行为的重要性和力量，呼吁我们进一步分析和关注 bias 项。

9.1 背景：fine-tuning 和 parameter-efficient fine-tuning

1. 在通过模型微调的迁移学习中， input 被馈入 pre-trained encoder network 并生成 contextualized representations 。 然后，在 encoder 顶部添加 task-specific classification layer （这里我们考虑线性分类器），并将整个网络（encoder + task-specific classifiers）端到端地训练从而最小化任务损失。

2. 理想的属性：尽管 fine-tuning per-task 非常有效，但它也会导致每个 pre-trained task 都有一个唯一的、大型的模型，这使得很难推断微调过程中发生了什么改变；并且随着任务数量的增加，部署也变得困难。理想情况下，我们希望微调方法：

   • (1)：与 fully fine-tuned model 的结果相媲美。

   • (2)：仅改变模型参数的一小部分。

   • (3)：允许任务以流式的形式到达，而不是需要同时访问所有数据集。

   • (4)：对于高效的 hardware based 的部署，如果满足以下条件那就更好：跨不同任务之间，需要改变取值的参数集合是相同的。

3. Learning vs. Exposing：是否可以满足上述要求取决于有关大型 pre-trained LM 的微调过程本质的一个基本问题：微调过程诱导了学习新能力的程度有多大、以及暴露在预训练过程中学到的已有能力的程度。

4. 现有方法：两项最近的工作已经证明，通过仅改变参数的一个小的子集就可以适应各种最终任务。

   • 第一项工作，《Parameter-efficient transfer learning for NLP》 通过在 pre-trained model 的层之间注入小的、可训练的 task-specific "adapter" modules 来实现这一目标，其中原始参数在任务之间共享。

   • 第二项工作，《Parameter-efficient transfer learning with diff pruning》 的 "Diff-Pruning"，通过将稀疏的、 task-specific difference-vector 添加到原始参数来实现相同的目标，其中原始参数保持固定并在任务之间共享。 difference-vector 经过正则化从而是稀疏的。

   两种方法都仅为每个任务添加很少的可训练参数（准则 (2) ），并且每个任务都可以在不重新访问前面的任务的情况下被添加（准则 (3)）。它们也部分满足准则 (1)，与 full fine-tuning 相比性能只有轻微的下降。

   adapter method 还支持准则 (4)，但是 Diff-Pruning 不支持准则 (4)。 然而，与 Adapter 方法相比，Diff-Pruning 的参数效率更高（特别是它不添加新参数），并且也取得了更好的任务分数。在实验部分，我们将我们的方法与 Diff-Pruning 和 Adapters 进行了比较，结果表明我们在满足标准 (4) 的同时，在许多任务上表现更佳。

   Diff-Pruning 的思想比较简单：固定 pretrained parameters $\theta$$\theta$ ，学习一个 diff vector ${\delta }_{\tau }$$\delta_\tau$，使得 task-specific parameter 为：${\theta }_{\tau }=\theta +{\delta }_{\tau }$$\theta_\tau = \theta+ \delta_\tau$ 。我们最小化经验风险函数：

   $$\begin{array}{}\text{(7)}& \underset{{\delta }_{\tau }}{min}L({\mathcal{D}}_{\tau },f_{\tau },\theta +{\delta }_{\tau })+\lambda \times R(\theta +{\delta }_{\tau })\end{array}$$

   其中：

   • ${\mathcal{D}}_{\tau }$$\mathcal D_\tau$ 为训练数据集，$f_{\tau }$$f_\tau$ 为神经网络，$L(\cdot )$$L(\cdot)$ 为损失函数。

   • $\lambda$$\lambda$ 为正则化系数，$R(\cdot )$$R(\cdot)$ 为正则化项。作者正则化 ${\delta }_{\tau }$$\delta_\tau$ ，使得它非常稀疏，从而满足：$\parallel {\delta }_{\tau }{\parallel }_0\ll \parallel \theta {\parallel }_0$$\|\delta_\tau\|_0\ll \|\theta\|_0$ 。因此我们可以选择正则化项为：

     $$\begin{array}{}\text{(8)}& R(\theta +{\delta }_{\tau })=\parallel {\delta }_{\tau }{\parallel }_0\end{array}$$

   因为 L0 正则化难以优化，因此作者采用一个 binary mask vector ${\overrightarrow{\mathbf{z}}}_{\tau }\in \{0,1{\}}^d$$\mathbf {\vec z}_\tau\in \{0,1\}^d$ 来获得 ${\delta }_{\tau }$$\delta_\tau$：

   $$\begin{array}{}\text{(9)}& {\delta }_{\tau }={\overrightarrow{\mathbf{z}}}_{\tau }\odot {\overrightarrow{\mathbf{w}}}_{\tau }\end{array}$$

   其中 ${\overrightarrow{\mathbf{w}}}_{\tau }\in {\mathbb{R}}^d$$\mathbf{\vec w}_\tau\in \mathbb R^d$ 为待学习的 dense vector 参数。

   可以进一步松弛 ${\overrightarrow{\mathbf{z}}}_{\tau }$$\mathbf{\vec z}_\tau$ 到 $[0,1{]}^d$$[0,1]^d$ 上的连续空间从而进行梯度下降。其中：

   • $\mathbf{u}\sim \mathcal{U}(0,1)$$\mathbf u\sim \mathcal U(0,1)$ 为 0 ~ 1 上的均匀分布的随机变量。

   • ${\mathbf{s}}_{\tau }=\sigma (\log \mathbf{u}-\log (1-\mathbf{u})+{\overrightarrow{\alpha }}_{\tau })$$\mathbf s_\tau = \sigma(\log \mathbf u - \log(1-\mathbf u) + \vec \alpha_\tau)$ 为 0 ~1 上的连续变量。其中 ${\overrightarrow{\alpha }}_{\tau }\in {\mathbb{R}}^d$$\vec \alpha_\tau\in \mathbb R^d$ 的每个维度代表 ${\overrightarrow{\mathbf{z}}}_{\tau }$$\mathbf{\vec z}_\tau$ 对应维度的二元 Bernoulli 分布的参数。

   • ${\overline{\mathbf{s}}}_{\tau }={\mathbf{s}}_{\tau }\times (r-l)+l$$\bar {\mathbf s}_\tau = \mathbf s_\tau\times (r-l) + l$ 。$l<0$$l\lt 0$ ，而 $r>1$$r\gt 1$ ，它们为两个常量，用于限制 ${\mathbf{s}}_{\tau }$$\mathbf s_\tau$ 到区间 $(l,r{)}^d$$(l,r)^d$ 之间。

   • ${\mathbf{z}}_{\tau }=min(1,max(0,{\overline{\mathbf{s}}}_r))$$\mathbf z_\tau = \min(1, \max(0, \bar{\mathbf s}_r))$ 。

   此时，作者优化 L0 正则化项的期望：

   $$\begin{array}{}\text{(10)}& \mathbb{E}[\parallel {\delta }_{\tau }{\parallel }_0]=\sum _{i=1}^d\sigma ({\alpha }_{\tau ,i}-\log \frac{-l}{r})\end{array}$$

   最终的目标函数为：

   $$\begin{array}{}\text{(11)}& \underset{{\overrightarrow{\alpha }}_{\tau },{\overrightarrow{\mathbf{w}}}_{\tau }}{min}{\mathbb{E}}_{\mathbf{u}\sim \mathcal{U}(0,1)}[L({\mathcal{D}}_{\tau },f_{\tau },\theta +{\overrightarrow{\mathbf{z}}}_{\tau }\odot {\overrightarrow{\mathbf{w}}}_{\tau })]+\lambda \sum _{i=1}^d\sigma ({\alpha }_{\tau ,i}-\log \frac{-l}{r})\end{array}$$

9.2 BitFit

1. 我们提出了一种称为 BIas-Term FIne-Tuning: BitFit 的方法，在该方法中，我们冻结了 transformer-encoder 的大多数参数，仅训练 bias-terms 和 task-specific classification layer。 BitFit 具有三个关键特性：

   • (1)：匹配 fully fine-tuned model 的结果。

   • (2)：允许任务以流式的形式到达，因此不需要同时访问所有数据集。

   • (3)：仅微调模型参数的一小部分。

   该方法是 parameter-efficient 的：每个新任务仅需要存储 bias terms parameter 向量（占总参数规模的不到 0.1% ），以及 task-specific final linear classifier layer 。

2. 具体而言，BERT encoder 由 $L$$L$ 层组成，其中每层 $l$$l$ 以 $M$$M$ 个 self-attention heads 开始（即，多头自注意力，$M$$M$ 个头），其中自注意力头 $(m,l)$$(m,l)$ 具有 key encoder, query encoder, value encoder，每个 encoder 的形式都是线性层，$1\le m\le M,1\le l\le L$$1\le m\le M, 1\le l\le L$ ：

   $$\begin{array}{}\text{(12)}& \begin{array}{c}{\mathbf{Q}}^{m,l}\left(\overrightarrow{\mathbf{x}}\right)={\mathbf{W}}_q^{m,l}\overrightarrow{\mathbf{x}}+{\overrightarrow{\mathbf{b}}}_q^{m,l}\\ {\mathbf{K}}^{m,l}\left(\overrightarrow{\mathbf{x}}\right)={\mathbf{W}}_k^{m,l}\overrightarrow{\mathbf{x}}+{\overrightarrow{\mathbf{b}}}_k^{m,l}\\ {\mathbf{V}}^{m,l}\left(\overrightarrow{\mathbf{x}}\right)={\mathbf{W}}_v^{m,l}\overrightarrow{\mathbf{x}}+{\overrightarrow{\mathbf{b}}}_v^{m,l}\end{array}\end{array}$$

   其中，$\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 是前一个 encoder layer 的输出（对于第一个 encoder layer ，$\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 是 embedding layer 的输出）。 然后，这些结果使用注意力机制（不涉及新参数）来组合：

   $$\begin{array}{}\text{(13)}& {\overrightarrow{\mathbf{h}}}_1^l=\text{Att}({\mathbf{Q}}^{1,l}\left(\overrightarrow{\mathbf{x}}\right),{\mathbf{Q}}^{1,l}\left(\overrightarrow{\mathbf{x}}\right),{\mathbf{Q}}^{1,l}\left(\overrightarrow{\mathbf{x}}\right),\cdots ,{\mathbf{Q}}^{1,M}\left(\overrightarrow{\mathbf{x}}\right),{\mathbf{Q}}^{1,M}\left(\overrightarrow{\mathbf{x}}\right),{\mathbf{Q}}^{1,M}\left(\overrightarrow{\mathbf{x}}\right))\end{array}$$

   得到的结果然后被馈入带有 layer-norm (LN) 的一个 MLP：

   $$\begin{array}{}\text{(14)}& \begin{array}{c}{\overrightarrow{\mathbf{h}}}_2^l=\text{Dropout}({\mathbf{W}}_{m1}^l{\overrightarrow{\mathbf{h}}}_1^l+{\overrightarrow{\mathbf{b}}}_{m1}^l)\\ {\overrightarrow{\mathbf{h}}}_3^l={\overrightarrow{\mathbf{g}}}_{\text{LN1}}^l\odot \frac{({\overrightarrow{\mathbf{h}}}_2^l+\overrightarrow{\mathbf{x}})-\mu }{\sigma }+{\overrightarrow{\mathbf{b}}}_{\text{LN1}}^l\\ {\overrightarrow{\mathbf{h}}}_4^l=\text{GELU}({\mathbf{W}}_{m2}^l{\overrightarrow{\mathbf{h}}}_3^l+{\overrightarrow{\mathbf{b}}}_{m2}^l)\\ {\overrightarrow{\mathbf{h}}}_5^l=\text{Dropout}({\mathbf{W}}_{m3}^l{\overrightarrow{\mathbf{h}}}_4^l+{\overrightarrow{\mathbf{b}}}_{m3}^l)\\ {\text{out}}^l={\overrightarrow{\mathbf{g}}}_{\text{LN2}}^l\odot \frac{({\overrightarrow{\mathbf{h}}}_5^l+{\overrightarrow{\mathbf{h}}}_3^l)-\mu }{\sigma }+{\overrightarrow{\mathbf{b}}}_{\text{LN2}}^l\end{array}\end{array}$$

   其中，所有的 ${\overrightarrow{\mathbf{b}}}^l$$\mathbf{\vec b}^l$ 向量为 bias 项。

   结构为：

   ----------------------------skip connection-----

   / \

   x -> attention - > h1 -> linear with dropout -> + -> LN -> linear with Gelu -> linear with dropout -> + -> LN -> output

   \ /

   ----------------skip connection-----------------

   bias 项是加性（additive）的，且对应网络的很小一部分；在 BERT_BASE 和 BERT_LARGE 中，bias 参数分别占每个模型总参数数的 0.09% 和 0.08% 。

   我们展示通过冻结除了 bias 项以外的所有参数，并仅仅微调 bias 项 ${\overrightarrow{\mathbf{b}}}^l$$\mathbf{\vec b}^l$ ，我们达到的迁移学习性能与整个网络上的微调性能相媲美（有时甚至更好）。我们还展示，可以仅微调 bias 参数的一个子集，即与 query 的 bias 、第二个 MLP 的 bias （${\overrightarrow{\mathbf{b}}}_q^i$$\mathbf{\vec b}_q^{i}$ 和 ${\overrightarrow{\mathbf{b}}}_{m2}^l$$\mathbf{\vec b}_{m2}^l$），并且仍达到可与 full-model fine-tuning 相媲美的准确率。

9.3 实验

1. 数据集：GLUE benchmark 。

   与以前的工作一致（《Parameter-efficient transfer learning for NLP》、《Parameter-efficient transfer learning with diff pruning》），我们排除了 WNLI 任务，在该任务上 BERT 模型并未优于 the majority baseline 。

2. 模型和优化：我们使用公开可用的 pre-trained BERT_BASE, BERT_LARGE 和 pre-trained RoBERTa_BASE 模型，使用HuggingFace 接口和实现。附录 §A.2 列出了 optimization 的详细信息。

3. 与 Diff-Pruning 和 Adapters 的比较：在第一个实验中，我们将 Bit-Fit 与 Diff-Pruning 方法和 Adapters 方法进行了比较，当使用更少的参数时。Table 1 报告了与《Parameter-efficient transfer learning for NLP》、《Parameter-efficient transfer learning with diff pruning》 等报告的 Adapter 结果、Diff-Pruning 结果相比的验证集和测试集性能。该实验使用 BERT_LARGE 模型。

   • 在验证集上，BitFit 与 Diff-Pruning 相比，在 9 个任务中的 4 个上表现更好，而使用的可训练参数少 6倍。

   • 在测试集上，BitFit 与 Diff-Pruning 相比有 2 个明显的胜利，与 Adapters 相比有 4 个明显的胜利，同时使用的参数比 Adapters 少 45 倍。

   

4. 不同的 Base-models ：我们在不同的 base 模型（较小的 BERT_BASE 、以及表现更好的 RoBERTa_BASE ）上重复实验。Table 2 中的结果表明趋势与 Table 1 保持一致。

   

5. bias 参数特殊吗：bias 参数特殊，还是任何随机的参数子集都可以？我们从整个模型中随机采样了与 BitFit 中一样多的参数，仅对它们进行了微调（Table 3 中的 "rand uniform" 行）。结果在所有任务上都显著更差。如果我们随机采样参数矩阵中的完整行或完整列，结果也是类似的（Table 3 中的 "rand row/col" 行）

   

6. 更少的 bias 参数：我们可以仅微调 bias 参数的一个子集吗？

   我们将 bias 向量 $\overrightarrow{\mathbf{b}}$$\mathbf{\vec b}$ 的变化量定义为 $\frac{1}{\text{dim}\left(\overrightarrow{\mathbf{b}}\right)}{\Vert {\overrightarrow{\mathbf{b}}}_0-{\overrightarrow{\mathbf{b}}}_F\Vert }_1$$\frac{1}{\text{dim}\left(\mathbf{\vec b}\right)}\left\|\mathbf{\vec b}_0 - \mathbf{\vec b}_F\right\|_1$，即 LM 上的初始值 ${\overrightarrow{\mathbf{b}}}_0$$\mathbf{\vec b}_0$ 和微调后的值 ${\overrightarrow{\mathbf{b}}}_F$$\mathbf{\vec b}_F$ 之间在所有维度上的平均绝对变化。 Figure 1 显示了每一层每个 bias 项的变化量，针对 RTE 任务（其他任务看起来非常相似，见附录 §A.4 ）。

   • "key" bias ${\overrightarrow{\mathbf{b}}}_k$$\mathbf{\vec b}_k$ 的变化为零，这与 《Multi-head attention: Collaborate instead of concatenate》 的理论观察一致。

   • 相比之下，"query" bias ${\overrightarrow{\mathbf{b}}}_q$$\mathbf{\vec b}_q$ 和中间 MLP 层的 bias ${\overrightarrow{\mathbf{b}}}_{m2}$$\mathbf{\vec b}_{m2}$（将输入从 768 维映射到 3072 维）的变化最大。

   Table 3 报告了仅微调 BERT_BASE 模型的 ${\overrightarrow{\mathbf{b}}}_q$$\mathbf{\vec b}_q$ 和 ${\overrightarrow{\mathbf{b}}}_{m2}$$\mathbf{\vec b}_{m2}$ 时的验证集结果。结果与微调所有 bias 参数的结果只有轻微的下降。仅微调 ${\overrightarrow{\mathbf{b}}}_q$$\mathbf{\vec b}_q$ 一项、或仅微调 ${\overrightarrow{\mathbf{b}}}_{m2}$$\mathbf{\vec b}_{m2}$ 一项，会导致明显较差的结果，这表明这两种 bias 类型都是必要的。如预期的那样，使用 frozen BERT_BASE 模型会产生更差的结果。

   

7. Generalization gap ：尽管在大多数情况下，full fine-tuning 几乎达到 100% 的训练准确率，但我们发现 BitFit 模型的 generalization gap （训练误差与测试误差之间的差异）要明显更小。

8. Token-level tasks：GLUE 任务都是 sentence level的。 我们还对 PTB POS-tagging 进行了 token-level 实验。BERT_BASE、BERT_LARGE 和 RoBERTa_BASE 的 full fine-tuning 结果分别为 97.2 、97.4、97.2，而 BitFit 结果分别为 97.2、97.4、97.1。

9. 训练数据的规模：GLUE 结果表明，BitFit 达到 full fine-tuning 性能的能力与训练数据集大小之间存在反相关。

   为了测试这一点（并验证另一个 token-level task ），我们在 SQuAD v1.0 的不同大小子集上进行了训练。Figure 2 中的结果显示了一个明确的趋势：

   • 在较小的数据集上，BitFit 明显优于full fine-tuning 。

   • 而当有更多可用的训练数据时，则full fine-tuning 优于BitFit 。

   我们得出结论：在中小数据集的情况下，BitFit 是一种值得考虑的 targetted finetuning method。

   

十、Towards a Unified View of Parameter-Efficient Transfer Learning

论文：《Towards a Unified View of Parameter-Efficient Transfer Learning》

1. 从 pre-trained language models: PLMs 进行迁移学习现已成为自然语言处理的主流范式，在许多任务上都能取得强大的性能。将通用的 PLM 适配到下游任务的最常见方式是：微调所有的模型参数（full fine-tuning ）。然而，这会为每个任务生成一份 fine-tuned model parameters 的副本，当应用于大量任务时，代价昂贵。随着 PLM 规模不断增大，从数亿（GPT-2 、BART）到数百亿（GPT-3）乃至万亿参数（《Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity》），这个问题尤为突出。

   为缓解这个问题，一些轻量化的替代方法被提出，只更新少量额外参数而让大多数 pretrained parameters 冻结。例如：

   • adapter tuning （《Parameter-efficient transfer learning for nlp》）在 pretrained network 的每一层插入小的 neural modules （称为adapters ），在微调期间仅仅训练这些 adapters 。

   • 受 prompting 方法成功启发（prompting 方法通过 textual prompts 来控制 PLMs ，参考 GPT-3、《Pretrain, prompt, and predict: A systematic survey of prompting methods in natural language processing》），prefix tuning （ 《Prefix-tuning: Optimizing continuous prompts for generation》）和 prompt tuning （《The power of scale for parameter-efficient prompt tuning》）在 input layers 或 hidden layers 之前追加额外的 $l$$l$ 个 tunable prefix tokens，在微调下游任务时仅仅训练这些 soft prompts 。

   • 最近，《LORA: Low-rank adaptation of large language models》 学习低秩矩阵来逼近 parameter updates 。

   我们在 Figure 1 中给出这些方法的示意图。人们报告这些方法在不同任务集上都展示了与 full fine-tuning 相媲美的性能，而且通常所需更新的参数数量仅仅是原始模型参数数量的 1% 以下。除了参数节省，parameter-efficient tuning 使得快速适配新任务时不会造成灾难性遗忘（《Adapter-Fusion: Non-destructive task composition for transfer learning》），并且通常在 out-of-distribution evaluation 中表现出更强的稳健性（《Prefix-tuning: Optimizing continuous prompts for generation》）。

   

   然而，我们认为这些 parameter-efficient tuning 方法成功的重要因素理解不足，它们之间的联系仍不清晰。本文旨在回答三个问题：

   • (1) ：这些方法之间如何关联？

   • (2)：这些方法是否共享某些设计元素，而这些设计元素对它们的有效性是必不可少的？如果答案是 yes，那么这些设计元素是什么？

   • (3) 每个方法的有效因素能否迁移到其他方法中从而产生更有效的变体？

   为回答这些问题，我们首先导出 prefix tuning 的另一形式，揭示 prefix tuning 与 adapters 的紧密联系。基于此，我们然后构想一个统一的框架，将上述方法表述为不同的、修改frozen PLMs 的 hidden representations 的方式。我们的统一框架沿一组共享的设计维度分解之前的方法，如执行 modification 的函数、施加修改的位置、以及如何整合修改。这个框架使我们能够在方法之间传递 design choices 从而提出新的变体，如具有多个 heads 的 adapters 。在实验中，我们首先展示现有的 parameter-efficient tuning 方法在 higher-resource 和具挑战性的任务上仍落后于 full fine-tuning，如 Figure 2 所示。然后我们利用统一框架识别关键的设计选择，并经验性地验证所提出的变体。我们在涵盖文本摘要、机器翻译、文本分类、以及通用语言理解的四个 NLP benchmarks 上的实验表明，所提出的变体使用的参数比现有方法更少，但效果更好，在所有四项任务上媲美了 full fine-tuning 的结果。

   作者提出的 MAM Adapter 结合了 prefix tuning 和 adapter：

   • 在 attention sub-layer 上应用 prefix tuning。

   • 在 ffn sub-layer 上应用 scaled parallel adapter。

   

10.1 基本概念

1. 对 Transformer 架构的回顾：Transformer 模型现已成为支撑大多数 SOTA 的 PLMs 的主要架构。本节为完整起见，我们回顾这个模型的公式。Transformer 模型由 $L$$L$ 个堆叠的 blocks 组成，每个 block （Figure 1 ）包含两类子层：多头自注意力层（multi-head self-attention）、全连接的前馈网络（feed-forward network: FFN）。

   • 注意力函数将 query $\mathbf{Q}\in {\mathbb{R}}^{n\times d_k}$$\mathbf Q\in \mathbb R^{n\times d_k}$ 和 key-value pairs $\mathbf{K}\in {\mathbb{R}}^{m\times d_k},\mathbf{V}\in {\mathbb{R}}^{m\times d_v}$$\mathbf K\in \mathbb R^{m\times d_k}, \mathbf V\in \mathbb R^{m\times d_v}$ 映射为：

     $$\begin{array}{}\text{(15)}& \text{Attn}(\mathbf{Q},\mathbf{K},\mathbf{V})=\text{softmax}\left(\frac{\mathbf{Q}{\mathbf{K}}^{\mathrm{\top }}}{\sqrt{d_k}}\right)\mathbf{V}\end{array}$$

     其中：$n$$n$ 为 query 的数量，$m$$m$ 为 key-value pairs 的数量，$d_k,d_v$$d_k,d_v$ 分别为各自的维度。

     多头注意力在 $N_h$$N_h$ 个头上并行执行注意力函数，每个头分别由 ${\mathbf{W}}_q^{(i)},{\mathbf{W}}_k^{(i)},{\mathbf{W}}_v^{(i)}\in {\mathbb{R}}^{d\times d_h}$$\mathbf W_q^{(i)},\mathbf W_k^{(i)},\mathbf W_v^{(i)}\in \mathbb R^{d\times d_h}$ 独立地参数化，从而将输入投影到 queries, keys, values 。给定要执行注意力的序列 $\mathbf{C}\in {\mathbb{R}}^{m\times d}$$\mathbf C\in \mathbb R^{m\times d}$ ，以及一个 query 向量 $\overrightarrow{\mathbf{x}}\in {\mathbb{R}}^d$$\mathbf{\vec x}\in \mathbb R^d$，多头注意力（multi-head attention: MHA ）在每个头上计算输出并将结果拼接起来：

     $$\begin{array}{}\text{(16)}& \begin{array}{c}\text{MHA}(\mathbf{C},\overrightarrow{\mathbf{x}})=\text{Concat}({\text{head}}_1,\cdots ,{\text{head}}_{N_h}){\mathbf{W}}_o\\ {\text{head}}_i=\text{Attn}(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q^{(i)},\mathbf{C}{\mathbf{W}}_k^{(i)},\mathbf{C}{\mathbf{W}}_v^{(i)})\end{array}\end{array}$$

     其中：${\mathbf{W}}_o\in {\mathbb{R}}^{d\times d}$$\mathbf W_o\in \mathbb R^{d\times d}$，$d$$d$ 是模型维度。

     MHA 中 $d_h$$d_h$ 通常设为 $d_h=\frac{d}{N_h}$$d_h = \frac{d}{N_h}$ 从而节省参数，这意味着每个注意力头在一个较低维空间中操作。

   • 另一个重要的子层是全连接的前馈网络，它由两个线性变换组成，中间添加非线性激活函数 ReLU：

     $$\begin{array}{}\text{(17)}& \text{FFN}\left(\overrightarrow{\mathbf{x}}\right)=\text{ReLU}(\overrightarrow{\mathbf{x}}{\mathbf{W}}_1,{\overrightarrow{\mathbf{b}}}_1){\mathbf{W}}_2+{\overrightarrow{\mathbf{b}}}_2\end{array}$$

     其中：${\mathbf{W}}_1\in {\mathbb{R}}^{d\times d_m},{\mathbf{W}}_2\in {\mathbb{R}}^{d_m\times d}$$\mathbf W_1\in \mathbb R^{d\times d_m}, \mathbf W_2\in \mathbb R^{d_m\times d}$；$d_m$$d_m$ 为 FFN 的中间层的维度， Transformer 通常使用较大的 $d_m$$d_m$ ，例如 $d_m=4d$$d_m=4d$ 。

   最后，对于这两种类型的子层，都应用了残差连接（residual connection ），并在残差连接之后馈入 layer normalization 。

   

2. 之前的 Parameter-Efficient Tuning 方法概览：下面及 Figure 1 中，我们介绍几种 SOTA 的 parameter-efficient tuning 方法。除非特别说明，它们只调优被添加的参数而保持 PLM 的参数冻结。

   • Adapters （《Parameter-efficient transfer learning for nlp》）：Adapters 方法在 transformer 层之间插入小的模块（adapter ）。adapter layer 一般使用 down-projection ${\mathbf{W}}_{\text{down}}\in {\mathbb{R}}^{d\times r}$$\mathbf W_\text{down}\in \mathbb R^{d\times r}$ 将输入 $\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$ 投影到由bottleneck 维度 $r<d$$r\lt d$ 指定的低维空间，后面接一个非线性激活函数 $f(\cdot )$$f(\cdot)$，然后是 up-projection $W_{\text{up}}\in {\mathbb{R}}^{r\times d}$$W_\text{up}\in \mathbb R^{r\times d}$ 。这些 adapters 被残差连接（residual connection ）所包围。因此，包含 adapter layer 的公式为：

     $$\begin{array}{}\text{(18)}& \overrightarrow{\mathbf{h}}\leftarrow \overrightarrow{\mathbf{h}}+f\left(\overrightarrow{\mathbf{h}}{\mathbf{W}}_{\text{down}}\right){\mathbf{W}}_{\text{up}}\end{array}$$

     《Parameter-efficient transfer learning for nlp》 在 transformer 层内串行地放置两个 adapters ，一个在 multi-head attention 后面、一个在 FFN 子层后面。 《Adapter-Fusion: Non-destructive task composition for transfer learning》 提出了一种更高效的 adapter 变体，只在 FFN 的 "add & layer norm" 子层后插入 adapter 。

   • Prefix Tuning （《Prefix-tuning: Optimizing continuous prompts for generation》）：受 textual prompting 方法成功的启发（《Pretrain, prompt, and predict: A systematic survey of prompting methods in natural language processing》），prefix tuning 在每层的 multi-head attention前追加 $l$$l$ 个 tunable prefix vectors 到 keys 和 values。具体而言，两组 prefix 向量 ${\mathbf{P}}_k,{\mathbf{P}}_v\in {\mathbb{R}}^{l\times d}$$\mathbf P_k,\mathbf P_v\in \mathbb R^{l\times d}$ 被拼接到原始 keys $\mathbf{K}$$\mathbf K$ 和 values $\mathbf{V}$$\mathbf V$ 。然后在新的 prefixed keys 和 prefix values 上执行多头注意力。因此，多头注意力变为：

     $$\begin{array}{}\text{(19)}& \begin{array}{c}\text{MHA}(\mathbf{C},\overrightarrow{\mathbf{x}})=\text{Concat}({\text{head}}_1,\cdots ,{\text{head}}_{N_h}){\mathbf{W}}_o\\ {\text{head}}_i=\text{Attn}(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q^{(i)},\text{concat}({\mathbf{P}}_k^{(i)},\mathbf{C}{\mathbf{W}}_k^{(i)}),\text{concat}({\mathbf{P}}_v^{(i)},\mathbf{C}{\mathbf{W}}_v^{(i)}))\end{array}\end{array}$$

     ${\mathbf{P}}_k$$\mathbf P_k$ 和 ${\mathbf{P}}_v$$\mathbf P_v$ 分别拆分成 $N_h$$N_h$ 个 head vectors ，${\mathbf{P}}_k^{(i)},{\mathbf{P}}_v^{(i)}\in {\mathbb{R}}^{l\times d/N_h}$$\mathbf P^{(i)}_k, \mathbf P^{(i)}_v \in \mathbb R^{l\times d/N_h}$ 表示第 $i$$i$ 个 head 的 prerfix 向量。prompt-tuning （《The power of scale for parameter-efficient prompt tuning》）简化了 prefix-tuning ，只在第一层的 input word embeddings 之前添加 prefix 向量。类似工作还包括 P-tuninng （ 《GPT understands, too》）。

   • LORA （《LORA: Low-rank adaptation of large language models》）：LORA 向 transformer 层内注入可训练的低秩矩阵，从而逼近 weight updates 。对于 pre-trained weight matrix $\mathbf{W}\in {\mathbb{R}}^{d\times k}$$\mathbf W\in \mathbb R^{d\times k}$ ，LORA 用低秩分解来表示权重矩阵的 update ：

     $$\begin{array}{}\text{(20)}& \mathbf{W}+\mathrm{\Delta }\mathbf{W}=\mathbf{W}+{\mathbf{W}}_{\text{down}}{\mathbf{W}}_{\text{up}}\end{array}$$

     其中 ${\mathbf{W}}_{\text{down}}\in {\mathbb{R}}^{d\times r},{\mathbf{W}}_{\text{up}}\in {\mathbb{R}}^{r\times k}$$\mathbf W_\text{down}\in \mathbb R^{d\times r}, \mathbf W_\text{up} \in \mathbb R^{r\times k}$ 是可训练的参数。如 Figure 1 所示，LORA 将这个 update 应用于多头注意力中 query projection matrix 和 value projection matrix $({\mathbf{W}}_q,{\mathbf{W}}_v)$$(\mathbf W_q, \mathbf W_v)$ 。

     对于多头注意力中线性投影的特定输入 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ ，LORA 修改投影输出 $\overrightarrow{\mathbf{h}}$$\mathbf {\vec h}$ 为:

     $$\begin{array}{}\text{(21)}& \overrightarrow{\mathbf{h}}\leftarrow \overrightarrow{\mathbf{h}}+s\times \overrightarrow{\mathbf{x}}{\mathbf{W}}_{\text{down}}{\mathbf{W}}_{\text{up}}\end{array}$$

     其中 $s\ge 1$$s \ge 1$ 是可调优的标量超参数。

     第二项 $s\times \overrightarrow{\mathbf{x}}{\mathbf{W}}_{\text{down}}{\mathbf{W}}_{\text{up}}$$s\times \mathbf{\vec x} \mathbf W_\text{down}\mathbf W_\text{up}$ 就是 LORA 增加的模块。$s$$s$ 类似于学习率。

   • 其他：其他 parameter-efficient tuning 方法还包括：

     • BitFit （《Bitfit: Simple parameter-efficient fine-tuning for transformer-based masked language-models》），只微调 pretrained 模型中的 bias 向量。

     • diff-pruning（《Parameter-efficient transfer learning with diff pruning》），学习一个稀疏的 parameter update vector 。

10.2 统一的视角

1. 我们首先推导 prefix tuning 的等价形式，以建立其与 adapters 之间的联系。然后，我们提出了一个统一框架用于 parameter-efficient tuning，该框架将几种前沿方法作为其实例。

10.2.1 更深入地看前 Prefix Tuning

1. 方程 ${\text{head}}_i=\text{Attn}(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q^{(i)},\text{concat}({\mathbf{P}}_k^{(i)},\mathbf{C}{\mathbf{W}}_k^{(i)}),\text{concat}({\mathbf{P}}_v^{(i)},\mathbf{C}{\mathbf{W}}_v^{(i)}))$$\text{head}_i = \text{Attn}\left(\mathbf{\vec x} \mathbf W_q^{(i)}, \text{concat}\left(\mathbf P_k^{(i)},\mathbf C \mathbf W_k^{(i)}\right), \text{concat}\left(\mathbf P_v^{(i)},\mathbf C \mathbf W_v^{(i)}\right)\right)$ 描述了 prefix tuning 的机制，通过在原始的注意力 keys 和 values 前追加 $l$$l$ 个 learnable vectors 来改变注意力模块。这里，我们推导出该公式的等价形式，并提供 prefix tuning 的另一种视角。为了描述方便，我们忽略了上标和下标 $i$$i$ ：

   $$\begin{array}{}\text{(22)}& \begin{array}{c}\text{head}=\text{Attn}(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q,\text{concat}({\mathbf{P}}_k,\mathbf{C}{\mathbf{W}}_k),\text{concat}({\mathbf{P}}_v,\mathbf{C}{\mathbf{W}}_v))\\ =\text{softmax}\left(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q\text{concat}{({\mathbf{P}}_k,\mathbf{C}{\mathbf{W}}_k)}^{\mathrm{\top }}\right)\left[\begin{array}{c}{\mathbf{P}}_v\\ \mathbf{C}{\mathbf{W}}_v\end{array}\right]\\ =(1-\lambda \left(\overrightarrow{\mathbf{x}}\right))\text{softmax}\left(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q{\mathbf{W}}_k^{\mathrm{\top }}{\mathbf{C}}^{\mathrm{\top }}\right)\mathbf{C}{\mathbf{W}}_v+\lambda \left(\overrightarrow{\mathbf{x}}\right)\text{softmax}\left(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q{\mathbf{P}}_k^{\mathrm{\top }}\right){\mathbf{P}}_v\\ =(1-\lambda \left(\overrightarrow{\mathbf{x}}\right))\underset{\text{standard attention}}{\underbrace{\text{Attn}(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q,\mathbf{C}{\mathbf{W}}_k,\mathbf{C}{\mathbf{W}}_v)}}+\lambda \left(\overrightarrow{\mathbf{x}}\right)\underset{\text{independent of }\mathbf{C}}{\underbrace{\text{Attn}(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q,{\mathbf{P}}_k,{\mathbf{P}}_v)}}\end{array}\end{array}$$

   其中：$\lambda \left(\overrightarrow{\mathbf{x}}\right)$$\lambda\left(\mathbf{\vec x}\right)$ 是一个标量，表示 prefix 上的归一化的注意力权重之和：

   $$\begin{array}{}\text{(23)}& \lambda \left(\overrightarrow{\mathbf{x}}\right)=\frac{\sum _i\exp {\left(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q{\mathbf{P}}_k^{\mathrm{\top }}\right)}_i}{\sum _i\exp {\left(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q{\mathbf{P}}_k^{\mathrm{\top }}\right)}_i+\sum _j\exp {\left(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q{\mathbf{W}}_k^{\mathrm{\top }}{\mathbf{C}}^{\mathrm{\top }}\right)}_j}\end{array}$$

   注意，在这个视角的 prefix tuning 中：

   • 第一项 $\text{Attn}(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q,\mathbf{C}{\mathbf{W}}_k,\mathbf{C}{\mathbf{W}}_v)$$\text{Attn}\left(\mathbf{\vec x} \mathbf W_q, \mathbf C\mathbf W_k, \mathbf C\mathbf W_v\right)$ 是原始没有 prefix 的注意力。

   • 而第二项 $\text{Attn}(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q,{\mathbf{P}}_k,{\mathbf{P}}_v)$$\text{Attn}\left(\mathbf{\vec x} \mathbf W_q, \mathbf P_k, \mathbf P_v\right)$ 是一个与 $\mathbf{C}$$\mathbf C$ 无关的 position-wise 修改。

   该给出了 prefix-tuning 的另一种视角：本质上是通过线性插值对原始的 head attention output $\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$ 进行 position-wise 修改：

   $$\begin{array}{}\text{(24)}& \begin{array}{c}\overrightarrow{\mathbf{h}}\leftarrow (1-\lambda \left(\overrightarrow{\mathbf{x}}\right))\overrightarrow{\mathbf{h}}+\lambda \left(\overrightarrow{\mathbf{x}}\right)\mathrm{\Delta }\overrightarrow{\mathbf{h}}\\ \mathrm{\Delta }\overrightarrow{\mathbf{h}}=\text{softmax}\left(\overrightarrow{\mathbf{x}}{\mathbf{W}}_q{\mathbf{P}}_k^{\mathrm{\top }}\right){\mathbf{P}}_v\end{array}\end{array}$$

2. 与 Adapters 的联系：我们定义 ${\mathbf{W}}_1={\mathbf{W}}_q{\mathbf{P}}_k^{\mathrm{\top }},{\mathbf{W}}_2={\mathbf{P}}_v$$\mathbf W_1 = \mathbf W_q\mathbf P_k^\top, \mathbf W_2 = \mathbf P_v$，定义 $f=\text{softmax}$$f=\text{softmax}$，并重写上式：

   $$\begin{array}{}\text{(25)}& \overrightarrow{\mathbf{h}}\leftarrow (1-\lambda \left(\overrightarrow{\mathbf{x}}\right))\overrightarrow{\mathbf{h}}+\lambda \left(\overrightarrow{\mathbf{x}}\right)f\left(\overrightarrow{\mathbf{x}}{\mathbf{W}}_1\right){\mathbf{W}}_2\end{array}$$

   这与 $\overrightarrow{\mathbf{h}}\leftarrow \overrightarrow{\mathbf{h}}+f\left(\overrightarrow{\mathbf{h}}{\mathbf{W}}_{\text{down}}\right){\mathbf{W}}_{\text{up}}$$\mathbf{\vec h}\leftarrow \mathbf{\vec h} + f\left(\mathbf{\vec h} \mathbf W_\text{down}\right) \mathbf W_\text{up}$ 的 adapter function 形式非常相似，除了 prefix tuning 执行加权求和而 adapter 没有加权。Figure 3b 展示了从这个视角的 prefix tuning 的计算图，允许我们像抽象 adapter 一样将 prefix tuning抽象为插件模块（plug-in module）。此外，我们注意到当 $l$$l$ 很小时，${\mathbf{W}}_1\in {\mathbb{R}}^{d_h\times l}$$\mathbf W_1 \in \mathbb R^{d_h \times l}$ 和 ${\mathbf{W}}_2\in {\mathbb{R}}^{l\times d_h}$$\mathbf W_2 \in \mathbb R^{l\times d_h}$ 是低秩矩阵，因此它们的功能与 adapters 中的 ${\mathbf{W}}_{\text{down}}$$\mathbf W_\text{down}$ 和 ${\mathbf{W}}_{\text{up}}$$\mathbf W_\text{up}$ 矩阵类似。

   这个视角还表明，prefix 向量的数量 $l$$l$ 与 adapters 中的 bottleneck 维度 $r$$r$ 具有类似作用：它们都代表计算 modification vector $\mathrm{\Delta }\overrightarrow{\mathbf{h}}$$\Delta \mathbf{\vec h}$ 的 rank limitation 。因此我们也将 $l$$l$ 称为 bottleneck 维度。直观而言，秩限制（ rank limitation ）意味着对任意输入 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ ，$\mathrm{\Delta }\overrightarrow{\mathbf{h}}$$\Delta \mathbf{\vec h}$ 都是相同的 $l$$l$ （或 $\le l$$\le l$ ）个基向量（basis vectors ）的线性组合。

   

3. 与 Adapters 的不同之处：除了门控变量 $\lambda$$\lambda$ 之外，我们强调 prefix tuning 与 adapters 之间的三个不同之处。

   • (1) ：如 Figure 3 所示，prefix tuning 使用 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ （PLM layer 的输入）来计算 $\mathrm{\Delta }\overrightarrow{\mathbf{h}}$$\Delta \mathbf{\vec h}$，而 adapters 使用 $\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$（PLM layer 的输出）。因此，prefix tuning 可以看作是对 PLM layer 的 “并行”计算，而典型的 adapters 是 “串行”计算。

   • (2) ：相比prefix tuning ，adapters 在插入位置上更加灵活：adapters 通常修改 attention output 或 FFN output ，而 prefix tuning 只修改每个 head 的 attention output 。经验上，这产生很大差异，我们将在实验章节中展示。

   • (3) ：方程 $\overrightarrow{\mathbf{h}}\leftarrow (1-\lambda \left(\overrightarrow{\mathbf{x}}\right))\overrightarrow{\mathbf{h}}+\lambda \left(\overrightarrow{\mathbf{x}}\right)f\left(\overrightarrow{\mathbf{x}}{\mathbf{W}}_1\right){\mathbf{W}}_2$$\mathbf{\vec h} \leftarrow \left(1-\lambda\left(\mathbf{\vec x}\right)\right) \mathbf{\vec h} + \lambda\left(\mathbf{\vec x}\right)f\left(\mathbf{\vec x} \mathbf W_1\right) \mathbf W_2$ 应用于每个 attention head，而 adapters 总是单头的，这使得prefix tuning 更具表达能力：

     • 对于 prefix tuning，head attention 的维度为 $d/N_h$$d/N_h$ ，如果 $l\ge d/N_h$$l\ge d/N_h$ ，我们基本上对每个head attention 都有 full rank updates 。

     • 但对整个 attention output，只有在 $r\ge d$$r\ge d$ 时 adapters 才有 full-rank updates 。

     值得注意的是，当 $l=r$$l=r$ 时，prefix tuning 没有比 adapters 增加更多参数。我们在实验章节经验地验证这样的 multi-head 的影响。

     full rank updates 指的是：update matrix $\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 是满秩的。

10.2.2 统一框架

1. 受 prefix tuning 与 adapters 之间联系的启发，我们提出一个通用框架，旨在统一几种 SOTA 的 parameter-efficient tuning 方法。具体而言，我们将它们建模为学习一个 modification vector $\mathrm{\Delta }\overrightarrow{\mathbf{h}}$$\Delta \mathbf{\vec h}$，其中 $\mathrm{\Delta }\overrightarrow{\mathbf{h}}$$\Delta \mathbf{\vec h}$ 被应用到各种 hidden representations 。正式地，我们将直接被修改的 hidden representation 表示为 $\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$，其中计算 $\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$ 的 PLM sub-module 的直接输入为 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ ，例如，$\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$ 和 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 可以分别是 attention output 和 attention input 。

   为描述这个 modification 过程，我们定义一组设计维度，不同方法可通过这些维度上的取值而实例化。我们下面详述这些设计维度，并展示 adapters 、prefix tuning 、LORA 在这些维度上的取值，如 Table 1 所示：

   • Functional Form ：是计算 $\mathrm{\Delta }\overrightarrow{\mathbf{h}}$$\Delta \mathbf{\vec h}$ 的具体函数。我们已在前面详述了 adapters 、prefix tuning 、以及 LORA 的函数形式。这些方法的函数形式类似，都有一个 proj_down --> nonlinear --> proj_up 的架构，而在 LORA 中 "nonlinear " 退化为恒等函数。

   • Modified Representation：是直接被修改的 hidden representation 。

   • Insertion Form：指被添加的模块如何插入到网络中。如前所述：

     • 传统的 adapters 以串行的方式插入特定位置，input 和 output 都是 $\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$ 。

     • prefix tuning 和 LORA 等价于将 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 作为输入的并行插入方式（虽然原本不是这种方式来描述）。

   • Composition Function：指向量 $\mathrm{\Delta }\overrightarrow{\mathbf{h}}$$\Delta \mathbf{\vec h}$ 如何与原始 hidden representation $\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$ 组合成新的 hidden representation 。例如，adapters 执行简单的加法组合，prefix tuning 使用门控的加法组合，LORA 按常数因子缩放 $\mathrm{\Delta }\overrightarrow{\mathbf{h}}$$\Delta \mathbf{\vec h}$并加到原始 hidden representation 上。

   

2. 我们注意到，Table 1 之外许多其他方法也适合这个框架。例如：

   • prompt tuning 以类似 prefix tuning 的方式修改第一层的 head attention。

   • 各种 adapter 变体（《Adapter-Fusion: Non-destructive task composition for transfer learning》、《Compacter: Efficient low-rank hypercomplex adapter layers》）也可以类似 adapter 进行表示。

   关键的是，这个统一框架允许我们沿这些设计维度研究 parameter-efficient tuning 方法，识别关键的设计选择，并在方法间迁移设计元素，如下节所示。