PEFT documentation

Lily:跨层低秩互连适配

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Lily:跨层低秩互连适配

Lily 是一种参数高效微调技术,它为适配器矩阵引入了跨层权重共享机制。与 LoRA 中为每一层学习独立的 AB 对不同,Lily 使用局部共享的 A 适配器(每个 A 在由 stride_A 个连续层组成的块内共享)以及全局共享的 B 专家(一个包含 num_B 个 B 适配器的小型池在所有层之间共享)。在每次前向传播中,一个轻量级的数据依赖路由器会计算 B 专家的 softmax 加权组合,从而生成该层和该输入的有效 B。

这种共享机制可将适配器矩阵的总数从 2N(标准 LoRA)减少到 N / stride_A + num_B,从而释放参数预算,以便使用 大得多的秩 r——通常是 LoRA 中所用秩的 2×–4×。更高的秩和更好的互联性会增加权重更新 ΔW = A × combined_B 的有效秩,从而带来更好的适配性能。

由于 B 组合是数据依赖的(路由器权重在运行时取决于输入激活值),merge和unmerge不被支持。如果您的部署需要权重合并,请考虑使用 LoRA 等其他方法。

Lily 目前具有以下额外约束:

  • 仅支持 nn.Linear 层。
  • 不支持量化层。

如果这些约束条件不适用于您的使用场景,请考虑采用其他方法。

该论文的摘要如下:

低秩适应(LoRA)是一种广泛使用的参数高效微调(PEFT)方法,它通过低秩适配器 A 和 B 来学习预训练权重 W 的权重更新 ΔW = AB。尽管 LoRA 确保了硬件效率,但其低秩权重更新限制了适应性能。在本文中,我们提出了跨层低秩互连适应(Lily),这是一种新颖的 PEFT 方法,引入了一个具有局部共享 A 和全局共享 B 专家的互连框架。这种结构消除了冗余的逐层 AB 对,使得在参数数量相同或更少的情况下能够实现更高秩的 ΔW。为了增强表达能力,我们使用数据依赖的路由器来确定 A-B 互连,防止 B 专家收敛到相同的行为,并提高跨领域的表示能力。跨模态、架构和模型规模的实验证明了 Lily 的卓越性能和效率。

基准测试概览

API

LilyConfig

类 peft.LilyConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 32stride_A: int = 1num_B: int = 2scaling: float = 1.0target_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Noneinit_weights: bool = True )

参数

  • r (int) — Lily 的秩。决定每个 adapter 的内部隐藏维度以及权重更新 A @ B 的秩。在 Lily 中,由于 adapter 的数量通常少于 LoRA,每个 adapter 需要承载更多的容量,因此建议使用比 LoRA 更大的 r — 通常是您通常使用的 LoRA 秩的 2x、3x 或 4x。可训练参数的总数随 r * (total_layers / stride_A + num_B) 缩放,因此推荐的做法是在保持 stride_A 较大且 num_B 较小的同时增加 r。
  • stride_A (int) — 共享同一个 A 适配器的连续层数。例如,如果 stride_A=4, 每 4 个相邻层共享同一个 A 适配器,则总共会有 total_layers / stride_A 个不同的 A 适配器。A 适配器将输入压缩为大小为 r. stride_A 不应小于
    1. 建议值:2、3 或 4(即每 2、3 或 4 层共享一次)。保持 stride_A 较大(即更少的不同 A 适配器)并相应增大 r,其性能优于相反的权衡策略(较小的 stride_A 和较小的 r)。设置 stride_A=1 表示每一层都有自己独立的 A 适配器。 注意:A 共享发生在每个目标内部(即具有相同目标后缀的层)。例如,如果你的 target_modules 为 ['q_proj', 'v_proj'] 且设置 stride_A=2,则每 2 个相邻的 q_proj 层 将共享一个 A 适配器,每 2 个相邻的 v_proj 层将共享另一个 A 适配器,但由于后缀不同,q_proj 层和 v_proj 层之间不会共享 A 适配器。
  • num_B (int) — 共享 B 适配器的数量。与 A 适配器(按层分组)不同,所有 B 适配器在所有层之间全局共享。对于每次前向传播,路由器会计算所有 num_B 个 B 适配器的加权组合(使用 softmax 归一化的权重),以生成一个单一的合并 B 适配器,该适配器随后将低秩表示投影回原始维度。建议将 num_B 设置为与 total_layers / stride_A 相近的数量级。建议值:total_layers / 2、total_layers / 3 或 total_layers / 4。与 stride_A 类似,在 r 较大时,优先选择较小的 num_B,而不是在 r 较小时选择较大的 num_B。注意:要训练路由器,至少需要 2 个 B 适配器(即 num_B >= 2),因为路由器学习计算 B 适配器的加权组合。注意:B 共享发生在每个目标内部(具有相同目标后缀的层)。例如,如果您的 target_modules 是 ['q_proj', 'v_proj'],并且您设置 num_B=4,那么将有 4 个 B 适配器在所有 q_proj 层之间共享,另有 4 个 B 适配器在所有 v_proj 层之间共享,但由于后缀不同,q_proj 和 v_proj 层之间不会相互共享 B 适配器。
  • target_modules (Union[List[str], str], 可选) — 要应用 Lily 的模块名称。可以是模块名称字符串列表(例如 ['q_proj', 'v_proj'])或正则表达式模式(例如 '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$')。如果未指定,Lily 将应用于所有受支持的线性层。
  • scaling (float) — 应用于组合适配器输出(scaling * A @ combined_B)的标量乘数,在将其加到冻结权值的前向传播之前使用。与 LoRA 不同,Lily 不使用 alpha / r 公式;相反,scaling 是一个直接的乘数。这种设计使得在对数尺度上扫描数值变得简单直接(例如 0.01、0.1、1.0、10.0)。最佳值取决于任务,应被视为超参数。我们建议从 1.0 开始。
  • modules_to_save (List[str], 可选) — 除 Lily 层之外,需要设置为可训练并在最终检查点中保存的模块列表。例如,在序列分类或标记分类任务中,最终层 classifier/score 是随机初始化的,因此需要可训练并保存。
  • exclude_modules (Union[List[str], str], 可选) — 不应用适配器的模块名称。传入字符串时,将执行正则表达式匹配。传入字符串列表时,将执行精确匹配,或检查模块名称是否以传入的任一字符串结尾。
  • layers_to_transform (Union[list[int], int], 可选) — 要转换的层索引。如果指定了此参数,PEFT 将仅转换该列表中指定的层索引。如果传入单个整数,PEFT 将仅转换该索引对应的层。
  • layers_pattern (Optional[Union[List[str], str]], 可选) — 层模式名称,仅在 layers_to_transform 不为 None 且层模式不在通用层模式列表中时使用。此参数应指向模型的 nn.ModuleList,该列表通常命名为 'layers' 或 'h'。
  • init_weights (bool) — 是否使用默认初始化方案来初始化 Lily 适配器权重:A 矩阵使用 Kaiming 均匀分布初始化,B 矩阵初始化为零,从而确保在训练开始时适配器输出为零,不会干扰预训练模型。除非有特定原因需要更改,否则强烈建议保持为 True。

这是用于存储 LilyModel 配置的类。

LilyModel

类 peft.LilyModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

参数

  • model (torch.nn.Module) — 要适配的模型。
  • config (LilyConfig) — Lily 模型的配置。
  • adapter_name (str) — 适配器的名称,默认为 "default"。

返回值

torch.nn.Module

Lily PEFT 模型。

从预训练的 transformers 模型创建一个跨层低秩互连适配(Lily)模型。

该方法的详细描述见 https://arxiv.org/abs/2407.09946。

属性:

Update on GitHub