PEFT documentation
Lily:跨层低秩互连适配
Lily:跨层低秩互连适配
Lily 是一种参数高效微调技术,它为适配器矩阵引入了跨层权重共享机制。与 LoRA 中为每一层学习独立的 AB 对不同,Lily 使用局部共享的 A 适配器(每个 A 在由 stride_A 个连续层组成的块内共享)以及全局共享的 B 专家(一个包含 num_B 个 B 适配器的小型池在所有层之间共享)。在每次前向传播中,一个轻量级的数据依赖路由器会计算 B 专家的 softmax 加权组合,从而生成该层和该输入的有效 B。
这种共享机制可将适配器矩阵的总数从 2N(标准 LoRA)减少到 N / stride_A + num_B,从而释放参数预算,以便使用 大得多的秩 r——通常是 LoRA 中所用秩的 2×–4×。更高的秩和更好的互联性会增加权重更新 ΔW = A × combined_B 的有效秩,从而带来更好的适配性能。
由于 B 组合是数据依赖的(路由器权重在运行时取决于输入激活值),merge和unmerge不被支持。如果您的部署需要权重合并,请考虑使用 LoRA 等其他方法。
Lily 目前具有以下额外约束:
- 仅支持
nn.Linear层。 - 不支持量化层。
如果这些约束条件不适用于您的使用场景,请考虑采用其他方法。
该论文的摘要如下:
低秩适应(LoRA)是一种广泛使用的参数高效微调(PEFT)方法,它通过低秩适配器 A 和 B 来学习预训练权重 W 的权重更新 ΔW = AB。尽管 LoRA 确保了硬件效率,但其低秩权重更新限制了适应性能。在本文中,我们提出了跨层低秩互连适应(Lily),这是一种新颖的 PEFT 方法,引入了一个具有局部共享 A 和全局共享 B 专家的互连框架。这种结构消除了冗余的逐层 AB 对,使得在参数数量相同或更少的情况下能够实现更高秩的 ΔW。为了增强表达能力,我们使用数据依赖的路由器来确定 A-B 互连,防止 B 专家收敛到相同的行为,并提高跨领域的表示能力。跨模态、架构和模型规模的实验证明了 Lily 的卓越性能和效率。
基准测试概览
API
LilyConfig
类 peft.LilyConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 32stride_A: int = 1num_B: int = 2scaling: float = 1.0target_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Noneinit_weights: bool = True )
参数
- r (
int) — Lily 的秩。决定每个 adapter 的内部隐藏维度以及权重更新A @ B的秩。在 Lily 中,由于 adapter 的数量通常少于 LoRA,每个 adapter 需要承载更多的容量,因此建议使用比 LoRA 更大的r— 通常是您通常使用的 LoRA 秩的2x、3x或4x。可训练参数的总数随r * (total_layers / stride_A + num_B)缩放,因此推荐的做法是在保持stride_A较大且num_B较小的同时增加r。 - stride_A (
int) — 共享同一个 A 适配器的连续层数。例如,如果stride_A=4, 每 4 个相邻层共享同一个 A 适配器,则总共会有total_layers / stride_A个不同的 A 适配器。A 适配器将输入压缩为大小为r.stride_A不应小于- 建议值:
2、3或4(即每 2、3 或 4 层共享一次)。保持stride_A较大(即更少的不同 A 适配器)并相应增大r,其性能优于相反的权衡策略(较小的stride_A和较小的r)。设置stride_A=1表示每一层都有自己独立的 A 适配器。 注意:A 共享发生在每个目标内部(即具有相同目标后缀的层)。例如,如果你的 target_modules 为['q_proj', 'v_proj']且设置stride_A=2,则每 2 个相邻的 q_proj 层 将共享一个 A 适配器,每 2 个相邻的 v_proj 层将共享另一个 A 适配器,但由于后缀不同,q_proj 层和 v_proj 层之间不会共享 A 适配器。
- 建议值:
- num_B (
int) — 共享 B 适配器的数量。与 A 适配器(按层分组)不同,所有 B 适配器在所有层之间全局共享。对于每次前向传播,路由器会计算所有num_B个 B 适配器的加权组合(使用 softmax 归一化的权重),以生成一个单一的合并 B 适配器,该适配器随后将低秩表示投影回原始维度。建议将num_B设置为与total_layers / stride_A相近的数量级。建议值:total_layers / 2、total_layers / 3或total_layers / 4。与stride_A类似,在r较大时,优先选择较小的num_B,而不是在r较小时选择较大的num_B。注意:要训练路由器,至少需要 2 个 B 适配器(即num_B >= 2),因为路由器学习计算 B 适配器的加权组合。注意:B 共享发生在每个目标内部(具有相同目标后缀的层)。例如,如果您的 target_modules 是['q_proj', 'v_proj'],并且您设置num_B=4,那么将有 4 个 B 适配器在所有 q_proj 层之间共享,另有 4 个 B 适配器在所有 v_proj 层之间共享,但由于后缀不同,q_proj 和 v_proj 层之间不会相互共享 B 适配器。 - target_modules (
Union[List[str], str], 可选) — 要应用 Lily 的模块名称。可以是模块名称字符串列表(例如['q_proj', 'v_proj'])或正则表达式模式(例如'.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$')。如果未指定,Lily 将应用于所有受支持的线性层。 - scaling (
float) — 应用于组合适配器输出(scaling * A @ combined_B)的标量乘数,在将其加到冻结权值的前向传播之前使用。与 LoRA 不同,Lily 不使用alpha / r公式;相反,scaling是一个直接的乘数。这种设计使得在对数尺度上扫描数值变得简单直接(例如0.01、0.1、1.0、10.0)。最佳值取决于任务,应被视为超参数。我们建议从1.0开始。 - modules_to_save (
List[str], 可选) — 除 Lily 层之外,需要设置为可训练并在最终检查点中保存的模块列表。例如,在序列分类或标记分类任务中,最终层classifier/score是随机初始化的,因此需要可训练并保存。 - exclude_modules (
Union[List[str], str], 可选) — 不应用适配器的模块名称。传入字符串时,将执行正则表达式匹配。传入字符串列表时,将执行精确匹配,或检查模块名称是否以传入的任一字符串结尾。 - layers_to_transform (
Union[list[int], int], 可选) — 要转换的层索引。如果指定了此参数,PEFT 将仅转换该列表中指定的层索引。如果传入单个整数,PEFT 将仅转换该索引对应的层。 - layers_pattern (
Optional[Union[List[str], str]], 可选) — 层模式名称,仅在layers_to_transform不为 None 且层模式不在通用层模式列表中时使用。此参数应指向模型的nn.ModuleList,该列表通常命名为'layers'或'h'。 - init_weights (
bool) — 是否使用默认初始化方案来初始化 Lily 适配器权重:A 矩阵使用 Kaiming 均匀分布初始化,B 矩阵初始化为零,从而确保在训练开始时适配器输出为零,不会干扰预训练模型。除非有特定原因需要更改,否则强烈建议保持为True。
这是用于存储 LilyModel 配置的类。
LilyModel
类 peft.LilyModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
参数
- model (
torch.nn.Module) — 要适配的模型。 - config (LilyConfig) — Lily 模型的配置。
- adapter_name (
str) — 适配器的名称,默认为"default"。
返回值
torch.nn.Module
Lily PEFT 模型。
从预训练的 transformers 模型创建一个跨层低秩互连适配(Lily)模型。
该方法的详细描述见 https://arxiv.org/abs/2407.09946。
属性:
- model (PreTrainedModel) — 要适配的模型。
- peft_config (LilyConfig): Lily 模型的配置。