PEFT documentation

Блок-диагональный LoRA для устранения накладных расходов на коммуникацию при обслуживании Tensor Parallel LoRA

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Блок-диагональный LoRA для устранения накладных расходов на коммуникацию при обслуживании Tensor Parallel LoRA

Block-Diagonal LoRA (BD-LoRA) — это вариант LoRA, в котором некоторые факторы LoRA ограничены блочно-диагональной структурой. Это позволяет ускорить обслуживание, исключая накладные расходы на коммуникацию при выполнении инференса на нескольких GPU. Несмотря на ограничение блочно-диагональной структурой, BD-LoRA демонстрирует производительность, сопоставимую с базовым LoRA при аналогичном количестве параметров.

BD-LoRA предназначен для использования с тензорным параллелизмом, что означает распределение весов модели по нескольким GPU. Популярной стратегией распределения является Megatron Sharding Strategy. Для двух линейных слоёв $W_1$, W2W_2 идущих друг за другом (например, проекции up и down в модуле MLP трансформера), мы распределяем первый слой по столбцам (что требует, чтобы LoRA B была блочно-диагональной), а второй слой по строкам (что требует, чтобы LoRA A была блочно-диагональной). Для модуля внимания аналогичный результат можно получить, объединив проекции Q, K и V в W1W_1 и рассматривая выходную проекцию как $W_2$, распределяя их соответственно. Такое распределение позволяет совместимому движку вывода распределять каждый блочно-диагональный фрагмент по отдельному GPU, сокращая необходимость в обмене промежуточными результатами между GPU. На изображении ниже показана точная стратегия распределения и то, как это экономит вычислительные ресурсы.

Статья: https://hf.co/papers/2510.23346

Производительность, ранг и количество параметров

BD-LoRA демонстрирует сопоставимую с LoRA производительность (см. изображение ниже или папку method_comparison в корне репозитория peft) при том же количестве параметров. Однако, поскольку все остальные факторы в BD-LoRA являются блочно-диагональными, адаптер BD-LoRA будет содержать меньше параметров, чем адаптер LoRA при том же ранге. Производительность BD-LoRA становится конкурентоспособной только при соответствующем увеличении ранга. Пример кода для подбора ранга приведён в конце данного примера в ноутбуке.

API

BdLoraConfig

класс peft.BdLoraConfig

< >

( target_modules_bd_a: Optional[list[str]] = Nonetarget_modules_bd_b: Optional[list[str]] = Nonenblocks: int = 1match_strict: bool = True )

Параметры

  • target_modules_bd_a — Модули, в которых LoRA-A является блочно-диагональной. Каждый паттерн из списка сопоставляется с именем модуля по условию pattern is in target_name. Пример: [‘up_proj’, ‘q_proj’, ‘v_proj’, ‘k_proj’]
  • target_modules_bd_b — Модули, в которых LoRA-B является блочно-диагональной. Каждый паттерн из списка сопоставляется с именем модуля по условию pattern is in target_name. Пример: [‘out_proj’, ‘down_proj’]
  • nblocks — количество блоков в блочно-диагональных матрицах
  • match_strict — Если установлено в true, требует, чтобы каждый target_module содержал либо блочно-диагональный LoRA-A, либо LoRA-B, иначе возникает ошибка. Вы можете установить это значение в False, чтобы смешивать обучение LoRA и BD-LoRA, например, если некоторые слои вашего модуля не выигрывают от BD-LoRA.

Конфигурация для BD-LoRA (Block-Diagonal LoRA). BD-LoRA — это вариант LoRA, который можно использовать для эффективного обслуживания нескольких моделей LoRA в движках инференса. Ускорение достигается за счёт сокращения меж-GPU коммуникации путём настройки определённых модулей LoRA в блочно-диагональный вид.

Чтобы определить, какие факторы LoRA следует задать как блочно-диагональные, следуйте этим рекомендациям:

  • Для внимания установите
    • Проекции Q, K, V должны быть блочно-диагональными в блоках LoRA-B
    • Out projection для блока LoRA-A с блочно-диагональной структурой
  • Для MLP установите
    • Up, Gate проекция должна быть блок-диагональной в LoRA-B
    • Нисходящая проекция в виде блочно-диагонального блока LoRA-A

Для других модулей и/или архитектур обратитесь к коду целевого движка инференса. Модули, разбитые по строкам, должны иметь блок-диагональную матрицу LoRA-A, а модули, разбитые по столбцам, — блок-диагональную матрицу LoRA-B.

Update on GitHub