PEFT documentation
Блок-диагональный LoRA для устранения накладных расходов на коммуникацию при обслуживании Tensor Parallel LoRA
Блок-диагональный LoRA для устранения накладных расходов на коммуникацию при обслуживании Tensor Parallel LoRA
Block-Diagonal LoRA (BD-LoRA) — это вариант LoRA, в котором некоторые факторы LoRA ограничены блочно-диагональной структурой. Это позволяет ускорить обслуживание, исключая накладные расходы на коммуникацию при выполнении инференса на нескольких GPU. Несмотря на ограничение блочно-диагональной структурой, BD-LoRA демонстрирует производительность, сопоставимую с базовым LoRA при аналогичном количестве параметров.
BD-LoRA предназначен для использования с тензорным параллелизмом, что означает распределение весов модели по нескольким GPU. Популярной стратегией распределения является Megatron Sharding Strategy. Для двух линейных слоёв $W_1$, идущих друг за другом (например, проекции up и down в модуле MLP трансформера), мы распределяем первый слой по столбцам (что требует, чтобы LoRA B была блочно-диагональной), а второй слой по строкам (что требует, чтобы LoRA A была блочно-диагональной). Для модуля внимания аналогичный результат можно получить, объединив проекции Q, K и V в и рассматривая выходную проекцию как $W_2$, распределяя их соответственно. Такое распределение позволяет совместимому движку вывода распределять каждый блочно-диагональный фрагмент по отдельному GPU, сокращая необходимость в обмене промежуточными результатами между GPU. На изображении ниже показана точная стратегия распределения и то, как это экономит вычислительные ресурсы.
Статья: https://hf.co/papers/2510.23346

Производительность, ранг и количество параметров
BD-LoRA демонстрирует сопоставимую с LoRA производительность (см. изображение ниже или папку method_comparison в корне репозитория peft) при том же количестве параметров. Однако, поскольку все остальные факторы в BD-LoRA являются блочно-диагональными, адаптер BD-LoRA будет содержать меньше параметров, чем адаптер LoRA при том же ранге. Производительность BD-LoRA становится конкурентоспособной только при соответствующем увеличении ранга. Пример кода для подбора ранга приведён в конце данного примера в ноутбуке.

API
BdLoraConfig
класс peft.BdLoraConfig
< source >( target_modules_bd_a: Optional[list[str]] = Nonetarget_modules_bd_b: Optional[list[str]] = Nonenblocks: int = 1match_strict: bool = True )
Параметры
- target_modules_bd_a —
Модули, в которых LoRA-A является блочно-диагональной. Каждый паттерн из списка сопоставляется с именем модуля по условию
pattern is in target_name. Пример: [‘up_proj’, ‘q_proj’, ‘v_proj’, ‘k_proj’] - target_modules_bd_b —
Модули, в которых LoRA-B является блочно-диагональной. Каждый паттерн из списка сопоставляется с именем модуля по условию
pattern is in target_name. Пример: [‘out_proj’, ‘down_proj’] - nblocks — количество блоков в блочно-диагональных матрицах
- match_strict — Если установлено в true, требует, чтобы каждый target_module содержал либо блочно-диагональный LoRA-A, либо LoRA-B, иначе возникает ошибка. Вы можете установить это значение в False, чтобы смешивать обучение LoRA и BD-LoRA, например, если некоторые слои вашего модуля не выигрывают от BD-LoRA.
Конфигурация для BD-LoRA (Block-Diagonal LoRA). BD-LoRA — это вариант LoRA, который можно использовать для эффективного обслуживания нескольких моделей LoRA в движках инференса. Ускорение достигается за счёт сокращения меж-GPU коммуникации путём настройки определённых модулей LoRA в блочно-диагональный вид.
Чтобы определить, какие факторы LoRA следует задать как блочно-диагональные, следуйте этим рекомендациям:
- Для внимания установите
- Проекции Q, K, V должны быть блочно-диагональными в блоках LoRA-B
- Out projection для блока LoRA-A с блочно-диагональной структурой
- Для MLP установите
- Up, Gate проекция должна быть блок-диагональной в LoRA-B
- Нисходящая проекция в виде блочно-диагонального блока LoRA-A
Для других модулей и/или архитектур обратитесь к коду целевого движка инференса. Модули, разбитые по строкам, должны иметь блок-диагональную матрицу LoRA-A, а модули, разбитые по столбцам, — блок-диагональную матрицу LoRA-B.