PEFT documentation
WaveFT: дообучение с использованием вейвлетов
WaveFT: дообучение с использованием вейвлетов
WaveFT — это новый метод параметрически эффективной дообучения (PEFT), который вводит разреженные обновления в вещественном домене матриц остатков. В отличие от LoRA, который ограничен дискретными вариантами низкого ранга, WaveFT обеспечивает тонкий контроль над количеством обучаемых параметров за счёт прямого обучения разреженного набора коэффициентов в преобразованном пространстве. Затем эти коэффициенты отображаются обратно в домен весов с помощью обратного дискретного вейвлет-преобразования (IDWT), что позволяет получать обновления высокого ранга без увеличения накладных расходов на инференс.
В настоящее время WaveFT имеет следующее ограничение:
- Поддерживаются только слои
nn.Linear.
Аннотация из статьи:
Эффективная адаптация крупных базовых моделей имеет критическое значение, особенно при строгих ограничениях по вычислительным ресурсам и памяти. Методы параметрически эффективной дообучения (PEFT), такие как LoRA, обеспечивают ограниченную гранулярность и эффективность в режимах с малым числом параметров. Мы предлагаем Wavelet Fine-Tuning (WaveFT) — новый метод PEFT, который обучает высоко разреженные обновления в вейвлет-области остаточных матриц. WaveFT позволяет точно контролировать количество обучаемых параметров, обеспечивая тонкую настройку ёмкости и демонстрируя превосходные результаты при крайне малом числе параметров, потенциально значительно меньшем, чем минимальное для LoRA, — что идеально для сценариев экстремальной параметрической эффективности. При оценке на задаче персонализированной генерации изображений по тексту с использованием Stable Diffusion XL в качестве базовой модели, WaveFT значительно превосходит LoRA и другие методы PEFT, особенно при малом числе параметров, обеспечивая более высокую точность воспроизведения объекта, соответствие промпту и разнообразие изображений.
Обзор бенчмарков
API
WaveFTConfig
класс peft.WaveFTConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsen_frequency: int = 2592scaling: float = 25.0wavelet_family: str = 'db1'use_idwt: bool = Truerandom_loc_seed: int = 777fan_in_fan_out: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonen_frequency_pattern: Optional[dict] = <factory>proportional_parameters: bool = Falseinit_weights: bool = True )
Параметры
- n_frequency (
int) — Количество обучаемых вейвлетных коэффициентов для дискретного вейвлетного преобразования (DWT). ‘n_frequency’ — это целое число, большее 0 и не превышающее общее количество элементов в исходной матрице весов (d_out * d_in). Этот параметр напрямую управляет количеством обучаемых параметров для каждого адаптированного слоя. Более высокое значение ‘n_frequency’ обычно приводит к лучшему качеству, но также увеличивает потребление памяти GPU, незначительно влияя на скорость обучения. - scaling (
float) — Коэффициент масштабирования, применяемый к реконструированной матрице дельта W. Это важный гиперпараметр, аналогичныйlora_alphaв LoRA. Его можно подбирать в ходе поиска гиперпараметров. Значение по умолчанию для персонализации SDXL — 25. - wavelet_family (
str) — Семейство вейвлетов (например, ‘db1’, ‘sym2’, ‘coif1’), используемое для ДВФ и обратного ДВФ (IDWT). По умолчанию ‘db1’ (вейвлет Хаара). Различные семейства вейвлетов имеют разную длину фильтров, что существенно влияет на время обучения - use_idwt (
bool) — Установите в False для эффективной адаптации. Определяет, следует ли использовать обратное дискретное вейвлет-преобразование (IDWT) для восстановления дельта-весов из изученных вейвлет-коэффициентов. ЕслиTrue(по умолчанию), применяется IDWT. ЕслиFalse, изученные коэффициенты используются напрямую для формирования разреженной матрицы дельта-весов, что быстрее, но хуже работает для задачи персонализации SDXL. - random_loc_seed (
int) — Значение seed для определения случайных позицийn_frequencyобучаемых вейвлетных коэффициентов в полной матрице вейвлетных коэффициентов. - target_modules (
Union[list[str],str]) — Список имен модулей или регулярное выражение, определяющее модули, которые будут адаптированы с помощью WaveFT. Например,['q_proj', 'v_proj']или'.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'. В настоящее время поддерживаются только линейные слои (torch.nn.Linear). - exclude_modules (
Optional[Union[List[str], str]]) — Список имён модулей или регулярное выражение для модулей, которые нужно исключить из адаптации WaveFT. - fan_in_fan_out (
bool) — УстановитеTrue, если веса заменяемого слоя хранятся в формате(fan_in, fan_out). По умолчаниюFalse. - bias (
str) — Тип смещения для WaveFT. Может принимать значения ‘none’, ‘all’ или ‘waveft_only’. (‘fourier_only’, вероятно, была опечаткой и была исправлена на ‘waveft_only’, если подразумевается смещение только для адаптированных параметров). Если указано ‘waveft_only’, смещения добавляются только к компонентам WaveFT. Если указано ‘all’, смещения добавляются как к базовым, так и к компонентам WaveFT. Если указано ‘none’, новые смещения не добавляются. - modules_to_save (
list[str]) — Список модулей, помимо слоёв WaveFT, которые следует пометить как обучаемые и сохранить в итоговом чекпоинте. Полезно для слоёв, таких как классификаторы в задачах классификации последовательностей или токенов, которые инициализируются случайно и требуют обучения. - layers_to_transform (
Union[list[int],int]) — Конкретные индексы слоев для трансформации. Если указано, PEFT будет адаптировать только слои с этими индексами. Если задано одно целое число, трансформируется только этот слой. - layers_pattern (
Optional[Union[List[str], str]]) — Шаблон для имен слоев, используется, если указаноlayers_to_transform, а шаблон слоя не является стандартным (например, не ‘layers’ и не ‘h’). Он должен указывать на атрибутnn.ModuleListв модели. - n_frequency_pattern (
dict) — Словарь, сопоставляющий имена слоев (или регулярные выражения) с конкретными значениямиn_frequency, переопределяющими глобальноеn_frequency. Пример:{"model.decoder.layers.0.encoder_attn.k_proj": 1000}. - init_weights (
bool) — Стратегия инициализации обучаемых вейвлет-коэффициентов (спектра). ЕслиTrue(по умолчанию), коэффициенты инициализируются нулями. ЕслиFalse, коэффициенты инициализируются из стандартного нормального распределения, масштабированного на небольшой коэффициент. - proportional_parameters (
bool) — ЕслиTrue,n_frequencyраспределяется пропорциональноinput_dim * output_dimкаждого слоя. По умолчаниюFalse. Примечание: этот параметр включён для экспериментальной полноты, чтобы исследователи могли воспроизвести результаты из статьи, а не для практического применения, так как полезных сценариев использования не выявлено.
Это класс конфигурации для хранения настроек модели WaveFTModel. Он используется для определения параметров метода Wavelet-based Fine-Tuning (WaveFT), который использует разреженность вейвлет-преобразований для параметрически эффективной дообучения предобученных моделей.
WaveFTModel
класс peft.WaveFTModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )