# VB-LoRA: Fine-Tuning yang Sangat Efisien Parameter dengan Bank Vektor

## Ikhtisar

[VB-LoRA](https://huggingface.co/papers/2405.15179) adalah teknik fine-tuning yang efisien secara parameter, yang memperluas LoRA dengan mempelajari skema berbagi parameter yang terperinci pada level sub-vektor, sehingga mencapai efisiensi parameter yang jauh lebih tinggi. Hal ini menjadikan VB-LoRA sangat berguna dalam skenario di mana biaya penyimpanan dan transmisi menjadi krusial. Teknik ini bekerja dengan menguraikan matriks ber-rank rendah—dari berbagai lapisan dan modul seperti K, Q, V, dan FFN—menjadi sub-vektor, yang kemudian dibagikan secara global melalui vector bank.

Abstrak dari makalah tersebut adalah:

*Seiring meningkatnya adopsi model bahasa besar dan tumbuhnya kebutuhan untuk kustomisasi model per pengguna atau per tugas, metode fine-tuning yang efisien secara parameter (PEFT), seperti low-rank adaptation (LoRA) dan variasinya, menimbulkan biaya penyimpanan dan transmisi yang besar. Untuk lebih mengurangi parameter yang disimpan, kami memperkenalkan paradigma "divide-and-share" yang menembus batas dekomposisi low-rank melintasi dimensi matriks, modul, dan lapisan dengan berbagi parameter secara global melalui vector bank. Sebagai implementasi paradigma ini pada LoRA, VB-LoRA yang kami usulkan mengomposisikan semua matriks low-rank dari LoRA dari vector bank yang dibagikan bersama dengan modul admixture top-k yang dapat dibedakan (differentiable). VB-LoRA mencapai efisiensi parameter yang ekstrem sambil mempertahankan kinerja yang setara atau lebih baik dibandingkan metode PEFT state-of-the-art. Eksperimen ekstensif menunjukkan efektivitas VB-LoRA pada tugas pemahaman bahasa alami, generasi bahasa alami, dan penyetelan instruksi. Saat melakukan fine-tuning pada model Llama2-13B, VB-LoRA hanya menggunakan 0,4% dari parameter yang disimpan oleh LoRA, namun mencapai hasil yang lebih unggul.*

## Tips Penggunaan

- VB-LoRA memanfaatkan modul sparse top-k untuk mempelajari mekanisme berbagi. Saat menyimpan parameter adapter, Anda dapat menyimpan hanya bobot top-k dan indeksnya dengan mengatur `save_only_topk_weights = True` di `VBLoRAConfig`, atau menyimpan semua logits yang dapat dilatih dengan mengaturnya menjadi `False`. Mengaktifkan `save_only_topk_weights = True` secara signifikan mengurangi ruang penyimpanan; misalnya, pada Llama2-7B, ukuran file penyimpanan berkurang dari 308MB menjadi 2,5MB. Perhatikan bahwa model yang disimpan dengan `save_only_topk_weights = True` hanya ditujukan untuk penggabungan atau inferensi dan tidak dapat digunakan untuk melanjutkan pelatihan.

- VB-LoRA memiliki dua set parameter pelatihan: parameter vector bank dan parameter logit. Dalam praktiknya, kami menemukan bahwa parameter logit memerlukan learning rate yang lebih tinggi, sedangkan parameter vector bank memerlukan learning rate yang lebih rendah. Saat menggunakan optimizer AdamW, learning rate yang umum adalah 0.01 untuk logits dan 0.001 untuk parameter vector bank.

## Ikhtisar benchmark

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=VBLORA" frameborder="0" width="850" height="1000"
>

# API

## VBLoRAConfig[[peft.VBLoRAConfig]]

#### peft.VBLoRAConfig[[peft.VBLoRAConfig]]

```python
peft.VBLoRAConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, r: int = 4, num_vectors: int = 256, vector_length: int = 256, topk: int = 2, target_modules: Optional[Union[list[str], str]] = None, exclude_modules: Optional[Union[list[str], str]] = None, save_only_topk_weights: bool = False, vblora_dropout: float = 0.0, fan_in_fan_out: bool = False, bias: str = 'none', modules_to_save: Optional[list[str]] = None, init_vector_bank_bound: float = 0.02, init_logits_std: float = 0.1, layers_to_transform: Optional[Union[list[int], int]] = None, layers_pattern: Optional[Union[list[str], str]] = None)
```

[Sumber](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/vblora/config.py#L25)

**Parameter:**

r (`int`) : Rank dari matriks inkremental.

num_vectors (`int`) : Jumlah vektor dalam bank vektor. Gunakan nilai yang lebih tinggi ketika ukuran model meningkat.

vector_length (`int`) : Panjang vektor dalam bank vektor. Panjang vektor harus dapat dibagi habis oleh dimensi tersembunyi model.

topk (`int`) : Nilai K untuk seleksi top-K. Nilai K yang lebih besar meningkatkan ukuran model yang disimpan. Dalam praktiknya, pengaturan K=2 umumnya memberikan kinerja dan efisiensi parameter terbaik. Untuk detail lebih lanjut, lihat diskusi dalam makalah tersebut.

target_modules (`Union[List[str], str]`) : Nama-nama modul yang akan diterapkan adapter-nya. Jika ini ditentukan, hanya modul dengan nama yang ditentukan yang akan diganti. Saat meneruskan string, pencocokan regex akan dilakukan. Saat meneruskan daftar string, pencocokan persis akan dilakukan atau diperiksa apakah nama modul diakhiri dengan salah satu string yang diteruskan. Jika ini ditentukan sebagai 'all-linear', maka semua modul linear/Conv1D akan dipilih, kecuali lapisan output. Jika ini tidak ditentukan, modul akan dipilih sesuai dengan arsitektur model. Jika arsitekturnya tidak diketahui, error akan dilempar -- dalam kasus ini, Anda harus menentukan modul target secara manual.

exclude_modules (`Optional[Union[List[str], str]]`) : Nama-nama modul yang tidak akan diterapkan adapter. Saat melewatkan string, pencocokan regex akan dilakukan. Saat melewatkan daftar string, pencocokan persis akan dilakukan atau diperiksa apakah nama modul diakhiri dengan salah satu string yang dilewatkan.

save_only_topk_weights (`bool`) : Apakah hanya menyimpan bobot topk. Mengatur `save_only_topk_weights = True` secara signifikan mengurangi ruang penyimpanan. Namun, model yang disimpan dalam mode ini hanya dapat digunakan untuk penggabungan atau inferensi, bukan untuk melanjutkan pelatihan.

vblora_dropout (`float`) : Probabilitas dropout untuk lapisan VBLoRA.

fan_in_fan_out (`bool`) : Setel ini ke True jika layer yang akan diganti menyimpan bobot seperti (fan_in, fan_out). Sebagai contoh, gpt-2 menggunakan `Conv1D` yang menyimpan bobot seperti (fan_in, fan_out), sehingga ini harus disetel ke `True`.

bias (`str`) : Jenis bias untuk VBLoRA. Bisa berupa 'none', 'all', atau 'vblora_only'. Jika 'all' atau 'vblora_only', bias yang sesuai akan diperbarui selama pelatihan. Perhatikan bahwa ini berarti, bahkan saat adapter dinonaktifkan, model tidak akan menghasilkan output yang sama seperti model dasar tanpa adaptasi.

modules_to_save (`List[str]`) : Daftar modul di luar lapisan VBLoRA yang akan diatur sebagai dapat dilatih dan disimpan dalam checkpoint akhir.

init_vector_bank_bound (`float`) : Bank vektor diinisialisasi dengan distribusi seragam antara -init_vector_bank_bound dan init_vector_bank_bound. Hindari menginisialisasi bank vektor dengan semua nol untuk mencegah gradien nol. Nilai kecil, seperti 0.02, biasanya efektif. Inisialisasi dengan nilai besar dapat menyebabkan ketidakstabilan pelatihan.

init_logits_std (`float`) : Logits diinisialisasi dengan distribusi normal dengan deviasi standar init_logits_std. Nilai default adalah 0.1.

layers_to_transform (`Union[List[int],int]`) : Indeks lapisan yang akan ditransformasi. Jika daftar int diberikan, adapter akan diterapkan pada indeks lapisan yang ditentukan dalam daftar ini. Jika satu integer diberikan, transformasi akan diterapkan pada lapisan di indeks tersebut.

layers_pattern (`Optional[Union[List[str], str]]`) : Nama pola layer, hanya digunakan jika `layers_to_transform` berbeda dari `None`. Ini harus menargetkan `nn.ModuleList` dari model, yang sering disebut `'layers'` atau `'h'`.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari [VBLoRAModel](/docs/peft/v0.22.0/id/package_reference/vblora#peft.VBLoRAModel).

Paper: https://huggingface.co/papers/2405.15179

## VBLoRAModel[[peft.VBLoRAModel]]

#### peft.VBLoRAModel[[peft.VBLoRAModel]]

```python
peft.VBLoRAModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[Sumber](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/vblora/model.py#L29)

**Parameter:**

model ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) : Model yang akan diadaptasi.

config ([VBLoRAConfig](/docs/peft/v0.22.0/id/package_reference/vblora#peft.VBLoRAConfig)) : Konfigurasi model VBLoRA.

adapter_name (`str`) : Nama adapter, secara default `"default"`.

low_cpu_mem_usage (`bool`, `optional`, defaultnya `False`) : Membuat bobot adapter kosong pada perangkat meta. Berguna untuk mempercepat proses pemuatan.

**Mengembalikan:** `torch.nn.Module`

Model VBLoRA.

Membuat model VBLoRA dari model transformers yang telah dilatih sebelumnya.

Metode ini dijelaskan secara detail di https://huggingface.co/papers/2405.15179.

Contoh:

```py
>>> from transformers import AutoModelForCausalLM
>>> from peft import VBLoRAConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = VBLoRAConfig(
...     task_type="SEQ_CLS",
...     r=4,
...     target_modules=["fc1", "fc2", "k_proj", "out_proj", "q_proj", "v_proj"],
...     num_vectors=60,
...     vector_length=256,
...     save_only_topk_weights=True,
... )
>>> model = get_peft_model(base_model, config)
```

**Atribut**:
- **model** ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) -- Model yang akan diadaptasi.
- **peft_config** ([VBLoRAConfig](/docs/peft/v0.22.0/id/package_reference/vblora#peft.VBLoRAConfig)): Konfigurasi model VBLoRAConfig.

#### get_nb_savable_parameters[[peft.VBLoRAModel.get_nb_savable_parameters]]

```python
get_nb_savable_parameters(adapter = 'default')
```

[Sumber](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/vblora/model.py#L158)

Mengembalikan jumlah parameter VB-LoRA yang dapat disimpan dan parameter lain yang dapat disimpan.

#### print_savable_parameters[[peft.VBLoRAModel.print_savable_parameters]]

```python
print_savable_parameters()
```

[Sumber](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/vblora/model.py#L194)

Menampilkan jumlah parameter VB-LoRA yang dapat disimpan dan total parameter yang dapat disimpan.

