PEFT documentation

Penyetelan LayerNorm

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Penyetelan LayerNorm

Penyetelan LayerNorm (LN Tuning) adalah metode PEFT yang hanya melakukan penyetelan ulang parameter pada lapisan LayerNorm dalam sebuah model. Makalah tersebut telah menguji kinerja metode ini pada model bahasa besar dan menunjukkan bahwa metode ini dapat mencapai kinerja yang kuat dengan pengurangan signifikan pada jumlah parameter yang dapat dilatih serta penggunaan memori GPU. Namun, metode ini tidak terbatas pada model bahasa dan dapat diterapkan pada model apa pun yang menggunakan lapisan LayerNorm. Pada implementasi ini, secara default semua lapisan layernorm di dalam model akan disetel ulang, tetapi metode ini juga dapat digunakan untuk menargetkan jenis lapisan lain seperti lapisan MLP atau Attention. Hal ini dapat dilakukan dengan menentukan target_modules pada LNTuningConfig.

Abstrak dari makalah tersebut adalah:

Paper ini memperkenalkan strategi efisien untuk mengubah Large Language Models (LLM) menjadi Multi-Modal Large Language Models (MLLM). Dengan mengonseptualisasikan transformasi ini sebagai proses adaptasi domain, yaitu beralih dari pemahaman teks ke pelukan berbagai modalitas, kami mencatat secara menarik bahwa, di dalam setiap blok perhatian, penyetelan LayerNorm saja sudah cukup untuk menghasilkan kinerja yang kuat. Selain itu, ketika diuji terhadap pendekatan penyetelan lain seperti penyetelan parameter penuh atau LoRA, manfaatnya dalam hal efisiensi sangat substansial. Misalnya, dibandingkan dengan LoRA pada skala model 13B, kinerja dapat ditingkatkan rata-rata lebih dari 20% di lima tugas multi-modal, dan sekaligus menghasilkan pengurangan signifikan parameter yang dapat dilatih sebesar 41,9% serta penurunan penggunaan memori GPU sebesar 17,6%. Di atas strategi LayerNorm ini, kami menunjukkan bahwa penyetelan selektif hanya dengan data percakapan dapat meningkatkan efisiensi lebih lanjut. Di luar hasil empiris ini, kami menyediakan analisis komprehensif untuk mengeksplorasi peran LayerNorm dalam mengadaptasi LLM ke domain multi-modal dan meningkatkan kekuatan ekspresif model.

Ikhtisar benchmark

API

LNTuningConfig

kelas peft.LNTuningConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[Union[list[str], str]] = None )

Parameter

  • target_modules (Optional[Union[List[str], str]]) — Daftar nama modul atau ekspresi regex dari nama modul yang akan diganti dengan LNTuning. Sebagai contoh, ‘.decoder.’ atau ‘.encoder.’. Jika ini tidak ditentukan, modul akan dipilih sesuai dengan arsitektur model. Jika arsitekturnya tidak diketahui, error akan dilempar — dalam kasus ini, Anda harus menentukan modul target secara manual.
  • exclude_modules (Optional[Union[List[str], str]]) — Nama-nama modul yang tidak akan diterapkan adapter. Saat melewatkan string, pencocokan regex akan dilakukan. Saat melewatkan daftar string, pencocokan persis akan dilakukan atau diperiksa apakah nama modul berakhiran dengan salah satu string yang dilewatkan.
  • modules_to_save (Optional[Union[List[str], str]]) — Daftar modul yang akan diset sebagai trainable dan disimpan dalam checkpoint akhir. Misalnya, dalam tugas Sequence Classification atau Token Classification, lapisan akhir classifier/score diinisialisasi secara acak dan karenanya perlu dibuat trainable dan disimpan.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari LNTuningModel.

LNTuningModel

kelas peft.LNTuningModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → ‘torch.nn.Module’

Parameter

  • model (torch.nn.Module) — Model yang akan diadaptasi.
  • config (LNTuningConfig) — Konfigurasi model penyetelan LN.
  • adapter_name (str) — Nama adapter, secara default "default".
  • low_cpu_mem_usage (bool, optional, defaults to False) — Opsi ini tidak berdampak pada penyetelan LN, tetapi ada untuk konsistensi dengan metode PEFT lainnya.

Mengembalikan

‘torch.nn.Module’

Model yang diadaptasi dengan LayerNorm diaktifkan.

Membuat penyetelan LayerNorm dari model transformer yang telah dilatih sebelumnya.

Metode ini dijelaskan secara rinci di https://huggingface.co/papers/2312.11420.

Contoh:

>>> from transformers import AutoModelForCausalLM
>>> from peft import get_peft_model, TaskType, LNTuningConfig

>>> peft_config = LNTuningConfig(
...     task_type=TaskType.CAUSAL_LM,
... )

>>> model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
>>> model = get_peft_model(model, peft_config)
>>> model.print_trainable_parameters()

Atribut:

Update on GitHub