PEFT documentation

가중치 분해 저순위 적응(DoRA)

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

가중치 분해 저순위 적응(DoRA)

이것은 LoRA의 변형이므로, 이 페이지에 별도로 명시된 경우를 제외하고 LoRA에서 가능한 모든 것이 이 방법에도 적용됩니다.

이 기법은 가중치의 업데이트를 크기(magnitude)와 방향(direction) 두 부분으로 분해합니다. 방향은 일반적인 LoRA로 처리하고, 크기는 별도의 학습 가능한 파라미터로 처리합니다. 이를 통해 LoRA의 성능을 향상시킬 수 있으며, 특히 낮은 랭크(low rank)에서 그 효과가 큽니다. DoRA에 대한 자세한 내용은 https://huggingface.co/papers/2402.09353을 참고하세요.

from peft import LoraConfig

config = LoraConfig(use_dora=True, ...)

모델의 일부 또는 DoRA 어댑터가 CPU로 오프로드된 경우, config.runtime_config에서 ephemeral_gpu_offload=True를 사용하면 일시적인(에페메럴) VRAM 오버헤드가 발생하지만 상당한 속도 향상을 얻을 수 있습니다.

from peft import LoraConfig, LoraRuntimeConfig

config = LoraConfig(use_dora=True, runtime_config=LoraRuntimeConfig(ephemeral_gpu_offload=True), ...)

DoRA 어댑터가 적용된 PeftModel은 from_pretrained 메서드와 load_adapter 메서드 모두에서 ephemeral_gpu_offload=True 플래그를 사용하여 로드할 수 있습니다.

from peft import PeftModel

model = PeftModel.from_pretrained(base_model, peft_model_id, ephemeral_gpu_offload=True)

최적화

DoRA는 평가 모드인 모델, 또는 dropout이 0으로 설정된 경우에 최적화되어 있습니다(계산 속도가 빠르고 메모리 사용량이 적음). 이러한 경우 기본 결과를 재사용하여 속도 향상을 달성합니다. 4090에서 gradient accumulation을 2, max step을 20으로 설정하고 CUDA_VISIBLE_DEVICES=0 ZE_AFFINITY_MASK=0 time python examples/dora_finetuning/dora_finetuning.py --quantize --lora_dropout 0 --batch_size 16 --eval_step 2 --use_dora로 dora finetuning을 실행한 결과, 다음과 같은 관찰이 얻어졌습니다:

최적화 없이최적화 사용
학습 런타임(초)359.7298279.2676
초당 학습 샘플 수1.7792.292
초당 학습 단계0.0560.072

또한 DoraCaching 헬퍼 컨텍스트를 사용하면 DoRA의 런타임 성능을 더 높일 수 있습니다. 이를 위해 모델이 eval 모드여야 합니다:

from peft.helpers import DoraCaching

model.eval()
with DoraCaching():
    output = model(inputs)

meta-llama/Llama-3.1-8B의 경우, DoRA 캐싱 벤치마크 스크립트에 따르면 LoRA와 비교했을 때:

  • 캐싱이 없는 DoRA는 139% 더 많은 시간이 필요합니다
  • 캐싱이 없는 DoRA는 4% 더 많은 메모리가 필요합니다
  • 캐싱을 사용하는 DoRA는 17% 더 많은 시간이 필요합니다
  • 캐싱을 사용하는 DoRA는 41% 더 많은 메모리가 필요합니다

따라서 캐싱은 DoRA를 사용한 추론을 상당히 빠르게 만들 수 있지만, 동시에 훨씬 더 많은 메모리가 필요합니다. 사용 사례가 허용하는 경우, 메모리와 런타임 오버헤드를 모두 피하기 위해 DoRA 어댑터를 병합하는 것이 이상적입니다.

주의 사항

  • DoRA는 현재 embedding, linear, Conv2d 레이어만 지원합니다.
  • DoRA introduces a bigger overhead than pure LoRA, so it is recommended to merge weights for inference, see LoraModel.merge_and_unload().
  • DoRA는 bitsandbytes로 양자화된 가중치와 함께 작동해야 합니다("QDoRA"). 그러나 DeepSpeed Zero2와 함께 QDoRA를 사용할 때 문제가 보고되었습니다.
Update on GitHub