# torch.compile

PEFT에서 [torch.compile](https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html)은 일부 기능에는 작동하지만 모든 기능에는 작동하지 않습니다. 항상 작동하지 않는 이유는 PEFT가 특정 부분(예: 여러 어댑터 로딩 및 전환)에서 매우 동적이기 때문에 `torch.compile`에 문제를 일으킬 수 있기 때문입니다. 다른 부분에서는 `torch.compile`이 작동할 수 있지만, 그래프 브레이크로 인해 예상만큼 빠르지 않을 수 있습니다.

에러가 표시되지 않는다고 해서 `torch.compile`이 올바르게 작동했다는 보장은 없습니다. 출력이 생성되더라도 그 결과가 올바르지 않을 수 있습니다. 이 가이드에서는 `torch.compile`과 호환되는 기능과 호환되지 않는 기능을 설명합니다. `torch.compile`은 지속적으로 개선되고 있으므로, 자체 테스트 시에는 최신 PyTorch 버전을 사용하는 것을 권장합니다.

> [!TIP]
> 별도로 명시되지 않는 한, 기본 `torch.compile` 설정이 사용되었습니다.

## `torch.compile`를 사용한 학습 및 추론

이러한 기능은 `torch.compile`과 함께 **동작**합니다. 아래에 나열된 모든 항목은 causal LM으로 테스트되었습니다:

- 🤗 transformers의 `Trainer`를 사용한 학습
- 커스텀 PyTorch 루프로 학습하기
- 추론
- 생성

다음 어댑터가 성공적으로 테스트되었습니다:

- AdaLoRA
- BOFT
- IA³
- Layer Norm 튜닝
- LoHa
- LoKr
- LoRA
- LoRA + DoRA
- 임베딩 레이어에 적용된 LoRA
- OFT
- VeRA
- HRA

## `torch.compile`를 활용한 고급 PEFT 기능

아래는 **동작하는** 보다 고급 PEFT 기능 중 일부입니다. 모두 LoRA로 테스트되었습니다.

- `modules_to_save` (i.e. `config = LoraConfig(..., modules_to_save=...)`)
- 어댑터 병합(하나 또는 여러 개)
- 여러 어댑터를 하나의 어댑터로 병합하는 것(즉, `model.add_weighted_adapter(...)`을 호출하는 것)
- 양자화(bitsandbytes)와 함께 PEFT 어댑터 사용
- 어댑터 비활성화(즉, `with model.disable_adapter()` 사용)
- Unloading (예: `model.merge_and_unload()` 호출)
- 혼합 어댑터 배치(즉, `model(batch, adapter_names=["__base__", "default", "other", ...])` 호출)
- 여러 어댑터로 추론을 수행하는 경우(즉, `model.add_adapter` 또는 `model.load_adapter`를 사용하여 1개 이상의 어댑터를 로드하는 경우); 이 경우 모든 어댑터를 로드한 _이후에_만 `torch.compile`을 호출해야 합니다

일반적으로, 특정 기능이 LoRA와 함께 올바르게 작동하고 다른 어댑터 유형에서도 지원되는 경우, 해당 어댑터 유형에서도 작동할 것으로 기대할 수 있습니다.

## 테스트 케이스

위에서 나열된 모든 사용 사례는 [`peft/tests/test_torch_compile.py`](https://github.com/huggingface/peft/blob/main/tests/test_torch_compile.py) 내에서 테스트됩니다. 특정 기능이 어떻게 테스트되었는지 더 자세히 확인하려면 해당 파일로 이동하여 사용 사례에 해당하는 테스트를 확인하세요.

> [!TIP]
> PEFT와 `torch.compile`이 동작하거나 동작하지 않는 다른 사용 사례가 있다면, 알려주시거나 해당 사용 사례를 테스트 케이스에 추가하는 PR을 열어 기여해 주세요.

