# RoAd

[RoAd](https://huggingface.co/papers/2409.00119)は、隠れ次元のペアに対して適用される少数の2×2回転行列（および任意のスケーリング係数）を学習することで、大規模言語モデルを適応させるパラメータ効率の良いファインチューニング手法です。RoAdは、学習可能なパラメータが0.1%未満でありながら、他のPEFT手法と比較して同等以上のパフォーマンスを実現します。LoRAのバッチ化された低ランク更新とは異なり、RoAdのスパーズな回転は単純な要素ごとの操作に再定式化されるため、同一バッチ内で異質なリクエスト（つまり、複数のアダプタを同時にサービングすること）を処理する場合に、サービングスループットが大幅に向上します。さらに、RoAdは分散型インターチェンジ介入フレームワークにシームレスに統合でき、そのスパーズな2D回転を、隠れ表現の学習済み部分空間内におけるタスク固有の介入として解釈します。これらの直交部分空間を組み合わせることで、多言語対応や指示追従などの複数のタスク固有の動作を、追加のファインチューニングなしにマージでき、LLMにおけるモジュール性があり解釈可能な適応を可能にします。

RoAdによるファインチューニングは、LoRAや同様の手法と比較して、1e-3程度のより高い学習率を必要とします。現在、RoAdは線形層のみをサポートしており、bitsandbytesで量子化されたモデル（4ビットまたは8ビット）に使用できます。

同じバッチ内で異なるRoAdアダプターを使用して推論を実行するには、[同じバッチ内で異なるLoRAアダプターを使用して推論を実行する](lora#inference-with-different-lora-adapters-in-the-same-batch)を参照してください。

## ベンチマーク概要

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=ROAD" frameborder="0" width="850" height="1000"
>

# API

## RoadConfig[[peft.RoadConfig]]

#### peft.RoadConfig[[peft.RoadConfig]]

```python
peft.RoadConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, variant: Union[str, RoadVariant] = 'road_1', group_size: int = 64, init_weights: bool = True, target_modules: Optional[Union[list[str], str]] = None, modules_to_save: Optional[list[str]] = None)
```

[ソース](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/road/config.py#L28)

**パラメータ:**

variant (Union[`RoadVariant`, `str`]) : 使用する Road モデルのバリアントです。road_1、road_2、または road_4 のいずれかになります。詳細については、論文を参照してください。 - road_1: すべての要素ペアに対して同じスケールと角度を使用します。このバリアントはパラメータ数が最も少なく、RoAd が適用される各レイヤーに対して、出力の隠れサイズ分のパラメータを保存します。 - road_2: 各要素に対して同じスケールと角度を使用します。このバリアントは、road_1 と比べてパラメータ数が 2 倍になります。 - road_4: 各要素に対して 2 つの異なるスケールと角度を使用します。このバリアントは、road_1 と比べてパラメータ数が 4 倍になります。

group_size (`int`) : グループサイズは、回転のために要素を2次元ベクトルとしてグループ化する際のサイズを定義します。各グループ内では、要素0は要素group_size/2とペアになり、次に要素1は要素group_size/2+1とペアになり、このように続きます。要素は順序が定められていないため、モデルの性能には影響しませんが、VLLMなどで使用する場合、推論速度に多少の影響があります。最速の速度を得るには、グループサイズを少なくとも32または64（デフォルト値）にすることを推奨します。モデルの隠れ層サイズ（テンソル並列性を使用する場合、パーティションごとの隠れ層サイズ）がgroup_sizeで割り切れる必要があるため、非常に小さいモデルでは、このパラメータを小さくする必要がある場合があります。

init_weights (`bool`) : RoAd重みの初期化を実行するかどうか。

target_modules (`Optional[Union[List[str], str]]`) : アダプタを適用するモジュールの名前です。これを指定した場合、指定された名前のモジュールのみが置き換えられます。文字列を渡す場合は、正規表現によるマッチングが行われます。文字列のリストを渡す場合は、完全一致が行われるか、モジュールの名前が渡された文字列のいずれかで終わるかがチェックされます。'all-linear' として指定した場合、すべての linear/Conv1D モジュールが選択されます（モデルが PreTrainedModel の場合、出力層は除外されます）。指定しない場合、モデルのアーキテクチャに基づいてモジュールが選択されます。アーキテクチャが不明な場合はエラーが発生します。この場合、ターゲットモジュールを手動で指定する必要があります。

modules_to_save (`List[str]`) : Road層を除き、最終チェックポイントに保存されるように学習可能に設定されるモジュールのリスト。

これは[RoadModel](/docs/peft/v0.22.0/ja/package_reference/road#peft.RoadModel)の設定を保存するための設定クラスです。RoAdアダプターはhttps://huggingface.co/papers/2409.00119で提案されています。

## RoadModel[[peft.RoadModel]]

#### peft.RoadModel[[peft.RoadModel]]

```python
peft.RoadModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[ソース](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/road/model.py#L39)

