PEFT documentation
Эффективное обучение с точки зрения памяти
Эффективное обучение с точки зрения памяти
🤗 PEFT делает дообучение параметрически эффективным, но не обеспечивает автоматическую экономичность по памяти. В этом обзоре собраны советы по снижению потребления памяти при обучении и ссылки на подробные руководства.
Всегда учитывайте базовые способы снижения потребления памяти: выбор более небольшой базовой модели, уменьшение размера батча или сокращение длины последовательности.
Обзор памяти при обучении
Разберём распределение памяти, используемой для обучения, чтобы оценить возможные меры противодействия. В качестве примера возьмём крупную языковую модель, обучаемую с использованием оптимизатора Adam. При полной дообучке память будет занимать следующие компоненты:
- параметры базовой модели: потребление памяти сильно зависит от выбранного
dtype. Чем меньше бит на параметр (16 для float16), тем меньше памяти потребуется. Модель на 1B параметров в float16 (16 бит/2 байта на параметр) займёт примерно1e9 × 2 byte = 1.863 GiBпамяти. - все обучаемые параметры базовой модели ×3 для градиентов (1×) и состояний оптимизатора Adam (2×), следовательно, 5,59 ГБ памяти
- память для промежуточных активаций между слоями, её сложно предсказать, но в основном она зависит от используемого типа вычислений (compute dtype) и длины последовательности / размера батча.
Использование более небольшой базовой модели или меньшего типа вычислительной точности (compute dtype) снизит все показатели, тогда как применение более коротких последовательностей или меньших пакетов (batches) в основном влияет на память, занимаемую градиентами и активациями. Использование методов PEFT уменьшит количество обучаемых параметров, что значительно сократит объём памяти, занимаемой градиентами и состоянием оптимизатора, и позволит сэкономить значительное количество памяти.
Выбор подходящего метода
Не все методы PEFT одинаковы по своей реализации, и некоторые формулировки проще всего строить с учётом экономии памяти. Если ваш бюджет памяти ограничен, имеет смысл обратиться к своду сравнения методов PEFT и отфильтровать результаты по максимальному использованию памяти ускорителя. Среднее потребление памяти ускорителя может быть примерно одинаковым для разных методов, но не каждый метод одинаково масштабируется в зависимости от активаций и длины последовательности; некоторые методы более подвержены пиковым значениям потребления памяти, чем другие.
При нацеливании на крупные слои, такие как головы языкового моделирования или слои эмбеддингов, для дообучения конкретных токенов рассмотрите использование обучаемых токенов.
Квантование
Квантование — один из лучших способов снизить потребление памяти базовой модели, а в зависимости от используемого метода квантования оно также уменьшает объём памяти, занимаемой активациями. Поскольку методы PEFT занимают лишь небольшую долю от общего числа параметров, по умолчанию PEFT использует более высокую точность, чем базовая модель. Это также может приводить к тому, что адаптеры компенсируют часть потери качества, связанной с методами квантования. Ознакомьтесь с руководством по квантованию PEFT.
Компиляция
Модели, которые мы обучаем, состоят из операций, таких как умножение матриц, сложение и присваивание, где каждая операция порождает новый результат и, соответственно, требует выделения памяти. Если эти промежуточные результаты не нужны, мы можем объединить (fuse) эти операции и сэкономить память. Это лишь одно из многих оптимизаций, которые torch.compile может выполнить за вас, поэтому ознакомьтесь с руководством по torch.compile для PEFT.
Gradient Checkpointing
Вы можете сэкономить память за счёт вычислений, сохраняя каждый n-й градиент между слоями и вычисляя остальные на лету. Подробнее о gradient checkpointing читайте в документации Transformers.
Если вы не используете Diffusers или Transformers, вам может потребоваться самостоятельно реализовать логику градиентного чекпоинтинга в зависимости от используемого вами фреймворка для обучения.
Потеря NLL по блокам
Использование NLLLoss очень распространено при обучении языковых моделей (или задач классификации). Вы выделяете матрицу размера batch × sequence × vocabulary. При особенно длинных последовательностях или словарях это может быстро стать дорогостоящим.
При использовании TRL можно применить либо интеграцию с ядром Liger, либо Chunked NLLLoss. Последний вариант разбивает последовательность на блоки размером 256, чтобы поддерживать постоянный максимальный расход памяти.

Если размер блока по умолчанию не оптимален для вашей конфигурации, обратитесь к оригинальному PR TRL, чтобы узнать, как настроить размер блока.
Update on GitHub