Transformers documentation

FBGEMM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FBGEMM

FBGEMM (Facebook GEneral Matrix Multiplication) A quantização FP8 do FBGEMM armazena os pesos em FP8 com uma escala por canal de saída e quantiza as ativações para FP8 com uma escala por token em tempo de execução (W8A8). O matmul é executado no kernel FP8 por linha do FBGEMM. Use-o para quantização de pesos e ativações em FP8 em GPUs NVIDIA Hopper ou mais novas, ou em Intel XPUs, sem dados de calibração.

A tabela abaixo resume o que o FBGEMM suporta no Transformers.

ConfigFbgemmFp8Config
quant_methodfbgemm_fp8
Fluxo de trabalhoQuantize ao carregar
Bits8
HardwareCUDA (capacidade de computação 9.0+), XPU
Salvar✅
Ajuste fino❌
Compilação automática❌

Instalar o FBGEMM

Em uma GPU CUDA, instale as bibliotecas fbgemm-gpu e Accelerate. Se você tiver problemas de instalação, tente a versão noturna do fbgemm-gpu.

pip install -U fbgemm-gpu accelerate

Em uma XPU, o Transformers baixa o kernel de quantização FP8 do repositório kernels-community/fp8-fbgemm no Hub. Instale as bibliotecas kernels e Accelerate.

pip install -U "transformers[kernels]" accelerate

Quantize um modelo com FBGEMM

Crie um FbgemmFp8Config e passe-o para from_pretrained().

from transformers import AutoModelForCausalLM, FbgemmFp8Config

quantization_config = FbgemmFp8Config()
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    device_map="cuda",
)

O FBGEMM sempre carrega o modelo em bf16. Se você passar um dtype diferente, o Transformers registra um aviso e alterna para torch.bfloat16.

activation_scale_ub limita a escala de ativação por token quando as ativações são quantizadas em tempo de execução. O valor padrão é 1200.0, e você pode alterá-lo ao carregar um checkpoint pré-quantizado.

Limitações

  • FBGEMM requer uma GPU CUDA ou um XPU. Carregar sem um deles gera um ImportError.
  • No CUDA, o FBGEMM requer capacidade de computação 9.0 ou superior, como uma H100. Uma GPU mais antiga gera um ValueError.
  • A quantização durante o carregamento não pode fazer offload para a CPU ou para o disco. Um device_map que inclui "cpu" ou "disk" levanta um ValueError. Um checkpoint pré-quantizado pode fazer offload.
  • FBGEMM quantiza camadas nn.Linear e especialistas de texto do Llama 4. Módulos de especialistas fundidos em outros modelos mixture-of-experts permanecem sem quantização.
  • Modelos quantizados com FBGEMM não podem ser ajustados finamente.

Recursos

Update on GitHub