BFL (fp8r / nvfp4)

Black Forest Labs phát hành các biến thể lượng tử hóa của các transformer Flux3 của mình theo hai phương án, được lưu dưới dạng checkpoint đơn file đặt cạnh trọng số bf16 gốc:

• fp8r: FP8 theo hàng. Mỗi tuyến tính lượng tử hóa lưu một weight E4M3 và một weight_scale fp32 cho từng hàng. Các kích hoạt được lượng tử hóa thành E4M3 theo hàng tại thời điểm chạy.
• nvfp4: NVFP4 trong bố cục ModelOpt. Mỗi tuyến tính đã lượng tử hóa lưu trữ một weight E2M1 đã đóng gói (hai giá trị trên mỗi byte), các thang đo khối E4M3 của 16 (weight_scale), một weight_scale_2 fp32 toàn cục và một thang đo kích hoạt fp32 đã hiệu chuẩn input_scale.

Diffusers nạp cả hai thông qua ~FromSingleFileMixin.from_single_file với một BFLQuantizationConfig. Phương thức được đọc từ checkpoint, do đó cùng một config hoạt động cho cả hai tệp. Chỉ hỗ trợ nạp các checkpoint đã lượng tử hóa trước; không hỗ trợ nạp ở cấp pipeline.

Ví dụ dưới đây nạp checkpoint fp8r của FLUX 3 Image Klein Base, nằm tại variants/fp8r/model.safetensors trong kho mô hình. Truyền config để cấu hình mô hình được đọc từ thư mục Diffusers của kho đó, sau đó nạp các thành phần khác theo tên (xem Tải tệp đơn).

import torch

from diffusers import BFLQuantizationConfig, Flux3Transformer2DModel, ModularPipeline

ckpt_path = "https://huggingface.co/black-forest-labs/flux-3-image-klein-base/blob/main/variants/fp8r/model.safetensors"
transformer = Flux3Transformer2DModel.from_single_file(
    ckpt_path,
    config="black-forest-labs/flux-3-image-klein-base",
    subfolder="transformer",
    quantization_config=BFLQuantizationConfig(compute_dtype=torch.bfloat16),
    dtype=torch.bfloat16,
)
pipe = ModularPipeline.from_pretrained("black-forest-labs/flux-3-image-klein-base")
pipe.load_components(dtype=torch.bfloat16)
pipe.update_components(transformer=transformer)
pipe.to("cuda")

prompt = "A wide-angle wildlife photograph of a red fox standing alert in a snow-covered forest clearing at golden hour."
image = pipe(prompt=prompt, generator=torch.Generator().manual_seed(0), output="images")[0]
image.save("flux3-klein-base-fp8r.png")

Thay variants/fp8r bằng variants/nvfp4 để nạp biến thể nvfp4. Phiên bản step-distilled của FLUX 3 Image Klein cũng đi kèm hai biến thể tương tự; hãy nạp chúng bằng cách sử dụng repository id của nó làm config và pipeline.

Kernels

Trọng lượng đã lượng tử hóa vẫn được lưu trữ ở kiểu dữ liệu độ chính xác thấp. GEMM nào được thực thi phụ thuộc vào thiết bị:

Cài đặt hai gói FlashInfer cùng một phiên bản, ví dụ pip install flashinfer-python==0.6.13 flashinfer-cubin==0.6.13. Bản phát hành flashinfer-cubin có thể chậm hơn flashinfer-python, và FlashInfer sẽ từ chối import nếu các phiên bản khác nhau.

FlashInfer biên dịch các kernel NVFP4 của nó khi lần đầu sử dụng bằng bộ công cụ CUDA của môi trường và chọn kiến trúc đích từ GPU hiển thị (hoặc từ FLASHINFER_CUDA_ARCH_LIST nếu được đặt). Các GPU Blackwell dành cho người dùng và workstation (khả năng tính toán 12.0) cần bộ công cụ CUDA phiên bản 12.9 trở lên. Với bộ công cụ cũ hơn, FlashInfer sẽ không tìm thấy kiến trúc phù hợp và lời gọi NVFP4 đầu tiên sẽ thất bại với FlashInfer requires GPUs with sm75 or higher.

Trên bất kỳ thiết bị nào khác, trọng số sẽ được khử lượng hóa thành compute_dtype trong mỗi lần truyền thuận và lớp sẽ chạy như một lớp tuyến tính thông thường. Trong trường hợp đó, các kích hoạt không được lượng hóa, do đó đầu ra sẽ khác biệt nhẹ so với các kernel đã hợp nhất.