在 PyTorch 中启用 FlashAttention 的最简方式是直接调用 torch.nn.functional.scaled_dot_product_attention(q, k, v)。PyTorch 2.0 及以上版本在兼容硬件(NVIDIA A100、H100、RTX 40 系列等计算能力 8.0+ 的 GPU)上会自动选择 FlashAttention-2 内核,无需任何额外配置。
若需强制使用 FlashAttention 后端以排除回退可能,可使用上下文管理器显式指定:
也可通过全局开关控制:torch.backends.cuda.enable_flash_sdp(True) 启用、enable_flash_sdp(False) 禁用。若需确认实际使用了哪个内核,可调用 torch.backends.cuda.flash_sdp_enabled() 进行检查。
FlashAttention 内核要求输入为 FP16 或 BF16,且不支持任意自定义注意力掩码(如 ALiBi 需要特殊变体或使用 FlexAttention)。当序列长度、数据类型或掩码类型不满足条件时,SDPA 会静默回退到标准实现,不报错但也不会获得加速。此外,若设置了 torch.set_float32_matmul_precision('high'),可能因精度不匹配导致 FlashAttention 被跳过。对于需要自定义注意力模式(如 ALiBi、块稀疏)的场景,PyTorch 提供了 FlexAttention 接口,允许用户通过 score_mod 或 mask_mod 函数定义自定义行为,同时仍能获得融合内核的加速效果。