·5 分钟阅读
SDPA backend 与 FlashAttention
Self-attention 的 O(n²) 内存和算力随序列长度平方涨——长序列要算 FLOPs/activation 预算，FlashAttention 和线性近似是工程选项不是免费 lunch。
READ →
Self-attention 的 O(n²) 内存和算力随序列长度平方涨——长序列要算 FLOPs/activation 预算，FlashAttention 和线性近似是工程选项不是免费 lunch。
READ →