【Native Sparse Attention Triton:高效实现原生稀疏注意力(NSA)机制的Triton版本,为大规模训练加速!亮点:1. 基于Triton实现,性能显著提升;2. 支持多种稀疏注意力模式,灵活度高;3. 提供完整的测试和基准,优化效果一目了然】
'Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention'
GitHub: github.com/XunhaoLai/native-sparse-attention-triton