跳到正文
原文
Hugging Face Blog·· 2020-09-10AI 评分26

Hugging Face 发布 pytorch_block_sparse:基于 CUTLASS 实现块稀疏矩阵加速

Block Sparse Matrices for Smaller and Faster Language Models

AI 导读

Hugging Face 推出 `pytorch_block_sparse` 扩展,利用 NVIDIA CUTLASS 模板实现高效块稀疏矩阵乘法。该库提供 `BlockSparseLinear` 模块替代标准线性层,在 75% 稀疏度下推理速度约为密集矩阵的 2 倍,内存占用降低 4 倍。

来源:Hugging Face Blog · huggingface.co